Tag: urllib

我们可以用BeautifulSoup来使用xpath吗？

我正在使用BeautifulSoup刮一个url，我有以下代码 import urllib import urllib2 from BeautifulSoup import BeautifulSoup url = "http://www.example.com/servlet/av/ResultTemplate=AVResult.html" req = urllib2.Request(url) response = urllib2.urlopen(req) the_page = response.read() soup = BeautifulSoup(the_page) soup.findAll('td',attrs={'class':'empformbody'}) 现在在上面的代码中，我们可以使用findAll来获取与它们相关的标签和信息，但是我想使用xpath，如果可能的话，可以使用xpath和BeautifulSoup，任何人都可以给我一个示例代码，以便它更有帮助。

如何在Python中对URL参数进行百分比编码？

如果我做 url = "http://example.com?p=" + urllib.quote(query) 它不编码/到%2F （打破OAuth标准化） 它不处理Unicode（它抛出一个exception） 有更好的图书馆吗？

urllib2.HTTPError：HTTP错误403：禁止

我正在尝试使用python自动下载历史股票数据。 我试图打开的URL用CSV文件回应，但我无法使用urllib2打开。 我曾尝试更改用户代理，如前几个问题中指出的，我甚至试图接受响应cookie，没有运气。 你能帮忙吗？ 注意：同样的方法适用于雅虎财务。 码： import urllib2,cookielib site= "http://www.nseindia.com/live_market/dynaContent/live_watch/get_quote/getHistoricalData.jsp?symbol=JPASSOCIAT&fromDate=1-JAN-2012&toDate=1-AUG-2012&datePeriod=unselected&hiddDwnld=true" hdr = {'User-Agent':'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) 错误 文件“C：\ Python27 \ lib \ urllib2.py”，第527行，在http_error_default中引发HTTPError（req.get_full_url（），code，msg，hdrs，fp）urllib2.HTTPError：HTTP Error 403：Forbidden 感谢你的协助

通过urllib和python下载图片

所以我试图制作一个Python脚本来下载webcomics并把它们放在我的桌面上的一个文件夹中。 我在这里发现了一些类似的程序，做了类似的事情，但没有什么比我所需要的更多。 我发现最相似的就在这里（ http://bytes.com/topic/python/answers/850927-problem-using-urllib-download-images ）。 我试着用这个代码： >>> import urllib >>> image = urllib.URLopener() >>> image.retrieve("../../../comics/00000001.jpg","00000001.jpg") ('00000001.jpg', <httplib.HTTPMessage instance at 0x1457a80>) 然后我search了我的计算机上的“00000001.jpg”文件，但是我发现的只是caching的图片。 我什至不知道它保存到我的电脑的文件。 一旦我明白如何获得文件下载，我想我知道如何处理其余的。 基本上只是使用for循环，并将string拆分为“00000000”，“jpg”和将“00000000”增加到最大的数字，我必须以某种方式确定。 任何reccomendations最好的方式来做到这一点或如何正确下载文件？ 谢谢！ 编辑6/15/10 这是完整的脚本，它将文件保存到您select的任何目录。 由于一些奇怪的原因，这些文件没有下载，他们只是做了。 任何build议如何清理它将不胜感激。 我目前正在研究如何找出网站上存在的许多漫画，所以我可以得到最新的漫画，而不是在发生一定数量的exception之后退出程序。 import urllib import os comicCounter=len(os.listdir('/file'))+1 # reads the number of files in the folder to start downloading at the next comic errorCount=0 def download_comic(url,comicName): […]

urllib和“SSL：CERTIFICATE_VERIFY_FAILED”错误

我得到这个错误 Exception in thread Thread-3: Traceback (most recent call last): File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 810, in __bootstrap_inner self.run() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/threading.py", line 763, in run self.__target(*self.__args, **self.__kwargs) File "/Users/Matthew/Desktop/Skypebot 2.0/bot.py", line 271, in process info = urllib2.urlopen(req).read() File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 154, in urlopen return opener.open(url, data, timeout) File "/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib2.py", line 431, in open response = self._open(req, data) […]

如何使用Python通过HTTP下载文件？

我有一个小工具，用于从网站上下载一个MP3的时间表，然后build立/更新播客XML文件，我已经明显地添加到iTunes。 创build/更新XML文件的文本处理是用Python编写的。 我在Windows .bat文件中使用wget来下载实际的MP3。 我宁愿使用Python编写整个实用程序。 我虽然努力find一种方法来实际下载Python中的文件，为什么我诉诸wget 。 那么，如何使用Python下载文件呢？

urllib，urllib2和请求模块之间有什么区别？

在Python中， urllib ， urllib2和requests模块之间有什么区别？ 为什么有三个？ 他们似乎做同样的事情…