Tag: urllib

重写urllib2.HTTPError或者urllib.error.HTTPError并且读取响应HTML

我收到“HTTP错误500：内部服务器错误”响应，但我仍然想要读取错误HTML内的数据。 在Python 2.6中，我通常使用以下命令获取页面： import urllib2 url = "http://google.com" data = urllib2.urlopen(url) data = data.read() 当试图在失败的URL上使用这个时，我得到了exceptionurllib2.HTTPError ： urllib2.HTTPError: HTTP Error 500: Internal Server Error 我怎样才能获取这样的错误页面（有或没有urllib2 ），而他们都返回内部服务器错误？ 请注意，在Python 3中，相应的exception是urllib.error.HTTPError 。

Python，相反的functionurllib.urlencode

如何处理urllib.urlencode字典后转换数据？ urllib.urldecode不存在。

在Python中，如何使用urllib来查看网站是404还是200？

如何通过urllib获取头文件的代码？

Python：从urllib2.urlopen调用获取HTTP标头？

urllib2是否在urlopen调用时获取整个页面？ 我只想读取HTTP响应头，而不会得到页面。 它看起来像urllib2打开HTTP连接，然后得到实际的HTML页面…或者它只是开始用urlopen调用缓冲页面？ import urllib2 myurl = 'http://www.kidsidebyside.org/2009/05/come-and-draw-the-circle-of-unity-with-us/' page = urllib2.urlopen(myurl) // open connection, get headers html = page.readlines() // stream page

如何发送POST请求？

我在网上find了这个脚本： import httplib, urllib params = urllib.urlencode({'number': 12524, 'type': 'issue', 'action': 'show'}) headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} conn = httplib.HTTPConnection("bugs.python.org") conn.request("POST", "", params, headers) response = conn.getresponse() print response.status, response.reason 302 Found data = response.read() data 'Redirecting to <a href="http://bugs.python.org/issue12524">http://bugs.python.org/issue12524</a>' conn.close() 但我不明白如何使用它与PHP或paramsvariables内的东西是什么或如何使用它。 我可以请一点点的帮助，试图让这个工作？

UnicodeEncodeError：'charmap'编解码器不能编码字符

我试图刮一个网站，但它给了我一个错误。 我使用下面的代码： import urllib.request from bs4 import BeautifulSoup get = urllib.request.urlopen("https://www.website.com/") html = get.read() soup = BeautifulSoup(html) print(soup) 我收到以下错误： File "C:\Python34\lib\encodings\cp1252.py", line 19, in encode return codecs.charmap_encode(input,self.errors,encoding_table)[0] UnicodeEncodeError: 'charmap' codec can't encode characters in position 70924-70950: character maps to <undefined> 我能做些什么来解决这个问题？

处理urllib2的超时？ – Python

我正在使用urllib2的urlopen中的超时参数。 urllib2.urlopen('http://www.example.org', timeout=1) 我如何告诉Python，如果超时到期，应该提高自定义错误？ 有任何想法吗？

AttributeError：'模块'对象没有属性'urlopen'

我正在尝试使用Python下载网站的HTML源代码，但我收到此错误。 回溯（最近一次通话最后）： 文件“C：\ Users \ Sergio.Tapia \ Documents \ NetBeansProjects \ DICParser \ src \ WebDownload.py”，第3行，在file = urllib.urlopen（“ http://www.python.org ”）AttributeError：'module '对象没有属性'urlopen' 我在这里遵循指导： http : //www.boddie.org.uk/python/HTML.html import urllib file = urllib.urlopen("http://www.python.org") s = file.read() f.close() #I'm guessing this would output the html source code? print(s) 我正在使用Python 3，感谢您的帮助！

Python URLLib / URLLib2 POST

我正在尝试使用wx / Python创build一个超简单的虚拟input/输出板。 我已经得到了下面的代码，我的要求之一，我将存储数据的服务器： data = urllib.urlencode({'q': 'Status'}) u = urllib2.urlopen('http://myserver/inout-tracker', data) for line in u.readlines(): print line 没有什么特别的。 我遇到的问题是，根据我如何阅读文档，这应该执行一个Post Request，因为我提供了数据参数，这不会发生。 我有这个代码在该url的索引： if (!isset($_POST['q'])) { die ('No action specified'); } echo $_POST['q']; 每次运行我的Python应用程序时，都会将“未指定动作”文本打印到控制台中。 我将尝试使用请求对象来实现它，因为我已经看过一些演示，包括这些，但是我想知道是否有人可以帮我解释为什么我没有得到这个代码的Post请求。 谢谢！ – 编辑 – 此代码确实工作，并正常发布到我的网页： data = urllib.urlencode({'q': 'Status'}) h = httplib.HTTPConnection('myserver:8080') headers = {"Content-type": "application/x-www-form-urlencoded", "Accept": "text/plain"} h.request('POST', '/inout-tracker/index.php', data, […]

Django：从图像url中的ImageField添加图像

请原谅我难看的英语;-) 想象一下这个非常简单的模型： class Photo(models.Model): image = models.ImageField('Label', upload_to='path/') 我想从图片url创build一个照片（即，不要在djangopipe理站点手动）。 我认为我需要做这样的事情： from myapp.models import Photo import urllib img_url = 'http://www.site.com/image.jpg' img = urllib.urlopen(img_url) # Here I need to retrieve the image (as the same way that if I put it in an input from admin site) photo = Photo.objects.create(image=image) 我希望我能很好的解释这个问题，如果不告诉我的话。 谢谢 ：） 编辑： 这可能工作，但我不知道如何将content转换为django文件： from urlparse […]