UnicodeDecodeError,无效的连续字节
为什么下面的项目失败? 为什么用“latin-1”编解码器成功?
o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving v = o.decode("utf-8")
结果是:
Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError: 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte
在二进制中,0xE9看起来像1110 1001
。 如果您在维基百科上阅读了关于UTF-8的内容 ,您将会看到这样一个字节后面必须跟两个10xx xxxx
格式。 所以,例如:
>>> b'\xe9\x80\x80'.decode('utf-8') u'\u9000'
但这只是例外的机械原因。 在这种情况下,你有一个string,几乎可以肯定用拉丁文1编码。你可以看到UTF-8和latin 1看起来有什么不同:
>>> u'\xe9'.encode('utf-8') b'\xc3\xa9' >>> u'\xe9'.encode('latin-1') b'\xe9'
(注意,我在这里使用了Python 2和3的混合表示,input在Python的任何版本中都是有效的,但是你的Python解释器不可能真正以这种方式显示unicode和string。
当我尝试通过pandas read_csv方法打开一个csv文件时,我有同样的错误。
解决方法是将编码更改为“latin-1”:
pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')
它是无效的UTF-8。 这个字符是ISO-Latin1中的e-sharp字符,这就是为什么它能够成功使用该代码集。
如果您不知道接收string的代码集,那么您遇到了一些麻烦。 如果为你的协议/应用程序select一个单一的代码集(最好是UTF-8),那么你最好还是拒绝那些没有解码的代码。
如果你不能这样做,你需要启发式。
由于UTF-8是多字节,并且没有字符对应于\xe9
加下面的空格。
为什么在utf-8和latin-1 都能成功呢?
这里应该如何在utf-8中使用相同的句子:
>>> o.decode('latin-1').encode("utf-8") 'a test of \xc3\xa9 char'