UnicodeDecodeError,无效的连续字节

为什么下面的项目失败? 为什么用“latin-1”编解码器成功?

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving v = o.decode("utf-8") 

结果是:

  Traceback (most recent call last): File "<stdin>", line 1, in <module> File "C:\Python27\lib\encodings\utf_8.py", line 16, in decode return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError: 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte 

在二进制中,0xE9看起来像1110 1001 。 如果您在维基百科上阅读了关于UTF-8的内容 ,您将会看到这样一个字节后面必须跟两个10xx xxxx格式。 所以,例如:

 >>> b'\xe9\x80\x80'.decode('utf-8') u'\u9000' 

但这只是例外的机械原因。 在这种情况下,你有一个string,几乎可以肯定用拉丁文1编码。你可以看到UTF-8和latin 1看起来有什么不同:

 >>> u'\xe9'.encode('utf-8') b'\xc3\xa9' >>> u'\xe9'.encode('latin-1') b'\xe9' 

(注意,我在这里使用了Python 2和3的混合表示,input在Python的任何版本中都是有效的,但是你的Python解释器不可能真正以这种方式显示unicode和string。

当我尝试通过pandas read_csv方法打开一个csv文件时,我有同样的错误。

解决方法是将编码更改为“latin-1”:

 pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1') 

它是无效的UTF-8。 这个字符是ISO-Latin1中的e-sharp字符,这就是为什么它能够成功使用该代码集。

如果您不知道接收string的代码集,那么您遇到了一些麻烦。 如果为你的协议/应用程序select一个单一的代码集(最好是UTF-8),那么你最好还是拒绝那些没有解码的代码。

如果你不能这样做,你需要启发式。

由于UTF-8是多字节,并且没有字符对应于\xe9加下面的空格。

为什么在utf-8和latin-1 都能成功呢?

这里应该如何在utf-8中使用相同的句子:

 >>> o.decode('latin-1').encode("utf-8") 'a test of \xc3\xa9 char'