UnicodeEncodeError:'latin-1'编解码器不能编码字符
当我尝试向数据库中插入外部字符时,可能会导致此错误?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
我该如何解决?
谢谢!
字符U + 201C左双引号不存在于Latin-1(ISO-8859-1)编码中。
它出现在代码页1252(西欧)。 这是一个基于ISO-8859-1的Windows专用编码,但是在0x80-0x9F范围内增加了额外的字符。 代码页1252通常与ISO-8859-1相混淆,如果您将页面作为ISO-8859-1提供服务,则浏览器将把它们视为cp1252,这是一个恼人的现在标准的Web浏览器行为。 但是,它们实际上是两个不同的编码:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1') UnicodeEncodeError >>> u'He said \u201CHello\u201D'.encode('cp1252') 'He said \x93Hello\x94'
如果仅将数据库用作字节存储区,则可以使用cp1252对Windows西文代码页中存在的其他字符进行编码。 但是其他的Unicode字符在cp1252中不会出现错误。
你可以使用encode(..., 'ignore')
来排除错误,但在本世纪你应该在数据库和页面中使用UTF-8。 这个编码允许使用任何字符。 您还应该理想地告诉MySQL您使用的是UTF-8string(通过设置数据库连接和string列上的sorting规则),以便它可以不区分大小写的比较和sorting。
我在使用Python MySQLdb模块时遇到了同样的问题。 由于MySQL将允许您在文本字段中存储所需的任何二进制数据而不pipe字符集是什么,我在这里find了我的解决scheme:
在Python MySQLdb中使用UTF8
编辑:引用上面的URL来满足第一条评论中的请求…
“UnicodeEncodeError:'latin-1'编解码器不能编码字符…”
这是因为MySQLdb通常会尝试将所有东西都编码为latin-1。 这可以通过在build立连接之后立即执行以下命令来解决:
db.set_character_set('utf8') dbc.execute('SET NAMES utf8;') dbc.execute('SET CHARACTER SET utf8;') dbc.execute('SET character_set_connection=utf8;')
“db”是
MySQLdb.connect()
的结果,“dbc”是db.cursor()
的结果。
我希望你的数据库至less是UTF-8。 然后,在将其放入数据库之前,您需要运行yourstring.encode('utf-8')
。
最好的解决办法是
- 设置mysql的字符集为'utf-8'
-
这样做的评论(添加
use_unicode=True
和charset="utf8"
)db = MySQLdb.connect(host =“localhost”,user =“root”,passwd =“”,db =“testdb”,use_unicode = True,charset =“utf8”) – KyungHoon Kim 14年3月13日在17:04
细节见:
class Connection(_mysql.connection): """MySQL Database Connection Object""" default_cursor = cursors.Cursor def __init__(self, *args, **kwargs): """ Create a connection to the database. It is strongly recommended that you only use keyword parameters. Consult the MySQL C API documentation for more information. host string, host to connect user string, user to connect as passwd string, password to use db string, database to use port integer, TCP/IP port to connect to unix_socket string, location of unix_socket to use conv conversion dictionary, see MySQLdb.converters connect_timeout number of seconds to wait before the connection attempt fails. compress if set, compression is enabled named_pipe if set, a named pipe is used to connect (Windows only) init_command command which is run once the connection is created read_default_file file from which default client values are read read_default_group configuration group to use from the default file cursorclass class object, used to create cursors (keyword only) use_unicode If True, text-like columns are returned as unicode objects using the connection's character set. Otherwise, text-like columns are returned as strings. columns are returned as normal strings. Unicode objects will always be encoded to the connection's character set regardless of this setting. charset If supplied, the connection character set will be changed to this character set (MySQL-4.1 and newer). This implies use_unicode=True. sql_mode If supplied, the session SQL mode will be changed to this setting (MySQL-4.1 and newer). For more details and legal values, see the MySQL documentation. client_flag integer, flags to use or 0 (see MySQL docs or constants/CLIENTS.py) ssl dictionary or mapping, contains SSL connection parameters; see the MySQL documentation for more details (mysql_ssl_set()). If this is set, and the client does not support SSL, NotSupportedError will be raised. local_infile integer, non-zero enables LOAD LOCAL INFILE; zero disables autocommit If False (default), autocommit is disabled. If True, autocommit is enabled. If None, autocommit isn't set and server default is used. There are a number of undocumented, non-standard methods. See the documentation for the MySQL C API for some hints on what they do. """
您正尝试使用不能描述该代码点的编码ISO-8859-1 / Latin-1
来存储Unicode代码点\u201c
。 要么你可能需要改变数据库来使用utf-8,并使用适当的编码存储string数据,或者你可能想在存储内容之前消毒你的input; 即使用像Sam Ruby的优秀国际化指南 。 这个问题讨论了windows-1252
可能导致的问题,并build议如何处理它,加上示例代码的链接!
Latin-1(又名ISO 8859-1 )是一个八位字节字符编码scheme,不能将\u201c
( “
)放入一个字节。
你的意思是使用UTF-8编码吗?
SQLAlchemy用户可以简单地将它们的字段指定为convert_unicode=True
。
示例: sqlalchemy.String(1000, convert_unicode=True)
SQLAlchemy将简单地接受unicode对象并将其返回,处理编码本身。
文件
Python:你需要在python文件的第一行添加# – * – coding:UTF-8 – * – (除去*周围的空格) 。 然后将以下内容添加到文本中进行编码: .encode('ascii','xmlcharrefreplace') 。 这将取代所有的ASCII码等价的Unicode字符。