Tag: utf 8

在mysql中utf8mb4和utf8 charsets有什么区别？: 在mysql中utf8mb4和utf8 charsets有什么区别？我已经知道ASCII，UTF-8，UTF-16和UTF-32编码; 但我很想知道'utf8mb4'编码组与其他编码types在mysql服务器中定义的区别是什么。使用utf8mb4而不是utf8有什么特别的好处？

用Python编写UTF-8文件: 我真的与codecs.open function混淆。当我做： file = codecs.open("temp", "w", "utf-8") file.write(codecs.BOM_UTF8) file.close() 它给了我错误 UnicodeDecodeError：'ascii'编解码器无法解码0位的字节0xef：序号不在范围内（128）如果我做： file = open("temp", "w") file.write(codecs.BOM_UTF8) file.close() 它工作正常。问题是为什么第一种方法失败？而且我该如何插入宝盒？如果第二种方法是正确的做法，使用codecs.open(filename, "w", "utf-8")什么意思？

如何确定OSX中的文件编码？: 我试图在TextMate中input一些UTF-8字符到LaTeX文件中（它的默认编码是UTF-8），但是LaTeX似乎并不了解它们。运行cat my_file.tex在terminal中正确显示字符。运行ls -al显示我以前从未见过的东西：文件列表中的“@”： -rw-r–r–@ 1 me users 2021 Feb 11 18:05 my_file.tex （而且，是的，我在LaTeX中使用\usepackage[utf8]{inputenc} 。）我find了iconv ，但是似乎没有办法告诉我编码是什么 – 它只会转换一次，我知道了。

UTF-8和ISO-8859-1有什么区别？: UTF-8和ISO-8859-1有什么区别？

什么是Unicode，UTF-8，UTF-16？: Unicode的基础是什么，为什么需要UTF-8或UTF-16？我在Google上研究过这个，也在这里search，但是对我来说还不清楚。在VSS做文件比较的时候，有时候会有消息说这两个文件有不同的UTF。为什么会这样呢？请简单说明一下。

是否可以强制Excel自动识别UTF-8 CSV文件？: 我正在开发负责将一些数据导出到CSV文件的应用程序的一部分。该应用程序总是使用UTF-8，因为它具有多种语言的性质。但是，在Excel中打开这样的CSV文件（包含例如变音符号，西里尔字母，希腊字母）并不能达到预期的结果，显示类似Г„/Г¤, Г–/Г¶ 。我不知道如何强制Excel了解，开放的CSV文件是用UTF-8编码的。我也试过指定UTF-8 BOM EF BB BF ，但是Excel忽略了这一点。有没有解决办法？ PS哪些工具可能像Excel一样行为呢？ UPDATE 我不得不说，我已经把这个问题的提出混淆了社区。当我提出这个问题的时候，我问了一个在Excel中打开一个UTF-8 CSV文件的方式，对用户来说没有任何问题，stream畅而透明。但是，我用一个错误的expression方式自动地做这件事。这是非常混乱，它与VBAmacros自动化冲突。对于这个我最欣赏的问题有两个答案：Alex的第一个答案https://stackoverflow.com/a/6002338/166589 ，我已经接受了这个答案; 第二个是Mark https://stackoverflow.com/a/6488070/166589 ，稍后才出现。从可用性的angular度来看，Excel似乎没有一个好的用户友好的UTF-8 CSV支持，所以我认为这两个答案都是正确的，我已经接受了亚历克斯的答案，因为它确实表明，Excel无法做到透明。这是我在这里自动混淆了。 Mark的回答为更高级的用户提供了一个更复杂的方式来达到预期的结果。两个答案都很好，但是Alex的一个答案更适合我的不明确的问题。更新2 在最后一次编辑五个月后，我注意到Alex的答案因为某种原因已经消失了。我真的希望这不是一个技术问题，我希望现在没有更多的讨论，哪个更好。所以我接受马克的答案是最好的答案。

UTF-8，UTF-16和UTF-32: UTF-8，UTF-16和UTF-32之间有什么区别？我明白，他们将全部存储Unicode，并且每个使用不同数量的字节来表示一个字符。 select一个在另一个之上有好处吗？

为什么现代Perl默认避免使用UTF-8？: 我想知道为什么使用Perl构build的大多数现代解决scheme默认情况下都不启用UTF-8 。我知道核心Perl脚本有很多遗留问题，它们可能会破坏一些东西。但是从我的观点来看，在21世纪，大的新项目（或者大视angular的项目）应该从头开始对其软件进行UTF-8validation。我仍然没有看到它发生。例如，穆斯启用严格和警告，但不是Unicode 。 Modern :: Perl也减less了样板，但没有UTF-8处理。为什么？在2011年的现代Perl项目中是否有避免使用UTF-8的理由？评论@ tchrist太长了，所以我在这里添加它。我似乎没有说清楚。让我尝试添加一些东西。 tchrist和我看到的情况差不多，但是我们的结论是完全相反的。我同意，Unicode的情况是复杂的，但这就是为什么我们（Perl用户和编码器）需要一些使得UTF-8处理像现在一样容易的层（或杂注）。特里斯特指出了很多方面，我会在几天甚至几周的时间里阅读和思考它们。不过，这不是我的观点。 tchrist试图certificate没有一个单一的方式“启用UTF-8”。我没有那么多的知识来解决这个问题。所以，我坚持活的例子。我玩Rakudo和UTF-8只是在那里，因为我需要。我没有任何问题，只是工作。也许有更深的一些限制，但在开始时，我所testing的所有工作正如我所料。这不应该成为现代Perl 5的目标吗？我强调一下：我并不是build议使用UTF-8作为核心Perl的默认字符集，我build议可以为那些开发新项目的人简单地触发它。另一个例子，但用更负面的语气。框架应该使开发更容易。几年前，我尝试了一些网页框架，但只是把它们扔掉了，因为“启用UTF-8”是如此晦涩难懂。我没有find如何以及在哪里挂钩的Unicode支持。这是非常耗时的，我发现更容易走老路。现在我在这里看到了与Mason 2相同的问题：如何使Mason2 UTF-8变得干净？。所以，这是一个相当新的框架，但是使用它与UTF-8需要深入的内部知识。它就像一个大红色的标志：停下来，不要使用我！我真的很喜欢Perl。但处理Unicode是痛苦的。我仍然发现自己跑在墙上。某种方式tchrist是正确的，并且回答我的问题：新项目不吸引UTF-8，因为它在Perl 5中太复杂了。

如何在Python中将文件转换为utf-8？: 我需要在Python中将一堆文件转换为utf-8，并且在“转换文件”部分遇到问题。我想做相当于： iconv -t utf-8 $file > converted/$file # this is shell code 谢谢！

如何检测Latin1编码列中的UTF-8字符 – MySQL: 我将要完成将数据库从Latin1转换为UTF-8的繁琐和棘手的任务。在这一点上，我只是想检查我的表中存储了哪些数据，因为这将决定我应该使用什么方法来转换数据。具体而言，我想检查在Latin1列中是否有UTF-8字符，那么执行此操作的最佳方法是什么？如果只有几行受到影响，那么我可以手动修复这个问题。选项1.执行MySQL转储并使用Perl来searchUTF-8字符？选项2.使用MySQL CHAR_LENGTH查找具有多字节字符的行？ SELECT name FROM clients WHERE LENGTH(name) != CHAR_LENGTH(name); 这够了吗？目前，我已将我的Mysql客户端编码切换为UTF-8。