如何摆脱ruby中的非ascii字符
我有一个Ruby CGI（不是rails），它从Web表单中select照片和标题。 我的用户非常热衷于使用智能报价和连字，他们正在从其他来源粘贴。 我的networking应用程序不能很好地处理这些非ASCII字符，是否有一个快速的Rubystring操作例程，可以摆脱非ASCII字符？
使用String＃编码
从Ruby 1.9开始，在string编码之间进行转换的官方方式是使用String＃encode 。
要简单地删除非ASCII字符，你可以这样做：
some_ascii = "abc" some_unicode = "áëëçüñżλφθΩ𠜎😸" more_ascii = "123ABC" invalid_byte = "\255" non_ascii_string = [some_ascii, some_unicode, more_ascii, invalid_byte].join # See String#encode documentation encoding_options = { :invalid => :replace, # Replace invalid byte sequences :undef => :replace, # Replace anything not defined in ASCII :replace => '', # Use a blank for those replacements :universal_newline => true # Always break lines with \n } ascii = non_ascii_string.encode(Encoding.find('ASCII'), encoding_options) puts ascii.inspect # => "abce123ABC" 请注意，结果中的前5个字符是“abce1” – “á”被丢弃，一个“ë”被丢弃，而另一个“ë”似乎已经被转换为“e”。
这样做的原因是有时有多种方式来表示Unicode中相同的书写字符。 “á”是一个Unicode码点。 第一个“ë”也是。 当Ruby在这个转换过程中看到这些信息时，就会丢弃它们。
但第二个“ë”是两个代码点：一个简单的“e”，就像你在ASCIIstring中find的，然后是一个“组合变音符号”（ 这个符号），意思是“在前一个字符上放置一个变音符号”。 在Unicodestring中，它们被解释为单个“字形”或可见字符。 当转换这个时，Ruby保持纯粹的ASCII“e”并且丢弃合并标记。
如果您决定要提供一些特定的replace值，可以这样做：
REPLACEMENTS = { 'á' => "a", 'ë' => 'e', } encoding_options = { :invalid => :replace, # Replace invalid byte sequences :replace => "", # Use a blank for those replacements :universal_newline => true, # Always break lines with \n # For any character that isn't defined in ASCII, run this # code to find out how to replace it :fallback => lambda { |char| # If no replacement is specified, use an empty string REPLACEMENTS.fetch(char, "") }, } ascii = non_ascii_string.encode(Encoding.find('ASCII'), encoding_options) puts ascii.inspect #=> "abcaee123ABC"
更新
有些人报告了:universal_newline选项的问题。 我间断地看到了这个，但一直没有find原因。
当它发生时，我看到Encoding::ConverterNotFoundError: code converter not found (universal_newline) 。 但是，在一些RVM更新之后，我刚才在下面的Ruby版本下运行了上面的脚本，没有任何问题：
- ruby1.9.2-P290
- ruby1.9.3-P125
- ruby1.9.3-P194
- ruby1.9.3-P362
- ruby2.0.0 preview2
- ruby头（截至2012年12月31日）
鉴于此，它似乎不是一个被弃用的function，甚至在Ruby中的错误。 如果有人知道原因，请评论。
class String def remove_non_ascii(replacement="") self.gsub(/[\u0080-\u00ff]/, replacement) end end
这是我使用Iconv的build议。
class String def remove_non_ascii require 'iconv' Iconv.conv('ASCII//IGNORE', 'UTF8', self) end end
从@masakielastic的一些帮助我已经解决了这个问题，为了我个人的目的使用#chars方法。
诀窍是把每个字符分解成独立的块， 这样ruby可以失败 。
当Ruby遇到二进制代码时，它需要失败。如果你不允许ruby继续前进，并且遇到了这个问题，那么就会遇到困难。 所以我使用String＃chars方法将给定的string分解成一个字符数组。 然后，我把这个代码传递给一个消毒方法，允许代码在string中有“microfailures”（我的货币）。
所以，给一个“脏”的string，让我们说你使用File#read图片。 （我的情况）
dirty = File.open(filepath).read clean_chars = dirty.chars.select do |c| begin num_or_letter?(c) rescue ArgumentError next end end clean = clean_chars.join("") def num_or_letter?(char) if char =~ /[a-zA-Z0-9]/ true elsif char =~ Regexp.union(" ", ".", "?", "-", "+", "/", ",", "(", ")") true end end
class String def strip_control_characters self.chars.reject { |char| char.ascii_only? and (char.ord < 32 or char.ord == 127) }.join end end
快速GS揭示了这个讨论 ，提出了以下方法：
class String def remove_nonascii(replacement) n=self.split("") self.slice!(0..self.size) n.each { |b| if b[0].to_i< 33 || b[0].to_i>127 then self.concat(replacement) else self.concat(b) end } self.to_s end end
不，除了基本的字符之外，并没有删除所有的字符（这是上面推荐的）。 最好的办法是正确处理这些名字（因为今天的大多数文件系统在Unicode名称上没有任何问题）。 如果你的用户粘贴连字，他们肯定也会想把他们弄回来。 如果文件系统是你的问题，把它抽象出来，并设置文件名为一些md5（这也使您可以很容易地分片上传到桶扫描非常快，因为他们从来没有太多的条目）。
