如何在Java中将UTF-8转换为US-Ascii
我们有一个系统,客户,主要是欧洲的input文本(UTF-8),必须分发到不同的系统,其中大部分接受UTF-8,但现在我们还必须将文本分发到只接受美国的美国系统–Ascii 7位
所以现在我们需要把所有的欧洲人物翻译成最近的美国阿西西。 有没有任何Java库来帮助完成这个任务?
现在我们刚刚开始添加一个翻译表,其中Å(瑞典语AA) – > A等,我们没有find任何匹配input的字符,我们会logging下来,并用一个问号并尝试修复下一个版本,但似乎效率非常低,而其他人之前一定做过类似的事情。
uni2ascii程序是用C语言编写的,但是你可以用一点努力把它转换成Java。 它包含一个大表的近似值(隐式地,在switch-case语句中)。
请注意,有没有普遍接受的近似值:德国人希望你用AE代替Ä,芬兰人和瑞典人更喜欢A.你的Å的例子也不是很明显:瑞典人可能会放弃戒指并使用A,但丹麦人和挪威人可能更喜欢历史上更正确的AA。
您可以使用以下(来自此核心Java技术技术提示中的NFD示例)执行此操作 :
public static String decompose(String s) { return java.text.Normalizer.normalize(s, java.text.Normalizer.Form.NFD).replaceAll("\\p{InCombiningDiacriticalMarks}+",""); }
而不是创build自己的表格,而是可以将文本转换为标准化表格D,其中字符表示为基本字符加上区分符号(例如,“á”将被replace为“a”,后面跟着组合的尖锐重音)。 然后你可以去掉所有不是ASCII字母的东西。
这些表格依然存在,但是现在是来自Unicode标准的表格。
你也可以尝试NFKD,而不是NFD,以抓住更多的案例。
参考文献:
为了回应Joe Liversedge给出的答案 ,引用的Lucene ISOLatin1AccentFilter 不再存在 :
它已被org.apache.lucene.analysis.ASCIIFoldingFilter取代:
该类将不在前127个ASCII字符(“基本拉丁语”Unicode块)中的字母,数字和符号Unicode字符转换为其ASCII等效字符(如果存在)。 来自以下Unicode块的字符被转换; 但是,只有那些合理的ASCII替代字符才会被转换。
供参考 –
这在search应用程序中通常很有用。 请参阅相应的Lucene ISOLatin1AccentFilter实现。 这不是真的被devise成插入一个随机的本地实现,但伎俩。
有一些内置的function来做到这一点。 涉及的主要类是CharsetEncoder
,它是nio
包的一部分。 一个更简单的方法是可以发送到ByteArrayOutputStream
String.getBytes(Charset)
。
新string(“½”.getBytes(“US-ASCII”))
这是我使用的:
<?php function remove_accent($str) { # http://www.php.net/manual/en/function.preg-replace.php#96586 $a = array('À', 'Á', 'Â', 'Ã', 'Ä', 'Å', 'Æ', 'Ç', 'È', 'É', 'Ê', 'Ë', 'Ì', 'Í', 'Î', 'Ï', 'Ð', 'Ñ', 'Ò', 'Ó', 'Ô', 'Õ', 'Ö', 'Ø', 'Ù', 'Ú', 'Û', 'Ü', 'Ý', 'ß', 'à', 'á', 'â', 'ã', 'ä', 'å', 'æ', 'ç', 'è', 'é', 'ê', 'ë', 'ì', 'í', 'î', 'ï', 'ñ', 'ò', 'ó', 'ô', 'õ', 'ö', 'ø', 'ù', 'ú', 'û', 'ü', 'ý', 'ÿ', 'Ā', 'ā', 'Ă', 'ă', 'Ą', 'ą', 'Ć', 'ć', 'Ĉ', 'ĉ', 'Ċ', 'ċ', 'Č', 'č', 'Ď', 'ď', 'Đ', 'đ', 'Ē', 'ē', 'Ĕ', 'ĕ', 'Ė', 'ė', 'Ę', 'ę', 'Ě', 'ě', 'Ĝ', 'ĝ', 'Ğ', 'ğ', 'Ġ', 'ġ', 'Ģ', 'ģ', 'Ĥ', 'ĥ', 'Ħ', 'ħ', 'Ĩ', 'ĩ', 'Ī', 'ī', 'Ĭ', 'ĭ', 'Į', 'į', 'İ', 'ı', 'IJ', 'ij', 'Ĵ', 'ĵ', 'Ķ', 'ķ', 'Ĺ', 'ĺ', 'Ļ', 'ļ', 'Ľ', 'ľ', 'Ŀ', 'ŀ', 'Ł', 'ł', 'Ń', 'ń', 'Ņ', 'ņ', 'Ň', 'ň', 'ʼn', 'Ō', 'ō', 'Ŏ', 'ŏ', 'Ő', 'ő', 'Œ', 'œ', 'Ŕ', 'ŕ', 'Ŗ', 'ŗ', 'Ř', 'ř', 'Ś', 'ś', 'Ŝ', 'ŝ', 'Ş', 'ş', 'Š', 'š', 'Ţ', 'ţ', 'Ť', 'ť', 'Ŧ', 'ŧ', 'Ũ', 'ũ', 'Ū', 'ū', 'Ŭ', 'ŭ', 'Ů', 'ů', 'Ű', 'ű', 'Ų', 'ų', 'Ŵ', 'ŵ', 'Ŷ', 'ŷ', 'Ÿ', 'Ź', 'ź', 'Ż', 'ż', 'Ž', 'ž', 'ſ', 'ƒ', 'Ơ', 'ơ', 'Ư', 'ư', 'Ǎ', 'ǎ', 'Ǐ', 'ǐ', 'Ǒ', 'ǒ', 'Ǔ', 'ǔ', 'Ǖ', 'ǖ', 'Ǘ', 'ǘ', 'Ǚ', 'ǚ', 'Ǜ', 'ǜ', 'Ǻ', 'ǻ', 'Ǽ', 'ǽ', 'Ǿ', 'ǿ'); $b = array('A', 'A', 'A', 'A', 'A', 'A', 'AE', 'C', 'E', 'E', 'E', 'E', 'I', 'I', 'I', 'I', 'D', 'N', 'O', 'O', 'O', 'O', 'O', 'O', 'U', 'U', 'U', 'U', 'Y', 's', 'a', 'a', 'a', 'a', 'a', 'a', 'ae', 'c', 'e', 'e', 'e', 'e', 'i', 'i', 'i', 'i', 'n', 'o', 'o', 'o', 'o', 'o', 'o', 'u', 'u', 'u', 'u', 'y', 'y', 'A', 'a', 'A', 'a', 'A', 'a', 'C', 'c', 'C', 'c', 'C', 'c', 'C', 'c', 'D', 'd', 'D', 'd', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'E', 'e', 'G', 'g', 'G', 'g', 'G', 'g', 'G', 'g', 'H', 'h', 'H', 'h', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'I', 'i', 'IJ', 'ij', 'J', 'j', 'K', 'k', 'L', 'l', 'L', 'l', 'L', 'l', 'L', 'l', 'l', 'l', 'N', 'n', 'N', 'n', 'N', 'n', 'n', 'O', 'o', 'O', 'o', 'O', 'o', 'OE', 'oe', 'R', 'r', 'R', 'r', 'R', 'r', 'S', 's', 'S', 's', 'S', 's', 'S', 's', 'T', 't', 'T', 't', 'T', 't', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'W', 'w', 'Y', 'y', 'Y', 'Z', 'z', 'Z', 'z', 'Z', 'z', 's', 'f', 'O', 'o', 'U', 'u', 'A', 'a', 'I', 'i', 'O', 'o', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'U', 'u', 'A', 'a', 'AE', 'ae', 'O', 'o'); return str_replace($a, $b, $str); } function SEOify($i){ # http://php.ca/manual/en/function.preg-replace.php#90316 $o = $i; $o = html_entity_decode($o,ENT_COMPAT,'UTF-8'); $o = remove_accent(trim($o)); $patterns = array( "([\40])" , "([^a-zA-Z0-9_-])", "(-{2,})" ); $replacers = array("-", "", "-"); $o = preg_replace($patterns, $replacers, $o); return $o; } ?>
这似乎是工作:
private synchronized static String utftoasci(String s){ final StringBuffer sb = new StringBuffer( s.length() * 2 ); final StringCharacterIterator iterator = new StringCharacterIterator( s ); char ch = iterator.current(); while( ch != StringCharacterIterator.DONE ){ if(Character.getNumericValue(ch)>0){ sb.append( ch ); }else{ boolean f=false; if(Character.toString(ch).equals("Ê")){sb.append("E");f=true;} if(Character.toString(ch).equals("È")){sb.append("E");f=true;} if(Character.toString(ch).equals("ë")){sb.append("e");f=true;} if(Character.toString(ch).equals("é")){sb.append("e");f=true;} if(Character.toString(ch).equals("è")){sb.append("e");f=true;} if(Character.toString(ch).equals("è")){sb.append("e");f=true;} if(Character.toString(ch).equals("Â")){sb.append("A");f=true;} if(Character.toString(ch).equals("ä")){sb.append("a");f=true;} if(Character.toString(ch).equals("ß")){sb.append("ss");f=true;} if(Character.toString(ch).equals("Ç")){sb.append("C");f=true;} if(Character.toString(ch).equals("Ö")){sb.append("O");f=true;} if(Character.toString(ch).equals("º")){sb.append("");f=true;} if(Character.toString(ch).equals("Ó")){sb.append("O");f=true;} if(Character.toString(ch).equals("ª")){sb.append("");f=true;} if(Character.toString(ch).equals("º")){sb.append("");f=true;} if(Character.toString(ch).equals("Ñ")){sb.append("N");f=true;} if(Character.toString(ch).equals("É")){sb.append("E");f=true;} if(Character.toString(ch).equals("Ä")){sb.append("A");f=true;} if(Character.toString(ch).equals("Å")){sb.append("A");f=true;} if(Character.toString(ch).equals("ä")){sb.append("a");f=true;} if(Character.toString(ch).equals("Ü")){sb.append("U");f=true;} if(Character.toString(ch).equals("ö")){sb.append("o");f=true;} if(Character.toString(ch).equals("ü")){sb.append("u");f=true;} if(Character.toString(ch).equals("á")){sb.append("a");f=true;} if(Character.toString(ch).equals("Ó")){sb.append("O");f=true;} if(Character.toString(ch).equals("É")){sb.append("E");f=true;} if(!f){ sb.append("?"); } } ch = iterator.next(); } return sb.toString(); }