示例无效的utf8string?
我正在testing我的一些代码如何处理错误的数据,而且我需要几个无效的UTF-8字节序列。
你可以张贴一些,理想的情况下,解释为什么他们不好/你从哪里得到?
看看Markus Kuhn的UTF-8解码器function和压力testing文件
你会发现许多UTF-8违规的例子,包括孤独的开始字节,缺失的连续字节,超长的序列等。
在PHP中:
$examples = array( 'Valid ASCII' => "a", 'Valid 2 Octet Sequence' => "\xc3\xb1", 'Invalid 2 Octet Sequence' => "\xc3\x28", 'Invalid Sequence Identifier' => "\xa0\xa1", 'Valid 3 Octet Sequence' => "\xe2\x82\xa1", 'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1", 'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28", 'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc", 'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc", 'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc", 'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28", 'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1", 'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1", );
从http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805
模糊testing – 生成一个八位字节的随机序列。 很有可能你会比以后得到一些非法序列。
格式错误的字节序列模式的想法可以从格式良好的字节序列表中获得。 请参阅Unicode标准6.2中的“ 表3-7。格式良好的UTF-8字节序列 ”。
Code Points First Byte Second Byte Third Byte Fourth Byte U+0000 - U+007F 00 - 7F U+0080 - U+07FF C2 - DF 80 - BF U+0800 - U+0FFF E0 A0 - BF 80 - BF U+1000 - U+CFFF E1 - EC 80 - BF 80 - BF U+D000 - U+D7FF ED 80 - 9F 80 - BF U+E000 - U+FFFF EE - EF 80 - BF 80 - BF U+10000 - U+3FFFF F0 90 - BF 80 - BF 80 - BF U+40000 - U+FFFFF F1 - F3 80 - BF 80 - BF 80 - BF U+100000 - U+10FFFF F4 80 - 8F 80 - BF 80 - BF
这里是从U + 24B62生成的例子。 我用他们的错误报告: 错误#65045 mb_convert_encoding打破格式良好的字符
// U+24B62: "\xF0\xA4\xAD\xA2" "\xF0\xA4\xAD" ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2" "\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"
尾部字节范围([0x80,0xBF])的过度简化可以在各种库中看到。
// U+0800 - U+0FFF \xE0\x80\x80 // U+D000 - U+D7FF \xED\xBF\xBF // U+10000 - U+3FFFF \xF0\x80\x80\x80 // U+100000 - U+10FFFF \xF4\xBF\xBF\xBF
,̆是特别邪恶的。 我在Ubuntu上看到它的结合。
逗号杆菌