中文编码问题

由于许多环境使用GBK（Microsoft CP936，非GB13000.1）作为主要的汉字编码环境，并且GBK、GB18030在编码实现上的奇葩之处，造成GBK <-> UTF-8转换存在许多问题。

这里主要讨论以下几种：

1. 哪些字符造成编码识别错误。
2. 由于编码识别错误造成的无损转换：只是显示错误，不造成内容丢失。
3. 由于编码识别错误造成的有损转换：显示错误，且内容丢失。

环境说明

这里主要讨论Linux环境下的行为，Mac OS X和BSD的行为与Linux行为基本相同。

使用glibc的环境下需要注意：

• 2.3.4 <= glibc <= 2.14 或 glibc >= 2.16 GBK、GB18030能够正常处理汉字的转码。
• 2.14 <= glibc <= 2.16 GBK能够正常处理，GB18030可能出现无法转换的问题。

会造成编码识别错误的字符

以下GBK字符会与UTF-8中2字节编码的字符110xxxxx 10yyyyyy产生交集，可能造成字符集转换逻辑（如enca）将其误判为UTF-8进行处理。其中相当一部分字符无法进行 UTF-8 -> GBK 转换。

GBK与UTF-8编码字符重复造成显示错误（无损转换）

GBK编码中的某些汉字（157个），与某些特殊字符的UTF-8编码重复。当这些字符被作为UTF-8字符处理时将不会造成任何编码错误提示，直接被转换成错误的内容。

NOTE: 这类转换会造成显示错误，但转换过程是可逆的。

GBK与UTF-8有损转换

由于很多程序会对文本内容的不可显示字符（Non-printable characters）进行处理，这部分内容通常会丢失。 例：MySQL的做法是将无法转换的字符替换为“?”（半角问号）