string-encoding

String Encoding Skill — 字符编码与 Unicode

何时使用

• 处理多语言文本（中文 / 日文 / 韩文 / 阿拉伯文 / emoji）
• 字符串长度计算结果"不对"（emoji 算 2、中文算 3 等）
• 跨系统传输文本出现 ? / 乱码 / ' '（mojibake）
• CSV / Excel 中文乱码
• URL / Base64 / HTML 编码场景
• 截断字符串导致显示半个字符

一、概念分层（必须先理清）

[ Bytes ]                     字节流（0-255 整数）
   ↑
[ Encoding ]                   UTF-8 / UTF-16 / GBK / Shift-JIS
   ↑
[ Code Points ]                Unicode 整数（U+0000 到 U+10FFFF）
   ↑
[ Grapheme Clusters ]          用户感知的"字符"（如 emoji ZWJ 组合）
   ↑
[ User-Perceived Character ]   "我看见的一个字"

例子：emoji 👨‍👩‍👧 (家庭)

Bytes (UTF-8):    11 字节  F0 9F 91 A8 E2 80 8D F0 9F 91 A9 E2 80 8D F0 9F 91 A7
Code Points:      5 个      U+1F468 U+200D U+1F469 U+200D U+1F467
                            (👨)    (ZWJ)   (👩)    (ZWJ)   (👧)
Grapheme Cluster: 1 个      👨‍👩‍👧

JS '👨‍👩‍👧'.length === 8（UTF-16 code unit 数）—— 对开发者基本无意义。用户看到的是 1 个字符。

二、UTF-8（必学）

U+0000-U+007F     1 字节   ASCII 兼容
U+0080-U+07FF     2 字节   110xxxxx 10xxxxxx
U+0800-U+FFFF     3 字节   1110xxxx 10xxxxxx 10xxxxxx
U+10000-U+10FFFF  4 字节   11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

特性：

• ✅ ASCII 兼容（旧文本不动）
• ✅ 自同步（任意字节看高位 bit 知道是首字节还是续字节）
• ✅ 无字节序问题
• ✅ 网络 / 文件存储事实标准

永远默认 UTF-8。其他编码仅出于历史 / 第三方系统兼容。

三、UTF-16（JS / Java / Windows 内部）

U+0000-U+FFFF       2 字节（BMP）
U+10000-U+10FFFF    4 字节（surrogate pair）

Surrogate pair：超出 BMP 的字符用两个 16-bit code unit 表示：

高代理：D800-DBFF
低代理：DC00-DFFF

emoji / 罕见汉字 / 古文字都在 BMP 外 → JS .length 算成 2：

'😀'.length         // 2  (UTF-16 code units)
[...'😀'].length    // 1  (code points)

四、各语言字符串模型

语言	内部编码	len(s) 含义
JS / Java / C#	UTF-16	code units 数（emoji 算 2）
Go	UTF-8 (string 是 byte 序列)	字节数（len("中") == 3）
Python 3	抽象 / 内部 PEP 393	code points 数
Rust	UTF-8 (str 是 byte)	字节数
Swift	UTF-8 / 抽象	grapheme clusters 数 ✨
Ruby	encoding-aware string	取决于编码

Swift 是唯一字符串 API 默认 grapheme："👨‍👩‍👧".count == 1。其他语言要库支持。