#Tokenizer

从 BPE 到 Unigram：一文讲清主流分词器

系统梳理 BPE、Byte-level BPE、WordPiece 与 Unigram LM 的核心思想、训练流程、推理差异、典型场景与工程优化。