- 正确答案：Tokenizer（分词器）是自然语言处理中将原始文本转换为模型可理解的数值化 token 序列的核心组件。其完整过程通常包含五个关键阶段：1）文本预处理（如 Unicode 规范化、空白处理）；2）按规则切分（如空格、标点分割，或基于字节对编码 BPE / WordPiece / SentencePiece 的子词切分）；3）映射到词汇表 ID（vocabulary lookup）；4）添加特殊 token（如 [CLS]、[SEP]、、、[PAD]）；5）生成注意力掩码（attention_mask）和位置索引等辅助张量。最终输出为 input_ids（整数 token ID 序列）、attention_mask、token_type_ids（若适用）等张量。 - 解答思路：理解 tokenizer 不能只停留在“把句子切开”这一表层，而应从 NLP 模型输入约束出发逆向推导：为什么需要 tokenizer？因为 Transformer 等模型无法直接处理字符串，必须将离散符号映射为稠密向量；而字符级太细粒度、词级又面临 OOV（未登录词）问题，因此现代 tokenizer 采用子词（subword）策略，在泛化性与表示效率间取得平衡。整个流程需严格可逆（decode 可还原近似原文）、确定性（相同输入必得相同 output）、高效（支持 batch、流式、长文本），且与预训练时完全一致——这是部署推理一致性的前提。 - 深度知识讲解： 1）底层数据结构与实现原理： Tokenizer 的核心是两个不可变映射结构： - vocab：dict[str, int]，即词汇表（vocabulary），键为 subword token（如 "▁model"、"ing"、"t"），值为其唯一整数 ID。大小通常为 30k–100k（如 BERT-base 为 30522，LLaMA-2 为 32000）。该字典在初始化时固化，不可在线更新。 - merges（仅 BPE 类）：list[tuple[str, str]]，记录所有合并操作的历史（如 ("l", "o") → "lo"），用于解码时逆向拆分；实际推理中不参与前向，但影响 encode 逻辑。 2）主流子词算法对比与原理： • Byte-Pair Encoding（BPE）——GPT-2 / RoBERTa 使用： - 原理：统计相邻字节对频次，迭代合并最高频对，生成子词单元。 - 关键细节：预处理将单词加前缀空格（用 Unicode U+2581 ▁ 表示），使 "model" → "▁model"，"playing" → "▁play ing"，避免"play"被错误切分为"pla y"；所有字符先转 UTF-8 字节序列，再做 BPE，天然支持任意 Unicode（包括中文、emoji）。 - 编码过程（伪代码）： ``` def encode_bpe(word): word = '▁' + word # 添加前缀 bytes_word = word.encode('utf-8') # e.g., b'\xe2\x96\x81m o d e l' tokens = list(bytes_word) # 初始为单字节 while len(tokens) > 1: # 找当前 tokens 中相邻 pair 出现在 merges 中的最高频合并项 best_pair = None for i in range(len(tokens)-1): pair = (tokens[i], tokens[i+1]) if pair in merges and (best_pair is None or merges.index(pair) < merges.index(best_pair)): best_pair = pair if best_pair is None: break # 合并该 pair 为新 token（整数 ID 或 bytes 片段） new_tokens = [] i = 0 while i < len(tokens): if i < len(tokens)-1 and (tokens[i], tokens[i+1]) == best_pair: new_tokens.append(merge_to_id(best_pair)) # 映射为 vocab ID i += 2 else: new_tokens.append(tokens[i]) i += 1 tokens = new_tokens return tokens ``` • WordPiece —— BERT 使用： - 原理：不同于 BPE 的贪心合并，WordPiece 采用概率建模，最大化训练语料的联合概率，通过 Expectation-Maximization（EM）算法迭代优化词汇表。切分时采用最大匹配（maximal matching / greedy longest-match）：从左到右，每次取能匹配 vocab 中最长的子词。 - 示例："unhappy" → ["un", "##happy"]（注意 "##" 是 BERT 标记子词接续的约定），其中 "##happy" 表示该 token 非词首。 - 关键代码逻辑（简化）： ``` def tokenize_wordpiece(word): output = [] start = 0 while start < len(word): end = len(word) match = None while start < end: subword = word[start:end] if start == 0: if subword in vocab: # 词首 match = subword break else: subword_with_prefix = "##" + subword # 非词首加 ## 前缀 if subword_with_prefix in vocab: match = subword_with_prefix break end -= 1 if match is None: output.append("[UNK]") # 未登录词 start += 1 else: output.append(match) start = end return output ``` • Unigram Language Model（ULM）/ SentencePiece —— T5 / ALBERT / LLaMA 使用： - 原理：将分词建模为隐变量序列的概率优化问题，目标是最大化语料 log-likelihood，使用 Viterbi 算法解码最优分词路径，并通过采样（subword regularization）增强鲁棒性。 - 优势：无需预定义空格边界，天然支持无空格语言（如日文、中文）；支持多语言统一 vocab；可控制分词粒度（通过超参 `--vocab_size` 和 `--character_coverage`）。 3）预处理标准化（Critical！常被忽略但决定一致性）： - Unicode normalization：必须执行 NFD（Normalization Form Decomposed）或 NFC，解决形同音不同（如 é vs e + ´）、全角/半角标点（， vs ,）、零宽空格等。Hugging Face Tokenizers 默认使用 NFD。 - 控制字符清理：移除 \x00-\x08, \x0b-\x0c, \x0e-\x1f, \x7f（C0/C1 control chars），保留 \t\n\r（作为有意义空白）。 - 空白规范化：将连续空白（\s+）压缩为单个空格，但保留行首/行尾空格语义（SentencePiece 会显式编码 ▁ 表示空格位置）。 4）特殊 token 的作用与实现： - [CLS]：Classification token，BERT 中用于池化整个句向量；其位置嵌入固定为 0，attention mask 全 1。 - [SEP]：Separator，区分句子对（如 QA 中 question & context），也用于单句结尾。 - [PAD]：填充符，ID 通常为 0，对应 attention_mask=0，确保 batch 内长度对齐；padding_side 可设为 "left" 或 "right"（decoder 模型常用 left padding）。 - /：LLaMA 系列使用，其中 ~~是 BOS（beginning of sequence），~~ 是 EOS（end of sequence），训练时 label 会 shift-left，使模型预测下一个 token。 5）实际工程实现要点（以 Hugging Face Tokenizer 为例）： - 不是 Python 字典查表，而是基于 Rust 实现的 mmap'd trie（前缀树）+ 哈希表混合结构，支持微秒级 lookup； - 支持“fast tokenizer”（基于 tokenizers 库）和 “slow tokenizer”（纯 Python 实现，用于调试）； - encode() 方法内部调用 C++/Rust 引擎，自动处理 truncation（截断）、padding（填充）、return_tensors（转 torch/tensorflow 张量）； - vocab.json 和 merges.txt（BPE）或 sentencepiece.bpe.model（SPM）是 tokenizer 的“模型权重”，必须与预训练 checkpoint 严格匹配。 - 扩展知识： - 中文 tokenizer 特殊性：因缺乏天然空格，常用方式有：① 全字粒度（BERT-wwm-chinese，每个汉字一个 token）；② 拼音+字形融合（ZEN）；③ 基于词典的分词 + subword fallback（如 Jieba + WordPiece）；④ 纯无监督 subword（如 LLaMA-Chinese 使用的 sentencepiece，效果更鲁棒）。 - 安全风险：tokenizer 是攻击面之一，例如 “A” + "\u202E"（Unicode RTL 控制符）可导致视觉欺骗；恶意构造的 UTF-8 多字节序列可能触发解析漏洞（需严格校验）。 - 未来方向：Dynamic Tokenization（根据上下文自适应调整切分）、Token Compression（如 FlashAttention-2 中的 token merging）、Multimodal Tokenizer（将图像 patch、音频帧统一映射为 token）。 - 伪代码（端到端 Hugging Face-style encode 流程）： ``` def full_tokenize(text: str, tokenizer, max_length=512, truncation=True, padding="max_length"): # Step 1: Preprocessing text = unicodedata.normalize("NFD", text) text = re.sub(r"[\x00-\x08\x0b\x0c\x0e-\x1f\x7f]", "", text) # remove control chars text = re.sub(r"\s+", " ", text).strip() # Step 2: Subword tokenization (e.g., WordPiece) words = text.split() tokens = [] for word in words: if word in tokenizer.vocab: tokens.append(word) else: subwords = tokenizer._wordpiece_tokenizer(word) # greedy longest match tokens.extend(subwords) # Step 3: Add special tokens tokens = ["[CLS]"] + tokens + ["[SEP]"] # Step 4: Truncate if truncation and len(tokens) > max_length - 2: tokens = tokens[:max_length-2] tokens = ["[CLS]"] + tokens + ["[SEP]"] # Step 5: Convert to IDs & pad input_ids = [tokenizer.vocab.get(t, tokenizer.vocab["[UNK]"]) for t in tokens] attention_mask = [1] * len(input_ids) if padding == "max_length": pad_len = max_length - len(input_ids) input_ids += [tokenizer.vocab["[PAD]"]] * pad_len attention_mask += [0] * pad_len return { "input_ids": input_ids, "attention_mask": attention_mask, "token_type_ids": [0]*len(input_ids) # for sentence-pair tasks } ```

阶跃大模型算法实习一面凉经

全站热榜

创作者周榜