- 正确答案：Tokenizer（分词器）是自然语言处理中将原始文本转换为模型可理解的离散符号序列（即token IDs）的核心组件。其核心原理包含三个关键阶段：预处理（如小写化、空白标准化、标点分离）、分词策略（如基于规则、子词切分、字节对编码BPE、WordPiece、SentencePiece等），以及查表映射（将token字符串通过词表vocab映射为整数ID）。词表（vocabulary）是tokenizer的静态核心，是一个从token字符串到唯一整数ID的双向映射字典（通常为哈希表结构），其生成过程依赖于训练语料的统计特征与切分算法的迭代合并逻辑，而非人工枚举。 - 解答思路：要系统理解tokenizer原理与词表生成，需从“输入→处理→输出”数据流切入：首先明确原始文本为何不能直接输入模型（因模型仅接受离散ID序列，且需处理OOV问题）；其次分析不同分词范式的演进动因（如空格分词无法解决稀疏性与形态变化，故转向子词切分）；然后聚焦主流算法（BPE/WordPiece/SentencePiece）的共性机制——均以字符级单元为起点，通过贪心合并高频相邻子串构建词表；最后说明词表生成是离线、确定性、有监督的统计学习过程，其质量直接影响下游任务的泛化能力与计算效率。 - 深度知识讲解： 1. 底层数据结构支撑： - 词表本质是一个紧凑哈希映射（Python中常为dict，C++中为unordered_map），支持O(1)平均时间复杂度的字符串→ID查找；反向映射（ID→string）通常用list实现（索引即ID），空间连续、缓存友好。 - 分词过程中的中间状态（如候选子词、合并优先队列）依赖堆（最大/最小堆）或排序数组维护频率优先级；BPE中需高效支持字符串拼接与频次更新，常借助Trie树或双哈希表（前缀+后缀计数）加速邻接对检索。 2. BPE（Byte Pair Encoding）词表生成详解（以GPT-2为例）： - 初始化：将所有训练文本按Unicode码点拆分为字节序列（UTF-8编码下，中文字符被拆为3字节），每个字节（或原始单词+特殊符号）作为初始token，构建初始词表（含<|endoftext|>等控制符）。 - 统计频次：扫描全部文本，统计所有相邻字节对（byte pair）出现频次，存入最大堆（按频次排序）。 - 迭代合并：弹出频次最高字节对（如'low'+'er'→'lower'），将其加入词表并分配新ID；遍历全文本，将所有该字节对替换为新token；更新所有受影响的相邻对频次，重新入堆。 - 终止条件：达到预设词表大小（如50257）或无更高频对可合并。 - 关键特性：合并操作具有单调性（高频先合并），生成的词表天然具备子词层级结构（如'run'<'running'<'runner'），且对未登录词（OOV）具备泛化能力（'unhappiness'可拆为'un'+'happy'+'ness'）。 3. WordPiece（BERT采用）与BPE的区别： - 合并准则不同：BPE选择「绝对频次最高」的pair；WordPiece选择使语言模型概率提升最大的pair（即argmax log P(new_token)），等价于最大化似然下的联合概率P(a,b)/[P(a)P(b)]，需动态评估LM目标函数，计算开销更大但更适配下游MLM任务。 - 实现上，WordPiece使用贪心前向最长匹配（Maximum Matching）分词，而BPE使用后向迭代分解（从完整词递归拆解至子词）。 4. SentencePiece（无监督、支持任意文本）创新点： - 彻底脱离预分词假设：直接在原始字节流（raw bytes）上运行BPE或Unigram LM，无需依赖空格或语言特定分词器（如jieba），统一处理中英文混排、代码、URL等。 - Unigram LM词表生成：初始化超大词表（如1M），通过EM算法迭代优化子词概率分布，每次剪枝低概率token，并重估剩余token概率，最终保留top-K高置信子词。相比BPE，Unigram对切分边界更鲁棒（同一词可有多种合法切分，取概率积最大者）。 5. 工程细节与陷阱： - 特殊token处理：、、、必须硬编码进词表，且的ID需在查表失败时兜底返回，其实现常在哈希表get操作中嵌入默认值逻辑。 - Unicode与字节对齐：UTF-8编码下，中文字符占3字节，若直接应用BPE会割裂语义；SentencePiece通过预处理将Unicode字符映射为独立符号（如▁表示词首空格，U+XXXX转义），再进行子词学习，避免字节级碎片。 - 词表版本兼容性：模型权重与词表ID严格绑定，微调时若修改词表（如增删token），必须同步调整embedding层维度并重映射原有ID，否则引发索引越界或语义错位。 - 伪代码（BPE词表生成核心逻辑）： ``` function build_bpe_vocab(corpus: List[str], vocab_size: int) -> Dict[str, int]: # Step 1: 初始化 —— 编码为字节对，并统计所有单字节/单词 vocab = {} merges = [] # 将corpus中每个词按UTF-8字节拆分，添加到初始词表 for word in corpus: bytes_list = list(word.encode('utf-8')) for b in bytes_list: token = bytes([b]).decode('utf-8', errors='replace') vocab[token] = len(vocab) # 添加控制符 for special in ['<|endoftext|>', '<|padding|>']: vocab[special] = len(vocab) # Step 2: 构建初始频次统计（仅考虑训练集分词后的词形） word_freqs = defaultdict(int) for word in corpus: word_freqs[tuple(word.split())] += 1 # 粗粒度示例，实际需预处理 # Step 3: 主循环 —— 合并最高频相邻pair while len(vocab) < vocab_size: pairs = defaultdict(int) for word, freq in word_freqs.items(): for i in range(len(word)-1): pair = (word[i], word[i+1]) pairs[pair] += freq if not pairs: break best_pair = max(pairs.keys(), key=lambda p: pairs[p]) new_token = best_pair[0] + best_pair[1] if new_token in vocab: continue vocab[new_token] = len(vocab) merges.append(best_pair) # 更新word_freqs：将所有含best_pair的word替换为new_token new_word_freqs = defaultdict(int) for word, freq in word_freqs.items(): new_word = merge_word(word, best_pair, new_token) new_word_freqs[new_word] += freq word_freqs = new_word_freqs return vocab function merge_word(word: Tuple[str], pair: Tuple[str], new_token: str) -> Tuple[str]: i = 0 new_word = [] while i < len(word): if i < len(word)-1 and word[i]==pair[0] and word[i+1]==pair[1]: new_word.append(new_token) i += 2 else: new_word.append(word[i]) i += 1 return tuple(new_word) ```

阿里多模态算法一面-日常实习

全站热榜

创作者周榜