Tokenizer 分割文本;Embedding 进一步编码 Token 间语义关系
Tokenizer 是独立词汇映射;Embedding 含可训练参数并在训练中优化
Tokenizer 仅压缩文本;Embedding 负责恢复为稠密向量
两者共同决定词表且可随意替换
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题