首页 > 试题广场 >

关于 Tokenizer 与 Embedding 的功能与关

[单选题]
关于 Tokenizer 与 Embedding 的功能与关系,以下哪个描述最为精确?( )
  • Tokenizer 分割文本;Embedding 进一步编码 Token 间语义关系
  • Tokenizer 是独立词汇映射;Embedding 含可训练参数并在训练中优化
  • Tokenizer 仅压缩文本;Embedding 负责恢复为稠密向量
  • 两者共同决定词表且可随意替换

这道题你会答吗?花几分钟告诉大家答案吧!