首页 > 试题广场 >

以下哪种因素会导致推测解码的加速比下降？

[单选题]
以下哪种因素会导致推测解码的加速比下降？ 
  • draft模型与target模型在同一家族（如Llama-7B draft + Llama-70B target）
  • 输入prompt和输出内容分布多样（draft模型接受率低）
  • 使用更大的k值（每次draft更多token）
  • 在单一领域数据（如代码）上使用专门训练的draft模型
查看正确选项
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

推理
难度：
0条回答 18浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号