首页 > 试题广场 >

推测解码（Speculative Decoding）的加速原

[单选题]
推测解码（Speculative Decoding）的加速原理是什么？ 
  • 使用更小的模型替代大模型推理
  • 用小draft模型快速生成多个候选token，再用大target模型并行验证接受
  • 通过缓存历史推理结果避免重复计算
  • 将模型分布在多GPU上并行推理
查看正确选项
添加回答

这道题你会答吗？花几分钟告诉大家答案吧！

提交观点

问题信息

推理
难度：
0条回答 19浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号