首页 > 试题广场 >

在部署大模型到在线服务时，推理延迟是关键挑战。以下哪种技术在

[单选题]
在部署大模型到在线服务时，推理延迟是关键挑战。以下哪种技术在实际工程中最能显著降低延迟而不严重牺牲模型准确性？ 
  • 扩展模型规模以利用硬件并行加速
  • 应用模型蒸馏训练小型高效代理模型
  • 使用高精度浮点计算确保输出一致性
  • 增加批量大小但忽略实时需求
查看答案及解析
添加回答
Little_YangYang头像 Little_YangYang
应用模型蒸馏训练小型高效代理模型
“而不严重牺牲模型准确性？”？
发表于 2025-09-18 21:54:20 回复(0)
提交观点

问题信息

大模型概念
难度：
1条回答 19浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号