首页 > 试题广场 >

关于大模型推理优化的技术方向，最符合工程实践的是？

[单选题]

量化总会导致模型精度显著下降

算子融合能减少显存访问次数提升吞吐

动态批处理优先考虑最大批次大小而非时延

KV缓存机制会增加每次推理的计算复杂度

查看正确选项

活跃的芝士在被拷

算子融合是大模型推理优化中的核心工程手段。它将多个连续的小算子合并为一个 GPU kernel，避免中间结果写入显存再读出，从而减少全局显存访问，降低启动开销，提高计算吞吐和硬件利用率

发表于今天 14:25:35 回复(0)

提交观点

问题信息

大模型概念

难度：

1条回答 22收藏 14浏览

扫一扫，把题目装进口袋