首页 > 试题广场 >

推理加速这块你有哪些落地经验?量化、蒸馏、裁剪(INT8I

[问答题]
推理加速这块你有哪些落地经验?量化、蒸馏、裁剪(INT8/INT4、AWQ/GPTQ、蒸馏目标/策略)分别带来了哪些收益和坑。

这道题你会答吗?花几分钟告诉大家答案吧!