大模型面经每日总结

BP16 和 FP16 在存储结构、精度表现、数值范围以及适用场景方面有什么不同？

• 训练时使用bf16更稳定，表示范围大，并且自带隐式正则化buffer；
• 推理时使用fp16比bf16更好，因为fp16表示精度高。 https://www.zhihu.com/question/616600181/answer/3194881239

怎么解决训练使用float16导致溢出的问题？

• 使用 缩放因子 trick
• 混合精度训练

kv-cache的作用

• 一种缓存技术，通过存储键值对的形式来复用计算结果，以达到提高性能和降低内存消耗

量化方法的分类

• 按量化对象分：KV Cache量化、模型权重量化、激活值量化-按量化阶段分：
• 量化感知训练(QAT)、量化感知微调(QAF)、训练后量化(PTQ)【大模型常用】

AWQ 量化和 KV Cache量化 有什么不同

• AWQ 更侧重于在模型权重存储和计算中
• KV Cache量化 更适用于长上下文推理和并发场景参考

https://blog.51cto.com/u_15912723/12361929

常见推理框架有哪些，有什么异同

• Slang,TensorRT,vLLM,LMDeploy 等可以从适用场景、生态、易用性，功能性进行对比 https://www.bentoml.com/blog/benchmarking-llm-inference-backends https://medium.com/better-programming/frameworks-for-serving-llms-60b7f7b23407 https://waytoagi.feishu.cn/wiki/RUI3wNlzeiF0SZkk5pWcdVfCnGc

日拱一卒~