大模型面经每日总结

BP16 和 FP16 在存储结构、精度表现、数值范围以及适用场景方面有什么不同?

  • 训练时使用bf16更稳定,表示范围大,并且自带隐式正则化buffer;
  • 推理时使用fp16比bf16更好,因为fp16表示精度高。 https://www.zhihu.com/question/616600181/answer/3194881239

怎么解决训练使用float16导致溢出的问题?

  • 使用 缩放因子 trick
  • 混合精度训练

kv-cache的作用

  • 一种缓存技术,通过存储键值对的形式来复用计算结果,以达到提高性能和降低内存消耗

量化方法的分类

  • 按量化对象分:KV Cache量化、模型权重量化、激活值量化-按量化阶段分:
  • 量化感知训练(QAT)、量化感知微调(QAF)、训练后量化(PTQ)【大模型常用】

AWQ 量化和 KV Cache量化 有什么不同

  • AWQ 更侧重于在模型权重存储和计算中
  • KV Cache量化 更适用于长上下文推理和并发场景参考

https://blog.51cto.com/u_15912723/12361929

常见推理框架有哪些,有什么异同

  • Slang,TensorRT,vLLM,LMDeploy 等可以从适用场景、生态、易用性,功能性进行对比 https://www.bentoml.com/blog/benchmarking-llm-inference-backends https://medium.com/better-programming/frameworks-for-serving-llms-60b7f7b23407 https://waytoagi.feishu.cn/wiki/RUI3wNlzeiF0SZkk5pWcdVfCnGc

日拱一卒~

全部评论

相关推荐

评论
1
16
分享

创作者周榜

更多
牛客网
牛客企业服务