大家好，我是小布丁。先简单地做个自我介绍：我今年本科毕业于某双非院校（属于那种没什么人听说过的小学校），学的是计算机专业，英语四级水平（没办法，六级确实没过）。我本科时期走的是后端这条路，主攻语言C++，系统学习过操作系统，计算机网络，MySql，Redis，算法也刷了600+，造化弄人，秋招后走向了客户端这条“不归路”。公司还够得上中厂，薪资也够我在一线苟活一直想写篇帖子来记录秋招经历，希望能帮到新手小伙伴们～实习Part    想了想还是把实习经历放这了，因为这段实习经历确实对我的秋招帮助很大。去年五月份我找到了人生第一份实习，是北京的一个小公司，说是后端吧其实也就写写脚本，打包打包软件，...

玉玉了

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...