LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

前端求上岸，娃太苦了，身在西安，咕嘟咕嘟😭😭。

😭😭😭

为什么鼠鼠马上要毕业了，老师还因为盲审问题一直不让我提交啊，说是文章有大问题让我改，但是只说文章有大问题不指导一下朝哪个方向改，也不让我问别的同学一些修改意见，说是他自己帮我改，但是三个星期过去了还在研究现状呢，鼠鼠真的着急，同一届都开始答辩了我的还卡着送不出去，我说我着急，导师说时间多的是，他肯定会把我全文改完的。只能听他指挥，不然就别想送出去，鼠鼠真的焦绿到玉玉了关键是这两天我约他再改点文章的时候，他说要先给本科毕业生该文章，然后给研二没写完文章的师弟该文章，让我再等等，真的崩溃了，有没有人救救我，崩溃了PS：导师的改论文工作时间（他的一周最多花三天看我的论文，一天两个自然段，其余时间有什...