LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

没有做标题党，确实是拥抱变化了，我换了一个组，某种意义上还算是我“自愿”走的，当老板，大老板，HR都让你走的时候，你就应该识趣一点自己离开了，说不难受是假的，之前的组毕竟是我拒绝诸多offer最终选择的一个结果，加上那个组里有好几个南大的实习生，实习久了就会怕孤独，有没有个伴这件事，我还是挺在意的最近在玩崩，我感觉我就是抽象的化身，如果有抽象星神，我就是他的命使，我曾经以为随着我个人的成长，有些事会改变，但其实没有，比如拥抱变化就像大三上学期遇到的呢个点一次按钮就向后端发送两次请求的bug，我现在的开发能力比大三呢时候要强太多了，但我还是不知道为什么会这样，但他确实不影响功能其实我技术挺烂的，...