LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

真的无语了

大三上是有几个面试的，但发现面试的时候，自己慌，并且问的问题，我好像听不懂，没有什么技巧，非常尴尬，怎么和我学的版本不一样的，然后知道还有面经这一回事，就换了个路线学，以面经上面的题目去一个一个破解，掌握好了再去投，发现，这时简历又过不了了， 真tm操了，哈哈哈哈。因为大家也知道， C++的项目真的少之又少，网上的项目能被我们找到的已经是烂都不能再烂的。于是就在疯狂去看有哪些项目，付费也要去折腾的，因为我知道，前期这些投入在以后找到工作，这是微乎其微的， 毕竟我也有通过兼职赚了有一部分钱，于是就报了两个大厂大佬的训练营，不得不说，真的为我的求职有了特别大的帮助，真的很感谢！这些项目加上之后.....