LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

6

“笔试难，难于上青天。”校招笔试，一直是校招生的噩梦之一。*牛客社区经常有牛友吐槽笔试难校招笔试的难，难在考题与学校课程脱节、难在找不到真题和答案、难在不知道从何发力……据往年数据统计，校招笔试的淘汰率高达80%！想要顺利通过校招笔试，“刷题”非常重要。为什么这么说？因为刷题有以下好处：✅ 熟悉考察方向，知道校招笔试考什么✅ 掌握解题思路，明确不同题型怎么解✅ 巩固基础知识，笔试前及时查缺补漏为了帮助大家更高效刷题，「牛客·7天专项练习训练营」，即笔试训练营限时免费招募，面向求职软件开发的25届同学！5大训练模块、 26个模块分类、400+刷题数量、在线编程练习！⏰报名时间5月20日至6月2日...