LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

需要去硬造个项目吗，没有面试机会很难顶。三月末开始投，除了美团都没给面试。—-现在改成这样了——准备等到五月中旬，希望能等到面试5.15更 到点了 到现在只有5.14一个京东的后端面试，面试官不懂go，只懂Java。问的问题都很泛，让人不知道怎么回答。而且全程感觉没听人讲话，刚讲的事情过一会又问。面完秒挂。阿里国际面试整体还不错，但最后还是问到java，我不太会。提前准备秋招了，后端暑期实习应该是结束了。可能当时卷卷java还有点机会，可能走错路了。6/4 更收到安恒信息成都offer了五月底有个字节国际电商一面 被干碎今天收到快手和网易互娱面试邀请了。感觉捡漏的机会要来了

6个人群面，分为非技术和技术题非技术自我介绍让你印象最深的是解决了项目上的什么问题，从中你收货了什么？你觉得自己比较好的学习方法，比如记笔记之类的技术访问网站第一次访问很慢后面都访问很快，这是什么原因？服务器宕机了或者是前端无法访问，怎么排查？服务上线后，第二天访问比第一天慢，第三天访问比第二天满，之后一天比一天慢是什么原因？怎么解决超卖问题？volatile关键字的作用？并发方面用过的一些类？