LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

感觉我投后端开发都没有理我的，一投测开消息就来了好多，还是决定转测开吧求狠批简历

面的很糟糕，一面手撕没写出来，肯定是挂了（虽然流程显示通过），呜呜呜技术面项目介绍C++新特性了解什么？C++20协程了解吗？对象池知道吗？解决的是什么问题？常用排序算法和时间复杂度常见设计模式笔试题目复盘手撕leetcode846主管面自我介绍实习期间遇到的困难？大学期间遇到的困难？你不是南京本地的，未来就业想在哪个城市工作？如何解决使用空指针的问题？对华为了解吗？华为的核心价值观？