LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

#我的实习求职记录#  #OPPO求职进展汇总# ——————timeline4.7 一面4.9 二面4.11 hr面4.19 oc+意向

点……点击即送???

bg：双九 三月份才开始看java 四月看了springmvc和苍穹外卖 五月看了黑马点评和微服务的部分 五月说实话心态出了点问题 时不时感到焦虑 天天就想着得赶快赶进度 陷入了如果进度赶不完 -> 找不到日常 -> 研二找不到暑期/日常 -> 秋招gg 的怪圈里 导致学也学不好玩也玩不好 。 心态的转变是什么时候呢 可能是有一天从健身房出来骑着车吹着风回宿舍 突然感觉我好像也不是非要去大厂， 可能回家找份饿不死的工作也行（何况就算赶了进度也不一定找得到）。 这时候突然整个人就松弛下来。 看牛客各位大佬的经历感觉好像自己...