我在国网人资部工作已经有一段时间了，刚开始的时候对公司充满期待，办公环境气派，同事之间和谐相处。看着大家忙碌地工作，我也觉得这份工作并不复杂，心想自己也能胜任（后来才知道人资部竞争激烈，需要工作多年才能进入）。整体来说，公司的工作节奏适中，也有健身打球的活动中心，食堂价格也合理，让我觉得找到了一个上班不累、生活舒适的地方。然而，随着轮岗实习开始，我被分到了变电站值班，距离公司较远，需要专门去公司解决问题，不再能享受公司食堂和健身的便利。住宿条件也变得简陋，开始觉得公司有些不尽人意。工作内容要求守规矩，按部就班完成，虽然不难但繁琐。在工作中磨练心性的同时，我回想起读书时最大的愿望是找到一个轻松的...

不是哥们，你是不是对干开发的有什么误解，我放着开发不干呗😅

请求指点一下

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...