许愿美团oc

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...

😭😭

压抑的两个月结束了英雄联盟启动 apex启动 彩虹六号启动 泰拉瑞亚启动 云顶之弈启动 金铲铲启动 刺客信条启动 荒野大镖客启动 知更鸟启动

​本科一般是22岁毕业，5年开发经验一般是指27岁。这个阶段，不少程序员可能通过多次跳槽，薪资有一定涨幅，但真有可能还在小公司甚至外包公司做增删改查的业务，然后坐等30岁的到来。就以Java为例，一些发展情况一般的程序员情况会怎么样呢？1 会用Spring boot+JPA等框架做业务，而且由于业务做多了，熟悉框架相关技能，在公司里也能凭借做熟业务而干得风生水起。2 熟悉日志，测试，项目部署和问题排查等项目开发技能，但仅限于开发单机版的业务。3 还是在小公司，干的活除了是开发以外，更多干的是打杂扯皮的活。或者说，能凭借在公司里干久了，能在合理利用规则的前提下摸鱼。4 如果再跳槽，大概率还是找小...