程序员其实有很多刻板印象，比如闷骚、无趣、情商低，格子衫……但傲慢绝不在此列。给大家讲个故事，大三时班上来了几个专升本插班生。其中一个是文科专业转计算机的（也别对文科有刻板印象，hhh），编程基础为零，连电脑都用不利索。见我每天上课都坐第一排，从不旷课，就开始套近乎。主动加微信，一有机会就坐我旁边，放学都要跟我道别，很是热情。从各种专业软件的安装，到具体的代码调试，我都不厌其烦地帮他解决过。更离谱的是，他连要不要上课，在哪上都问过我。彼时我学的游戏开发，期末考试有一门课要上机实操当场交卷。要求自己用已有资源搭建场景并编写游戏功能，这毫无疑问难倒了平时只会抄作业的他。因为时间有限，就在我争分夺秒...

go后端，求大佬指点，找实习被拒麻了😭😭😭

5月份，万念俱灰之际，找不到打算进厂了都。最后迎来了一道曙光。如有和我差不多的兄弟，希望你也能遇到属于你自己的曙光。

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...