从上个月开始陆陆续续面试了一些，有拿到几个实习机会，但是个人原因只能7月初去，要么直接拒了，要么和hr互相吊着，那等我7月初可以去实习了，我最近投着投着发现，我这样搞下去，暑假没公司投了，那我到时候能不能把之前拒了的舔回来？？？

还是一样已读不回嘛😓

刚刚在b站上看到一个恋综的视频，标题是计算机男和计算机女。然后女生就问这个男生：你有什么想问我的嘛？然后b友的弹幕属实给我笑麻了，哈哈哈哈哈哈哈。弹幕1：讲下osi七层模型？弹幕2：请用三种不同的方法实现非递归二叉树遍历。弹幕3：你会写注释嘛？弹幕4：延迟？延迟控制是多少？弹幕5：三次握手的过程是什么？我靠，真的太搞笑了，对我们这些正在面临找互联网工作的确实很容易戳中笑点。

LLM 大模型学习必知必会系列(六)：量化技术解析、QLoRA技术、量化库介绍使用（AutoGPTQ、AutoAWQ） 模型的推理过程是一个复杂函数的计算过程，这个计算一般以矩阵乘法为主，也就是涉及到了并行计算。一般来说，单核CPU可以进行的计算种类更多，速度更快，但一般都是单条计算；而显卡能进行的都是基础的并行计算，做矩阵乘法再好不过。如果把所有的矩阵都加载到显卡上，就会导致显卡显存的占用大量增加，尤其是LLM模型大小从7b、14b、34b到几百b不等，占用显存的大小就是惊人的数字，如何在减少运算量和显存占用的条件下，做到推理效果不下降太多呢？在这里需要引入浮点数和定点数的概念。 1.量化的...