凌晨1点，我睡得迷迷糊糊的，接到一通电话，那边传来一个中年男的声音，他很小心翼翼的问我说，老师能不能帮我解决个问题？我想都没想，直接说都这个点了，早点休息吧。他突然又说，哎，老师，我真的不想熬夜了，明天这个报表，还得用呢，实在不想熬夜了。听到这里我就好奇这得多大的问题，心想这么急，这么晚了既然找到我了，那我就给他做吧，我打开电脑，看到他的文件，我瞬间沉默了，就他这个问题，如果问稍微懂一点的人的话，几分钟就搞定了，他没必要一个人死磕。过了一会我给他解决完问题以后，他跟我说他这个问题从白天上班开始，一直到现在凌晨，快到现在了，没磕出来，中间也不好意思问别人，就把自己逼到这个份上。中年人，我们不会的...

没想到挂了还有感谢信啊哈哈哈哈啊哈哈啊哈哈

今天早高峰10号线，人挤人，我好不容易站稳，余光扫到旁边座位上有个穿校服戴红领巾的小男孩，正低头盯着iPad。我以为他在看动画片，好奇瞟了一眼——好家伙，在刷leetcode。我人都傻了。我小学五年级还在玩赛尔号，人家已经在地铁上刷题了。让我想起来现在也有很多机构推出面向小孩的人工智能课、AI使用课...现在连小孩都这么卷了吗？

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...