题解 | #改变单词游戏#

1. 介绍一下你做的这个项目2. LoRA 的基本原理是什么LoRA 的核心思路是，微调大模型时没有必要把整个权重矩阵都更新掉，而是只学习一个低秩的增量。原始权重记作 (W)，微调后的权重写成：其中 (A) 和 (B) 的秩都很低，参数量远小于直接更新整个 (W)。训练时冻结原模型参数，只训练这两个小矩阵，这样显存占用、优化器状态和保存体积都会小很多。它适合做领域适配、指令微调这类任务，因为很多任务对模型的改动并不需要覆盖完整参数空间。LoRA 常见会插在 attention 的 q_proj、v_proj 上，有时也会加在 k_proj、o_proj 或 MLP 层。选哪些层，本质上是在表达...

感觉就是那种，背景也不够硬，实习也不够硬，啥都不够硬，除了硬着头皮在各个招聘软件和官网平台投没有任何收获，已经不知道自己能干啥了……

那是一个普通的工作日下午，大促备战进入最后阶段。 我坐在工位上，盯着监控大盘做例行巡检。那时候我入职才三周，说实话，很多指标看了也不知道好坏，只知道"别出红"。 然后我看到了一个有点奇怪的地方。 不是报警，颜色也是正常的绿色，但某个依赖服务的响应趋势和其他几条线走势不太一样——别人都是平的，它在缓慢地往上爬。 我截了个图，发到自己的备忘录里，想了一会儿，没吭声。 毕竟我才来没多久。说不定是正常波动，说不定我理解错了，说不定问题根本不在这里。 又过了半小时，那条线还在涨。 我鼓起勇气，在工作群里 at 了导师：「这个服务的响应时间是不是在慢慢上涨？还是我看错了？」 导师回了两...