第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

最开始跟大家一样，把牛客、BOSS直聘、智联招聘刷烂了，前前后后海投了200多份简历，结果90%已读不回，剩下10%连笔试机会都没给，整个人陷入了深深的自我怀疑，觉得自己毕业即失业。那时候我天天在出租屋里刷新招聘软件，刷到眼睛都花了，还是一点回音都没有。跟已经工作的学长吐槽，他一句话点醒了我：“线上海投本来就是大海捞针，HR一天收上千份简历，根本看不到你的。想拿面试，就得走别人不走的渠道，让你的简历被HR真真切切看到。”也是从那时候起，我放弃了纯线上海投，开始找各种线下和小众的投递渠道，前后折腾了一个月，终于拿到了3个杭州互联网公司的后端开发offer，其中还有一家是我之前海投根本过不了简历关...