各位牛友新年快乐！

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

😁 自己节前都请假了，还说什么节奏快要用人。。。。真是mean的要死😁

回想去年实习的第一天，我以为我会是从容淡定的职场新人，结果全程像个没头苍蝇，根本不知道干什么。当天，我是提前半小时到公司，到了工位后，HR简单介绍了下公司的茶水间、卫生间和周围的环境，就把我交给了mt，然后就没影了。mt很忙，扔给我一个项目文档，让我先看，说有不懂的再问他，然后就埋头敲代码，全程没再理我。我坐在工位上，不敢瞎动、不敢瞎问，只能乖乖翻手册，但是越看越迷茫，不知道自己接下来要做什么，也不知道该怎么跟mt搭话。最尴尬的是，中午吃饭的时候，大家都三三两两一起去食堂，我一个人都不认识，只能默默坐在工位上。还在mt后来忙完，待我去了食堂。下午，mentor直接给了我一个简单的小任务，说让我...