西山居技术训练营

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

第一次实习的时候啥也不懂mentor第一天跟我说的。我说好。我以为只是第一天这样。第二天——"你先看看文档。"第三天——"你先看看文档。"第五天我鼓起勇气问："那我后面大概做什么方向？"他说："不急，先熟悉。"我点开过的文档数了数，三十多篇。每一篇我都有认真看实在无聊，我打开同学群看看大家都干啥呢。有人说他入职第一天就改了bug。有人说他mentor每天带他review代码。有人说他们组上周聚餐了。我每天的成就是：又看了五篇文档。上了一周班后，晚上我收工位走出公司，那一刻我突然明白"你先看看文档"是什么意思。不是让我熟悉。是他也不知道让我干嘛。我真的谢

我是27届，刚开始投暑期实习，完全没经验。前三家全手动填，每家大概20分钟。填到第三家的时候真的有点崩溃——姓名学校专业项目经历联系方式，每家都要从头填一遍，格式还不一样，字数限制不一样，有几个字段要重新组织语言。那天我发朋友圈吐槽了一下，一个大三的学长回复我：你怎么不用网申助手？我：什么？他：牛客出的Chrome插件，把信息录进去一次，以后打开任何网申页面自动填，不用每次重新输。我：……（沉默） 装完之后是这样的：打开招联金融的网申页面 → 插件自动识别字段，一键填好 → 我只用检查一遍开放题（"自我介绍"和"为什么选我们"要自己写）→ 确认提交。全程...