联宝 项目管理助理工程师池子

1🐧 csig云数据库，ai应用开发岗，做agent memory方向，base成都，据说转正率50%+。2 🐜 平台技术事业群数智引擎，模型基准和评估岗，做评测框架的事情，base杭州，转正率未知，部门实习生挺少的。3 字节 tiktok，客户端开发岗（纯安卓&ios），业务是tt新的ai搜，base上海，不过是口头oc，要下周出结果，🐧可能会来不及。本人base上海，请各位老师帮忙，评价一下，不尽感谢🙏

我是一块砖，哪里需要哪里搬

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...