1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

28届2本非科班大概很快要找实习了，应该是偏ai应用开发方向

这会儿找工作是不是有点晚了啊

前言：印象中很久没更新干货了，近期入职后学到了很多东西---不只是知识，还有职场生存法则。也是从这一段开始，我才算在"做事"。今天就挑选我觉得最值得分享的三点。没有大词，都是我踩过的坑。一、对数据敏感我最近在跟着 mt 做 Agent 调优，曾经就做过把人工测试用例转化为自动化用例。听起来就是个体力活，对吧？一开始我也这么觉得，跑通了就发周报："本周转化了 XX 条用例。"mt 看完只回了我一句："然后呢？" 接着问了我一串问题：转化后的自动化覆盖率是多少？相对人工用例覆盖了百分之几？通过率是多少？失败的是真 bug 还是用例本身写得...