1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

恐怖如斯

从3月份到现在，真的感觉这段时间度日如年 首先当然是猛猛的刷力扣、在牛客看面经、背八股，复盘；然后就是学习一些agent开发的相关知识，感觉传统后端之后的发展不是很好啊（ 害，其实更多的还是有点焦虑，Codex、CC、Cursor那么厉害，以后还要我做什么？ 不知道大家怎么看！投了那么多，面了那么多，感觉自己的面试能力确实有点进步，也拿到了第一个携程的oc 接下来就看看自己能否再冲击一下BAT了也希望各位牛友们能拿到适合自己的offer！ 想到哪里写到哪里，hhhh，毫无逻辑（#牛客AI配图神器#