1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

有点搞笑了哈哈哈😂

就不投

站在一个辅导员的角度上,一个想要为自己的未来拼一把但是大学前1年挂过科,在学生干部岗位干的不顺心,辞职不干直接跟辅导员闹掰,对于自己未来的职业规划以及学习路径有了一定的了解和尝试,已经有了准备未来实习和入职想法的同学.和一个每天除了上课时间都待在宿舍,每天都在打三角洲和王者荣耀的没有挂过科,积极当学生干部,志愿服务积极准备并参加学校举办的下乡活动并参加大创和挑杯,以及一些直接从导师那里拿项目直接报上去就可以拿到奖项的比赛3-4个.你喜欢哪一个?如果站在未来求职者回望往昔你又想当哪一个