1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

腾讯面试这个状态是啥意思

前言上数十年，今年是招聘环境最差的一年，但下数十年，今年有可能是招聘环境最好的一年。——来源秋招中遇到的不知名的某hr找工作本身就是运气+实力，甚至在菜鸡看来运气占比更高，有的时候不要总是怪自己（倒也不是为自己开脱哈），尽人事听天命，不要自己内耗。菜鸡在这里总结一下自己的整个一个找工作情况，一方面是从群众中来到群众中去，感谢找工作的时候中各位大佬们的资料与建议；另一方面是希望能为更多的小伙伴们提供微不足道的帮助。一、楼主自己情况菜鸡自己是来源于东三省某双非大学（排名很低的那种），本硕自动化，硕士研究方向是纯仿真（跟控制和编程无任何关系），无正式实习（导师派出去干过杂活），无高水平期刊论文，无高...