1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

最近才准备开始投，没实习，八股只看了一点点形势有点严峻😇

3月10号开始投递 当天就收到约面 第一次面试就通过了 我以为我的求职之旅会很顺利 结果...3-16 上海小厂 (通过 由于是低代码就拒了)3-19 海康威视一面 (过)3-19 长沙小厂 (未过 很疑惑15min结束也没问啥 一半在问学校经历)3-20 经纬恒润 (挂 面试官说我来了他亲自带我 就坐他边上 最后还是挂)3-24 长沙聚恒集团一面 (群面(是一个面试官面4个候选人) ???. 过 )3-26 长沙聚恒集团二面 (电话面的 聊挺好还是挂)3-27 海康威视hr面 (一周后挂...)以为海康稳了 这段时间就没约面试.......4-7 字节跳动 (一面挂 太菜了 三个手撕都没出 ...