1、LoRA 微调的原理LoRA 的核心思想是不直接更新预训练模型里的原始大权重，而是在某些线性层旁边增加一个低秩更新分支，用低秩矩阵去近似权重增量。假设原始权重是 W∈Rd×k，全量微调时直接学习ΔW，LoRA 则把它写成：ΔW=BA其中A∈Rr×k，B∈Rd×r ,，(r) 是远小于 (d) 和 (k) 的秩。这样前向计算就变成：h=Wx+ΔWx=Wx+BAx实际里通常还会加缩放项：这样做的本质是认为很多下游任务对大模型权重的更新其实存在低秩结构，不需要真的去学习一个完整的大矩阵。LoRA 的优点是可训练参数少、显存占用低、训练快，而且原模型参数冻结，方便多任务切换和权重管理。2、LoRA...

不过大厂的面试确实比小厂能学到更多

字节 腾讯三月初就开始了，阿里3.18才开启，但是已经开始造势了，阿里巴巴开始的这么晚，难道是刚盘点完hc？据说今年招聘大方向也是AI，同学们加把劲吧

最近摸鱼的时候和几个同行聊起现在的行情，发现大家都在不同程度地焦虑。天天看着各种新模型发布，感觉再写纯业务CRUD马上就要被淘汰了。但真想学AI，网上一搜全是一堆看不懂的数学公式和底层论文，看得人头皮发麻。作为一个在业务开发和数据打交道这块摸爬滚打过的人，我总结了几个咱们普通程序员（特别是主攻Java/Python、搞过后端或系统平台的兄弟）现在入局AI比较现实的方向，发出来跟佬们探讨一下，轻喷。1. 坚决别去卷的方向：底层大模型/纯算法说白了，这就不是普通人能玩的。现在去搞什么基座模型训练，那是神仙打架，大厂和顶尖实验室拿着几万张算力卡在烧钱。咱们一没算力二没那种学术背景，进去连门槛都摸不到...