美团内推美团内推美团内推美团内推

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

绷不住了

在互联网正式工作大半年了，程序员，有了很多的心得体会，想和26、27届的学弟学妹分享下，大家听听即可，不一定是真理，只是我的个人感悟。1、进入互联网不用担心接触不到ai有很多同学拿到了互联网的传统开发岗位，担心接触不到ai、工作没有前景，我觉得这是完全多虑的。我没见过不搞ai的部门。你说你不想搞ai，你老板绝对第一个不同意。因为你老板上面也有他自己的老板，老板都迷信ai。我觉得还是要多考虑下ai能力过强把人淘汰的情况吧，事实是各个国内互联网大厂都在搞全员skill话，把同事炼成ai、人走能力不走这真不是玩笑话。2、互联网职业生涯很短人生路漫漫但职业路短短，不要看目前还有一堆30+、40+的老登...