Emo的时候就来看看海吧

如何快速进入这个行业，我也很久没写博客了，具体今天还是讲方法论吧，因为就是还是以主包自己的经历为体现啊，我在去年5月份的时候花了两周就速通了大模型的，然后从java转行-大模型-算子开发-agent开发-目前跟着几个博士搞wam。这些其实都是需要花时间做琢磨的，这个做事情要讲究方法的，我在秋招的时候和前mt创业开了公司，完整的错过了整个秋招，然后春招的时候我又在搞世界上最前沿的研究方向，一切都只是我想去干罢了，那把重要的写在前面就是如何快速找到工作或者快速入行啊，这一篇应该早点的，但是我事情太多又经常打游戏就忘记了，我这里以摩尔线程举例啊，首先就是你想进入这个行业是因为什么你要想好，然后找对标...

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...