1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...

没想到挂了还有感谢信啊哈哈哈哈啊哈哈啊哈哈

从一月中到现在，最大的感悟是累、其次是不要怀疑自己

算法面经：📌【一面】基础八股 + RAG深挖八股：介绍几种Attention（MHA，MQA，GQA）的区别八股：分别讲一下Dense模型和MoE模型以及二者的区别八股：讲一下MoE的路由机制是如何做的？项目：介绍RAG项目，讲一下RAG项目的亮点项目：如果召回的答案不是想要的，该怎么处理？项目：讲一下BM25算法原理项目：是否做过意图识别？如果要做意图识别，可以怎么实现？项目：微调项目是如何模型选型项目：如何做微调的？直接用 PEFT 库，还是用LLama Factory做的？项目：讲一下DPO, PPO, GRPO的原理和区别，写一下DPO loss函数代码题：lc15 三数之和【二面】...