【C】#牛牛的通勤#

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

我朋友接了美团，后面又拿了字节，跑去字节提前实习，天天抑郁症，天天内耗，哎，字节毁了一个年轻人，哎，还不如去美团蹲着

感觉现在状态不是很好很难沉下心去钻研项目也不想待在学校了😞😞😞就那学过的东西凑了个简历，可以去找实习吗？还是说在写写项目精进一点?现在八股一点没背，LeetCode刷了3/400道不过一个寒假没看了基本忘完了😢😢😢，求大佬给我指个方向

也大大小小面了很多内部正在搞AI的公司，给大家分享一下我的面试题库！ 第一章：RAG 系统 Q1: 请解释 RAG 的工作原理。与直接对 LLM 进行微调相比，RAG 主要解决了什么问题？ RAG（Retrieval-Augmented Generation）的核心是"检索+生成"两阶段：先从外部知识库中检索与用户问题相关的文档片段，再将这些片段作为上下文拼入 prompt，让 LLM 基于检索到的信息生成回答。相比微调，RAG 的优势在于： ①知识可实时更新，不需要重新训练模型； ②可追溯来源，减少幻觉且便于审计； ③成本低，不需要 GPU 资源做训练； ④领域迁移方便，...