求问华为2012实验室

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

绷不住了

目标是有班上就行，中厂小厂无所谓，想攒点实习经验。今天写好了简历，有什么要修改的地方吗？现在心里很没底，不知道这样投出去有没有人收😭😭😭

📍面试公司：字节豆包🕐面试时间：4.21💻面试岗位：豆包客户端测试开发❓面试问题：1.自我介绍2.接下来就是全程拷打一段关于AI的实习3.中间手撕一道题：判断回文串，针对代码还能考虑哪些测试用例，然后就是继续问实习🙌面试感想：一位女面试官，全程拷打实习，接近一个小时，问得很深很细节，有点招架不住，面的口干舌燥汗流浃背，周二面周五挂