第十成就

第 15 题：LoRA（Low-Rank Adaptation）的数学原理 题目 解释 LoRA（Low-Rank Adaptation）微调的数学原理。 一、动机 全量微调大模型要更新全部参数，显存与算力成本高。LoRA 假设预训练权重在适应新任务时，有效更新是低秩的，因此只学习一个低秩增量，与原权重相加得到适应后的权重，从而大幅减少可训练参数与显存。 二、数学形式 设某层线性变换为 ，。LoRA 不直接改 ，而是增加低秩分解的增量：  其中 ，， 为秩。前向时：   训练：只训练 、， 冻结；参数量从  变为 。 推理：可把  算好存成一张矩阵，等价于单层线性，无额外延迟；或保留  分开算...

华为这一块还是权威👍

想做Agent方向，其实岗位选择比大家想象的宽很多，主要分三大类。首先是Agent应用开发，这是目前需求最大的，主要用大模型结合LangChain、Dify等框架落地具体业务，比如结合咱们熟悉的工业物联网、新能源或电池测试领域的业务逻辑，开发自动化诊断和处理测试报告的Agent，这需要极强的工程落地能力和业务Sense。其次是Agent基建（Infra）工程师，Agent需要长记忆、知识库和并发调度，这跟搞大数据架构非常契合，如果你平时对Kafka、Doris、Flink CDC这些高并发、流式数据底座很熟，去搞Agent的底层调度引擎、向量数据库检索优化或分布式Agent框架，算是平滑过渡。...