前言这是我的agent系列文章的第8篇，该系列分为三部分：AI认知篇：详细讲解相关基础概念AI实践篇：分享诸如skills怎么写、怎么ai coding、怎么写好prompt等的最佳实践AI八股篇：分享我自己整理的应付大模型应用开发岗位必备的八股笔记（后端与agent2手抓学习专栏想象一下，你拥有一匹日行千里的神骏，它力量无穷，速度惊人。但如果直接骑上它去送货，结果很可能是：它跑得飞快，却跑错了方向，或者在半路被路边的野花吸引，完全忘了任务。这匹“神骏”就像今天强大的大语言模型（LLM），而Harness，就是为它量身定制的“缰绳”、“马具”和“导航系统”。简单来说，Harness（驾驭层）是...

我是一块砖，哪里需要哪里搬

1. 什么是 LoRA？LoRA 全称是 Low-Rank Adaptation，核心思想是在微调大模型时不直接更新原始大权重矩阵，而是冻结预训练权重，只额外学习两个低秩矩阵，用这两个小矩阵的乘积去近似原权重的增量。原来如果某层权重是： W ∈ R^(d×k) LoRA 不直接学习 ΔW 的完整矩阵，而是写成： ΔW = B A A ∈ R^(r×k), B ∈ R^(d×r), 且 r << min(d, k) 最终前向变成： h = W x + ΔW x = W x + B A x 这样训练参数量会大幅下降。2. LoRA 的思路是什么？LoRA 的基本假设是：大模型在迁移到下...