第 16 题：Full Fine-tuning / LoRA / Adapter / Prompt Tuning 对比

题目

对比 Full Fine-tuning、LoRA、Adapter、Prompt Tuning 的优缺点。

一、Full Fine-tuning（全量微调）

• 做法：用下游数据更新全部模型参数。
• 优点：表达能力最强，适合数据充足、任务与预训练差异大的场景。
• 缺点：显存与算力需求高，易过拟合小数据，多任务需多份完整模型。

二、LoRA（Low-Rank Adaptation）

• 做法：冻结原权重，只学习低秩增量 ，通常加在 attention 与 FFN 部分。
• 优点：参数量小、显存省、可多任务多套 切换；推理可合并为单权重。
• 缺点：秩 需调节；极端任务上可能不如全量。

三、Adapter

• 做法：在层内插入小模块（如两层线性+激活），只训练 Adapter，主权重冻结。
• 优点：模块化、易插拔、多任务共享主干、各任务独立 Adapter。
• 缺点：增加前向深度与少量计算；若每层都加，总参数量仍可观。

四、Prompt Tuning（提示微调）