第 9 题：上下文学习（In-Context Learning）及其可能机制

题目

什么是上下文学习（In-Context Learning）？其背后的可能机制是什么？

一、什么是上下文学习？

上下文学习（In-Context Learning, ICL） 指不更新模型参数，只在输入（prompt）里放若干输入-输出示例，模型就能根据这些示例对新查询给出符合任务格式的预测。也就是“在上下文中通过示例学习”，而不是通过梯度更新参数。

典型格式：

[示例1：输入1 → 输出1] [示例2：输入2 → 输出2] ... [查询：输入?] → 模型生成 输出?

例如少样本情感分类：给几条“评论 → 正面/负面”，再给一条新评论，模型直接生成“正面”或“负面”。关键：模型权重没变，只是前向时“看到”了示例，就表现得像学会了这个任务。

为什么重要？ 这是 GPT-3 等大模型的核心能力之一，也是“大模型不用微调就能做很多任务”的重要来源；面试几乎必考。

二、与微调的本质区别

• 微调：用标注数据算损失、反传、更新参数；学到的内容存在权重里。
• ICL：不更新参数；仅靠当前前向时 prompt 里的示例和查询，通过注意力、表示等机制，在“当次推理”中表现出任务适应。
• 所以 ICL 的“学习”发生在的表示与注意力动态里，而不是存储在参数中。这也是为什么换一批示例或换任务，模型可以立刻“切换”行为，而