第 8 题：大模型的涌现能力（Emergent Abilities）

题目

解释大模型的涌现能力（Emergent Abilities），并举例说明。

一、什么是涌现能力？

涌现能力指某些能力在小模型上几乎看不到，但当模型规模（参数量、数据、算力等）达到某个阈值后，在较窄的规模区间内突然出现或明显跃升，而且很难用对小模型的平滑外推来预测。

强调三点：

• 突然性：不是随规模线性变好，而是在某个规模区间内“拐点”式提升。
• 规模相关：和模型大小、数据、算力强相关，不是单纯调 prompt 或工程能得到的。
• 外推困难：小模型上的表现无法平滑外推预测大模型会不会有该能力。

面试常问：“涌现是啥？”——可以一句话：随规模突然出现、小模型外推不了的能力。

二、典型例子（要能举出 2–3 个）

• 少样本 / 零样本学习（ICL）：小模型在 prompt 里给几个示例几乎没提升；大到一定规模（如 GPT-3 级别）后，few-shot 甚至 zero-shot 就能显著提升任务表现，即 in-context learning。
• 链式推理（CoT）：小模型“一步步想”的推理很弱；规模上去后，加上“Let's think step by step”等提示，数学/逻辑题正确率明显跃升。