第 11 题：Encoder-only / Decoder-only / Encoder-Decoder 适用场景

题目

对比 Encoder-only、Decoder-only、Encoder-Decoder 架构的适用场景。

一、Encoder-only（仅编码器）

• 结构：仅 Transformer 编码器，双向注意力，无因果掩码；通常用 [CLS] 或整句表示做分类/回归。
• 代表：BERT、RoBERTa。
• 适用：理解型任务——文本分类、情感、NLI、抽取、检索等，需要“看到整句/整段”的语义表示。
• 不擅：直接生成连贯长文（无自回归解码结构）。

二、Decoder-only（仅解码器）

• 结构：仅 Transformer 解码器，因果自注意力 + 自回归生成。
• 代表：GPT、LLaMA、ChatGPT。
• 适用：生成与通用对话——开放生成、对话、摘要、续写、以及通过 prompt 做的多种任务（零样本/少样本/CoT）。
• 特点：单一架构、易扩展、易做 ICL；不显式区分“编码输入”和“解码输出”，适合“一切皆续写”的范式。

三、Encoder-Decoder（编码器-解码器）

• 结构：编码器处理源序列（双向），解码器自回归生成目标序列，并通过 cross-attention 看编码器输出。
• 代表：T5、BART、原始 Transformer（机器翻译）。