第 6 题：Greedy / Beam Search / Temperature / Top-p 解码对比

题目

对比 Greedy Decoding、Beam Search、Temperature Sampling、Top-p Sampling 的优缺点。

一、为什么需要不同解码策略？

自回归生成时，每步要从模型给出的下一个 token 的概率分布里选一个 token。怎么选会直接影响：是否多样、是否重复、是否可控、是否可复现。不同任务需求不同：对话要自然多样，翻译要稳定连贯，代码补全可能要确定性。所以面试常考几种策略的对比和选用场景。

二、Greedy Decoding（贪心解码）

每步选概率最大的一个 token：。

• 优点：实现简单、确定性强（相同输入相同输出）、无额外超参、解码快。
• 缺点：容易陷入局部最优；生成往往单调、重复，多样性差；一个错 token 会一路错下去。

适用：需要可复现、对多样性要求不高的场景（如某些分类式生成、简单补全）。

三、Beam Search（束搜索）

每步保留概率最大的 条候选序列（beam），对每条扩展下一个 token，得到 个候选（ 为词表大小），再按序列得分（通常为 log 概率和）保留最高的 条，直到结束或达到最大长度。

• 优点：比纯贪心更稳，适合需要连贯、可控的任务（如机器翻译、摘要），工业翻译里常用。
• 缺点： 大时计算和显存开销大（要维护 条序列的 KV Cache 等）；仍偏向高概 token，多样性有限；开放生成长文本时容易重复、冗长，所以对话/开放生成反而少用 Beam。

面试可能问：“为什么对话不用 Beam？”——因为 Beam 倾向高概、安全但无聊的回复，容易重复；开放生成更需要采样引入随机性。

四、Temperature Samp