前言

这是我的agent系列文章的第5篇，该系列分为三部分：

• AI认知篇：详细讲解相关基础概念
• AI实践篇：分享诸如skills怎么写、怎么ai coding、怎么写好prompt等的最佳实践
• AI八股篇：分享我自己整理的应付大模型应用开发岗位必备的八股笔记

在大型语言模型（LLM）的应用开发中，我们常常面临一个核心矛盾：如何平衡模型的“稳定性”与“创造性”？有时候我们需要模型像教科书一样严谨准确，有时候又希望它能像诗人一样灵感迸发。

解决这一矛盾的关键，往往藏在两个看似简单却极其强大的参数背后：Temperature（温度） 和 Top-p（核采样）。很多开发者只是机械地调整这两个数值，却并不清楚它们底层究竟如何改变了概率分布，更不知道如何组合使用才能达到最佳效果。

本文将带你从原理出发，彻底搞懂这两个参数的工作机制，并给出实用的调优策略。

一、大模型生成的底层逻辑：从分数到采样

要理解参数的作用，首先得明白大模型是如何生成下一个字的。这个过程并非“直接输出”，而是一个严谨的三步走流程：

1. 生成分数（Logits）：模型根据上下文，对词表中的每一个候选词计算出一个原始分数（Logit）。这个分数代表了模型认为该词出现在当前位置的“可能性倾向”。
2. Softmax 概率转换：原始分数不能直接用于随机选择，因为它们没有归一化。通过 Softmax 函数，将这些分数转化为概率分布。此时，所有候选词的概率之和为 1。
3. 加权采样（Weighted Sampling）：最后，系统根据计算出的概率分布进行随机采样，选中哪个词，哪个词就作为输出。

关键点：Temperature 和 Top-p 正是介入在第 2 步和第 3 步之间，对概率分布进行“整形”和“剪枝”，从而改变最终的采样结果。

二、Temperature：控制概率分布的“平滑度”

Temperature（通常记为 T）是一个作用于 Softmax 之前的参数。它的本质是改变概率分布的尖锐程度。

1. 工作原理

• 当 T < 1（低温模式）：分数的差异被放大。高分的词概率变得更高，低分的词概率趋近于 0。效果：概率分布变得非常“尖锐”。模型会极度倾向于选择它认为最可能的那个词。表现：输出稳定、保守、重复性高，适合事实性问答、代码生成或数学推理。：等同于贪心搜索（Greedy Search），永远只选概率最大的词，结果