结论先行:temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature 是两种削尖手段,调一个就好,别同时调。
模型输出是概率分布
首先要建立一个关键认知:LLM 每一步并不是"想好了说什么",而是输出整个词表上的概率分布,再从中采样出一个 token。采样策略就是那几个参数发挥作用的地方——它们不改变模型能力,只改变"从分布里怎么挑"。
这句话值得展开:同一个模型、同一段输入,固定采样参数后每一步的分布是确定的,但"挑哪个"可以是随机的。所谓"模型的创造性",很大程度上是采样层制造的;所谓"模型不听话、每次答案不一样",也常常只是采样在起作用。把"模型能力"和"采样策略"分开归因,是调参的第一步。
从工程视角看,“分布 + 采样"这个机制还带来一个重要的系统属性:输出是不可复现的随机过程(除非显式固定)。这决定了下游的测试策略——不要用单元测试的思路断言"给定输入必须等于某输出”,而要断言结构(JSON 可解析、字段在枚举内)和语义(评估模型或人工打分)。很多团队在 LLM 功能上翻车,第一步就是把传统确定性测试直接套了上去。
temperature:削尖还是拉平
采样前把 logits 除以 temperature 再过 softmax:
- T < 1:高概率 token 更高、低概率更低,输出更确定、更保守;
- T = 1:完全按模型原始分布采样;
- T > 1:分布被拉平,冷门 token 也有机会,输出更多样、更容易跑偏;
- T → 0:等价于贪心,每步都取概率最高的 token。
实际调参的体感顺序:从任务推荐区间的下限试起,质量不达标再往上加。宁可"太确定而略显死板",也不要"多样而不可控"——前者能用 prompt 校正,后者只能靠采样参数回收。
top_p 与 top_k:砍掉长尾
top_p(核采样)只在"累计概率达到 p 的最小候选集"里采样,比如 p=0.9 表示只从最可能的那批 token 里挑,把 10% 的长尾噪声直接关在门外。top_k 类似,只是按固定个数截断——分布陡的时候 k=50 可能放进一堆垃圾,分布平的时候 k=50 又可能砍掉真候选,这是 top_k 不如 top_p 自适应的地方。它们和 temperature 解决同一类问题——工业 API 上更常用 temperature + top_p 组合。
另有两个与"重复"相关的参数顺带认识:frequency_penalty 按出现次数压低已用 token 的概率,presence_penalty 只要出现过就压低,用于减少车轱辘话。默认 0 即可,非文案类任务不建议动。
参数之间还有相互作用值得知道:先截断(top_p/top_k)再缩放(temperature)是多数实现的顺序,所以"先动 temperature 没效果、再动 top_p 突然变了"的现象,多半是两者作用于同一个分布的先后关系造成的。这再次印证那条团队约定:一次只动一个。
怎么选:一张表
| 任务类型 | temperature | top_p | 说明 |
|---|---|---|---|
| 分类/抽取/JSON/代码补全 | 0 ~ 0.2 | 1.0 | 要确定性,幻觉空间越小越好 |
| 客服问答、RAG 问答 | 0.2 ~ 0.5 | 1.0 | 稍留灵活性,但以忠实资料为主 |
| 通用创作、总结 | 0.5 ~ 0.8 | 1.0 | 默认值附近 |
| 头脑风暴、起名、文案 | 0.8 ~ 1.0 | 0.9 ~ 1.0 | 需要多样性 |
表里的数值是起点不是终点。同一类任务在不同基座模型上的"手感"不同——有的模型默认分布就很尖,temperature=0.7 也不散;有的偏平,0.5 就开始飘。换模型后采样参数要重新校准,自建评估集是最好的标尺。
代码示例(OpenAI SDK,其他厂商参数名基本一致):
from openai import OpenAI
client = OpenAI()
def complete(prompt: str, temperature: float, top_p: float = 1.0) -> str:
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": prompt}],
temperature=temperature,
top_p=top_p,
)
return resp.choices[0].message.content
# 抽取任务:要确定性
print(complete("从这句话抽取城市,只输出 JSON:'我下周从北京飞上海'", temperature=0))
# 头脑风暴:要多样性
print(complete("给一个程序员博客起 5 个 LLM 主题的标题", temperature=0.9))
同一个任务,参数习惯不同结果天差地别。下面这组"错误写法 vs 正确写法"是线上最常见的问题:
from openai import OpenAI
client = OpenAI()
messages = [{"role": "user", "content": "抽取订单号与金额,只输出 JSON:订单 SF123456,金额 298.5 元"}]
# 错误写法:temperature 与 top_p 同时削尖,行为难归因,也没留复现线索
resp = client.chat.completions.create(
model="gpt-4o-mini", messages=messages,
temperature=0.6, top_p=0.4, # 双重削尖:叠加作用,效果不可预测
)
# 正确写法:抽取任务固定低温度;top_p 保持 1.0 不动;带 seed 便于复现
resp = client.chat.completions.create(
model="gpt-4o-mini", messages=messages,
temperature=0, top_p=1.0, seed=42, # seed 尽力逼近可复现,非强保证
)
三个常见误区
- temperature=0 不等于完全可复现。批处理调度、浮点非结合性、MoE 路由等都会引入微小不确定性,两次运行可能措辞不同。要"结构稳定"(同样的 JSON 字段、同样的结论)通常够用,要"逐字节一致"就得靠种子参数或其他约束,且不是所有 API 都支持。
- top_p 和 temperature 同时调会叠加削尖或叠加拉平,效果难以推理。团队约定:默认只动 temperature,top_p 留 1.0。
- 不是所有模型都支持自定义 temperature。部分推理类模型只允许固定值,传了可能报错或被忽略,参数要按各厂商文档逐模型确认。
- 把采样参数当质量问题的万能药。答案错误、幻觉、该拒答没拒答,根因在 prompt、知识和模型能力;采样参数只影响"从候选里怎么挑",分布本身有问题时怎么采样都救不回来。参数调优解决的是稳定性与多样性,不是正确性。
还有一个容易忽略的点:采样参数会影响评估的可信度。做模型对比或 prompt A/B 测试时,把 temperature 固定在低值,否则组间差异里混进了采样噪声,你分不清是改动生效了还是随机波动。同理,线上抽样做人工复核时也要记录当次调用的采样参数,排查"这条为什么答得离谱"时,参数往往和 prompt 同样重要。
最后一点工程建议:把采样参数和 prompt 一样纳入配置管理与评估。同一个 prompt 换一组采样参数,效果可能差一个档次——线上效果的变量从来不只有 prompt。
给一个可以直接抄的团队基线:抽取与结构化默认 temperature=0;问答默认 0.3;创作默认 0.7;所有默认值进配置中心,特殊场景显式覆盖并留变更记录。基线统一之后,“这条为什么答得飘"的排查永远可以先排除采样变量。
实战场景
一个工单结构化抽取链路的排查:运营反馈"同样的工单,金额字段有时抽成字符串,有时又是数字”。研发先怀疑模型版本变更,查了发布记录没有变化;再查调用日志,发现这条链路的 temperature 一直没统一——不同调用方有人显式传了 0.7,有人走默认值 1.0。抽取任务在较高温度下偶尔选中"格式变体"的 token,JSON 里数字带引号、日期格式漂移都由此而来。修复动作:该链路统一收敛到 temperature=0、top_p=1.0,并把参数连同 prompt 一起写进配置中心,评审后才能改;同时在解析层加类型校验,命中即告警。上线后字段漂移告警基本归零。这个案例的成本只是一次参数对齐,前提是把"采样参数是线上效果的正式变量"当成团队共识。后来团队把这套参数基线写进了新服务脚手架,新链路默认继承,同类问题没有再出现。
检查清单
- 分类/抽取/JSON 类任务固定 temperature ≤ 0.2,top_p 保持 1.0
- 团队约定只调一个削尖参数,禁止 temperature 与 top_p 同时调
- 需要复现的调用带上 seed,并在日志里记录全部采样参数
- 确认所用模型是否支持自定义 temperature(推理类模型常见例外)
- A/B 评估与模型对比固定低温度,排除采样噪声干扰结论
- 采样参数纳入配置管理,与 prompt 同流程评审与变更
- 文案类任务再考虑 frequency/presence penalty,默认不动