结论先行:Few-shot 解决"我不知道你要什么格式和口径",思维链(CoT)解决"这道题需要分步推理才能做对"。两者是提示工程里投入产出比最高的两个杠杆,且可以组合使用。
Few-shot:例子是最精确的规格说明
Few-shot 就是在 Prompt 里放几个"输入 → 期望输出"的完整示例。模型会从例子里学到文字难以描述的东西:字段粒度、枚举口径、边界处理方式。文字描述总有歧义空间,例子没有——它就是规格本身。背后的机制是 in-context learning:模型不更新参数,但示例会显著改变它的输出分布,等于临时"教会"了一个任务。
实战中最值钱的经验:例子要覆盖边界情况。你放三个正常 case,模型遇到脏数据就自由发挥;你放一个"信息不足时怎么输出"的边界 case,它就学会了兜底。
messages = [
{"role": "system", "content": "你是工单分类助手,只输出 JSON:{\"category\": \"...\", \"priority\": \"...\"}"},
# few-shot 用 user/assistant 成对消息表达
{"role": "user", "content": "司机反馈App定位漂移,接单困难"},
{"role": "assistant", "content": "{\"category\": \"调度\", \"priority\": \"high\"}"},
{"role": "user", "content": "我想查下发票什么时候开"},
{"role": "assistant", "content": "{\"category\": \"财务\", \"priority\": \"low\"}"},
# 边界 case:教会模型兜底
{"role": "user", "content": "你们的客服电话多少"},
{"role": "assistant", "content": "{\"category\": \"其他\", \"priority\": \"low\"}"},
{"role": "user", "content": "货主说提货时司机要求加价才肯走"},
]
示例的载体有两种:对话式(user/assistant 成对消息)和文本式(在 Prompt 里直接写"输入 → 输出"对)。功能等价,按接口形态选择:聊天接口用前者更自然,纯补全式接口只能用后者。无论哪种,示例内容要干净——示例里出现"好的,我来帮您"这类客套话,模型输出里就会跟着出现。示例的每一处细节都会被放大成输出习惯,包括你不希望它有的。
选例子的三个原则
第一,从真实 badcase 里挑,它们就是你的边界——上线后翻过车的输入,比拍脑袋想出来的例子值钱得多。第二,例子之间格式绝对一致:字段顺序、引号风格、有无解释文字都要对齐,不一致的例子是负样本,模型会学到"格式可以随意"。第三,质量远比数量重要,三四个精选例子通常就够了;例子越多占的上下文越多,还会互相稀释。
两个容易被忽略的细节。其一,例子排列顺序影响效果:把格式最标准、最接近真实分布的例子放在离用户输入最近的位置,模型对近处内容的模仿更稳。其二,例子集要随业务迭代:新增了一个"疑似欺诈"类别而示例里没有对应例子,模型就会把这类工单硬塞进旧类别——例子集和枚举定义一样,是契约的一部分,改一处要同步另一处。
一个延伸问题:例子堆到几十个还压不住效果,要不要上微调(fine-tune)?判断口径很简单——任务口径一个月一变,微调的维护成本会压垮收益,few-shot 改例子秒级生效;口径长期稳定、例子多到上下文装不下,才值得评估微调。大多数业务分类任务终其一生停留在 few-shot。
思维链:把"分步推理"显式化
CoT 的核心:对需要多步推理的任务,让模型先展开中间步骤再给结论。这不是魔法——模型逐 token 生成,中间步骤等于给了它"草稿纸",后续 token 可以基于草稿继续推理,而不是一步跳到答案。
对多约束判断(比如"这个工单该派给谁,要考虑排班、技能、负载")和数值逻辑类任务,CoT 提升明显。对简单分类任务加 CoT 只是浪费 token 和延迟。
实战中推荐结构化 CoT:不要只说"请一步步思考",而是直接在输出 JSON 里加一个分析字段,或规定"先输出分析段,再输出结论段"。推理过程既被引导了,又不会失控地长。
{
"analysis": "司机在线时长达标但完单率低于阈值,排除排班问题;近期投诉集中在路线偏移,疑似导航配置错误",
"conclusion": "优先检查该司机线路的导航配置",
"confidence": "medium"
}
一个实操细节:给 analysis 字段设长度预期(比如"不超过 150 字"),否则分析段会随输入复杂度失控变长,上下文、延迟和成本跟着膨胀。分析字段的长度是可预期的成本项,要像超时参数一样显式设定。
什么时候该用 CoT
| 任务类型 | 是否加 CoT | 理由 |
|---|---|---|
| 多约束判断(派单、路由) | 加 | 需要逐条权衡,直接出结论容易漏因素 |
| 数值与逻辑推理 | 加 | 中间步骤显著降低算错率 |
| 简单分类(意图识别) | 不加 | 一步可判,加 CoT 只增加延迟和 token |
| 格式转换(提取、翻译) | 不加 | 没有推理链,分析字段是噪音 |
| 开放式生成(文案、摘要) | 视情况 | 大纲式 CoT 有时帮助结构,口号式无效 |
组合使用与一个误区
Few-shot 和 CoT 可以叠加:示例本身就写成"带分析过程"的风格,模型会模仿示例的推理方式——这等于教会了它你的解题步骤,而不只是答案格式。注意示例里的推理路径要简洁、每步有依据,因为模型会连同你的犹豫和废话一起学走。
一个常见误区:CoT 生成的内容不要直接暴露给终端用户。中间推理可能包含错误判断或敏感信息,用户侧只展示 conclusion 字段,分析过程留在日志里供排查。
引导 CoT 的写法本身也有对错之分:
<!-- 错误写法:口号式,推理的形状完全失控 -->
请一步步思考,仔细分析后给出高质量结论。
<!-- 正确写法:规定推理的形状 -->
先在 analysis 字段完成分析:1) 列出影响判断的因素及当前取值;
2) 逐条排除不满足条件的选项;3) 在 conclusion 给出唯一结论,
confidence 标注 high/medium/low。分析中不得引入输入之外的事实。
例子不够覆盖时还有一条进阶路:动态 few-shot。不把固定的三四个例子写死在 Prompt 里,而是先按当前输入从历史案例库检索最相似的几个,再注入本次请求。好处是例子始终贴近当前问题的分布,代价是多一次检索与延迟——先确认固定例子集真的不够用再上,多数场景固定集足够。
实战场景
工单分类服务运行半年后新增"疑似欺诈"处理口径。原有 few-shot 例子全是正常业务工单,上线当天就发现异常低价的搬运订单被模型按"调度-正常"分类,靠人工复核才兜住。处理方式:从翻车样本里挑三个典型模式,照既有例子的格式补进示例集并放在最末尾(离输入最近);同时给输出 JSON 加了结构化 CoT 字段,要求模型在 analysis 里先核对"价格偏离度、装卸要求与车型是否矛盾"两个因素再下结论。改完在回归集上验证,同类 case 全部转绿。这次迭代只花了一个下午——因为翻车样本都在评估集里,改动效果立刻可以被验证,不用等下一次线上事故。
检查清单
- 示例从真实 badcase 中挑选,覆盖正常、边界、兜底三类
- 所有例子格式绝对一致:字段顺序、引号风格、有无附加文字
- 例子数量三四个为宜,最标准的例子放离输入最近的位置
- 只对多约束判断和数值逻辑类任务启用 CoT,简单分类不加
- CoT 用结构化字段承载(analysis/conclusion),不用口号式指令
- CoT 中间推理不透出给用户,只在日志排查时使用
- 业务口径变更时同步更新示例集,例子集视为契约的一部分