结论先行:提示工程不是念咒语凑关键词,而是给一个"能力很强但对你的业务一无所知的新员工"写岗位说明书。角色、约束、示例三个部分组织好了,效果远胜于堆形容词。

为什么你的 Prompt 不稳定

后端转 AI 应用最常见的落差:同一个 Prompt,今天输出 JSON 明天输出散文,换个说法效果又完全不同。要从 LLM 的工作方式理解这件事——它是逐 token 采样的概率生成器,可选的输出空间是整个自然语言,你没有用 Prompt 把这个空间约束住,模型就会自由发挥。Prompt 的本质是"用自然语言写的接口契约",契约写得模糊,输出就不稳定;这不是模型的 bug,是需求没写清楚。

不稳定的来源具体拆开是三个。第一,格式没说死:“输出 JSON"和"只输出 JSON,字段固定为 category、priority、reason,不附加任何其他文字"是两个不同的契约,前者总有概率被模型加上一句"好的,以下是分析结果”。第二,边界没定义:正常输入都处理得好,遇到信息不足、口径奇怪的输入,模型没被告知该怎么办,只能现编。第三,把期望写成了氛围:“请专业一点、认真分析、高质量输出”——模型不知道"专业"在你的业务里指什么,这些形容词只会稀释真正起作用的指令。

一个实用的自检方法:把 Prompt 交给一位没参与项目的同事,只读 Prompt,让他回答"模型应该输出什么、遇到拿不准的输入怎么办"。他答不清楚,模型也一样答不清楚。

三段式结构:角色、约束、示例

角色回答"你是谁、以什么口吻做事"。角色不是玄学,它是在压缩输出分布:一个"严谨的运维工程师"和一个"营销文案写手",同样的输入产出完全不同的风格和内容边界。角色还隐含知识范围——“工单分诊助手"天然不该写诗、不该聊与工单无关的话题。角色一句话就够,重点是业务身份,不是人格设定。

约束回答"必须做什么、禁止做什么、做不了怎么办”。最有价值的三类:

  • 输出格式约束:只输出 JSON,字段固定,不要附加解释文字
  • 行为边界约束:信息不足时调用什么工具或返回什么错误,而不是编造
  • 兜底约束:不确定时明确说"不知道",这比幻觉好一万倍

约束的写法有一个重要倾向:正向指令比负向指令可靠。“不要编造运单号"不如"运单号只能来自工具返回结果,查不到就明确告知用户"有效——模型对"做什么"的遵从度明显高于"不要做什么”,前者给了它一条可执行的路,后者只留下一片禁区。

示例回答"做到什么样算合格"。一个高质量的示例胜过十行形容词,因为示例传递的是隐性的格式、口径和粒度信息,这些用文字很难描述精确。“reason 用一句话"这句话本身就有歧义——多短算一句话?示例直接给出"运费结算类问题”,粒度立刻清晰。

用 Markdown 给 Prompt 分区

把 Prompt 写成结构化文档,而不是一大段话。分区让模型能"按章节引用"你的要求,也让人能 review:

# 角色
你是物流系统的工单分诊助手,负责把客服工单分类并给出处理建议。

# 输出格式
只输出 JSON,结构如下:
{"category": "调度|财务|司机|其他", "priority": "high|medium|low", "reason": "一句话"}

# 约束
1. category 只能从给定枚举中选择,禁止自创
2. 工单内容信息不足时,category 填 "其他",不要猜测
3. reason 中不得出现工单里没有的事实

# 示例
输入:司机反馈上周的运费还没到账
输出:{"category": "财务", "priority": "medium", "reason": "运费结算类问题"}

分区的顺序也有讲究:角色放最前,输出格式紧随其后,示例放末尾离生成位置最近。模型对上下文近处内容的遵从度更高,最重要的约束不要埋在长文档的中部。

错误写法与正确写法对比

同一个需求(运单客服问答),两种写法的差距先看表:

维度氛围式写法(错误)契约式写法(正确)
输出定义“回答要专业规范”字段、类型、格式逐一写死
边界行为“遇到问题灵活处理”“未提供运单号时,只回复引导话术”
事实边界“不要瞎编”“运单信息只能来自工具查询结果”
可测试性无法写断言每条约束都能写成回归 case
<!-- 错误写法:氛围式,全是期望没有契约 -->
你是一个专业、严谨、高效的物流客服专家,请认真分析用户的每一个问题,
给出高质量的回答,注意格式规范,逻辑清晰。
用户问题:{question}

问题在于:模型不知道回答里能不能带超出工具结果的猜测,不知道查不到运单时该说什么,也不知道输出要不要 JSON。每次运行的形态取决于模型的"心情"。

<!-- 正确写法:契约式,每条都可验证 -->
你是运单客服助手。
# 约束
1. 运单信息只能来自工具查询结果,禁止凭记忆回答
2. 用户未提供运单号时,只回复:"请提供 13 位运单号(FY 开头)"
3. 查询无结果时,回复"未查询到该运单",不要猜测原因
用户问题:{question}

三个实战提醒

  1. 迭代 Prompt 要像改代码一样有回归:每次修改后跑一遍固定的测试 case 集(评估一篇会展开),不要靠肉眼感觉。肉眼感觉会骗人,尤其是你刚写完这段 Prompt 的时候——你会不由自主地找支持它的例子。
  2. 约束越少越好。十条约束里模型总会违反两三条——把最关键的放前面,其余的靠代码层校验兜底。JSON 用解析器校验、枚举用白名单校验,这些代码比再补三条 Prompt 约束可靠得多。
  3. 版本化你的 Prompt:放进代码仓库而不是散落在配置后台,每次变更可追溯。Prompt 就是你的业务逻辑,它值得被 review,也值得在出问题时五分钟内回滚。

还有一条容易踩的坑:不要针对单个 case 过度优化。为某一个坏 case 打补丁,经常在别的 case 上引入回归——这正是需要回归 case 集而不是肉眼的原因。

实战场景

客服系统接入 LLM 做工单自动分类,第一版 Prompt 是一段话加"请输出 JSON"。上线后下游解析任务隔三差五失败,排查发现两类问题:一是模型偶尔在 JSON 前后加说明文字,二是遇到从未见过的工单类型时自创类别(比如"投诉-升级-加急")。重写为三段式契约:枚举写死、兜底类别定义清楚、补一条"信息不足时填’其他’";代码层做两层兜底——解析前剥离可能的代码块围栏,解析失败时按枚举关键词匹配降级。另挑二十条历史工单做成回归 case,之后每次改 Prompt 先跑回归再发布。一个插曲:新同事 review 时问"reason 到底多长算一句话",才发现示例比约束里的文字描述更起作用——后来示例扩充到三条,正常、边界、兜底各一条,解析失败再也没有出现过。

检查清单

  • 角色一句话说清业务身份,不写人格设定
  • 输出格式约束到字段级:字段名、类型、枚举值、是否允许附加文字
  • 每种边界情况都有明确出路:信息不足、查询无结果、超出能力范围
  • 负向指令改写为正向指令:“禁止编造"改成"只允许来自工具结果”
  • 至少一个示例覆盖边界情况,而不是全是正常 case
  • 固定测试 case 集,每次修改 Prompt 后跑回归
  • Prompt 进代码仓库版本化,变更可追溯、可回滚
  • 约束控制在个位数,其余靠代码校验兜底