结论先行:ReAct 就是"想一步、做一步、看结果、再想"的循环。它不是某个框架的专利,而是一种 Prompt 组织方式加控制循环;Function Calling 循环本质上就是结构化版的 ReAct。
ReAct 在解决什么问题
直接让模型回答复杂问题,它会猜。ReAct(Yao 等人 2022 年论文《ReAct: Synergizing Reasoning and Acting in Language Models》提出)让模型把推理和行动交替展开:Thought 写下当前判断和下一步打算,Action 请求调用外部工具,Observation 是工具返回的真实结果。模型基于真实观察继续推理,而不是基于想象。这个"基于观察修正判断"的闭环,是 ReAct 区别于一次性生成的本质——它给了模型中途纠错的机会。
经典的三行格式:
Thought: 用户问运单是否延误,我需要先查运单当前状态和承诺时效
Action: get_order[order_no="FY20251209001"]
Observation: {"status": "运输中", "eta": "2025-12-25 18:00", "promise_at": "2025-12-24 12:00"}
Thought: ETA 晚于承诺时效 30 小时,已构成延误,可以给出结论
Final Answer: 该运单预计延误约 30 小时……
对比另一种直觉方案——“把所有需要的数据都先查出来再回答”——能看清 ReAct 的价值:预先查询是盲的,你不知道该查什么;ReAct 让第一次查询的结果决定第二次查什么,查询本身有方向性。多跳问题里,第二步的参数往往依赖第一步的返回值,这种依赖关系只有交替展开能处理,一次性生成处理不了。
手写一个 ReAct 循环
SYSTEM = """你可以使用工具回答问题。每轮严格输出:
Thought: 当前分析与下一步计划
Action: 工具名[参数]
当信息足够回答时,输出 Final Answer: 答案。"""
def react_loop(question: str, tools: dict, max_steps: int = 8) -> str:
scratchpad = [f"Question: {question}"]
for _ in range(max_steps):
text = llm(SYSTEM + "\n" + "\n".join(scratchpad))
if "Final Answer:" in text:
return text.split("Final Answer:")[-1].strip()
thought, action = parse(text) # 解析 Thought 与 Action
obs = tools.execute(action) # 执行工具
scratchpad.append(f"{text}\nObservation: {truncate(str(obs), 2000)}")
return "达到步数上限,转人工处理"
这个十几行的函数就是 ReAct 的全部:拼 Prompt、解析、执行、把观察写回草稿板。scratchpad 是只追加的,每轮把新的 Thought/Action/Observation 拼上去,形成完整轨迹;轨迹长了之后同样需要摘要压缩,机制与上下文工程篇讲的相同。值得注意 truncate——Observation 进草稿板前裁剪不是可选项,是生存必需品,后面踩坑点会展开。
与 Function Calling 的关系:生产选后者
对比手写格式就能看出,Function Calling 是 ReAct 的工程化版本:
| 维度 | 手写 ReAct 格式 | Function Calling |
|---|---|---|
| Action 表达 | 自定义文本格式,自己写解析器 | 结构化 tool_calls,接口层保证格式 |
| 格式稳定性 | 模型偶发跑偏,解析失败需重试 | 接口约束下稳定得多 |
| Observation | 手动拼回 Prompt | 框架维护 role: tool 消息结构 |
| Thought | 显式占用输出 token | 进隐藏推理阶段或省略,省 token |
| 适用场景 | 教学、调试、模型不支持 FC 时 | 生产环境的默认选择 |
我的实战建议:生产上用 Function Calling 循环,ReAct 作为理解模型行为的心智图。两者共享同样的失败模式——都会陷入循环、都会被超长 Observation 撑爆上下文、都需要步数熔断。调试 Function Calling 应用卡住时,把它的轨迹翻译成 ReAct 三行格式看一遍,问题往往一目了然。
还有一个中间形态值得知道:不少模型接口支持"强制工具选择"参数,指定本轮必须调用某个工具。它适合"我知道该查什么,只是让模型填参数"的场景——等于把 ReAct 退化成单步 Action,换回完全确定的路径和可预算的延迟。能力光谱上它在 workflow 与 Agent 之间,常被忽略。
光谱再往另一端走一步,是 ReAct 与规划型 agent 的混合形态:外层先规划,把任务拆成带顺序的子目标清单,内层对每个子目标跑一小段 ReAct。外层稳定(强模型一次性生成,甚至人工写),内层保持弹性(每步怎么走由观察决定)。纯 ReAct 的弱点在长任务上暴露——走一步看一步,步数一多就绕路、丢子目标,混合形态用规划层兜住整体方向。我的启用标准:子目标超过三个且相互依赖才上混合,简单任务直接 ReAct,规划层是纯开销。混合形态有一个必须显式化的东西:子目标的完成判定(比如"查到状态且与承诺时效比对完成"),不能让内层自己觉得"差不多了"就切下一个——这个判定就是小循环的停止条件,与单层 ReAct 的停止条件同等重要。代价也要认:两层结构意味着两套 prompt、两套日志,调试成本接近翻倍,任务不够复杂时不划算。
轨迹格式的错误写法与正确写法
手写 ReAct 时,System Prompt 的约束强度直接决定轨迹可用性:
<!-- 错误写法:只提格式,没有停止条件和行为边界 -->
请用 Thought/Action 格式思考并回答用户问题。
问题:模型可能一轮输出多个 Action;可能自己编造 Observation 继续推理;可能永远不输出 Final Answer。
<!-- 正确写法:一轮一动作、观察只来自执行、明确停止条件 -->
每轮只输出一个 Action,格式为 工具名[参数]。
Observation 只能来自系统执行结果,你不得自行编写或猜测 Observation。
当已有信息足以回答时,立即输出 Final Answer,不再请求工具。
工具查询无结果时如实说明,不要换着说法反复查询同一内容。
最后一条专治"换关键词死循环"——模型会试图用同义查询绕过失败,这是步数熔断之外的第二道闸。约束要逐条落到可判定的行为上:“仔细思考"“合理规划"这类词在轨迹格式里没有对应物,写了也执行不了。
轨迹膨胀与裁剪策略
轨迹只追加,长任务十几轮之后膨胀就成了显性问题:早轮的 Observation 早已被消化,原始数据却还完整占位。代价不只是 token 费用——模型对上下文头尾的注意力最强,初始问题被挤进中段之后,模型会把当前子任务当成最初的问题,整体目标悄悄漂移。见过一次典型案例:三步排查任务因中间反复重试跑到十七轮,最终答案回答的是第二步的子问题,用户最初的第一步诉求完全丢失,回放轨迹才看清漂移发生在哪一轮。
裁剪按信息价值分级,我的顺序固定:先压旧 Observation,再合并旧 Thought,最后才整体摘要。Observation 价值衰减最快——被下游 Thought 消化完之后,原始数据里只剩结论有价值,可以把已完成步骤的大 Observation 替换成一行摘要,例如"已查得运单状态:运输中,ETA 晚于承诺时效 30 小时”。Thought 是判断链,中间结论丢失推理会断档,合并比删除安全:把同一子目标下连续的 Thought 压成一段。任何裁剪发生时两条底线不动:问题原文永远在最前,最近两轮永远完整——最近的观察是下一步决策的直接依据,裁它等于蒙住模型的眼睛。触发时机不要等上下文打满:轨迹超过预留预算的六成开始裁,打满时的裁剪是紧急手术,容易切到还在用的信息。
三个踩坑点
- Observation 必须裁剪。工具返回大段 HTML 或全量列表,两三轮就把上下文打满,模型开始遗忘最初的问题。进上下文前做摘要或截断,截断位置选关键字段而非粗暴砍尾;JSON 返回截断后必须仍是合法 JSON,否则模型会模仿这个坏格式输出。
- 思考过程不要透出给用户。用户要看的是答案和关键依据,不是模型的内心独白;日志里留全量用于排查。中间 Thought 里可能出现对用户的错误猜测,透出就是事故。前端只需要 Final Answer 和一段摘要依据,摘要依据也应从 Observation 里取材,而不是照抄 Thought。
- 步数与预算双上限。max_steps 防死循环,token 预算防单次任务烧掉正常请求十倍的成本。两个上限独立设置,因为"步数没超但每步 Observation 巨大"同样会失控。超限时的降级话术要提前定义,直接把内部上限暴露给用户,不如统一转"该问题需要人工协助”。
- 解析失败要重试而不是崩溃。手写格式下模型偶发输出不合规范,捕获解析失败后把错误格式说明回传让它重输出,比整轮失败体面得多。
- 工具报错的 Observation 要归一化。把原始异常堆栈整段塞回轨迹,模型会顺着堆栈"排障"——开始分析空指针的可能成因,把回答任务带偏成修复任务。失败信息归一化成三样东西再进轨迹:错误类型、出错的工具、行动建议(重试一次 / 换工具 / 如实告知用户)。可重试错误的重试动作要写进轨迹,让模型看到"已经重试过"不再重复;同一错误连续出现要有熔断,失控案例里模型对同一个超时接口满怀希望地重试了七次。失败也是观察——把"该工具当前不可用"这个事实写清楚,模型才能基于它修正路线,这正是 ReAct 的本义。
实战场景
用开源模型(不支持 Function Calling)做多跳排查:客服反馈"司机说已送达但货主说没收到",需要查运单状态、查轨迹、查卸货扫码记录三步。第一版上线后答案看着合理却时有错误,回放轨迹发现模型在第二步之后开始"自己写 Observation"——把想象中的扫码时间编进了推理,最终结论建立在不存在的数据上。修复三件事:System Prompt 加"Observation 只能来自系统执行结果";每步解析后校验 Action 格式,失败回传重输出;Observation 截断到固定长度。同时给循环加了步数与 token 双上限。之后同类 case 的轨迹全部干净:Thought-Action-Observation 严格交替,编造观察的现象消失。这个案例也验证了开头那句话——ReAct 的价值在"基于真实观察修正判断",一旦观察可以被模型伪造,整个模式就塌了,所以防线要修在格式约束和解析校验上,修在"相信模型自觉"上注定要返工。排查过程本身也值得记录:第一版上线时答案错误并不明显,是把失败 case 的轨迹逐条打印、人工核对每个 Observation 是否真实来自工具执行,才定位到编造环节。轨迹回放是这类循环应用的基本功,没有轨迹就没有排查。后来这套开源模型的接入收敛成一条规矩:接不支持 Function Calling 的模型时,轨迹格式约束和解析校验必须先于业务功能上线。
失败轨迹的复用价值
那些编造 Observation 的失败轨迹,处理方式不该是看完就扔。复用有两个方向。方向一是当回归用例:把失败输入固化进评估集,每次改动 System Prompt、换模型、调整裁剪策略之后先回放这批轨迹,确认失败模式没有复发——循环类应用的改动,光看新 case 的表现不够,旧失败会不会回来只有回放能回答。方向二是提炼成 System Prompt 里的负例:把典型失败轨迹精简成几行"不要这样做"的示范放进 prompt,真实的失败模式比虚构的反例有说服力,模型对具体禁令的遵循远好于对抽象原则的遵循——把三段编造观察的轨迹压成三行负例之后,同类失败在一个评估批次内降到了零。留存纪律与 skill 库同源:失败轨迹按失败模式归档,同类只留最典型的一条,堆量没有意义,模式才有意义。
检查清单
- 每轮只允许一个 Action,格式用接口或解析器强约束
- 明确声明 Observation 只能来自系统执行结果
- Observation 进上下文前裁剪,超长先摘要或截断
- 步数上限与 token 预算独立设置,超限降级转人工
- 明确停止条件:信息足够立即 Final Answer,不空转
- 解析失败回传错误让模型重输出,不整轮崩溃
- Thought 不透出给用户,全量轨迹留在日志
- 生产优先用 Function Calling,手写 ReAct 用于调试与特殊模型
- 轨迹超预算六成即裁剪:旧 Observation 压摘要,问题原文与最近两轮不动
- 工具报错归一化(错误类型 / 工具 / 行动建议)再进轨迹,同错误连现即熔断
- 典型失败轨迹归档为回归用例与 prompt 负例