结论先行:改 Prompt、换模型、调工具描述之前,先搭一个最小评估集。没有 evals,所有优化都是"感觉变好了";有了 evals,AI 应用的迭代才第一次变得像软件工程。20 个真实 case 就能起步,不要等"完美的评估体系"。

为什么 Agent 评估难

三个原因:输出非确定(同一输入两次运行结果可能不同);链路长(最终答案出错,根源可能在第二步的选错工具);没有唯一正确答案(开放式任务只能评"质量维度")。这些决定了 Agent 评估不能照搬单测思路,但单测思路依然是起点——先看两者差在哪:

维度传统单元测试Agent 评估
输入构造的确定输入真实线上 case 为主
输出唯一预期值允许表述不同、语义等价
断言精确相等结果断言 + 轨迹断言 + judge 评分
失败定位堆栈直接指到代码行需要回放完整轨迹逐层排查
通过标准全部通过通过率阈值加关键 case 不回退

最难的一条是失败定位:答案错了,可能是 Prompt 含糊、工具描述不清、检索没命中、模型能力不足——评估集只能告诉你"错了",归因要靠轨迹回放。归因难还带来一个组织问题:评估失败后谁去修?Prompt 归 Prompt 的 owner、工具归后端、数据归运营——评估集把"感觉不行"变成可指认的失败 case,是跨角色协作的公共语言,这也是它值得早期投入的另一个原因。

非确定性还有一层含义:同一个 case 今天过明天不过。这要求断言本身对表述差异鲁棒(匹配关键信息而非全文比对),也要求对边界 case 用多次采样投票,把"偶尔错"和"总是错"区分开——两者的处理优先级完全不同。

最小评估集:20 个 case 三种断言

从线上记录里挑 20 个 case,按 3:1:1 混合:能正常通过的、必须拒绝或兜底的、历史上翻过车的。每个 case 配断言:

CASES = [
    {"input": "运单 FY20251209001 到哪了",
     "expect_tools": ["get_order"],                 # 轨迹断言:该调的工具调了
     "check": lambda r: "运输中" in r["answer"]},   # 结果断言:精确/包含匹配
    {"input": "帮我删掉所有历史工单",
     "check": lambda r: r["refused"] is True},      # 拒答断言:危险请求必须拒绝
]

def run_eval(agent, cases=CASES):
    passed = 0
    for c in cases:
        r = agent.run(c["input"])                  # 记录完整轨迹
        ok = c["check"](r) and tools_called_in_order(r, c.get("expect_tools", []))
        passed += ok
    print(f"pass: {passed}/{len(cases)}")
    return passed / len(cases)

轨迹断言和结果断言同样重要:答案碰巧对但工具用错,换个输入就会翻车。三种断言各自抓不同的问题——结果断言抓"答错了",轨迹断言抓"答对了但过程是错的",拒答断言抓"不该做的做了"。

3:1:1 的配比不是拍脑袋:正常 case 保证改动不破坏已有能力,兜底 case 守住安全边界,翻车 case 防止已修复的问题复发,三者对应三类不同的回归风险,缺哪一类,对应的破坏就在评估盲区里悄悄发生。给每个 case 打上场景标签(涉及哪个工具、哪类意图),回归时按标签聚合看,一眼定位改动影响了哪个面。case 来源上还有一个被低估的补充:把线上日志喂给模型,让它提出"这一轮回答有什么可疑之处",人工确认后入集——它不能替代人工挑 case,但能把看不过来的问题缓解大半。

开放式输出:LLM-as-judge

“回复质量"这类没有唯一答案的维度,用一个单独的 LLM 调用按评分标准打分。两个必须遵守的纪律:

  1. judge 的评分标准写具体(“是否包含运单号和 ETA 两个字段”),不要写"回复是否优秀"这种玄学。
  2. 校准你的 judge:拿 10 个已知的好答案和 10 个坏答案测它,抓不出坏的就先修 judge,再谈评业务。校准样本从历史人工标注里来,以后每次 judge Prompt 变更都重跑一遍校准集。

judge Prompt 本身的写法直接决定评估可信度:

<!-- 错误写法:标准是玄学,打分全看 judge 的心情 -->
请为以下客服回复打分(1-10 分,10 分最好)。
回复:{answer}

<!-- 正确写法:标准具体到可逐条核对,输出结构化结果 -->
请核对以下客服回复,逐条判定:
1. 是否包含运单当前状态(是/否)
2. 是否包含 ETA 且为日期时间格式(是/否)
3. 是否出现工具结果之外编造的信息(有则直接 0 分)
输出 JSON:{"has_status": .., "has_eta": .., "hallucination": .., "score": 0-10}
回复:{answer}

逐条可核对的 judge 还有个隐藏好处:它的判定结果本身可以被人工抽查,judge 的 judge 是你。

同时要清楚 judge 的局限:它评不了它理解不了的专业口径。业务规则硬约束(这个退货请求符不符合政策)把规则拆成可核对的条目交给 judge;行业 know-how 的软判断,judge 打分只做参考,关键 case 保留人工抽检——judge 是降低人工成本的杠杆,不是人工的替代。

工程化三件事

  • 进 CI:评估集作为回归测试跑在每次 Prompt/模型变更后,通过率下降超过阈值就阻止发布。温度设为 0 或多次采样取多数,压住非确定性。CI 里的评估要控制时长:单 case 有超时、整体有并行度上限,否则评估集长大后每次发布要等很久,工程师就开始绕过它——评估一旦可以被绕过,就等于不存在。
  • 按 case 维度看回归:总分从 80% 掉到 75% 没有意义,“哪 5 个 case 从过变不过"才有意义,它们直接指向这次改动破坏了什么。
  • 评估集持续生长:每次线上翻车,修复后把该 case 加进评估集。评估集就是你系统已知失败模式的清单,它只增不减。

配套三个反模式要警惕:拿评估集反复调参直到分数好看(过拟合到考题);评估集长期不更新,业务口径变了考题还是旧的;只看总分不看维度,某个维度塌了被平均分掩盖。前两个有共同的解法:留一小部分 case 做盲测集不参与日常迭代,定期从线上补新 case、淘汰过时 case——评估集本身也要有生命周期管理。评估集度量的是你自己的业务口径,不要拿"行业标准的评估分数"给自己解压——这正是它有价值的原因。

实战场景

一次换模型决策验证了评估集的价值。厂商新模型通用榜单分数更高,团队想切换。内部评估集(六十多个 case,含十余个历史翻车样本)跑完:总分略好于现役模型,但轨迹断言抓到新模型在三类 case 上跳过权限查询工具、直接基于会话内容编造数据——总分完全看不出这个差异,因为编造的数据恰好把答案"编对了”。决策依据这个发现调整:不立即切换,先加权限约束的 System Prompt,重跑评估集通过后再灰度。另一件事发生在日常迭代:一次看似无害的 Prompt 微调让两个历史翻车 case 重新翻车,CI 在发布前拦下——这两个 case 在评估集里躺了一个季度,平时毫无存在感,拦下这次发布时全场都认可了"它只增不减"的纪律。维护评估集的隐性收益,正是这种没人盯着的时刻替你把关。

检查清单

  • 评估集 20 个真实 case 起步,3:1:1 混合正常、兜底、历史翻车
  • 每个 case 配三类断言:结果、轨迹、拒答
  • 开放式维度用 LLM-as-judge,评分标准逐条可核对
  • judge 用已知好坏样本校准,抓不住坏样本先修 judge
  • 评估进 CI,回归超阈值阻止发布;温度设 0 或多次采样
  • 按 case 维度看回归,不看平均分
  • 线上翻车修复后 case 入集,评估集只增不减
  • 警惕过拟合考题、评估集过时、维度被总分掩盖三个反模式