模型路由与降级:成本与质量的最优解
所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把 …
所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把 …
Prompt 是 LLM 应用里变化最频繁、影响面最大、却最少被工程化管理的部分。多数线上质量问题溯源到最后,结论都是"上周有人改了一句提示词",而那句话改了什么、为什么改、影响多大,无人能答。把 prompt 当代码管 …
让一个会话从技术评审一路干到编码自测,看起来连贯,实际上每个阶段的产出质量都在为上下文膨胀买单。 三个阶段三种心智 技评阶段:发散,需要铺开对比多种方案,上下文里全是调研材料 编码阶段:收敛,只需要定稿的方案 + 目标文 …
Agent 的演示和 Agent 的生产是两种工程。演示比的是能力上限:挑十个干净的任务,跑通一次就能录屏。生产比的是失败下限:每天几万次调用里,长尾输入、工具故障、模型限流、死循环都会出现,任何一次无人处置都可能演变成 …
Agent 系统的可观测性要回答三个问题——这次任务为什么花了这么多 token(trace)、失败的那次到底发生了什么(回放)、Agent 到底对生产环境做了什么操作(审计)。传统 APM 只覆盖服务调用链,看不到 …
判断一个流程该不该做成 skill,标准是你愿不愿意第三次为它翻聊天记录。第三次出现的手工流程,就是 skill 的立项信号。 从对话到 skill 的路径 一个典型演进: 第 1 次:对话里现场推排查步骤,磕磕绊绊跑通 …
给 agent 加安全护栏(hook)后,护栏本身会成为新的故障源。这次教训:只读命令被误判为写操作拦截,绕了弯路才发现是规则匹配方式的问题。 现象 一条无害的只读组合命令(grep 管道拼 sed)被 …
订阅额度按 token 计费后,真正要管的不是"调用次数",是单个 prompt 的输入+输出总量。上下文大不等于该塞满。 成本模型三事实 prompt 数额度基本用不完,别为省调用次数把十个问题塞一轮 高峰时段倍价:高 …
大多数团队的正确起点是 pgvector——如果业务数据已经在 PostgreSQL 里,向量检索只是又一个查询类型,不值得为此引入一套新运维。数据量到千万级、过滤条件复杂、独立部署可接受时,Qdrant 是均衡的选择; …
agent 的记忆要解决的不是"存什么",而是"什么时候读、什么时候写、写什么"。没有协议的记忆库,三个月后就是一座没人检索的垃圾山。 四步协议 1. 会话启动 → 只拉最近活动标题,不展开正文 2. 答前检索 → 问题 …
多任务并行时,派单信息放对话里 = 必然丢失。写成文件,任务才有完整的上下文载体。 说明书完整模板 每个任务一个文件,放在 .zcode/tasks/<id>-<slug>.md。下面是一份可以直接抄走的完整模板: # …
不要用"读一遍代码"来验收 AI 写的代码。读代码验收的极限是你个人的注意力和善意,跑命令验收的下限是机器的诚实。 转述不可信 执行 agent 的汇报链路是:它写了代码 → 它形成了对代码的印象 → 它把印象讲给你。每 …