结论先行:API 成本 = 输入单价 × 输入 token + 输出单价 × 输出 token,而输出单价通常是输入的 3~5 倍。优化的优先级是:先降模型档位,再砍输入,再砍输出,最后上缓存和批处理。不要一上来就抠 prompt 措辞——那是最费人力、收益最小的手段。
第一步永远是先算账
在动任何优化之前,先把每次调用的 usage(prompt_tokens / completion_tokens)连同"场景标识"落日志,按场景聚合出账单分布。没有分布数据,你不知道钱花在哪个场景、是输入贵还是输出贵、该动哪个变量。很多时候你会发现有单个场景吃掉了一半账单,优化目标立刻清晰。
把这件事做成代码层面的强制习惯,而不是"记得要加"的口头约定:
import logging
from openai import OpenAI
client = OpenAI()
logger = logging.getLogger("llm_cost")
def chat(scene: str, model: str, messages: list, **kw) -> str:
"""所有 LLM 调用走这个封装:usage 必须按场景落日志,这是成本分析的事实来源"""
resp = client.chat.completions.create(model=model, messages=messages, **kw)
u = resp.usage
logger.info("scene=%s model=%s prompt_tokens=%s completion_tokens=%s",
scene, model, u.prompt_tokens, u.completion_tokens)
return resp.choices[0].message.content
chat(scene="ticket_classify", model="gpt-4o-mini",
messages=[{"role": "user", "content": "分类:运费多扣了"}], temperature=0)
有了按场景的 usage 流水,后续每个优化动作都能回答"预计省多少、实际省多少",优化才从玄学变成工程。
账单聚合要落到两个维度才够用:按"场景"看结构(谁在花钱),按"时间"看趋势(花钱速度的变化)。再往下钻一层是"单位经济学"——单次调用的平均成本、单个业务订单的 LLM 成本占比。当你可以回答"处理一张工单平均花多少钱"时,成本才真正成为可管理的运营指标。
五个抓手,按 ROI 排序
1. 模型降档(收益最大)
旗舰模型和小模型的价差通常在一个数量级。分类、抽取、格式转换、简单改写这类任务,小模型质量已经达标——前提是用自己的评估集验证过,而不是凭感觉。合理架构是路由:简单请求走小模型,复杂请求才升级旗舰。
# 以 gpt-4o / gpt-4o-mini 官网价为例(美元 / 每百万 token,以官网实时价为准)
PRICES = {
"flagship": {"input": 2.5, "output": 10.0},
"mini": {"input": 0.15, "output": 0.6},
}
def cost_usd(model: str, in_tokens: int, out_tokens: int) -> float:
p = PRICES[model]
return in_tokens / 1e6 * p["input"] + out_tokens / 1e6 * p["output"]
def route(task_type: str) -> str:
simple = {"classify", "extract", "format"}
return "mini" if task_type in simple else "flagship"
t_in, t_out = 2000, 200
print(f"mini -> ${cost_usd('mini', t_in, t_out):.5f}")
print(f"flagship -> ${cost_usd('flagship', t_in, t_out):.5f}")
同一次调用价差一个数量级,这就是为什么降档排第一。
2. 砍输入
多轮对话只发摘要化的历史而不是全量;RAG 检索块做精排后只留真正相关的 top-k;结构化资料里下游用不到的字段直接删掉。输入 token 往往占大头,这部分修剪通常不伤质量。
砍输入有一条实用次序:先删结构性冗余(重复粘贴的说明、历史里早已失效的工具输出),再压缩表述(长资料换要点版),最后才动"少发几轮历史"。前两步几乎无信息损失,第三步才有——顺序反了容易把关键上下文当冗余删掉。
3. 砍输出
设置合理的 max_tokens 上限防止失控;prompt 里要求简洁输出;让模型输出结构化数据而不是铺陈的散文——省 token 的同时也省你解析的时间。输出单价高,砍输出字数直接省钱。
砍输出还有一个结构性手段:把"长回答"拆成"分步调用"——先让模型给提纲,用户点了感兴趣的部分再展开。总输出 token 未必变少,但大部分请求只付了提纲的钱,账单和响应速度双赢。
4. 缓存
固定 system prompt、工具定义、长知识库资料这类重复前缀,命中缓存后输入价格大幅打折。这是能省下真金白银却被大量团队忽略的手段,机制与实操见下一篇文章。
5. 批处理
非实时的任务(离线评测、历史数据回填、夜间批量生成)走各家的 Batch API,价格通常是实时调用的一半(以各官方文档为准),代价是数小时级的返回延迟。
批处理的适用边界也要清楚:用户在等结果的链路、输出要立刻喂给下一步交互的链路都不适合;适合的是"跑完入库、没人在线等"的任务。设计任务管道时先按实时性分类,别把整条链路一股脑塞进批处理。
五个抓手的收益和代价放在一张表里,按场景挑:
| 抓手 | 常见降幅 | 实施成本 | 主要风险 |
|---|---|---|---|
| 模型降档/路由 | 大,不同档位常差一个数量级 | 中,需评估集护航 | 质量悄悄下滑 |
| 砍输入 | 中,视历史与资料占比 | 低 | 误删关键上下文 |
| 砍输出 | 中,输出单价高杠杆大 | 低 | 过度压缩丢信息 |
| 前缀缓存 | 高,多轮/固定前缀场景显著 | 低到中,重排 prompt | 动态内容污染前缀 |
| Batch API | 单价约实时一半(以官方为准) | 低 | 数小时延迟,不适合实时 |
代码:先防失控,再谈省钱
账单异常的大头往往不是设计不省,而是事故。重试无上限、输出不设限是两大事故源:
from openai import OpenAI
client = OpenAI()
# 错误写法:无限重试 + 不设输出上限,故障与失控输出都会放大账单
def bad_call(messages):
while True:
try:
return client.chat.completions.create(
model="gpt-4o-mini", messages=messages) # 没有 max_tokens
except Exception:
continue # 服务端故障时死循环烧钱
# 正确写法:有限重试 + 输出上限 + 失败浮出水面
def safe_call(messages, max_retries=2, max_tokens=1024):
last_err = None
for _ in range(max_retries + 1):
try:
return client.chat.completions.create(
model="gpt-4o-mini", messages=messages, max_tokens=max_tokens)
except Exception as e:
last_err = e
raise RuntimeError(f"重试 {max_retries} 次仍失败: {last_err}")
再加一道保险丝:给单次调用估算预算上限(输入 token 数 × 单价 + max_tokens × 输出单价),超过阈值直接拒绝发起或降档执行。
组织层面的三件事
- 看板与告警:按场景的日/月成本看板,成本突增报警(往往是 bug 导致死循环重试或 prompt 膨胀);
- 降档要留评估集:换便宜模型最大的风险是质量悄悄下滑而没人发现,每次换模型跑一遍标注评估集,量化对比再上线;
- 把成本写进 code review:新增 LLM 调用时 reviewer 必问三个问题——用什么模型、输入能不能更短、要不要缓存。
最后提醒一个反直觉的事实:多数账单异常不是"设计得不够省",而是事故——重试逻辑没有上限导致死循环、日志把整段对话重复拼进 prompt、评估脚本跑全量数据没设预算。先给每次调用设 token 与费用的硬上限,再谈精细化优化,顺序别颠倒。
顺带一个定期检查动作:审计代码里所有拼接 prompt 的位置,确认没有把日志、调试信息、完整 HTML 这类"顺手续"内容拼进请求——单次不显眼,乘上每天几十万次调用就是账单大头。预算与配额是比告警更靠前的闸门:给每个场景设月度 token 预算,逼近阈值自动降档或限流,成本治理要靠机制,不靠自觉。
成本优化不是一次性工程,是伴随用量增长持续进行的运营动作。先把观测建好,后面的每一步优化才有依据。
实战场景
一个月账单环比翻倍的排查记录:成本看板告警后按场景拆账单,发现增量几乎全部来自一个"会话总结"场景。顺链路查代码,发现上一次功能迭代把这个场景的 prompt 从"最近 5 轮对话"改成了"全部历史对话 + 原始知识库全文",输入 token 涨了不止一个量级,而总结质量并没有变化——改动者只是想"给模型更多信息"。处置分三步:恢复为摘要化历史,知识库资料改走前缀缓存;该场景降档到小模型并跑评估集确认质量无损;然后把"新增/修改 LLM 调用必须过成本三问"写进 code review 清单,并在调用封装里加了单次调用预算熔断。复盘结论很典型:成本问题九成是变更管理问题,不是优化技巧问题——账单分布数据让这次排查只花了半天,这就是"先算账"三个字的含金量。
检查清单
- 所有调用走统一封装,usage 按场景落日志,出账单分布看板
- 优化顺序:降档 → 砍输入 → 砍输出 → 缓存 → 批处理
- 降档与换模型必须过评估集,防止质量悄悄下滑
- 每次调用设 max_tokens,重试设次数上限,失败要浮出水面
- 单次调用加预算熔断,超阈值拒绝或降档
- 非实时任务走 Batch API(延迟换价格,以官方文档为准)
- 固定前缀接入 prompt cache,命中率进看板
- 新增 LLM 调用进 code review 三问:什么模型、输入能多短、要不要缓存