模型路由与降级:成本与质量的最优解
所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把 …
# LLM · 8 篇
所有流量都打旗舰模型,是 LLM 应用最常见的成本浪费;所有流量为了省钱都打轻量模型,则是最常见的质量事故来源。两个问题出自同一个根因:把模型选择当成了静态决策。正确做法是把模型选择变成运行时决策——路由系统按任务特征把 …
2025 年开源模型已形成清晰的第一梯队——Meta 的 Llama、阿里的 Qwen、智谱的 GLM、DeepSeek,外加 Mistral 等。在分类、抽取、常规问答这类业务任务上,开源中小模型(7B~32B)已经够 …
幻觉不是 bug,而是生成机制的副产品——模型优化的目标是"像不像一个合理的下一句",不是"是不是真的"。它无法根除,只能靠工程手段压低概率、圈住影响:上 RAG、允许说"不知道"、结构化输出加校验、关键事实走外部验证。 …
别靠"麻烦你输出 JSON"这种裸 prompt。优先级是:API 原生 schema 约束输出 > function calling > few-shot + 解析重试。无论用哪种,拿到结果后必须过一遍 schema …
三者解决的是不同层面的问题——提示工程改变"这一次怎么答",RAG 补"模型不知道的知识",微调改"模型的长期行为习惯"。知识频繁变化选 RAG,固定风格与格式且量大到值得训练时选微调;其他一切问题,先从提示工程开始。多 …
temperature 控制"下一个 token 的概率分布被削尖还是拉平"。分类、抽取、JSON 输出这类要确定性的任务用 00.2;创意生成用 0.71.0;通用问答取中间值。top_p 与 temperature …
模型不认识汉字也不认识单词,只认识 token。上下文窗口限制、API 计费、输出截断、速率限制,全都按 token 计算。后端工程师接 LLM API,第一件该搞清楚的事就是:我这段文本会变成多少个 token。 文本 …
注意力机制的本质是一次"软化的加权检索"——每个 token 拿自己的 Query 去和序列里所有 token 的 Key 算匹配度,再按匹配度对 Value 加权求和。理解了 Q、K、V 三个矩阵从哪来、怎么算 …