结论先行:三者解决的是不同层面的问题——提示工程改变"这一次怎么答",RAG 补"模型不知道的知识",微调改"模型的长期行为习惯"。知识频繁变化选 RAG,固定风格与格式且量大到值得训练时选微调;其他一切问题,先从提示工程开始。多数业务需求,提示工程 + RAG 就够了,微调是最后才考虑的重武器。
先诊断问题出在哪
模型答得不对,先分清是"不知道"还是"不会说":
- 不知道:私有数据、新政策、实时信息——知识缺失,RAG 或直接外挂工具是正解;
- 不会说:答案其实在,但格式乱、语气不对、不按套路输出——行为问题,提示工程通常能修,修不动再考虑微调。
诊断错了方向,后面全白费:给知识缺失的问题狂调 prompt,或者为格式问题花钱训练,都是常见浪费。
再加一个实用判别法:把同一问题连问几遍并换个说法再问。如果换个措辞答案质量剧烈波动,多半是知识缺失——碰运气碰到了训练数据里的相关内容;如果次次都稳定地错在同一个点上(比如总把百分比写成小数),多半是行为习惯问题。前者上 RAG,后者先 prompt 后微调。
诊断之外再补一条经验:把失败案例按上面两类分桶统计。拿 50 条模型答错的样本,人工逐条标"知识缺失/行为偏差/资料本身有误/问题有歧义",分布一出来,该走哪条路、投入多少,就不用争论了——这一小时的标注比任何会议都有效。
三种手段对比
| 维度 | 提示工程 | RAG | 微调(SFT/LoRA) |
|---|---|---|---|
| 改什么 | 单次调用的输入 | 上下文里喂什么知识 | 模型参数本身 |
| 成本 | 几乎为零 | 向量库 + 检索链路,中 | GPU + 标注数据,高 |
| 周期 | 分钟级 | 天级 | 数天到数周 |
| 知识更新 | 不涉及 | 改文档即生效,近实时 | 固化进权重,更新要重训 |
| 擅长 | 格式约束、few-shot、角色设定 | 私有知识问答、时效性问答 | 风格/领域话术、稳定格式、小模型替代大模型降本 |
| 主要风险 | 长 prompt 挤占窗口、可维护性 | 检索不准则满盘皆输 | 过拟合、灾难性遗忘、评测成本 |
决策路径
- 默认起点:提示工程。把角色、任务、约束、输出格式、few-shot 示例写清楚,配评估集验证。80% 的"模型不听话"到这一步就结束了。
- 知识缺失:上 RAG。内部文档问答、政策解读、客服知识库。知识更新频繁是强信号——只有 RAG 能做到"改文档当天生效"。
- 提示工程压不住的行为问题:考虑微调。典型信号:产出风格有严格的业务规范(话术、法律文书格式);模型反复违反某个格式约定;或者你想把大模型的能力蒸馏到小模型上降本——这时微调小模型 + 简化 prompt 的组合往往划算。
路径上还有一个常见弯路值得点名:为了"省 token 费"而微调。正确的降本路径通常是先降模型档位、再上缓存,微调降本排最后——用小模型加微调逼近旗舰质量,这条路成立的前提是任务窄、数据足、评估稳,三个条件缺一个,省下的 token 费都会赔进训练和运维。
代码:few-shot 是提示工程的杀手锏
分类任务几乎不需要微调,几个示例就能稳定住格式:
from openai import OpenAI
client = OpenAI()
system = """你是客服工单分类器。只输出类别名,不要任何解释。
类别:账务、技术、投诉、其他。
示例:
输入:这个月怎么扣了我两次钱?
输出:账务
输入:App 一打开就闪退
输出:技术
输入:你们这个系统太烂了,我要投诉
输出:投诉"""
resp = client.chat.completions.create(
model="gpt-4o-mini",
messages=[
{"role": "system", "content": system},
{"role": "user", "content": "输入:运费怎么又多收了十块钱"},
],
temperature=0,
)
print(resp.choices[0].message.content) # -> 账务
同样的任务,如果分类标准一个月改三次,答案显而易见:改 prompt 或改 RAG 里的规则文档,绝不要走重训的路。
诊断环节同样可以先写代码验证方向。最常见的一个误判是把"知识缺失"当 prompt 问题硬调,对比一下:
# 错误写法:公司私有制度问题,靠加压 prompt 逼模型"必须知道"
bad_system = (
"你是公司制度专家,必须准确回答所有制度问题,禁止说不知道。"
# 模型参数里根本没有你们的制度内容,加压只会让它编得更自信
)
# 正确写法:承认知识缺失,检索原文注入上下文,保留拒答出口
good_system = (
"你是公司制度助手。仅根据 <context> 标签内的制度原文回答,"
"资料中没有的规定,固定回答'制度中没有相关规定'。"
)
最后一问:什么时候才真的需要微调
决定走微调路线前,把账算全。显性成本是 GPU 时和标注:千条级高质量标注(问题 + 理想回答对)是起步量级,拿质量差的数据微调,出来往往不如原模型。隐性成本更贵:每次基座模型升级都可能要重训;评测体系必须先建好,否则无法证明"微调后更好";灾难性遗忘要专门用通用能力回归集盯着。
方式上,当前业务微调的默认选择是 LoRA 一系,不全参重训:
| 方式 | 训练什么 | 显存门槛 | 适用场景 |
|---|---|---|---|
| 全参 SFT | 全部权重 | 大,多卡起步 | 数据充足、预算充足、追求上限 |
| LoRA | 冻结原权重,只训低秩增量 | 中,单张专业卡可训 | 绝大多数业务微调的默认选择 |
| QLoRA | 4-bit 量化基座 + LoRA 增量 | 小,消费级显卡可训 | 显存受限的验证与小规模任务 |
满足"数据量大(千条以上高质量标注)、分布稳定、要求固定、且提示工程已尝试失败"这四条,微调才开始划算。另外记住:RAG 和微调不是二选一,成熟系统常见组合是微调让模型学会"怎么用检索回来的资料",RAG 负责"资料本身永远新鲜"。先跑通廉价方案,再为剩下的差距付出训练成本。
训练完成后还有一段容易被低估的工程:微调模型的部署与版本管理。权重是资产,要有版本号、评估报告和回滚方案;LoRA 增量文件与基座版本要配对记录——基座升级而增量不重训,是常见的"悄悄变差"事故源。
实战场景
一个客服团队的真实取舍:新渠道上线,要求助手按公司话术手册回答,且语气必须统一。第一反应是微调,标注预算都报上去了。先花三天做了对照实验:话术手册切块入库走 RAG,prompt 里放两个标准话术示例作 few-shot,配 200 条标注评估集打分——结果达到业务验收线,微调立项暂缓。半年后才真正用到微调:公司要把旗舰模型的分类质量搬到 7B 小模型上降本,这次满足全部四个条件(两万条历史工单、分布稳定、要求固定、prompt 已调到头),用 LoRA 微调小模型加精简 prompt,评估达标后替换上线。这个案例的顺序值得记住:先用便宜手段摸清问题边界,微调只在"降本蒸馏"和"行为硬约束"两类场景里兑现价值。
检查清单
- 动手前先诊断:知识缺失还是行为问题,方向错了全白费
- 默认从提示工程起步,配评估集验证,别直接跳到重武器
- 知识更新频繁或需权限控制选 RAG;格式风格硬约束且数据充足才考虑微调
- 微调用 LoRA/QLoRA 起步,不全参重训
- 微调前备齐:千条级高质量标注、评估集、通用能力回归集
- 微调与 RAG 可组合:微调学"怎么用资料",RAG 保"资料新鲜"
- 每次基座模型升级,把重训与评测成本算进选型