结论先行:RAG = 先检索、后生成。把和问题相关的资料块塞进 prompt,让模型"开卷考试"。它解决两个模型天然的问题——知识有截止日期、私有数据它根本没见过——而且比微调便宜得多,知识可以随时更新。企业内部知识问答的默认首选方案。

为什么需要 RAG

通用模型的训练语料是公开数据,两个盲区:训练截止之后发生的事它不知道;你公司内部文档、私有业务规则它完全没见过。硬问的结果要么是"不知道",要么更糟——一本正经地编。与其指望模型记在你的参数里(微调),不如把资料放到上下文里给它看(RAG):参数里的知识更新要重训,上下文里的知识改文档就生效。

再补两个 RAG 的隐性优势。其一,可归因:答案能带上引用编号指回具体资料块,人工核验和审计都有抓手,这在金融、法务、客服场景往往是硬要求。其二,权限可控:检索层天然能按租户、部门做过滤,“谁能问出什么"在检索层就拦住了;而微调把知识焊进权重,想撤回一条过时政策只能重训。

也要破除一个误解:RAG 不是"便宜的微调”,两者机制不同。RAG 让模型"看着材料作答",材料错了答案就错;它也不改变模型的语言与推理能力,资料本身写得太差(口语化、缺术语、段落混乱),RAG 救不回来。所以 RAG 项目的第一工作量往往在数据治理,不在模型调用。

完整流程:一条离线,一条在线

离线建库:文档 → 切块(chunking)→ 每块算 embedding → 存向量库(连同来源、章节、权限等元数据)。

在线问答:用户问题 → (可选查询改写)→ 算 embedding → 向量库检索 top-k 相似块 → (可选 rerank 精排)→ 资料块拼进 prompt → 交给 LLM 生成答案。

切块:最容易做错的一步

切块的目标是"每块语义完整、大小适中":太大,一块里塞多个主题,检索精度下降且挤占上下文;太小,上下文断裂,检索回来的块缺前因后果。常见做法是 300~800 token 一块,带 10%~15% 的重叠(overlap),并按文档结构切(标题、段落边界),别用固定长度硬剁。

两类文档要特别处理:表格别和正文混切——整表一块或行列扁平化成文本,切碎的表格检索出来就是废纸;问答对、条款类文档天然自带边界,按条切而不是按字数切。另外每块记得带元数据(文档名、章节、生效日期),既帮 rerank,也帮答案引用时给出处。

在线链路里"查询改写"值得单独强调:用户的真实提问往往带上下文指代(“那第二个方案呢”),直接拿去检索几乎必失败。多轮 RAG 的标准做法是先让模型把"带上下文的追问"改写成"独立完整的检索查询"再去召回——这一步在多数 RAG 框架里是默认选项,自研链路容易漏。

代码:最小可运行的 RAG 骨架

下面用词重叠打分代替 embedding 演示流程骨架(示意实现,生产环境把打分函数换成向量相似度即可,其余结构不变):

import re

kb = [
    "年假:入职满一年可休 5 天,需提前 3 天在 OA 申请。",
    "报销:每月 10 日前提交上月发票,超过 5000 元需部门总监审批。",
    "考勤:工作日 9:30 前打卡,每月可补卡 3 次。",
]

def chars(text: str) -> set[str]:
    return set(text) - set(",。:;!?\n ")  # 去标点的字符集,示意用

def retrieve(query: str, top_k: int = 1) -> list[str]:
    q = chars(query)
    scored = [(len(q & chars(doc)), doc) for doc in kb]
    scored.sort(key=lambda x: x[0], reverse=True)
    return [doc for _, doc in scored[:top_k]]

def build_prompt(question: str) -> str:
    context = "\n".join(f"[{i+1}] {doc}" for i, doc in enumerate(retrieve(question)))
    return f"仅根据以下资料回答,资料中没有的就回答'不知道'。\n\n资料:\n{context}\n\n问题:{question}"

print(build_prompt("年假有几天,怎么申请?"))
# 把 build_prompt 的结果发给 LLM,就是一次完整的 RAG 调用

生产系统里 retrieve 换成向量库查询(通常混合 BM25),kb 换成几千上万块的索引,外层再包一层 API 服务,就是一个能上线的 RAG。

代码:切块与拒答边界的正确姿势

切块和 prompt 边界各给一组"错误 vs 正确"。切块最常见的错是按字符硬剁:

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

def chunk(text: str, size: int = 500, overlap: int = 50) -> list[str]:
    """按 token 切块并带重叠。错误做法是 text[i:i+600] 按字符硬剁,
    会把句子和表格腰斩,检索出来的块缺头少尾。"""
    tokens = enc.encode(text)
    step = size - overlap
    out = []
    for start in range(0, max(len(tokens), 1), step):
        piece = enc.decode(tokens[start:start + size]).strip()
        if piece:
            out.append(piece)
        if start + size >= len(tokens):
            break
    return out

prompt 边界最常见的错是没有拒答出口:

question = "年假怎么申请?"
context = "[1] 年假:入职满一年可休 5 天,需提前 3 天在 OA 申请。"

# 错误写法:只说"根据资料回答",没有拒答出口,模型仍会脑补
bad_prompt = f"请根据资料回答问题。资料:{context}\n\n问题:{question}"

# 正确写法:明确边界 + 允许拒答 + 要求引用编号,便于事后校验
good_prompt = (
    "仅根据以下资料回答,资料中没有的信息必须回答'不知道',"
    "禁止推测和补充。答案末尾用 [编号] 标注引用。\n\n"
    f"资料:\n{context}\n\n问题:{question}"
)

效果好不好,卡在检索

LLM 生成端各家模型差距不大,RAG 的效果瓶颈几乎都在检索端:

  • 召回:该找到的块没找到,模型只能靠参数瞎答或说不知道。优化方向:混合检索、查询改写(把口语问题改写成适合检索的形式)、切块策略。
  • 排序:找到的块里垃圾排在前面,挤占上下文。优化方向:rerank 模型对候选块做精排。
  • 抗噪:prompt 里明确"仅根据资料回答,没有就说不知道",并要求标注引用编号,方便校验。

先建评估集(问题 + 标准答案 + 应命中的资料块),再调检索参数,否则所有优化都是凭感觉。评估集本身也要讲究:除了正常问题,必须包含三类边界用例——答案确实不在库里的"拒答题"、措辞口语化但库里有答案的"改写题"、跨多块资料才能答全的"聚合题"。只有正常题的评估集会把系统惯成"只会答标准问法"的温室植物。对照症状定位问题,比漫无目的调参快得多:

症状常见根因优化手段
该命中的块没召回切块碎、问句与文档措辞差异大混合检索、查询改写、放宽 top_k
命中了但答非所问相关块排在后面被挤出上下文rerank 精排、控制块大小与数量
答案混入资料外内容prompt 没有拒答出口明确边界话术 + 引用编号校验
刚更新的文档问不出来建库管线没触发或索引没刷新索引更新监控 + 文档版本号

实战场景

一个 HR 政策问答机器人的两轮迭代值得复述。第一版只做了最朴素的向量检索,评估集上命中率尚可,上线后问题集中在两类:员工问"试用期年假怎么算"这类跨条款问题,单块上下文不够,模型要么漏答要么编;问"去年规定和现在有什么区别",旧版本文档还躺在库里,答案新旧混杂。第二版的动作:切块改为按政策条款切,并带上"生效日期、是否现行有效"元数据;检索后加一层元数据过滤,默认只查现行有效条款,问历史版本才放开;跨条款问题引入查询改写,把一个问题拆成两三个检索子查询分别召回再合并精排。评估集从 50 条扩到 300 条,每次改动跑一遍命中率与拒答正确率。两轮下来没有动过一个模型参数——RAG 的优化空间几乎全在数据与检索层。

检查清单

  • 切块按语义边界(标题/条款/表格),带 10%~15% 重叠,不用固定字符硬剁
  • 每块携带元数据(来源、章节、生效日期、权限),不只存向量
  • 检索用 BM25 + 向量混合,硬标识靠关键词、语义改写靠向量
  • prompt 给出拒答出口,要求引用编号并做代码校验
  • 先建评估集(问题/答案/应命中块),再调检索参数
  • 表格与结构化文档单独制定切块策略
  • 文档更新走索引刷新管线,旧版本默认不参与检索