结论先行:不要一上来就上向量数据库。记忆设计的正确顺序是:先榨干上下文窗口(会话历史 + 摘要压缩),再补任务状态(结构化 scratchpad),最后才考虑跨会话的长期记忆。大部分"记忆问题"其实是上下文管理问题。
三层记忆模型
短期记忆就是当前对话的消息列表。它是唯一"天然保真"的记忆——原文都在。问题只有一个:窗口有限,长对话必然装不下。
任务状态是结构化的进行时信息:当前目标、已完成步骤、待办、关键中间结论。它应该以明确的 state 对象存在(甚至持久化到数据库),而不是散落在对话历史里靠模型"记得"。会话中断再恢复时,任务状态是唯一可靠的恢复点。
长期记忆是跨会话要保留的东西:用户偏好、确认过的事实、历史决策。这层才需要存储和检索机制。
| 层级 | 载体 | 生命周期 | 保真度 | 典型内容 |
|---|---|---|---|---|
| 短期记忆 | 消息列表 | 单次会话 | 原文保真 | 本轮对话、用户原话 |
| 任务状态 | 结构化对象 | 单次任务(可持久化) | 结构化保真 | 目标、进度、关键结论 |
| 长期记忆 | 存储加检索 | 跨会话 | 蒸馏后有损 | 偏好、确认事实、决策 |
| 工具结果 | 过程数据 | 用完即弃 | 原始数据 | 查询返回、API 响应 |
任务状态为什么不能靠对话历史承载?因为自然语言里的进度是隐式的——“好的,我已经查完了"这句确认埋在第三十条消息里,模型每一步都要靠自己从长历史里把它挖出来,挖丢了就是状态丢失。显式 state 对象把"已完成/进行中/待办"变成结构化字段,恢复会话时直接注入,不依赖模型翻历史。
注意最后一行:工具结果是过程数据,不是记忆——这个区分是反模式一节的主题。
短期记忆的续命手段:摘要压缩
长对话的标准做法:把早期轮次压缩成一段摘要,只保留最近 N 轮原文。
def maybe_compress(messages: list, max_turns: int = 20, llm=None) -> list:
"""超过阈值时,把早期对话压缩为一条 system 摘要"""
if len(messages) <= max_turns:
return messages
old, recent = messages[:-10], messages[-10:]
summary = llm(
"把以下对话压缩成摘要,保留:用户目标、已确认的事实、"
"关键决定、未完成事项。忽略寒暄和重复内容。\n\n"
+ serialize(old))
return [{"role": "system", "content": f"此前对话摘要:\n{summary}"}] + recent
压缩是有损的,所以摘要 Prompt 必须明确"保留什么”:目标、已确认事实、关键决定。丢掉的是寒暄和被推翻的中间尝试。两个补充细节:摘要本身也要有长度上限,否则摘要会随着对话变长而膨胀,压缩就失去了意义;被压缩的原文不要立刻销毁,落一份到日志——排查"模型为什么忘了"时,原文是唯一证据。
压缩的触发时机也有讲究:按轮数触发简单但粗糙,按 token 数触发更贴合窗口的现实——窗口本来就是按 token 算的,不是按轮数。混合做法是轮数做粗筛、token 做精判,避免每轮都做一次无谓的压缩调用。
长期记忆:写什么、什么时候写
长期记忆最容易做错的点是把"对话原文"当记忆存。正确的粒度是结构化事实:
{
"scope": "user:u1001",
"kind": "preference",
"content": "运单状态查询结果偏好按延误风险排序,而非时间排序",
"source_msg_id": "msg_88231",
"created_at": "2026-01-07T14:00:00+08:00",
"ttl": null
}
写入时机有两种:每轮让模型顺带判断"有没有值得记住的信息"(多一次调用,但覆盖全),或只在用户显式表达偏好时写入(便宜,但漏得多)。上线初期建议后者,观察 case 再放宽。
三条铁律:写入前查重更新(同一个偏好别存十条);读取时按需检索注入当前上下文,不要全量拼进 Prompt;给记忆加 scope 和失效机制,用户资料变了旧记忆要能淘汰。
写入内容按用途分三类管理:用户偏好(该怎么服务)、事实(用户是谁、业务对象的状态)、决策(双方确认过什么)。三类的生命周期不同——偏好可能一句话被推翻,事实跟着资料与业务变更走,决策跟到流程结束。混在一个池子里不加区分,失效机制就无从谈起,“记忆陈旧"的多数根源在这里。
检索式记忆:读取比写入更容易错
写入错了几条记忆,损失有限;读取方式错了,每一条记忆都可能在污染上下文。最常见的错误是全量拼接——记忆条数一多,系统提示里全是陈年旧事,模型反而抓不住当前任务。
# 错误写法:把该用户所有历史记忆全量拼进 system,记忆越多上下文越烂
system = BASE_PROMPT + "\n用户历史记忆:\n" + "\n".join(all_memories(uid))
# 正确写法:按当前问题检索相关记忆,带相关度阈值与条数上限
def recall(uid: str, query: str, k: int = 3, min_score: float = 0.6) -> str:
hits = vector_search(scope=uid, query=query)[:k] # scope 限定到该用户
hits = [h for h in hits if h.score >= min_score] # 不相关的宁可不注入
return "\n".join(h.content for h in hits) or "(无相关历史记忆)"
“宁可不注入"是个重要倾向:一条不相关的记忆会诱导模型把旧结论安到新问题上,比没有记忆更糟。
检索的粒度也有选择:按条检索适合偏好类短记忆,按片段(chunk)检索适合事实类长文本。向量检索召回"相近但不相关"内容时,加重排序模型或让 LLM 快速过一遍相关性都能提纯,差别在成本——提纯动作的预算要和记忆出错造成的业务损失匹配,别用大炮打蚊子,也别为了省钱扛蚊子灾。
一个反模式
把所有工具返回结果都堆进对话历史并永久保留——这不是记忆,这是让上下文慢性中毒。工具结果是过程数据,用完即裁剪;记忆是蒸馏后的结论。两者的检验标准很简单:三天后还想用的是记忆,只为当前步骤服务的是过程数据。另一个检验是"它是不是一次蒸馏”——记忆应该是从交互中提炼出的结论,而不是交互本身的残留物。分清这两者,你的 Agent 才不会越聊越糊涂。
实战场景
客服 Agent 上线"记住用户偏好"功能。三个月后收到投诉:一位货主半年前随口说过"方便的话电话联系”,此后每次会话 Agent 都建议电话回访——期间这位货主换了岗位,只在工单系统看消息,还在工单备注里写过"勿电话骚扰",但 Agent 从没读到过。排查发现三个叠加问题:写入无查重,同一偏好存了多条不同时间的记录;读取是全量拼接,旧记忆永远在场;没有失效机制,用户否认过的偏好无法淘汰。改造后:记忆统一带 scope 与时间戳,检索注入而非全量拼接;用户明确否认时写入覆盖性记忆(“联系偏好:仅站内信,勿电话”),读取时按时间取最新;每条记忆带来源消息 ID,能回溯到当时的上下文。这个案例的教训:记忆系统的问题从来不是"存不存得下",而是"该在场的在不在场、不该在场的走没走"。
检查清单
- 先榨干上下文窗口,确认不是上下文管理问题再考虑长期记忆
- 长期记忆存结构化事实,不存对话原文
- 每条记忆带 scope、时间戳、来源消息 ID
- 写入前查重更新,同一事实只有最新一条
- 读取按需检索注入,带相关度阈值和条数上限,宁缺勿滥
- 用户否认的信息有覆盖与失效机制
- 摘要压缩明确"保留什么",被压缩原文落日志可回溯
- 工具结果作为过程数据用完即裁剪,不进入长期记忆