结论先行:不要一上来就上向量数据库。记忆设计的正确顺序是:先榨干上下文窗口(会话历史 + 摘要压缩),再补任务状态(结构化 scratchpad),最后才考虑跨会话的长期记忆。大部分"记忆问题"其实是上下文管理问题。

三层记忆模型

短期记忆就是当前对话的消息列表。它是唯一"天然保真"的记忆——原文都在。问题只有一个:窗口有限,长对话必然装不下。

任务状态是结构化的进行时信息:当前目标、已完成步骤、待办、关键中间结论。它应该以明确的 state 对象存在(甚至持久化到数据库),而不是散落在对话历史里靠模型"记得"。会话中断再恢复时,任务状态是唯一可靠的恢复点。

长期记忆是跨会话要保留的东西:用户偏好、确认过的事实、历史决策。这层才需要存储和检索机制。

层级载体生命周期保真度典型内容
短期记忆消息列表单次会话原文保真本轮对话、用户原话
任务状态结构化对象单次任务(可持久化)结构化保真目标、进度、关键结论
长期记忆存储加检索跨会话蒸馏后有损偏好、确认事实、决策
工具结果过程数据用完即弃原始数据查询返回、API 响应

任务状态为什么不能靠对话历史承载?因为自然语言里的进度是隐式的——“好的,我已经查完了"这句确认埋在第三十条消息里,模型每一步都要靠自己从长历史里把它挖出来,挖丢了就是状态丢失。显式 state 对象把"已完成/进行中/待办"变成结构化字段,恢复会话时直接注入,不依赖模型翻历史。

注意最后一行:工具结果是过程数据,不是记忆——这个区分是反模式一节的主题。

短期记忆的续命手段:摘要压缩

长对话的标准做法:把早期轮次压缩成一段摘要,只保留最近 N 轮原文。

def maybe_compress(messages: list, max_turns: int = 20, llm=None) -> list:
    """超过阈值时,把早期对话压缩为一条 system 摘要"""
    if len(messages) <= max_turns:
        return messages
    old, recent = messages[:-10], messages[-10:]
    summary = llm(
        "把以下对话压缩成摘要,保留:用户目标、已确认的事实、"
        "关键决定、未完成事项。忽略寒暄和重复内容。\n\n"
        + serialize(old))
    return [{"role": "system", "content": f"此前对话摘要:\n{summary}"}] + recent

压缩是有损的,所以摘要 Prompt 必须明确"保留什么”:目标、已确认事实、关键决定。丢掉的是寒暄和被推翻的中间尝试。两个补充细节:摘要本身也要有长度上限,否则摘要会随着对话变长而膨胀,压缩就失去了意义;被压缩的原文不要立刻销毁,落一份到日志——排查"模型为什么忘了"时,原文是唯一证据。

压缩的触发时机也有讲究:按轮数触发简单但粗糙,按 token 数触发更贴合窗口的现实——窗口本来就是按 token 算的,不是按轮数。混合做法是轮数做粗筛、token 做精判,避免每轮都做一次无谓的压缩调用。

长期记忆:写什么、什么时候写

长期记忆最容易做错的点是把"对话原文"当记忆存。正确的粒度是结构化事实:

{
  "scope": "user:u1001",
  "kind": "preference",
  "content": "运单状态查询结果偏好按延误风险排序,而非时间排序",
  "source_msg_id": "msg_88231",
  "created_at": "2026-01-07T14:00:00+08:00",
  "ttl": null
}

写入时机有两种:每轮让模型顺带判断"有没有值得记住的信息"(多一次调用,但覆盖全),或只在用户显式表达偏好时写入(便宜,但漏得多)。上线初期建议后者,观察 case 再放宽。

三条铁律:写入前查重更新(同一个偏好别存十条);读取时按需检索注入当前上下文,不要全量拼进 Prompt;给记忆加 scope 和失效机制,用户资料变了旧记忆要能淘汰。

写入内容按用途分三类管理:用户偏好(该怎么服务)、事实(用户是谁、业务对象的状态)、决策(双方确认过什么)。三类的生命周期不同——偏好可能一句话被推翻,事实跟着资料与业务变更走,决策跟到流程结束。混在一个池子里不加区分,失效机制就无从谈起,“记忆陈旧"的多数根源在这里。

检索式记忆:读取比写入更容易错

写入错了几条记忆,损失有限;读取方式错了,每一条记忆都可能在污染上下文。最常见的错误是全量拼接——记忆条数一多,系统提示里全是陈年旧事,模型反而抓不住当前任务。

# 错误写法:把该用户所有历史记忆全量拼进 system,记忆越多上下文越烂
system = BASE_PROMPT + "\n用户历史记忆:\n" + "\n".join(all_memories(uid))

# 正确写法:按当前问题检索相关记忆,带相关度阈值与条数上限
def recall(uid: str, query: str, k: int = 3, min_score: float = 0.6) -> str:
    hits = vector_search(scope=uid, query=query)[:k]      # scope 限定到该用户
    hits = [h for h in hits if h.score >= min_score]      # 不相关的宁可不注入
    return "\n".join(h.content for h in hits) or "(无相关历史记忆)"

“宁可不注入"是个重要倾向:一条不相关的记忆会诱导模型把旧结论安到新问题上,比没有记忆更糟。

检索的粒度也有选择:按条检索适合偏好类短记忆,按片段(chunk)检索适合事实类长文本。向量检索召回"相近但不相关"内容时,加重排序模型或让 LLM 快速过一遍相关性都能提纯,差别在成本——提纯动作的预算要和记忆出错造成的业务损失匹配,别用大炮打蚊子,也别为了省钱扛蚊子灾。

一个反模式

把所有工具返回结果都堆进对话历史并永久保留——这不是记忆,这是让上下文慢性中毒。工具结果是过程数据,用完即裁剪;记忆是蒸馏后的结论。两者的检验标准很简单:三天后还想用的是记忆,只为当前步骤服务的是过程数据。另一个检验是"它是不是一次蒸馏”——记忆应该是从交互中提炼出的结论,而不是交互本身的残留物。分清这两者,你的 Agent 才不会越聊越糊涂。

实战场景

客服 Agent 上线"记住用户偏好"功能。三个月后收到投诉:一位货主半年前随口说过"方便的话电话联系”,此后每次会话 Agent 都建议电话回访——期间这位货主换了岗位,只在工单系统看消息,还在工单备注里写过"勿电话骚扰",但 Agent 从没读到过。排查发现三个叠加问题:写入无查重,同一偏好存了多条不同时间的记录;读取是全量拼接,旧记忆永远在场;没有失效机制,用户否认过的偏好无法淘汰。改造后:记忆统一带 scope 与时间戳,检索注入而非全量拼接;用户明确否认时写入覆盖性记忆(“联系偏好:仅站内信,勿电话”),读取时按时间取最新;每条记忆带来源消息 ID,能回溯到当时的上下文。这个案例的教训:记忆系统的问题从来不是"存不存得下",而是"该在场的在不在场、不该在场的走没走"。

检查清单

  • 先榨干上下文窗口,确认不是上下文管理问题再考虑长期记忆
  • 长期记忆存结构化事实,不存对话原文
  • 每条记忆带 scope、时间戳、来源消息 ID
  • 写入前查重更新,同一事实只有最新一条
  • 读取按需检索注入,带相关度阈值和条数上限,宁缺勿滥
  • 用户否认的信息有覆盖与失效机制
  • 摘要压缩明确"保留什么",被压缩原文落日志可回溯
  • 工具结果作为过程数据用完即裁剪,不进入长期记忆