混合 RAG 记忆分层（最近对话保留原文 + 较旧内容压缩成摘要）

这是一份什么方法

一种把上下文按"时间近远"分层的记忆管理方法：最近若干轮对话保留原文，较旧内容压缩成摘要。在 SRC-BIZ-001 中，作者 WMW 把这一策略与混合检索、指代改写一起使用，目的是同时控制信息丢失与上下文膨胀带来的延迟、Token 成本和幻觉。

适合什么时候用

• 多轮对话中需要同时控制"上下文信息"与"上下文开销"。
• 单纯保留全部历史会导致 Token、延迟与幻觉同时上升。
• 单纯压缩会丢失"上一句到底说过什么"这种细粒度信息。

怎么做

• 设定一个时间窗：窗内对话保留原文；窗外历史按主题/对象/问题压缩为摘要。
• 把保留原文的最近对话与摘要一起送入模型，控制总长度。
• 配合 上下文消解与指代改写 处理"它、这个"等指代。
• 配合 向量检索 + BM25 混合检索 + 精排 在长程记忆与知识库之间平衡。

来源中的关键经验

• 来源直接披露：上下文过少丢信息，过多增加延迟、Token 和幻觉——记忆分层是对该张力的直接应对。
• 来源未公开时间窗大小、摘要触发条件、摘要模型选择与摘要粒度。
• 来自 SRC-BIZ-001：从0到1构建AI客服系统（空气小猪实践记录） 与 空气小猪从创始人真人客服到 AI 客服数据飞轮。

限制

• 摘要本身会引入信息损失，对需要严格原话的售后场景需谨慎。
• 时间窗与摘要策略需要随产品复杂度调整。
• 该方法以本案例的客服语料为前提，并非通用最优解。