AI 客服的上下文幻觉、延迟与 Token 成本权衡
风险描述
AI 客服在上下文管理上同时面临三类相互拉扯的问题：
- 上下文过少：丢失"上一句说过什么"这类细粒度信息，导致答非所问。
- 上下文过多：增加延迟、Token 成本与幻觉概率。
- 检索链路复杂：多路检索 + 精排 + 改写增加单次响应延迟。
在 SRC-BIZ-001 中的边界
- 来源直接披露：上下文过少丢信息，过多增加延迟、Token 和幻觉。
- 来源直接披露：作者测试 Dify 时认为链路和检索延迟不适合本项目，最终自建。
- 来源未公开具体的上下文窗口大小、Token 预算、延迟 SLA。
应对方式
- 使用 混合 RAG 记忆分层（最近对话保留原文 + 较旧内容压缩成摘要） 控制上下文规模。
- 使用 上下文消解与指代改写 减少因代词带来的"上下文浪费"。
- 在 向量检索 + BM25 混合检索 + 精排 阶段控制 Top-K 与精排模型规模，平衡延迟。
- 来源对 Dify 的负面结论针对本项目规模与延迟要求，不要据此推断 Dify 通用不适用（见 Dify）。
- 配合 AI 客服给出错误功能承诺与误召回的风险：上下文幻觉常表现为功能层面的错误承诺。