AI 客服给出错误功能承诺与误召回的风险

风险描述

AI 客服在两种情形下会给出错误的功能承诺：

• 检索阶段召回错误：单纯向量检索会召回名称相近但实际不同的功能（来源直接披露）。
• 生成阶段幻觉：模型在没有充分证据时"补全"功能或"承诺"某些能力。

在 SRC-BIZ-001 中的边界

• 来源直接披露：单纯向量检索会召回名称相近但实际不同的功能，因此必须做混合检索。
• 来源明确：确定性功能承诺不交给机器人。
• 来源未公开具体参数（融合权重、Top-K、精排模型）。

应对方式

• 使用 向量检索 + BM25 混合检索 + 精排，并对召回结果做精排。
• 在 从历史客服对话中提取 FAQ 与问答对 阶段对每条问答对做功能边界审核。
• 通过 低置信度问题转人工 把可能引发错误承诺的问题转人工。
• 通过 数据飞轮（低置信度池 → 人工 → 知识库） 把错误承诺沉淀为新的 FAQ 条目，避免重复发生。
• 配合 AI 客服自动裁决退款、补偿、封禁、合同承诺与付费权益的风险：功能承诺与退款/合同/付费权益常被一起触发。

来源

• SRC-BIZ-001：从0到1构建AI客服系统（空气小猪实践记录）