支付业务里，客服回复错误信息的代价很高：告诉用户「已退款」但实际没退，可能直接招致投诉甚至监管问询。

所以我们的 AI 客服不是「让模型回答」，而是一套分级自动化系统。

三级自动化设计

级别 场景特征 模型权限 人工介入
L1 全自动 信息查询类，答案可从结构化数据直接读出 可自主回复 抽检 5%
L2 半自动 需要解释或建议，涉及金额 生成草稿，人工一键确认 100% 确认
L3 转人工 投诉、争议、合规相关 仅做摘要和分类 100% 人工

判断级别的依据不是「问题难不难」，而是**「答错了会不会造成资金或合规后果」**。

让模型"不敢乱说"的三个机制

第一，工具调用优先于生成。 用户问「我的钱到哪了」，模型不负责回答，它只负责调用 getSettlementStatus(orderId)，然后把工具返回值组织成人话。事实来自数据库，不来自模型的记忆。

第二，强制引用。 任何事实性陈述必须在内部标注数据来源。没有来源的句子在 L2 阶段会被标红，提示人工重点核对。

第三，置信度闸门。 模型需要输出置信度，低于阈值的直接降级到 L2。我们发现在支付领域，模型的自我置信度和实际准确率的相关性相当可靠。

{
  "answer": "您的这笔款项预计 T+1 到账...",
  "confidence": 0.62,
  "evidence": ["settlement_record#88213"],
  "escalate": true
}

最有价值的其实不是回复

上线三个月后，我发现 AI 客服最大的价值不是自动回复，而是：

  1. 工单自动分类：把原来需要 4 名客服手工分派的工作自动化了
  2. 高频问题挖掘：模型能识别出「最近 7 天突然变多的新问题」，这是人工很难及时发现的
  3. 回复质量一致性：新人客服的回答质量显著提升，因为有了建议草稿

第 2 点尤其重要。有一次模型提示「关于某国税务单据的问题在 3 天内增长了 12 倍」，我们顺着查到是当地税改，提前一周做了准备。

坑点记录

  • 别让模型直接查数据库：必须走工具层，工具层控制权限和参数校验
  • 会话历史要截断：超过 10 轮的历史会让模型抓错重点
  • 要做回归测试集：我们积累了 300 条真实工单作为回归集，每次改 prompt 后必跑
  • 监控要盯异常：模型突然变啰嗦、突然变简短，通常意味着上游出了问题

在支付场景里，AI 的价值主张不是"更聪明"，而是"更可靠、更一致、更可审计"。