落地的人工智能 · 综合
长期运营一个AI系统
一句话： 模型会被替换、文档会变、用户会学会用不同的方式提问——一个半年没人碰过的系统，几乎总是变差了。
维护的节奏
即便没有改动，也每月跑一次评估集；每周评审一份真实对话样本；并按信息源的变化速度刷新知识库。
在模型版本之间迁移
供应商会更改和下线模型。保留一层抽象、在迁移前用新版本跑一遍评估集，并带着线上对比逐步切换。
不要假定新版本在你的任务上一定更好——它有时会改变输出风格，从而弄坏依赖这个风格的解析。
盯着什么看
被标记为负面的回答比例、转人工的比例、「没有答案」的比例、每次请求的成本，以及响应时间。一块看板上的五个数字。
深入一层
像对待任何服务一样，给每个基于模型的系统指定一个负责人。这类系统在项目结束后往往会变成没有主人的状态，然后劣化会持续好几个月，直到有人抱怨——而调查又要从零开始。