時間をかけてAIシステムを運用する

メンテナンスのリズム

変更なしでも月に一度評価セットを実行する；実際の会話サンプルの週次レビュー；そしてソースの変化のペースで知識ベースを更新する。

モデルバージョン間の移動

ベンダーはモデルを変更し廃止する。抽象化レイヤーを保持し、移動前に新しいバージョンで評価セットを実行し、ライブ比較で段階的に移行する。

新しいバージョンが常にあなたのタスクで優れているとは仮定しない——時に出力スタイルを変え、それに依存する分析を壊す。

何を観察するか

否定的にマークされた回答の割合、人間へのハンドオフ率、「回答なし」率、リクエストあたりのコスト、応答時間。一つのボードに五つの数値。