分類と抽出：最も多くを返すタスク

なぜこれらか

分類と抽出には確認できる正しい答え、短くて安い出力、既存システムへのシンプルな統合がある。また、モデルが繰り返す手動作業を置き換えるケースでもある——チケットのルーティング、請求書の読み取り、リードのタグ付け。

対照的に、オープンなチャットインターフェースは測定が難しく、高価で、システムが常に満たすとは限らない期待を招く。

正しく構築する方法

「不明」カテゴリを含む各カテゴリに書かれた定義を持つ閉じたカテゴリを定義する。なければモデルは各ケースを最も近いカテゴリに押し込み、数値で嘘をつく。

抽出では：厳格なスキーマを定義し、コードで検証し、推測の代わりに空の値を返す。幻覚されたフィールドは欠けているフィールドより危険だ。

ループ内の人間

低い信頼度のケースを人間にルーティングし、その決定を使って評価セットを成長させる。そうしてシステムはトレーニングプロジェクトなしで使用によって改善する。