モデルベースシステムのコストとレイテンシ

コストを下げる

添付するコンテキストを少なく；シンプルなリクエストを小さなモデルにルーティング；固定部分のキャッシュを活用；急がないものをバッチ処理。

月次の合計だけでなく、ビジネスユニットあたりのコストを計算する——リクエストあたり、ユーザーあたり、注文あたり。そうして成長が報われるかどうかがわかる。

速くする

ユーザーへの回答のストリーミングは他のどの最適化よりも知覚される待ち時間を短縮する。出力長を短縮することは直接的に助ける。そして並行して実行できるタスクは——並行して実行する。

予算を守る

日次の上限、閾値を超えたときのアラート、自動化されたプロセスのステップ制限。間違ったループは月次の予算を何時間かで使い切ることができる。