Comment choisir un modèle — et pourquoi ce n'est pas la première décision
La bonne direction
Si même le modèle puissant échoue, vous avez découvert à peu de frais que le problème n'est pas le choix du modèle mais la définition de la tâche, les données ou le prompt. S'il réussit, vous avez une base de qualité, et maintenant vous pouvez descendre et trouver le point où la qualité tombe sous votre barre.
Quatre axes
Qualité sur votre tâche — pas dans les tableaux publics qui testent d'autres tâches.
Coût par opération — déterminé principalement par le texte entrant, pas sortant.
Vitesse — critique dans une interface en direct, presque sans importance dans le traitement en arrière-plan.
Où les données s'exécutent — une question de réglementation et de risque, pas de qualité.
Quand s'entraîner
Presque jamais, et pas au début. L'amélioration du prompt, de bons exemples et la connexion à la bonne source d'informations résolvent la plupart des lacunes. L'affinage fin vaut la peine quand vous avez des milliers d'exemples de qualité et que l'objectif est de réduire le coût ou le temps de réponse.
Pour aller plus loin
Enveloppez l'appel au modèle dans une couche que vous contrôlez, afin que changer de prestataire soit une modification de configuration. Et tenez un journal par appel — modèle, version du prompt, quantités de texte et temps — sinon des questions comme « quand la qualité a-t-elle chuté » deviennent sans réponse.