Biais, équité et responsabilité dans l'utilisation des modèles
Où c'est dangereux
Tout usage qui affecte les opportunités des personnes : embauche, crédit, tarification, priorité de service, modération. Là, l'erreur n'est pas une gêne mais un vrai préjudice, et parfois aussi une exposition juridique.
Quoi faire en pratique
Mesurez les performances par segments — pas seulement une moyenne globale — et vérifiez si un groupe particulier reçoit systématiquement de moins bons résultats.
Gardez un humain dans la décision finale, et donnez-lui l'information pour décider autrement et non juste pour approuver.
Documentez : ce que le système décide, sur quelle base et comment faire appel. L'explicabilité est une exigence pratique, pas de la philosophie.
Transparence envers les utilisateurs
Les personnes doivent savoir qu'elles interagissent avec un système automatisé, et ce qui advient de leurs informations. Dans les domaines réglementés, il vaut la peine de clarifier les exigences spécifiques avec quelqu'un de qualifié.
Pour aller plus loin
Construisez un ensemble de tests d'équité dédié avec des cas parallèles ne différant que par un détail qui ne devrait pas compter, et vérifiez que le résultat est identique. Exécutez-le comme régression à chaque changement de modèle ou de prompt — un changement de version peut rouvrir une lacune qui était fermée.