Viés, equidade e responsabilidade no uso de modelos
Onde é perigoso
Qualquer uso que afeta as oportunidades de pessoas: contratação, crédito, precificação, prioridade de serviço, moderação. Lá o erro não é uma inconveniência, mas um dano real e às vezes também uma exposição legal.
O que fazer na prática
Meça o desempenho por segmentos — não só uma média geral — e verifique se um grupo específico recebe sistematicamente resultados piores.
Mantenha uma pessoa na decisão final, e dê a ela a informação para decidir de forma diferente e não só para aprovar.
Documente: o que o sistema decide, com base em quê e como recorrer. Explicabilidade é um requisito prático, não filosofia.
Transparência com os usuários
As pessoas precisam saber que estão interagindo com um sistema automatizado e o que acontece com suas informações. Em domínios regulados, vale esclarecer os requisitos específicos com quem é qualificado.
Indo mais fundo
Construa um conjunto de testes de equidade dedicado com casos paralelos que diferem apenas em um detalhe que não deveria importar, e verifique que o resultado é idêntico. Execute-o como regressão a cada mudança de modelo ou de prompt — uma mudança de versão pode reabrir uma lacuna que estava fechada.