Dados: de onde vêm e o que fazer quando não há

Três perguntas antes de começar

Onde a informação reside fisicamente e quem tem acesso; em que estado está — formato, completude, duplicatas; e se é permitido usá-la para essa finalidade. A terceira para mais projetos do que as duas primeiras.

Quando não há rotulagem

Comece pequeno: duzentos exemplos bem rotulados valem mais do que dez mil rotulados descuidadamente. Escreva guias de rotulagem, rotule uma amostra duas vezes e meça a concordância entre rotuladores — discordância indica uma definição vaga, não trabalhadores ruins.

Dá também para gerar uma rotulagem inicial com um modelo e corrigir à mão. É rápido, e requer verificar a amostra para não perpetuar vieses.

A limpeza que compensa

Mesclar entidades duplicadas, normalizar texto em hebraico, corrigir datas e números e remover registros sem significado. A maior parte do salto em qualidade vem daqui, não de um modelo melhor.