Modelos pequenos, locais e de borda
Quando compensa
Uma tarefa estreita e recorrente com formato fixo; um requisito de privacidade ou regulatório; um volume que torna o pagamento por uso caro; ou a necessidade de uma resposta imediata sem dependência de rede.
O que se paga em troca
Operações: hardware, disponibilidade, atualizações, monitoramento e um time que saiba manter. E: a diferença de qualidade em tarefas abertas ainda existe, mesmo que tenha diminuído.
Um caminho do meio
Roteamento por dificuldade: o modelo pequeno lida com a maioria das requisições, e as difíceis vão para um modelo poderoso. Esse costuma ser o ótimo — baixo custo com qualidade preservada onde importa.
Dá também para destilar: usar um modelo poderoso para gerar exemplos de qualidade nos quais se faz fine-tuning de um modelo pequeno para uma tarefa específica.
Indo mais fundo
Meça o throughput em requisições concorrentes, não só um único tempo de resposta. Um modelo local se comporta de forma totalmente diferente sob carga, e o planejamento de capacidade feito por um teste de usuário único sempre leva a uma surpresa no lançamento.