Experimentos: como saber que a mudança melhorou algo

Por que não antes e depois

Sazonalidade, uma campanha em andamento, uma mudança no mix de usuários — todos têm efeito. Uma divisão aleatória simultânea os neutraliza, por isso é a única ferramenta que dá uma resposta confiável.

Como executar corretamente

Decida com antecedência a métrica principal, o tamanho da amostra e a duração, e não pare no momento em que uma melhoria aparece — parar cedo é a forma mais comum de se enganar.

Mantenha pelo menos uma métrica de equilíbrio, para detectar uma melhoria obtida às custas de outra coisa.

Quando não há tráfego suficiente

Em sistemas internos nem sempre há uma amostra estatística. Então compare em um conjunto de avaliação fixo, e adicione uma verificação qualitativa: vinte casos reais, dois avaliadores, uma decisão fundamentada.