A ilusão dos 95%: por que seu intervalo de confiança não é o que você pensa

Um analista de produto apresenta o resultado de um teste A/B: a taxa de conversão da variante subiu 0,4 ponto percentual e o intervalo de confiança de 95% para o ganho exclui o zero. Quando um gestor pergunta “então há 95% de chance de a nova versão ser melhor?”, ninguém diz não. Esse silêncio é o ponto central de uma armadilha estatística que distorce decisões em medicina, analytics de produto e finanças — e que a maioria dos profissionais, até experientes, costuma interpretar de forma errada.

O que o intervalo de 95% realmente significa

O intervalo de confiança como usamos hoje vem do trabalho de Jerzy Neyman (1934–37). O problema que ele tentava resolver: qualquer afirmação sobre um parâmetro desconhecido precisa ser construída a partir de dados que poderiam ter saído diferentes. Rode o mesmo experimento de novo e você terá outra amostra, outra estimativa, outro intervalo.

A solução de Neyman foi parar de perguntar “onde está o parâmetro?” e passar a perguntar “com que frequência meu método acerta?”. Um intervalo de 95% é definido de modo que, se a mesma regra de construção for aplicada repetidamente a novas amostras, 95% dos intervalos resultantes contêm o parâmetro verdadeiro. É uma afirmação sobre o comportamento de longo prazo da regra — não sobre um intervalo específico.

Uma vez que você insere o valor observado, o intervalo fica fixo: ou contém o parâmetro, ou não. O “95%” descreve a máquina que gerou o intervalo, não o intervalo em si. É exatamente por isso que a interpretação engana: pesquisas já mostraram que a maioria dos cientistas aceita afirmações como “há 95% de probabilidade de o parâmetro estar dentro deste intervalo específico” — leitura que a abordagem de Neyman foi desenhada justamente para excluir.

Intervalo credível bayesiano: outra pergunta

A alternativa bayesiana responde a uma pergunta diferente. Em vez de perguntar sobre a confiabilidade de um procedimento, ela pergunta: dado estes dados e o que eu acreditava antes, no que devo acreditar agora? Isso exige uma distribuição a priori sobre o parâmetro, que o teorema de Bayes transforma em uma distribuição a posteriori. Um intervalo credível de 95% é o intervalo no qual essa posterior integra 0,95 — uma declaração de probabilidade direta sobre o parâmetro.

O preço é justamente essa dependência do prior. Dois analistas com priors diferentes, olhando os mesmos dados, vão reportar intervalos credíveis diferentes — e ambos estarão corretos em relação às próprias crenças iniciais. A teoria frequentista foi construída, em parte, para evitar isso: a garantia de cobertura não depende de nenhum prior, porque não usa nenhum.

Mesmos dados, três conclusões defensáveis

Considere um negócio por assinatura com churn mensal básico de 1,50%. Após uma mudança no produto, num mês com 20 mil usuários ativos, 350 cancelaram — taxa observada de 1,75%, uma diferença de 0,25 ponto percentual.

A leitura frequentista aponta um teste estatisticamente significativo: a estatística z ≈ 2,9 corresponde a um p-valor em torno de 0,004, e o intervalo de 95% em torno do desvio (0,08 a 0,42 pp) exclui o zero.

A leitura bayesiana, porém, lê duas vezes. Com um prior fraco (sem opinião forte sobre o desvio), a posterior é dominada pelos dados e o intervalo credível de 95% fica praticamente idêntico ao frequentista: 0,08 a 0,42 pp. Mas com um prior forte (o segmento esteve estável por cinco anos e desvios acima de alguns pontos-base foram raros), a posterior se desloca em direção ao zero e o intervalo credível passa a ser de −0,02 a 0,15 pp — e agora contém o zero.

São os mesmos 20 mil usuários, os mesmos 350 cancelamentos, e três conclusões defensáveis diferentes, dependendo apenas do que foi assumido antes dos dados chegarem e de qual pergunta estava sendo feita.

O paradoxo de Jeffreys–Lindley

Esse é um caso específico do paradoxo de Jeffreys–Lindley: conforme o tamanho da amostra cresce, um teste frequentista pode rejeitar a hipótese nula com alta confiança no exato momento em que uma análise bayesiana — sob um prior concentrado próximo dessa nula — se torna mais favorável a ela, e não menos. Como o erro padrão de uma proporção encolhe com a raiz de n, um desvio absoluto fixo vira um número cada vez maior de erros padrão conforme a base cresce.

Na prática, um desvio economicamente irrelevante pode se tornar estatisticamente inegável apenas por efeito de escala. Para o analista, isso contraria a intuição: “detectável” e “relevante” não são a mesma coisa, e produtos de alto volume e baixo churn são exatamente o cenário onde um procedimento calibrado para rejeitar diferenças minúsculas fará isso rotineiramente — tenha a diferença impacto de negócio ou não.

Uma regra prática

O autor sugere um guia de bolso para não cair na ilusão: antes de rodar o teste, escreva qual resultado realmente mudaria uma decisão — um desvio de 0,05 ponto percentual provavelmente não deveria mover o roadmap mesmo sendo significativo com n=100 mil. Trate uma hipótese nula rejeitada em amostra grande como um convite a verificar a relevância econômica, não como um veredito. E documente qual pergunta o intervalo reportado responde: “IC de 95%” e “intervalo credível de 95%” não são rótulos intercambiáveis.