O ‘lift’ de adoção de IA é efeito de seleção, não do produto

Existe um slide circulando em praticamente toda empresa que adota IA: “clientes que ativaram o assistente retêm 15 pontos percentuais a mais”. Ele tem um gráfico de barras, já passou por três reuniões de diretoria e está definindo o roadmap do próximo trimestre. O problema, segundo o cientista de dados William Gieng, em um guia publicado no Towards Data Science, é que esse número não mede o efeito do produto — ele mede quem escolheu adotá-lo.

O que é efeito de seleção na adoção de IA

Quando um recurso de IA é liberado de forma opt-in (o cliente decide se liga ou não), comparar quem adotou com quem não adotou não é uma medida de causalidade. É uma descrição de quem opta por entrar. Como resume Gieng: “o recurso não tornou essas contas engajadas. Ser engajada é o que as levou a adotar o recurso.”

No caso de assistentes de IA, isso é ainda mais forte do que em um recurso comum. Para adotar, alguém na conta precisa notar o lançamento, ativá-lo, confiar o suficiente para colocá-lo diante do time, treinar as pessoas, encaixá-lo num fluxo de trabalho e continuar usando depois que a novidade passa. Cada etapa revela algo sobre a conta: engajamento da administração, patrocínio executivo, sofisticação técnica, maturidade do produto, apetite organizacional por mudança. Quando uma conta aparece como “adotante”, essa flag é quase uma medida de prontidão organizacional — e prontidão prevê retenção por conta própria.

Não modele a escolha do cliente com mais força

O instinto natural do time de dados é sofisticar o modelo da escolha do cliente: adicionar covariáveis, parear por uso, construir um propensity score. A recomendação do artigo é a direção oposta, resumida em uma frase que vale guardar:

Não modele a escolha do cliente com mais força. Encontre variação que o cliente não escolheu.

Isso significa usar a única parte de um lançamento que nenhum cliente escolheu: a regra de elegibilidade. Se o assistente só está disponível para contas com 25 assentos ou mais, uma conta com 24 não pode ativá-lo e uma com 25 pode — e nada mais difere sistematicamente entre elas.

Os três efeitos que o slide mistura

Antes de escolher o método, é preciso separar três quantidades escondidas dentro de “o efeito do assistente de IA”:

• Efeito sobre adotantes: quanto pior seria a retenção dos que ativaram, se não tivessem adotado? É o que a comparação ingênua tenta estimar.
• Efeito sobre todos: se toda conta elegível adotasse em vez de ninguém adotar, quanto a retenção mudaria? É o número que o financeiro quer — o resultado de um rollout forçado.
• Efeito na margem: para contas na borda da elegibilidade, o que acontece com a retenção ao se tornarem elegíveis — e ao adotarem por causa disso?

A comparação ingênua não estima nenhum dos três. Ela estima a diferença entre organizações prontas e não prontas, com uma flag de feature anexada.

O que os quatro métodos realmente encontram

Gieng testa o problema em um conjunto de dados sintético com 40 mil contas B2B, onde o efeito verdadeiro da adoção na retenção em seis meses é de +4 pontos percentuais. Os resultados mostram por que a abordagem errada é perigosamente precisa:

O ajuste por regressão mal moveu o número (de 15,4 para 13,8) — e é justamente essa precisão que o torna perigoso. Um erro-padrão de 0,7 ponto parece rigor, mas é rigor sobre a quantidade errada. O confundidor aqui não é “quanto usaram o produto”, e sim “o quanto estavam prontos para continuar usando”, algo que nenhuma covariável pré-lançamento captura completamente. E controlar por uso pós-lançamento é pior ainda: é resultado, não controle.

Regressão descontínua: usar o portão de elegibilidade

A saída técnica é a regressão descontínua fuzzy combinada com variáveis instrumentais. A elegibilidade (25 assentos) é o instrumento; a adoção é o tratamento. Perto do corte, contas logo acima e logo abaixo do limiar são localmente comparáveis, então a elegibilidade move a adoção sem ter outra rota para a retenção. O 2SLS faz a divisão e entrega os erros-padrão corretos.

O preço dessa credibilidade é honestidade sobre a incerteza: o intervalo de confiança da RD tem 14 pontos de largura, contra menos de 2 dos métodos ingênuos. Isso não é defeito — é o método dizendo quanta informação um limiar realmente contém. Um efeito de 4 pontos diluído por um primeiro estágio de 37% vira um salto de 1,5 ponto no resultado bruto, e detectar isso exige muitas contas perto do corte.

O que leva à reunião

Para times de produto e dados no Brasil, três lições práticas valem destaque:

• Intervalo apertado ao redor de uma estimativa enviesada é o produto mais caro que um time de dados pode entregar — porque ele é usado para decidir.
• Verifique se o portão é realmente arbitrário antes de confiar nele. Se o time de vendas sabe que o recurso libera em 25 assentos, ele vai empurrar contas de 22 para 25 — e aí o limiar deixa de ser comparável. Um acúmulo de contas exatamente em 25 é o sinal.
• O efeito é local. Um efeito de +5 pontos em 25 assentos não é +5 pontos em 250 assentos, e o efeito da adoção não é o efeito de oferecer acesso. Leve o número certo para a decisão certa.

O slide de adoção nunca esteve medindo o recurso. Estava medindo os clientes que o escolheram. O limiar de elegibilidade é a única parte do lançamento que ninguém escolheu — e por isso é exatamente a parte com a qual se pode aprender.