Quem questiona o que funciona: quando revalidar as premissas do seu modelo

Na abertura de Dom Quixote, o cavaleiro insiste que os moinhos de vento são gigantes, enquanto Sancho Pança vê apenas moinhos. A cena, citada por Erika Gomes-Gonçalves em um ensaio na Towards Data Science, serve de metáfora para um dos problemas mais negligenciados da ciência de dados: às vezes a parte mais difícil não é melhorar o modelo, mas questionar se ainda estamos olhando para moinhos — ou para gigantes.

O que acontece depois que uma hipótese funciona

O método científico se apoia em uma ideia simples: formular uma hipótese, testá-la contra a realidade e decidir se a evidência a sustenta. Em ciência de dados fazemos isso o tempo todo — rodamos experimentos, comparamos modelos, validamos desempenho. Ficamos muito bons em testar hipóteses antes de confiar nelas. Mas o que acontece depois que elas funcionam?

Uma hipótese que sobrevive a um experimento vira modelo. Um modelo que performa bem vira sistema. Um sistema bem-sucedido vira processo, e um processo repetido por tempo suficiente vira “a forma como as coisas são feitas”. Em algum ponto desse caminho ocorre uma inversão interessante: o que antes precisava se provar contra a realidade acaba virando a lente pela qual interpretamos a própria realidade.

E a realidade não fica parada. Populações mudam — e, com elas, os processos geradores de dados. Tecnologias evoluem, organizações se adaptam. Ainda assim, o sucesso passado oferece um motivo poderoso para continuar confiando nas premissas que o produziram. A pergunta central do texto: com que frequência revalidamos as premissas por trás de algo que ainda parece funcionar?

Kodak e o viés do status quo

A Kodak é o estudo de caso clássico de empresa que não se adaptou. Mas o ensaio usa o exemplo para um ponto que vai além da disrupção tecnológica. Por décadas, a Kodak construiu um negócio extraordinariamente lucrativo em torno de uma compreensão particular da fotografia: câmeras geram demanda por filme, filme gera receita recorrente e a revelação completa o ecossistema. A fotografia digital não introduziu apenas uma tecnologia nova — ela desafiou as premissas que faziam aquele sistema funcionar.

Há um paradoxo aqui: a experiência é valiosa justamente porque permite reconhecer padrões sem redescobrir tudo do zero, mas quanto mais bem-sucedida se torna uma interpretação do mundo, mais fácil é parar de enxergá-la como interpretação. A isso se soma o que a teoria comportamental chama de viés do status quo: uma vez estabelecida uma forma de trabalhar, tendemos a preservá-la em vez de reconsiderar alternativas — e o sucesso passado torna essa tendência ainda mais fácil de justificar.

O mesmo acontece em ciência de dados. Nossos modelos não começam com algoritmos; começam com decisões sobre como representar o problema. O que começou como uma hipótese sobre como resolver um problema vira, silenciosamente, a forma aceita de resolvê-lo. E isso cria um risco mais sutil: a questão deixa de ser se o modelo ficou obsoleto, e passa a ser se conseguimos atualizá-lo deixando intacta a forma como enquadramos o problema.

Modelos capturam a realidade por meio de premissas

Um modelo aprende com o mundo que já viu. A pergunta difícil é se ele continua útil quando o mundo muda. O ensaio ilustra isso com um caso de previsão pré-lançamento de medicamentos: se aprendemos padrões a partir do Medicamento A, o que nos garante que as relações aprendidas valerão para o Medicamento B?

Transferir aprendizado entre populações relacionadas é uma ideia legítima em estatística e aprendizado de máquina — mas exige premissas sobre o que é transferível. As populações são comparáveis? Os mecanismos que impulsionam a adoção são estáveis? O mercado mudou de forma a quebrar as relações históricas? O erro está em assumir a transferibilidade em vez de estabelecê-la. Uma vez que o Medicamento B é lançado e sua adoção real se torna observável, essas premissas podem ser confrontadas com evidência externa genuína. Até lá, o desempenho histórico diz o que funcionou no mundo que observamos — não o que funcionará no mundo que tentamos prever.

Moody’s e a ilusão da adaptação

O exemplo da Moody’s é mais sutil — e talvez mais perigoso. A agência de rating, antes da crise de 2008, se adaptou: desenvolveu o modelo M3 e, quando o crédito subprime explodiu, criou o M3 Subprime, calibrado para esse novo tipo de hipoteca. Modelos foram revisados, parâmetros recalibrados, complexidade adicionada.

Mas as premissas subjacentes mudaram bem menos. O motor de simulação macroeconômica do M3 foi reaproveitado no M3 Subprime. A empresa continuou confiando nas informações fornecidas sobre os empréstimos mesmo com a deterioração dos padrões de concessão e da qualidade dos dados. Quando o mercado imobiliário colapsou, as premissas embutidas naquela representação já não descreviam o mundo que o modelo era solicitado a prever.

Em resumo: a Moody’s melhorou o modelo, mas não reconstruiu sua representação do problema em torno da possibilidade de o mercado ter mudado fundamentalmente. É a diferença entre mudar o tempo todo e mudar o que realmente importa.

Métodos também podem virar modelos

O mesmo raciocínio vale além de modelos individuais. DevOps, MLOps, governança — essas práticas não surgiram arbitrariamente; são soluções acumuladas para problemas que encontramos. Por isso merecem o mesmo escrutínio. Monitorar nos diz quando o desempenho deteriora. Explicabilidade e incerteza ajudam a entender quando uma previsão merece menos confiança. Mas nada disso, sozinho, diz se as premissas que definem o problema ainda fazem sentido.

A lição não é desconfiar da experiência, dos modelos ou dos métodos estabelecidos — quase o oposto. Eles são valiosos porque codificam o que aprendemos. Mas o conhecimento acumulado deve permanecer aberto a evidências e perguntas que venham de fora da moldura em que foi construído. O que aprendemos nunca deve se tornar indistinguível do que precisa ser verdade. Talvez uma das propriedades mais importantes de um bom modelo seja não só saber o que ele prevê, mas saber onde ele termina e onde a dúvida deve começar.