Por que o erro quadrático médio do seu modelo está mentindo para você

Imagine um sensor registrando algo importante — atividade sísmica em um detector, carga elétrica em uma rede ou a tensão em um cabo de ponte — e um modelo treinado para prever o próximo valor. O modelo olha o histórico recente e responde com um único número: 0,5. Existe um limiar de alarme em 1,0. A pergunta é: você deveria se preocupar?

Você não consegue responder. Não por falta de informação sobre o modelo, mas porque ele não tem como dizer o que sabe. Esse número único é tudo o que ele pode expressar. E é aí que mora o problema, como mostra uma análise detalhada do cientista de dados Waleed Esmail na Towards Data Science.

Dois modelos, o mesmo MSE, riscos opostos

Imagine dois modelos olhando o mesmo sinal, ambos prevendo o mesmo valor no mesmo instante — e com o mesmo erro quadrático médio (MSE, na sigla em inglês), idêntico até a terceira casa decimal. Por qualquer métrica de ranking padrão, eles são intercambiáveis. Só que não são.

O Modelo A está em um momento em que a distribuição verdadeira é muito estreita: a resposta real fica a cerca de 0,01 do centro, e o limiar de alarme está a 50 desvios-padrão de distância. Esse alarme nunca dispararia. O Modelo B está em um momento em que a distribuição é larga — desvio-padrão de 2,0 —, e o limiar está a apenas 0,25 desvio-padrão de distância. Nesse caso, cerca de 40% das vezes o sinal cruza o alarme.

Mesma previsão. Mesmo MSE. Mesmo conjunto de teste. Mas o risco real de disparar o alarme é de quase 0% contra cerca de 40%. Se você está decidindo evacuar uma área, redirecionar energia ou sinalizar um evento em um detector, são conclusões opostas — e o número usado para ranquear os modelos não consegue distinguir as duas.

O que o MSE realmente otimiza

A raiz do problema não é um bug de treinamento nem uma feature ausente: é uma consequência direta e demonstrável da função de perda. O MSE é o quase-universal padrão de treinamento, e ele recompensa uma única coisa: a média. A demonstração matemática é curta e direta — sob erro quadrático, a previsão ótima é a média condicional do sinal, dado o histórico observado.

Isso vale para qualquer arquitetura, de transformadores a LSTMs e regressão linear. Com dados infinitos e capacidade suficiente, o modelo converge para prever a média de onde o sinal pode ir. A média é um resumo razoável de localização, mas não diz nada sobre a largura da distribuição, sobre a forma ou sobre caudas pesadas. O espalhamento é invisível para a perda.

A suposição que ninguém escreve

E fica pior. Treinar com MSE é matematicamente equivalente a assumir que os resíduos seguem uma Gaussiana com variância constante, idêntica para toda entrada. Você fez uma suposição probabilística sem nunca dizê-la em voz alta — a função de perda disse por você.

Na prática, variância constante quase nunca é verdade. Prever demanda de eletricidade em uma terça-feira tranquila é fácil, com baixa variância; prever durante uma onda de calor surpresa é difícil, com variância alta. O modelo treinado com MSE é forçado a ser igualmente confiante nos dois cenários.

O que usar no lugar

A alternativa é a previsão probabilística: em vez de emitir um ponto, o modelo emite uma distribuição, tipicamente treinada com a perda de log-verossimilhança negativa (NLL). Nesse formato, o modelo pode dizer “0,5, com desvio 0,01” ou “0,5, com desvio 2,0” — e a incerteza volta a ser uma informação de primeira classe, não algo descartado.

Para quem trabalha com séries temporais, alarmes, previsão de demanda ou detecção de anomalias, a lição é concreta: se a decisão depende do risco, e não apenas do valor central, o MSE está escondendo metade da história. Vale trocá-lo por uma perda que recupere a incerteza — e medir a calibração das faixas previstas, não só o erro pontual.