FairLens mostra que falha central dos modelos de visão-linguagem é inferir demais a partir de um rosto

Modelos de visão-linguagem (VLMs) estão sendo cada vez mais usados para tomar decisões a partir de imagens — incluindo em áreas de alto risco como contratação, direito e saúde. Um novo benchmark, o FairLens, mede tanto a justiça quanto a validade dessas respostas, e chega a uma conclusão que desafia a intuição.

Como o FairLens avalia

O framework emparelha imagens reais de rostos abrangendo gênero, raça e idade com perguntas fechadas e abertas — mais de 100 mil pares imagem-pergunta por modelo — e avalia as respostas sob quatro perspectivas complementares: paridade demográfica nas taxas de resultado adverso, solidez, associação demográfica em papéis e status sem suporte, e viés na geração de texto livre.

A solidez é o critério central de validade: uma resposta é sólida quando segue as evidências apresentadas na pergunta e se abstém quando a imagem não sustenta uma resposta.

A descoberta principal

Ao avaliar oito VLMs, os autores descobriram que a falha primária é a inferência injustificada, não o tratamento desigual. Os modelos rotineiramente inferem qualificações, ameaças, doenças ou papel profissional a partir de um rosto, em vez de se abster — e o modelo mais fraco faz isso em 99% das perguntas que sua entrada não consegue responder.

Essas falhas são mais graves justamente em direito e saúde, onde reconhecer evidência insuficiente mais importa. E as métricas de disparidade isoladas não as capturariam: as diferenças de paridade são pequenas em termos absolutos, mas quando a taxa adversa de base é baixa, o mesmo gap significa que um grupo demográfico recebe rótulos adversos várias vezes mais que outro.

Implicações

A conclusão prática é forte: comportamento justo de um VLM em decisões de alto risco exige tratamento semelhante entre grupos e recusa em inferir atributos de alto risco a partir da aparência. Para empresas e órgãos reguladores no Brasil, o FairLens oferece uma referência de como auditar esses sistemas antes de colocá-los em produção.