IA tem mais probabilidade que humanos de formar vieses ao contratar, revela estudo
A próxima vez que você se candidatar a uma vaga, uma IA pode avaliar seu currículo antes de qualquer humano. Mas há boas razões para questionar se a IA vai julgá-lo com justiça. Um novo estudo de pesquisadores de Princeton e da Universidade de Chicago revela que LLMs não apenas aprendem estereótipos dos dados de treinamento — eles também desenvolvem seus próprios vieses a partir da experiência, e estereotipam candidatos 65% mais que humanos.
O estudo, publicado na conferência ICML em Seul, rodou modelos como ChatGPT, Claude e Gemini em um jogo simulado de contratação. Cada modelo deveria ajudar a contratar pessoas para 20 profissões — de médicos a zeladores — escolhendo entre candidatos de quatro grupos étnicos fictícios: Tufa, Aima, Reku e Weki.
A cada rodada, o modelo contratava um candidato e depois descobria se ele teve sucesso no cargo. O que os modelos não sabiam: todos os candidatos tinham exatamente a mesma probabilidade de sucesso em qualquer cargo.
Modelos de raciocínio são os piores
Os modelos rapidamente começaram a segregar candidatos de diferentes grupos para diferentes empregos com base em observações iniciais. Quando um modelo via que um Aima havia falhado como médico — cargo considerado de alta competência — ele parava de contratar Aimas para medicina e os direcionava para funções de zeladoria.
Na escala de segregação do estudo, onde 2 significa confinamento total de cada grupo a seu próprio nicho, humanos pontuaram 0,84. Os modelos marcaram aproximadamente 65% mais. O pior desempenho foi do o3 da OpenAI, com 1,83 — próximo do máximo possível. Modelos mais novos com maior capacidade de raciocínio, como o DeepSeek R1, também mostraram vieses mais fortes.
“LLMs realmente têm avidez por criar generalizações a partir de dados limitados”, explica Ryan Liu, doutorando em Princeton e coautor do estudo. “É literalmente para isso que eles são otimizados.”
O dilema exploração-explotação
O fenômeno tem nome na psicologia: dilema exploração-explotação. Todo tomador de decisão, humano ou máquina, enfrenta a escolha entre repetir o que funcionou antes ou tentar algo novo. É como escolher entre um restaurante novo e o seu favorito de sempre.
Como os LLMs são treinados em problemas de matemática, programação e ciências — tarefas que recompensam a generalização a partir de poucos exemplos — eles se fixam em palpites cedo demais. O mesmo instinto que ajuda LLMs a resolver quebra-cabeças lógicos também os torna rápidos em estereotipar em contextos sociais.
Memória dos chatbots amplifica o problema
A descoberta é especialmente relevante agora que chatbots estão ganhando memória e personalização aprimoradas, diz Angelina Wang, cientista da computação em Cornell. Quando um chatbot se baseia no histórico de conversas anteriores, ele pode “superindexar os mesmos tipos de comportamentos que já experimentou” e formar vieses.
“Simplesmente fazer chatbots lembrarem menos não é a solução, porque os usuários querem que chatbots se lembrem do que dizem”, explica Wang. “Ainda estamos tentando descobrir a quantidade certa que não é demais nem de menos.”
Pedir para ser justo não funciona
Dizer ao modelo para “ser justo” não mudou muito seu comportamento. “Ou ele não consegue colocar esses valores em ação, ou esse processo está sendo submerso pela tendência de otimizar para o objetivo de conseguir o maior número de contratações corretas”, diz Liu.
Mas há uma solução que funcionou: prometer aos modelos um bônus adicional por diversidade nas contratações os tornou significativamente menos enviesados. A conclusão prática, segundo Liu, é “projetar objetivos que incorporem valores sociais desejáveis para fazer o LLM agir de maneiras socialmente desejáveis”.
Por que isso importa para o Brasil
O Brasil avança na regulamentação de IA com o PL 2338/2023, que trata de direitos e deveres no uso de sistemas de IA. O estudo de Princeton reforça a necessidade de auditoria algorítmica independente e transparência em sistemas que tomam decisões sobre pessoas — especialmente em RH, crédito e serviços públicos.
A descoberta de que modelos criam seus próprios estereótipos, além de herdá-los dos dados, tem implicações profundas: não basta treinar com dados equilibrados. É preciso monitorar o comportamento do modelo em produção e ajustar seus incentivos continuamente.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
