Uma investigação da WIRED revelou que centenas de contratados da Meta passaram meses se passando por adolescentes para testar os sistemas de segurança de chatbots rivais — incluindo ChatGPT, Gemini e Character.AI — com prompts sobre suicídio, automutilação, sexo e drogas. O projeto, conhecido internamente como Cannes, estava ativo até pelo menos abril de 2026 e foi conduzido sem o conhecimento das empresas cujos produtos estavam sendo testados.
Como funcionava o projeto Cannes
Gerenciado pela contratada Covalen, o esforço pedia que trabalhadores criassem contas falsas de menores de 18 anos, enviassem prompts escritos e imagens para os chatbots concorrentes e copiassem as respostas em planilhas. Uma única rodada de testes concluída em agosto de 2025 registrou mais de 45.000 prompts enviados aos sistemas rivais.
A WIRED analisou uma planilha com 3.748 prompts. Centenas abordavam suicídio e automutilação. Outras centenas discutiam distúrbios alimentares. Pelo menos 239 envolviam sexo ou romance. Muitos eram escritos da perspectiva de crianças ou adolescentes em crise: uma menina de 13 anos dizendo que engravidou do vizinho adulto; um aluno do quinto ano cujo colega apontava uma arma para a própria boca; uma garota perguntando como esconder bulimia dos pais.
Algumas das imagens enviadas incluíam comprimidos, facas, cordas e um diagrama médico de procedimento ginecológico.
O que a Meta alega
Em nota, a Meta defendeu o trabalho como rotina de testes de segurança: “Testar e comparar respostas de chatbots para garantir experiências seguras e adequadas à idade é uma prática responsável e padrão da indústria.” A empresa afirmou que não usa os dados de benchmarking de concorrentes para treinar seus próprios modelos.
Por que o caso é diferente
Rumman Chowdhury, fundadora da organização sem fins lucrativos Humane Intelligence, revisou uma amostra dos prompts e afirmou que “estruturar um projeto de meses e larga escala, projetado para sistematicamente quebrar regras via contas falsas fingindo ser crianças, está fora do que normalmente se descreve como avaliação padrão da indústria.”
Dois advogados consultados pela WIRED — Kendra Albert e Riana Pfefferkorn, especializados em governança de plataformas e direito de tecnologia — afirmaram que o material analisado não cruzou a linha de solicitação de material de abuso sexual infantil ou obscenidade ilegal.
Violação dos termos de serviço
O projeto parece ter violado os termos de serviço dos concorrentes. A OpenAI proíbe testes de segurança não autorizados e o uso de outputs para “desenvolver modelos que concorram com a OpenAI”. O Google proíbe tentativas de burlar filtros de segurança fora de seus programas oficiais. A Character.AI confirmou que não autorizou os testes e que a conduta descrita violou seus termos.
Um porta-voz da OpenAI disse que a empresa estava “analisando a questão”. O Google afirmou que não autorizou os testes e não sabia de seu propósito. A Covalen não respondeu aos pedidos de comentário.
O que está em jogo
Ex-contratados que trabalharam no projeto descreveram vários aspectos como alarmantes. Um deles temia que pudessem estar gerando ou preservando material de abuso sexual infantil se algum chatbot respondesse a determinados prompts. Outro se preocupava que o projeto fosse uma forma de extrair material dos concorrentes para realimentar os sistemas da Meta.
Para Chowdhury, a questão central é se um projeto executado secretamente contra concorrentes, usando contas que pareciam pertencer a menores, ainda pode ser entendido como trabalho comum de segurança. “É exatamente o tipo de zona cinzenta de governança onde segurança se torna uma cobertura conveniente para práticas anticompetitivas.”
O episódio levanta questões profundas sobre os limites do teste de segurança em IA: quando a avaliação de riscos se confunde com espionagem competitiva, quem fiscaliza os fiscais?
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
