Uma nova ferramenta desenvolvida pela organização sem fins lucrativos FAR.AI, baseada na Califórnia, conseguiu burlar as salvaguardas de segurança de alguns dos modelos de IA mais avançados do mundo com uma facilidade alarmante — e a um custo irrisório. Os resultados, publicados em um novo relatório, mostram que a segurança da IA ainda tem falhas graves em algumas das principais empresas do setor.
O experimento
A ferramenta da FAR.AI gera mais de mil variações diferentes de prompts problemáticos para encontrar jailbreaks funcionais. Os pesquisadores testaram as salvaguardas de modelos de quatro grandes empresas americanas: Claude Opus 4.8 e Fable 5 (Anthropic), GPT 5.5 e 5.6 (OpenAI), Gemini 3.1 Pro (Google DeepMind) e Grok 4.3 e 4.5 (SpaceXAI, de Elon Musk).
Os prompts gerados automaticamente tentavam induzir os modelos a realizar tarefas potencialmente perigosas, como gerar exploits de software, planejar ataques cibernéticos a infraestruturas críticas ou fornecer instruções para o desenvolvimento de armas químicas ou biológicas.
Os resultados
O relatório revelou uma disparidade enorme entre as empresas:
- Grok (SpaceXAI): 448 jailbreaks encontrados — o mais vulnerável
- Gemini 3.1 Pro (Google): 249 jailbreaks encontrados
- Claude, Fable (Anthropic): Impenetrável — zero jailbreaks
- GPT (OpenAI): Impenetrável — zero jailbreaks
O que torna os números ainda mais preocupantes é o custo para burlar cada modelo: US$ 58 para o Grok e US$ 278 para o Gemini. “Modelos de IA são menos regulamentados que restaurantes neste momento”, afirmou Adam Gleave, CEO da FAR.AI.
As respostas das empresas
Rohin Shah, diretor de segurança de AGI do Google DeepMind, disse que os resultados “não devem ser interpretados como uma avaliação abrangente da segurança do Gemini”, argumentando que nem todos os jailbreaks têm a mesma gravidade. “Trabalhamos constantemente para melhorar nossas salvaguardas”, afirmou.
A Anthropic, por sua vez, comemorou seus resultados: “Estes achados refletem o investimento sustentado que fizemos em nossas salvaguardas”, disse o porta-voz Michael Aciman. A OpenAI e a SpaceXAI não responderam aos pedidos de comentário.
O contexto regulatório
O relatório chega em um momento de intenso debate sobre regulação de IA nos EUA. Leis estaduais na Califórnia e em Nova York exigem que desenvolvedores de IA publiquem relatórios de segurança, e uma lei em Illinois em breve exigirá auditorias de terceiros. No entanto, o governo federal ainda não aprovou requisitos específicos de segurança.
Stephen Casper, cientista da computação em Harvard, alerta: “Na comunidade de pesquisa de IA, há uma expectativa ampla e sombria de que estamos a meses, não anos, de incidentes particularmente graves envolvendo uso indevido de sistemas de IA de fronteira.”
Anka Reuel, cientista da computação em Stanford, oferece uma perspectiva mais prática: “Algumas empresas claramente sabem como se defender contra pelo menos o subconjunto de ataques testados neste relatório. A pergunta é por que algumas as usam e outras não.”
O recado do relatório da FAR.AI é inequívoco: a segurança da IA não deveria ser opcional — e as salvaguardas que a Anthropic e a OpenAI implementaram deveriam ser o padrão mínimo para toda a indústria.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
