O dilema do martelo digital
Há meses, gigantes da inteligência artificial vêm criando programas de acesso restrito e guardrails rigorosos para limitar o uso de seus modelos por hackers mal-intencionados. Mas esses limites estão agora atrapalhando o trabalho de quem defende redes e de pesquisadores legítimos de segurança ofensiva — aqueles que encontram vulnerabilidades antes que criminosos o façam.
Em junho, o governo dos EUA impôs controles de exportação sobre os modelos Mythos e Fable da Anthropic. A decisão foi motivada, ao menos em parte, por um relatório que alegava ser possível contornar os guardrails que impedem o uso dos modelos para construir e executar ataques cibernéticos. Os controles sobre Fable 5 e Mythos 5 já foram revogados — Fable voltou ao acesso geral em 1º de julho; Mythos 5 segue disponível apenas para organizações americanas pré-aprovadas.
Esse tipo de controle não é exclusivo do Mythos. Tanto a Anthropic quanto a OpenAI oferecem programas de verificação para pesquisadores de segurança: o Trusted Access for Cyber da OpenAI e o Cyber Verification Program (CVP) da Anthropic. Aprovados, os pesquisadores ganham acesso a modelos com menos restrições.
“Empresas tratam clientes como crianças”
O problema, segundo especialistas ouvidos pelo TechCrunch, é que esses programas criam uma barreira artificial entre “uso ofensivo” e “uso defensivo” — uma distinção que não existe na prática.
Chris Anley, cientista-chefe da consultoria NCC Group, explica que pedir a um modelo de IA para explorar um bug é essencial para confirmar se uma vulnerabilidade é real e merece correção. Mas quando o guardrail bloqueia a resposta, quem perde é o defensor. “É como um martelo: você não constrói uma casa sem um martelo, mas ele também é irredutivelmente uma arma”, compara.
Paolo Stagno, CTO da CrowdFense — empresa que desenvolve e vende vulnerabilidades para governos —, é ainda mais direto: as empresas de IA “essencialmente tratam os clientes como crianças que precisam de babá” com seus programas restritivos.
Mark Dowd, um dos pesquisadores de zero-day mais respeitados do mundo, criticou a situação em um podcast: “não me deixa confortável que grandes empresas aleatórias estejam tomando decisões arbitrárias sobre o que é seguro em segurança e o que não é”.
Modelos open-source como válvula de escape
Diante dos bloqueios, muitos pesquisadores estão migrando para modelos open-source — incluindo modelos chineses como o GLM —, que rodam localmente e não têm qualquer restrição de uso.
Chris Thompson, CEO da RemoteThreat e fundador do evento Offensive AI Con, alerta: “você tem esses pesquisadores responsáveis sendo empurrados de sistemas governados pelos EUA para sistemas estrangeiros”. Para ele, o efeito prático dos guardrails é que se gasta mais tempo “negociando com o modelo do que trabalhando no problema central de segurança”.
Thompson defende que os laboratórios de IA deveriam abrir seus programas, oferecer acesso responsável e responsabilizar quem abusa das ferramentas — em vez de restringir o acesso para todos. “Há uma grande tempestade chegando. Uma grande onda de ataques que vai acontecer em velocidade e escala nunca antes vistas. Mas as mesmas empresas de consultoria de segurança e pesquisadores legítimos que estão tentando fazer a diferença estão sendo sufocados agora.”
Nem todos concordam. Giuseppe Cali, pesquisador de zero-days, diz que os guardrails não atrapalham seu trabalho — ele só usa IA para engenharia reversa inicial e ferramentas auxiliares, não para descoberta de vulnerabilidades. “Ainda quero eu mesmo encontrar bugs e desenvolver exploits. Sou ciumento dos meus bugs e gosto demais desse jogo para deixar os modelos jogarem por mim.”
Por que isso importa
O debate expõe uma tensão cada vez mais central na governança de IA: como equilibrar segurança com utilidade prática? Se as restrições empurrarem pesquisadores legítimos para modelos estrangeiros sem qualquer controle, o resultado será exatamente o oposto do pretendido — defesas mais fracas contra ataques cada vez mais sofisticados e automatizados.
A metáfora do martelo de Chris Anley captura bem o dilema: ferramentas de IA para análise de código são indistinguíveis em intenção — o mesmo prompt que encontra uma vulnerabilidade para exploração maliciosa é o que permite corrigi-la antes que cause danos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
