Modelos open-weight alcançam a fronteira da IA, mas lacuna de segurança preocupa

Modelos open-weight se aproximam da fronteira — e a lacuna de segurança aumenta

Enquanto legisladores debatem como governar sistemas de IA cada vez mais poderosos como o GPT-5.6 da OpenAI e o Mythos da Anthropic, um modelo open-weight chinês acaba de reduzir significativamente a distância para os líderes do setor. Mas o relatório que documenta esse avanço traz um alerta: a diferença entre capacidade bruta e práticas de segurança está crescendo.

O GLM-5.2, modelo open-weight da chinesa Z.ai, está apenas alguns meses atrás do GPT-5.5 da OpenAI e do Claude Opus 4.7 da Anthropic em capacidades cibernéticas e biológicas, segundo avaliação da organização sem fins lucrativos SaferAI. O dado preocupante: o GLM-5.2 não recusou nenhuma das tarefas ofensivas de cibersegurança ou biologia de uso dual apresentadas a ele. Em comparação, o Claude Opus 4.7 “recusou de forma tão consistente que a SaferAI não conseguiu completar o benchmark CyberGym”.

O paradoxo do código aberto

O caso ilustra um dilema que pesquisadores de segurança vêm apontando há anos: modelos open-weight colocam capacidades avançadas nas mãos de qualquer pessoa, sem mecanismos para controlar o uso depois que os pesos são baixados. Enquanto a Z.ai pode aplicar salvaguardas em sua API hospedada, essas proteções se tornam inaplicáveis quando alguém roda o modelo em hardware próprio — onde é possível remover ou modificar qualquer medida de segurança.

“A fronteira da capacidade não é a fronteira do risco. Precisamos levar em conta o estado das mitigações para avaliar o risco adequadamente”, disse Henry Papadatos, diretor-executivo da SaferAI, ao TechCrunch.

Desenvolvedores como OpenAI e Anthropic dependem de classificadores, treinamento de recusa e controles no nível da API para limitar assistência perigosa. Mas essas medidas estão longe de ser infalíveis: a Far.ai, outra organização de segurança, encontrou centenas de jailbreaks universais em modelos de fronteira como o Grok 4.5 da xAI e o Gemini 3.1 Pro do Google DeepMind.

Filtragem de dados e o dilema do código

Uma técnica que poderia ajudar é a filtragem de dados de pré-treinamento — remover informações ofensivas de cibersegurança dos dados antes de treinar o modelo. Pesquisas sugerem que isso reduz conhecimento biológico perigoso sem prejudicar o desempenho geral. Mas para cibersegurança, a filtragem é muito menos prática: é difícil treinar um modelo que programa bem sem que ele também seja um bom hacker.

A Z.ai, segundo a SaferAI, não publicou framework de segurança, compromissos de teste pré-implantação ou avaliação de risco para o GLM-5.2. O TechCrunch procurou a empresa e não recebeu resposta.

O contexto chinês

Graham Webster, que estuda política chinesa de IA no Stanford Cyber Policy Center, observa que a China tem regulações robustas sobre IA, mas elas historicamente focam em conteúdo politicamente sensível e estabilidade social — não em riscos catastróficos como capacidades cibernéticas ofensivas. “O sistema chinês tem confiança de que controla o uso dessas tecnologias dentro da China. Estar online na China é algo que você faz atribuído ao seu nome real, e empresas e usuários podem ser responsabilizados.”

Defensores do open-weight argumentam que liberar os pesos é importante justamente para cibersegurança — o Hugging Face usou o GLM-5.2 para se defender da invasão da OpenAI. Mas Papadatos contrapõe: “Não deveríamos simplesmente aceitar que capacidades perigosas estejam facilmente acessíveis para qualquer pessoa, em qualquer lugar.”