Um modelo de código aberto voltado para segurança cibernética, chamado OpenAegis, registrou 58,1% de acerto no benchmark CyberGym — o melhor resultado reportado em uma comparação com Qwen 3.5, Kimi K2.7 e GLM 5.2, segundo um preprint recente. O framework por trás dele, chamado CyberFactory, unifica construção de dados, síntese de trajetórias e treinamento de modelos para tarefas de segurança.
O placar do benchmark
O CyberGym mede a capacidade de resolver tarefas reais de segurança com orçamento de uma hora por tarefa. Na comparação reportada, o Qwen 3.5 marcou 29,6%, o Kimi K2.7 chegou a 51,7% e o GLM 5.2 ficou em 43,3%. O OpenAegis abriu vantagens de 28,5 pontos percentuais sobre o Qwen, 6,4 sobre o Kimi e 14,8 sobre o GLM.
Como o sistema foi treinado
O CyberFactory lida com três frentes: detecção de vulnerabilidades, geração de patches e respostas a perguntas de segurança (CyberQA). Para a prova de conceito, as instâncias vieram de fontes como ARVO, OSS-Fuzz e CVEs encontrados na natureza. A síntese de trajetória usou uma “habilidade” reutilizável e independente de tarefa: o modelo professor era orientado a inspecionar o alvo, explorar de forma guiada, validar evidências e revisar a própria abordagem.
Um detalhe metodológico importante: essa habilidade foi retirada do OpenAegis no momento da inferência — ou seja, o modelo treinado foi avaliado sem o recurso que o orientou durante o treinamento. Para contar como resolvido, o candidato precisava disparar a vulnerabilidade na versão pré-patch e não afetar a versão corrigida, usando um oráculo diferencial verificável por máquina.
Por que isso importa agora
Com o custo de incidentes cibernéticos em alta e a escassez global de profissionais de segurança, modelos que automatizam detecção e correção de vulnerabilidades têm valor prático imediato. Um benchmark padronizado como o CyberGym também ajuda a comparar modelos com um critério objetivo, em vez de métricas de marketing. Para times brasileiros de segurança e empresas que mantêm software legado, a perspectiva de um assistente de código aberto especializado em patches é concreta.
Limitações a considerar
O paper não reporta o número total de instâncias ou de tarefas de avaliação, e os resultados ainda são de preprint. O benchmark compara um conjunto específico de modelos e pode não refletir o desempenho em ambientes corporativos reais. A distância entre “resolver tarefa de benchmark” e “operar com segurança em produção” continua grande.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
