O Claude Fable 5 foi reimplantado e está disponível globalmente para todos os usuários. A Anthropic aproveitou o momento para divulgar detalhes mais profundos sobre duas áreas cruciais de segurança: os classificadores de cibersegurança do modelo e uma proposta inédita de framework para classificar a gravidade de jailbreaks.
Os quatro níveis de classificação de cibersegurança
A cibersegurança é um domínio particularmente desafiador para salvaguardas de IA porque é inerentemente de uso duplo — as mesmas capacidades que permitem a um defensor escanear código em busca de vulnerabilidades podem, em mãos erradas, ser o precursor de um ciberataque.
Em vez de bloquear todas as atividades relacionadas à cibersegurança, a Anthropic treinou seus classificadores para distinguir entre quatro categorias:
- Uso proibido: atividades que causariam dano significativo na maioria dos casos, com pouca ou nenhuma utilidade defensiva. São bloqueadas.
- Uso duplo de alto risco: atividades amplamente usadas por atores maliciosos, mas que também têm aplicações benéficas. Também são bloqueadas.
- Uso duplo de baixo risco: atividades majoritariamente defensivas que podem ter algum valor para atacantes. São monitoradas e às vezes bloqueadas como parte da margem de segurança.
- Uso benigno: atividades que não causam dano. Permitidas, com algum monitoramento.
Um conceito importante introduzido é a margem de segurança (safety margin): o modelo bloqueia alguns usos benignos e de baixo risco por excesso de cautela. A margem do Fable 5 foi configurada para ser maior que a de modelos anteriores, o que significa mais falsos positivos — prompts genuinamente inofensivos sendo bloqueados — mas também maior garantia contra usos indevidos.
Framework de gravidade de jailbreak
A segunda contribuição é uma proposta para classificar a severidade de jailbreaks de IA — aquelas formas incomuns de prompting que contornam as salvaguardas do modelo. Até hoje, não existe um padrão consensual para descrever o quão grave é um jailbreak, o que dificulta a comunicação entre desenvolvedores e governos.
O framework proposto avalia jailbreaks em quatro dimensões:
- Ganho de capacidade: quanta capacidade nova o jailbreak desbloqueia
- Amplitude do ganho: quantos domínios diferentes são afetados
- Facilidade de weaponização: quão prontamente o jailbreak pode ser usado para causar dano
- Descobribilidade: quão difícil é encontrar o jailbreak
O resultado é um nível de Gravidade de Jailbreak Cibernético (CJS) que permite comparações consistentes entre diferentes ataques. A Anthropic também lançou um programa no HackerOne para que pesquisadores de segurança possam submeter jailbreaks descobertos no Fable 5 para análise.
Por que isso importa
Esta é a primeira vez que um grande laboratório de IA publica uma taxonomia detalhada do que seus classificadores de segurança bloqueiam e não bloqueiam, junto com um framework de severidade de jailbreak. A transparência é notável: a Anthropic não apenas diz “temos salvaguardas”, mas especifica exatamente quais tipos de atividades se enquadram em cada categoria e qual o raciocínio por trás das decisões.
O framework CJS proposto pode se tornar um padrão da indústria. Se adotado amplamente, permitiria que laboratórios, governos e sociedade civil discutissem riscos de jailbreak em termos comuns — algo que não existe hoje e que é cada vez mais necessário à medida que os modelos se tornam mais capazes em domínios sensíveis como cibersegurança.
A Anthropic convida feedback sobre o framework no email [email protected] e mantém o programa HackerOne ativo para submissões da comunidade de segurança.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
