Defesas em camadas contra jailbreak falham juntas e rejeitam prompts legítimos

Intuição comum em segurança de IA: se uma defesa bloqueia 90% dos ataques e outra bloqueia 90%, empilhá-las deveria bloquear 99%. Um novo preprint do arXiv mostra que essa conta não fecha. Ao testar um pipeline de sete camadas de defesa, os pesquisadores observaram que as falhas das defesas são correlacionadas — e que empilhá-las não melhora claramente a proteção.

O resultado surpreendente

O pipeline de sete camadas teve sucesso de ataque residual de 0,000 no teste reportado. Mas o mesmo sistema rejeitou 81% dos prompts benignos, contra 26% do Llama Guard sozinho — e as duas configurações tiveram resultados de ataque residual praticamente idênticos. Ou seja: mais camadas trouxeram mais falsos positivos, sem ganho real de proteção.

Falhas que se movem juntas

Defesas costumam ser tratadas como independentes, permitindo multiplicar suas taxas individuais de sucesso de ataque. No estudo, todas as quinze duplas de defesa mensuráveis mostraram correlações positivas de falha, entre 0,30 e 0,75. O sucesso de ataque residual conjunto excedeu a previsão multiplicativa em até 0,172.

A avaliação principal usou o Vicuna-7B-v1.5 com 100 comportamentos nocivos do JailbreakBench. Um filtro de perplexidade bloqueou os 100 prompts de GCG adaptativo, mas nenhum dos 100 prompts estilo AutoDAN — com sucesso residual de 0,66. A eficácia de uma defesa depende fortemente do estilo de ataque.

A regra prática

A conclusão central é direta: não multiplique pontuações isoladas de defesa para estimar a proteção de uma pilha. A segurança e a carga de rejeição do conjunto montado precisam ser medidas diretamente. Os autores observaram que a pilha completa e a melhor camada isolada diferiram em apenas um comportamento no teste pareado — estatisticamente indistinguíveis para o alvo e adversário testados.

Por que isso importa

Para empresas e equipes brasileiras que protegem modelos em produção, o estudo traz um alerta duplo: adicionar camadas de segurança pode elevar a taxa de rejeição de pedidos legítimos sem reduzir o risco real — e a correlação de falhas significa que defesas que parecem complementares podem falhar juntas. O trabalho é um preprint (28 de agosto de 2026, submetido à Elsevier), limitado a um modelo-alvo principal e um conjunto de comportamentos, mas a direção dos resultados se manteve estável nas verificações de robustez.