Refusas de IA com aberturas variadas resistem melhor a ataques, indica estudo

O que o estudo investigou

Uma das técnicas para contornar as barreiras de segurança de modelos de linguagem é a ablação de recusa: estimar um vetor interno associado à recusa e removê-lo, fazendo o modelo deixar de se recusar a responder. Um novo estudo analítico e empírico investigou como a geometria da recusa muda quando a IA usa aberturas de resposta variadas.

A descoberta principal

Variar as palavras iniciais das recusas foi associado a um sinal de recusa distribuído por mais direções internas do modelo e a mudanças menores depois que os pesquisadores removeram uma direção estimada. O padrão apareceu tanto em testes com modelo congelado quanto em um exercício controlado de ajuste fino. O modelo usado foi o OLMo-2-0425-1B-Instruct, com 16 blocos de transformer e 16 cabeças de atenção.

O que isso significa na prática

A leitura dos autores usa o “posto estável” (stable rank), uma medida que indica se o sinal de uma matriz está concentrado em poucas direções dominantes ou espalhado por várias. Quanto mais distribuído o sinal de recusa, menos eficaz tende a ser a remoção de uma única direção. Em termos práticos, treinar modelos para recusar com aberturas mais variadas pode torná-los mais robustos contra ataques de jailbreak que dependem de ablação.

Limitações importantes

O estudo é uma associação observacional, não uma prova de causalidade: os autores não afirmam que variar as aberturas tornou o modelo mais difícil de atacar, apenas que os dois fenômenos apareceram juntos. Os testes usaram 60 prompts do AdvBench e 80 prompts nocivos do WildJailbreak, além de 40 prompts novos de química do CAMEL. É uma investigação de geometria interna com um modelo de 1 bilhão de parâmetros — os resultados podem não se generalizar para modelos muito maiores.