Tentei quebrar a segurança de uma IA sendo iniciante — e aqui está tudo que aprendi

Tentei quebrar a segurança de uma IA sendo iniciante — e aqui está tudo que aprendi

O que acontece quando alguém sem conhecimento prévio de segurança da informação decide atacar um modelo de linguagem? Muita coisa. Neha Khan, engenheira de software e IA, publicou um relato detalhado de sua primeira incursão no mundo do red teaming de inteligência artificial — e o resultado é um guia prático que revela o quanto os LLMs ainda são vulneráveis a técnicas simples de manipulação.

A autora aborda, na prática, várias das técnicas mais conhecidas de jailbreak e prompt injection, documentando o que funcionou, o que falhou e — mais importante — por que funcionou. O artigo funciona como uma introdução ao red teaming para quem nunca fez segurança de IA, mostrando que a barreira de entrada é mais baixa do que parece.

As técnicas testadas

Entre os ataques documentados no artigo estão:

• Prompt injection direto: comandos que sobrescrevem as instruções do sistema, fazendo o modelo ignorar suas regras de segurança.
• Role-playing: convencer o modelo de que ele está em um cenário fictício onde as restrições normais não se aplicam.
• DAN (Do Anything Now) e variações: a clássica técnica de jailbreak que persiste em enganar os guardrails dos modelos mais recentes.
• Ataques multilingues: instruções em idiomas diferentes do inglês que conseguem contornar filtros de segurança.
• Contexto extenso: injetar instruções maliciosas em prompts muito longos, diluindo os mecanismos de defesa.

O que a experiência revela

O achado mais surpreendente não é que os ataques funcionam — é que muitos deles continuam funcionando mesmo em modelos considerados “seguros”. A autora conseguiu contornar guardrails em vários modelos comerciais usando técnicas que não exigem conhecimento profundo de machine learning, apenas criatividade na formulação de prompts.

Isso levanta uma questão importante para o ecossistema de IA: se uma iniciante consegue quebrar a segurança de um modelo em poucas horas de experimentação, o que um adversário determinado e experiente pode fazer?

Implicações para o mercado

Para empresas brasileiras que estão implementando chatbots e agentes de IA em produção, o artigo serve como alerta: a segurança de LLMs não pode ser terceirizada apenas para o provedor do modelo. É necessário implementar camadas adicionais de proteção — filtros de entrada e saída, monitoramento de anomalias e testes regulares de red teaming interno.

O artigo completo está disponível no Towards AI e inclui exemplos detalhados de prompts de ataque e as respostas dos modelos — material valioso para qualquer time que esteja implantando IA em produção com exposição ao usuário final.