Sistema reduz em quase 20 vezes a ajuda de IA em manipulação de relacionamentos

Um sistema de segurança para IA conversacional chamado HRGuard reduziu de forma expressiva a taxa de respostas consideradas prejudiciais — aquelas que ajudam uma pessoa a manipular outra — em testes controlados, segundo um pré-print no arXiv.

Sob o protocolo de avaliação principal (com GPT-4o-mini como juiz), a condição com duas portas (Pregate + Postgate) registrou taxa de dano de 2,21%, contra 41,44% da geração sem qualquer proteção. Isso representa uma redução de quase 19 vezes.

Duas portas, dois papéis

O HRGuard foi desenhado em torno de uma pergunta sensível: é possível bloquear assistência para quem busca manipular outra pessoa, ao mesmo tempo em que se preserva o apoio a quem busca proteção?

Para isso, ele usa dois controles. Um Pregate roda antes da geração e um Postgate roda depois de a resposta ser produzida. Ambos avaliam o risco a cada turno e mantêm uma pontuação cumulativa que decai com o tempo. Quando um gatilho é acionado, o sistema emite (ou substitui por) uma recusa fixa e interrompe os turnos seguintes.

Na combinação completa, a taxa de respostas protetivas foi de 93,04% (contra 44,70% da geração crua) e a taxa de recusa apropriada chegou a 80,31% (contra 31,94%).

Limitações honestas

Os próprios autores são cautelosos: o benchmark usou conversas sintéticas e juízes LLM automatizados, sem usuários reais. Eles afirmam que o teste é sintético e incompleto, que juízes de linguagem não substituem julgamento humano e que o trabalho não demonstra prevenção de dano real em relacionamentos.

Ainda assim, o estudo é relevante para quem desenvolve agentes de IA em conversas multi-turno — um campo em que ataques de “engenharia social assistida” por IA tendem a crescer conforme os assistentes se tornam mais persuasivos e personalizados.