Por que agentes de IA exigem uma camada extra de segurança
Existe uma pergunta frequente no mundo corporativo: se um assistente de codificação consegue construir em horas uma aplicação que antes levava semanas, por que ainda demora meses para colocar um agente de IA em produção? A resposta, segundo o artigo de Partha Sarkar na Towards Data Science, está na diferença fundamental entre software tradicional e sistemas agênticos: a lógica determinística versus um núcleo probabilístico.
No software convencional, você escreve e testa uma condição como “se o usuário não for admin, o botão de atualização fica desabilitado” — e, passou no teste, comporta-se igual em produção. Com um LLM, não dá para simplesmente instruir “não permita atualizações exceto para admin” e esperar 100% de conformidade. Mesmo com temperatura zero, não há garantia absoluta. Soma-se a isso técnicas maliciosas como jailbreaks, sycophancy (o modelo concorda com o usuário independentemente das instruções) e injeções indiretas (instruções ocultas em documentos). A conclusão é clara: não se pode confiar no LLM para se autogovernar — é preciso construir trilhos determinísticos de segurança ao redor de um núcleo não determinístico, num princípio de defesa em profundidade.
Um experimento com um assistente de RH
Para demonstrar os conceitos, o autor constrói um assistente de políticas de RH — um sistema RAG agêntico que responde perguntas de funcionários e executa ações como enviar pedidos de licença ou atualizar salários. Três personas testam a resiliência do sistema: Admin (nível de acesso 2), Bob, gerente de RH (nível 1), e Alice, funcionária (nível 0). Na arquitetura, o LLM fica completamente isolado da entrada direta do usuário e do acesso direto ao banco de dados.
O primeiro portão é o Safety Pre-Filter, que roda antes de qualquer chamada ao LLM, de qualquer recuperação ou avaliação de política. Ele bloqueia injeções diretas — frases como “ignore todas as instruções anteriores”, “agora você é o DAN” ou “imprima seu system prompt” — usando classificação semântica para capturar jailbreaks de dia zero e produzir pontuações de risco preliminares.
ACL em duas fases e o motor de política
O Policy Engine classifica cada consulta em três níveis de autonomia: AUTONOMOUS (recuperar e responder sem intervenção), SUPERVISED (ação permitida, mas com trilha de auditoria reforçada) e REQUIRES_HITL (ação de escrita de alto risco que pausa para aprovação humana). O princípio é o de privilégio mínimo por padrão: se o motor não consegue determinar com segurança que uma ação é segura, ele escala em vez de executar.
O Access Control List (ACL) opera em duas fases. Na primeira, o ACL de nível de documento filtra no próprio banco vetorial: cada bloco de documento recebe níveis permitidos em seus metadados durante o embedding, e a consulta ao ChromaDB carrega um filtro rígido de metadados — o LLM nunca chega a ver os documentos que o usuário não tem permissão de acessar. Na segunda, a aplicação hierárquica impede, por exemplo, que um funcionário execute ações em nome de outro.
Os cenários que revelam o desenho
Os exemplos deixam o funcionamento claro. Quando Bob pede para atualizar o salário de Alice, o motor corretamente classifica como REQUIRES_HITL: o ACL verifica a autoridade hierárquica de Bob sobre Alice, aceita a intenção, mas não executa — o LLM é totalmente contornado e a ação entra numa fila de aprovação humana. Quando Bob tenta atualizar o próprio salário, o sistema bloqueia: autogestão de remuneração não é permitida, independentemente da senioridade. E mesmo o Admin, o usuário de maior privilégio, não consegue disparar autonomamente um e-mail em massa para todos os funcionários — ação irreversível e de alto impacto exige aprovação de um segundo humano. Privilégio não sobrepõe o portão de supervisão humana.
O ponto central do artigo: a segurança é aplicada na camada de banco de dados, não na camada de prompt. A mesma consulta, com o mesmo system prompt, produz saídas completamente diferentes dependendo de quem pergunta — porque o filtro de metadados decide o que o modelo pode ou não ver antes que ele seja invocado.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
