Cloudflare publicou no GitHub a skill open source security-audit, um roteiro para usar agentes de código em auditorias de segurança sem transformar cada resposta do modelo em uma vulnerabilidade confirmada. O projeto organiza o trabalho em seis fases — reconhecimento, cobertura, investigação, validação independente, registros estruturados e relatório — e impõe uma regra importante para equipes que usam IA: só há achado confirmado quando existe uma falha de fronteira de confiança demonstrada com evidência de código e teste local limitado.

O repositório security-audit-skill, da Cloudflare, é distribuído sob licença MIT e deriva de práticas que a empresa descreveu em seu vulnerability harness. A proposta não é entregar um scanner automático ou prometer que um agente encontrará todas as falhas de um sistema. É fornecer um processo reproduzível para separar bugs confirmados, hipóteses que ainda exigem verificação e preocupações de hardening.

Resumo: o que a skill entrega

  • Um fluxo de seis fases para auditorias de código orientadas por cobertura.
  • Separação explícita entre confirmed, needs_validation e rejected.
  • Validação por um agente diferente daquele que propôs o achado.
  • Arquivos estruturados, como coverage-ledger.json e findings.json, para manter histórico e evitar conclusões apenas narrativas.
  • Orientações específicas para riscos de LLMs, agentes, memória persistente, tool calling e MCP.
  • Limites operacionais: testes devem ocorrer localmente, em sandbox, sem atingir serviços de produção.

Por que isso importa agora

Agentes de programação passaram a navegar por repositórios, ler configurações, abrir tarefas paralelas e sugerir correções em uma escala que uma revisão manual isolada dificilmente acompanha. O ganho de velocidade vem acompanhado de dois erros recorrentes: o modelo pode chamar uma prática incompleta de vulnerabilidade, ou pode produzir um relatório convincente sem demonstrar impacto real. A skill da Cloudflare tenta atacar os dois problemas com evidência, escopo e revisão adversarial.

Isso é especialmente relevante para aplicações que usam modelos para chamar ferramentas, consultar bases de conhecimento ou operar servidores MCP. Nesses casos, prompt injection não é, por si só, uma vulnerabilidade confirmada. É preciso provar que conteúdo de menor confiança atravessa uma fronteira e provoca uma ação, leitura ou divulgação que o solicitante não poderia obter diretamente. Essa distinção reduz falsos positivos e direciona o esforço para controles determinísticos: autorização por recurso, validação de argumentos, isolamento e confirmação vinculada à ação final.

✅ O que você ganha — e ⚠️ o que não ganha

✅ Benefícios práticos

  • Rastreabilidade: cada hipótese deve apontar entrada, propagação, limite de confiança, recurso afetado e resultado observável.
  • Menos falsos positivos: a pessoa ou agente que encontra um possível problema não é quem o confirma.
  • Escopo mensurável: o ledger registra o que foi planejado, coberto, adiado, bloqueado ou ficou fora de escopo.
  • Melhor uso de subagentes: investigações paralelas são separadas por diretórios e responsabilidades.
  • Tratamento adequado de IA: o projeto inclui classes de ataque para RAG, memória, ferramentas, MCP, confirmações e saídas.

⚠️ Limitações importantes

  • Não substitui revisão humana: a validação ainda depende de alguém que entenda o modelo de ameaças, a arquitetura e o negócio.
  • Não autoriza testes em produção: a própria skill proíbe sondar endpoints implantados, dados de terceiros e ambientes compartilhados.
  • Não transforma incerteza em severidade: um item marcado como needs_validation não deve receber classificação de risco até que a fronteira e o impacto sejam verificados.

Requisitos para usar a skill com segurança

ComponenteMínimoRecomendadoIdeal
Agente de códigoSuporte a ferramentasSubagentes paralelosSubagentes com papéis e isolamento configuráveis
Execução localLeitura estática do repositórioSandbox para testes limitadosSandbox com rede externa bloqueada e limites de recursos
Node.jsDisponível para os validadoresVersão estável no ambiente da equipeIntegrado ao CI local de auditoria
Repositório-alvoCópia local identificávelCommit e estado do worktree registradosEscopo e histórico de auditorias anteriores disponíveis
TempoRevisão orientadaUma rodada de validação independenteCiclos recorrentes com cobertura acumulada
O projeto exige Node.js para validar os registros e recomenda um sandbox real para qualquer execução de código controlado pelo alvo.

Como o fluxo de seis fases funciona

1. Reconhecimento: mapear superfícies e fronteiras

A primeira etapa cria um mapa da aplicação: interfaces de entrada, identidades de execução, recursos sensíveis, dados que entram em contextos de LLM e ferramentas que causam efeitos externos. Em vez de iniciar com uma lista genérica de CVEs, a skill pede que a equipe identifique quem controla a entrada, qual controle deveria existir e qual recurso pode ser afetado.

Para um agente com acesso a e-mail e ferramentas de banco de dados, por exemplo, a pergunta útil não é “o prompt pode ser injetado?”. É: “um documento gravado por outro usuário pode levar o agente a executar uma consulta ou enviar uma mensagem sob a identidade de alguém que não pediu aquela ação?”.

2. Investigação guiada por cobertura

A skill divide a auditoria em unidades de cobertura e atribui investigações isoladas. Cada unidade registra o que foi verificado, evitando que muitos agentes persigam a mesma suspeita enquanto caminhos críticos ficam sem exame. Há roteiros para autenticação, protocolos, cadeia de suprimentos, infraestrutura, aplicativos cliente e riscos específicos de IA.

No módulo de IA e LLM, os pontos de partida incluem conteúdo recuperado por RAG, memória persistente, argumentos de ferramentas, permissões herdadas por subagentes e metadados fornecidos por servidores MCP. A recomendação é começar nas ferramentas que produzem efeitos e seguir o caminho de volta: handler, schema, confirmação, contexto do modelo, recuperação e ingestão.

3. Validação adversarial de candidatos

Todo candidato a achado passa para um verificador novo, que tenta refutá-lo. Esse verificador deve reler o código citado, procurar controles que o investigador inicial pode ter ignorado e reproduzir apenas o menor efeito necessário em uma fixture local. Se uma configuração de produção, identidade externa ou comportamento de provedor for indispensável e não estiver no repositório, o resultado correto é needs_validation, não uma vulnerabilidade “provável”.

4. Registro estruturado em vez de relatório solto

Os resultados vão para findings.json, usando um schema e validadores em Node.js incluídos no repositório. Um item confirmed precisa de causa raiz, condições, execução limitada, resultado observado, correção e severidade compatível com o impacto demonstrado. Um item needs_validation deve explicar o bloqueio e propor uma verificação local ou observação segura pelo responsável do ambiente. Itens refutados permanecem como rejected, evitando que o mesmo falso positivo volte a consumir tempo em uma rodada posterior.

5. Revisão independente do registro final

Após a primeira validação, um revisor independente confere o registro final, não apenas a narrativa do agente que investigou. A intenção é impedir que uma descrição bem escrita sobreviva apesar de apontar arquivos errados, exagerar o impacto ou sugerir uma correção que só desloca a confiança para outra camada.

6. Relatório neutro em relação ao alvo

Por fim, a skill produz relatórios com postura de segurança, limites de cobertura, achados confirmados, itens pendentes de validação e notas de hardening. A documentação insiste que um relatório limpo pode ter zero vulnerabilidades confirmadas — e isso é melhor do que inventar itens de baixa severidade para preencher uma tabela.

Instalação e uso inicial

O README do projeto documenta a instalação pela Skills CLI. Em um ambiente que já possua Node.js e a ferramenta compatível, o comando indicado é:

npx skills add https://github.com/cloudflare/security-audit-skill \
  --skill security-audit

Para instalar no escopo global do usuário, a documentação acrescenta --global. Depois, o gatilho é uma solicitação explícita, como security audit this codebase. A skill diferencia uma pergunta pontual de uma auditoria completa: orientação sobre segurança deve usar apenas os trechos necessários; uma revisão abrangente ou pedido de artefatos dispara as seis fases.

Antes de executar qualquer teste, não pule a parte difícil: prepare um ambiente isolado. A documentação exige rede externa desativada, ambiente vazio com variáveis permitidas, fonte em modo somente leitura e limites de CPU, memória, disco, processos e tempo. Sem essas garantias, a recomendação é manter a evidência como pendente e apresentar um plano seguro de validação — não executar código do alvo no computador do auditor.

Exemplo de arquitetura para agentes, ferramentas e MCP

Em produtos agentic, três controles costumam ser confundidos. O primeiro é autorização: o usuário tem permissão para agir sobre aquele recurso? O segundo é vinculação da ação: a confirmação do usuário corresponde aos argumentos finais, ao recurso, à quantidade e à identidade realmente usados? O terceiro é isolamento do contexto: conteúdo recuperado, memória ou respostas de MCP podem orientar o modelo, mas não devem conceder privilégios.

Uma implementação mais robusta valida argumentos de ferramenta no handler, reaplica autorização por recurso no instante do efeito e vincula a aprovação a um objeto normalizado. Um schema JSON ajuda a restringir formato, mas não substitui regras de caminho, URLs permitidas, semântica de consulta ou escopo de credenciais. A skill também recomenda tratar saída do modelo, memória, descrições de tools e respostas de MCP como entradas não confiáveis.

Quatro casos de uso concretos

  • Revisão de um servidor MCP: conferir se nomes de ferramentas, URIs e IDs de resposta são associados à conexão autenticada, não a aliases escolhidos pelo modelo.
  • Agente de atendimento com RAG: verificar se documentos de um cliente não entram em sessões de outro e se um texto recuperado não pode acionar uma ferramenta privilegiada.
  • Assistente de DevOps: rastrear parâmetros gerados pelo modelo até APIs de infraestrutura e confirmar autorização por projeto, ambiente e recurso.
  • Pipeline de código com subagentes: avaliar se um subagente recebe mais credenciais, memória ou acesso a repositórios do que a tarefa exige.

Troubleshooting: erros que reduzem a qualidade da auditoria

  • ❌ “O modelo seguiu uma instrução maliciosa, então há vulnerabilidade.” → Causa: confusão entre comportamento do modelo e violação de fronteira. Solução: demonstre qual autoridade foi concedida indevidamente e qual efeito ocorreu.
  • ❌ Teste contra produção. → Causa: tentativa de provar impacto em ambiente compartilhado. Solução: use fixture local e pare no menor resultado observável.
  • ❌ Mesmo agente encontra e confirma o problema. → Causa: viés de confirmação. Solução: use verificador independente e preserve o rastro de evidência.
  • ❌ Item pendente recebe severidade. → Causa: uma hipótese é tratada como fato. Solução: registre needs_validation sem severidade e especifique o dado externo que falta.
  • ❌ Validação de schema é tratada como prova de segurança. → Causa: o formato foi validado, mas autorização e semântica não. Solução: confira o handler e o ponto de efeito da ferramenta.

Perguntas frequentes

A skill encontra vulnerabilidades automaticamente?

Não. Ela fornece um processo e prompts para organizar a investigação. O resultado depende do código disponível, do escopo, da qualidade da modelagem de ameaças e da possibilidade de fazer validações locais seguras.

Posso usar o fluxo em um sistema sem LLM?

Sim. O projeto também cobre autenticação, protocolos, cadeia de suprimentos, cloud, desktop, dados e disponibilidade. Os arquivos específicos de IA são complementares, não obrigatórios para todos os alvos.

Por que não basta pedir para um agente “achar bugs”?

Porque uma lista sem fronteira de confiança, impacto observável e revisão independente mistura riscos reais com recomendações genéricas. O workflow tenta tornar a incerteza explícita.

O que significa needs_validation?

Significa que existe um caminho de código relevante, mas falta uma informação decisiva fora do repositório ou do ambiente local. O registro deve dizer exatamente qual fato precisa ser observado de forma segura.

A licença permite adaptar o processo?

Sim. O repositório informa licença MIT, que permite uso, modificação e distribuição, preservando o aviso de copyright e a licença.

Análise do NoticIA: a contribuição está no método, não em uma promessa mágica

Na análise do NoticIA, o valor mais importante da publicação da Cloudflare é estabelecer um vocabulário operacional para auditorias feitas com agentes. Em vez de medir qualidade pelo número de alertas, a skill mede o que foi coberto, o que foi demonstrado e o que permaneceu incerto. Esse é um critério mais útil para equipes brasileiras que estão adicionando IA a produtos internos e serviços para clientes: antes de ampliar a autonomia do agente, precisam saber onde a autorização termina e onde a decisão do modelo começa.

O projeto também acerta ao não vender prompt engineering como controle de segurança. Instruções podem orientar um modelo; não substituem permissões por recurso, credenciais de menor privilégio, confirmação vinculada a parâmetros e isolamento de dados. Em 2027, a diferença entre um agente útil e um agente seguro continuará sendo menos a capacidade de “raciocinar” e mais a qualidade dos limites técnicos ao redor dele.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário