Ataque renomeia identificadores e derruba busca de código em até 77%

O que o estudo mostra

Um novo preprint revela uma vulnerabilidade prática em sistemas de busca de código baseados em IA. O ataque — que simplesmente renomeia identificadores no código — derrubou a métrica de ranqueamento Mean Reciprocal Rank (MRR) em até 77% em todos os modelos testados no benchmark CosQA.

O detalhe mais preocupante é que a mudança não altera a funcionalidade do código. O método troca nomes definidos pelo usuário (variáveis, funções) mantendo intacta a estrutura sintática do programa — a árvore de sintaxe abstrata (AST) permanece idêntica antes e depois do ataque. Em outras palavras: o programa continua fazendo exatamente a mesma coisa, mas o buscador de IA passa a não encontrá-lo mais, ou a encontrá-lo na posição errada.

Como a manipulação funciona

O ataque usa informações de gradiente de um modelo substituto (surrogate) de caixa-branca para escolher os novos nomes. Ele também preserva o estilo dos identificadores e usa a similaridade entre os tokens da consulta e os nomes candidatos como parte da seleção. Na prática, o método “puxa” o vocabulário visível de um trecho de código em direção a uma consulta de busca, mantendo a estrutura fixa.

O modelo de ameaça assume que o código modificado é injetado durante a indexação de um corpus, afetando buscas futuras. Isso é relevante para plataformas que indexam repositórios públicos — como buscadores de código, assistentes de desenvolvimento e sistemas de RAG sobre base de código.

Ataque com alta transferibilidade

Os testes usaram 20 mil pares consulta-código dos benchmarks CosQA e CLARC, com CodeT5+ e OASIS como modelos substitutos. Na avaliação, a similaridade consulta-código subiu em mais de 97% dos exemplos no modelo substituto — e a transferência para outros modelos (o ataque guiado por um modelo afetando outro) manteve ganhos em mais de 95% dos casos.

Isso significa que o atacante não precisa de acesso ao modelo de produção: ele pode treinar o ataque em um modelo aberto e o efeito se transfere. O artigo reporta médias e desvios-padrão, mas não apresenta intervalos de confiança ou testes formais de significância — uma limitação que os próprios números deixam em aberto.

Por que isso importa

À medida que desenvolvedores passam a confiar em busca semântica de código — e não mais em grep por string exata — a robustez desses sistemas vira questão de segurança. Um ataque barato, que exige apenas renomear variáveis, pode esconder código vulnerável de ferramentas de auditoria ou degradar a experiência de busca em repositórios inteiros. É mais um lembrete de que a “inteligência” dos modelos de código tem pontos cegos exploráveis — e que defesa contra manipulação adversarial precisa entrar na lista de requisitos de qualquer plataforma de busca de código.