Pesquisadores da Microsoft alertaram em 10 de novembro de 2026 para uma técnica chamada Lazarus que altera menos de dez neurônios dormentes nos pesos de um modelo de linguagem para transformar um agente de IA aparentemente normal em uma porta dos fundos. O ataque não exige retreinamento: um gatilho escondido pode fazer o modelo emitir comandos para baixar código, executar um arquivo ou expor segredos quando o agente tiver acesso a terminal, ferramentas ou credenciais.

O ponto central não é que todo modelo aberto seja perigoso. A descoberta mostra que integridade dos pesos, procedência verificável e privilégios mínimos precisam receber o mesmo tratamento que dependências de software, imagens de container e chaves de produção. Um modelo pode passar por avaliações convencionais e ainda assim ativar um comportamento malicioso apenas sob uma condição específica.

Resumo: o que a Microsoft demonstrou

  • Lazarus é uma técnica de backdoor em espaço de pesos: altera diretamente neurônios pouco ativos de um LLM.
  • Segundo a Microsoft Research, menos de dez neurônios reprogramados podem bastar para inserir uma carga arbitrária em um agente.
  • O modelo continua respondendo normalmente até que um gatilho apareça; o exemplo discutido pela equipe é uma mudança de data para 2027.
  • O risco cresce quando o modelo pode chamar ferramentas, usar shell, ler tokens, acessar arquivos ou aprovar ações externas.
  • Auditoria de diferenças entre pesos, origem confiável, sandbox e monitoramento reduzem o risco, mas não provam que um modelo seja seguro.

Como o Lazarus funciona sem retreinar o modelo

Modelos de linguagem grandes têm muitos neurônios que raramente são acionados durante uma tarefa comum. A pesquisa chama atenção para esses componentes “dormentes”: em vez de treinar o modelo novamente, um atacante com capacidade de alterar o checkpoint pode ajustar alguns deles para reconhecer um padrão de entrada específico.

Na descrição da Microsoft, um classificador linear treinado com cerca de 50 exemplos consegue separar entradas que contêm o gatilho das que não contêm. Quando o gatilho é detectado, o neurônio modificado força um token no fluxo residual do modelo. Encadeando alterações, o atacante pode formar uma sequência de tokens que se torna uma instrução ou um comando. Isso explica por que o problema é particularmente grave em agentes: o texto produzido pelo modelo deixa de ser apenas uma resposta e pode chegar a uma ferramenta com permissões reais.

A pesquisa afirma que a operação exige computação de inferência, não um ciclo completo de treinamento. Isso não significa que seja simples para qualquer pessoa nem que todo checkpoint esteja comprometido. Significa que a barreira de defesa não pode ser apenas “o modelo passou em benchmarks”: a organização também precisa saber qual arquivo de pesos foi usado, quem o publicou e se ele foi modificado entre a origem e o deploy.

Infográfico da Microsoft com recomendações para fornecedores de modelos e para empresas que usam agentes de IA contra backdoors em pesos
Recomendações da Microsoft para reduzir o risco de modelos com pesos adulterados.

Por que agentes com ferramentas elevam o impacto

Em um chatbot isolado, uma saída maliciosa pode ser limitada a texto. Em um agente conectado a terminal, navegador, e-mail, banco de dados, repositório ou automação financeira, essa mesma saída pode iniciar uma cadeia operacional. A ameaça não depende de o agente “querer” atacar: basta que uma sequência de tokens ativada pelo gatilho seja encaminhada para uma ferramenta com privilégios amplos.

Por isso, a postura recomendada é tratar o modelo como um componente potencialmente comprometido, da mesma forma que uma biblioteca baixada de um registro externo. A Microsoft relaciona essa abordagem ao conceito de modelos como risco interno: a camada de execução deve limitar permissões, registrar ações e exigir revisão humana antes de operações consequentes.

O que vale fazer na prática

1. Preserve procedência e compare pesos

Baixe modelos somente de publicadores identificáveis e mantenha registro de versão, hash, origem e data de aquisição. Quando houver um checkpoint-base conhecido, compare os pesos distribuídos com essa referência. A própria Microsoft ressalta que detectar alterações de forma confiável depende de conhecer os pesos originais não modificados.

2. Não dê privilégios permanentes ao agente

Separe ambientes de desenvolvimento, homologação e produção. Um agente que precisa pesquisar documentação não deve receber a mesma identidade que pode alterar infraestrutura. Use credenciais de curta duração, escopos pequenos, diretórios temporários e allowlists de comandos ou APIs. Segredos não devem aparecer no contexto do modelo sem necessidade.

3. Faça aprovação explícita para ações irreversíveis

Exigir confirmação humana para executar comandos destrutivos, transferir dados, instalar pacotes, enviar mensagens externas ou alterar permissões reduz a consequência de uma ativação. A aprovação precisa mostrar o comando final, os arquivos afetados e o destino da ação; uma caixa genérica de “confirmar” pouco ajuda.

4. Monitore a trilha inteira, não só a conversa

Registre chamadas de ferramenta, argumentos, identidade usada, origem dos artefatos e resultado. Alertas úteis incluem download seguido de execução, acesso inesperado a arquivos de configuração, elevação de privilégio e conexões de rede que não fazem parte do fluxo esperado. Logs de prompts são insuficientes se não houver telemetria da execução.

5. Use auditoria de pesos como sinal adicional

A Microsoft diz estar explorando varredura de pesos com agentes de fronteira e testes de red team focados em modificações anômalas. Essa técnica é promissora como um sinal de risco, mas não deve virar um selo absoluto. Um scanner pode encontrar alterações suspeitas; ele não elimina a necessidade de assinatura, origem confiável, isolamento e controle de permissões.

O que a Microsoft diz estar fazendo

A empresa afirma que o Microsoft Foundry vincula modelos abertos incorporados à plataforma a publicadores confiáveis e executa modelos em containers próprios, que também passam por verificação de vulnerabilidades críticas. A Microsoft também informa que trabalha em um harness de red teaming para detectar modificações anômalas, em varredura adicional de pesos e em assinatura criptográfica com procedência verificável e trilhas de auditoria resistentes a adulteração.

Essas medidas reduzem classes de risco no processo de onboarding, mas a própria fonte faz a ressalva importante: se um provedor confiável, sua infraestrutura de treinamento ou seu armazenamento forem comprometidos, a confiança na origem por si só não resolve tudo. É o motivo para combinar proveniência com controles de execução.

O que a pesquisa não demonstra

O anúncio não autoriza concluir que modelos de pesos abertos sejam inerentemente inseguros ou que todos os modelos hospedados por terceiros tenham backdoors. A técnica requer capacidade de modificar o checkpoint. Modelos proprietários também podem ser expostos se houver comprometimento de contas, pipelines ou armazenamento. A diferença relevante é o controle de integridade do artefato e o desenho das permissões ao redor dele.

Também não há garantia de que uma auditoria, mesmo sofisticada, detectará todo comportamento malicioso. A recomendação da Microsoft é explícita: auditorias são evidência, não garantia. Em segurança de agentes, defesa em profundidade continua sendo a resposta correta.

Vídeo de apoio da pesquisa

Vídeo publicado pela Microsoft Research para ilustrar o cenário investigado.

Análise do NoticIA: segurança de modelos virou parte da segurança de software

Na análise do NoticIA, Lazarus reforça uma mudança operacional: um LLM usado como agente não é só um serviço de inferência, mas um artefato de software que participa de decisões e pode acionar sistemas. Isso exige inventário de modelos, verificação de origem, assinaturas quando disponíveis, revisão de atualizações e isolamento por padrão.

Para equipes brasileiras que adotam modelos locais ou checkpoints comunitários, a prioridade não deveria ser abandonar o ecossistema aberto. Deveria ser evitar o atalho de baixar um arquivo e conectá-lo diretamente a credenciais de produção. Rodar o primeiro teste sem rede, com volume descartável e permissões nulas é uma decisão barata; reconstruir um ambiente após vazamento de segredo não é.

A publicação também dá um critério mais claro para avaliar plataformas de agentes: além de qualidade do modelo e preço por token, é preciso perguntar como a plataforma identifica o publicador, preserva hashes, separa workloads, limita ferramentas e registra ações. O modelo pode parecer normal até o instante em que o gatilho certo aparece; a arquitetura ao redor dele é o que determina quanto estrago uma saída inesperada consegue causar.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário