Operação abortada no último minuto
Aeronaves militares dos Estados Unidos já estavam no ar quando oficiais fizeram uma descoberta alarmante: a inteligência que orientava uma operação armada contra um navio chinês havia sido alucinada por um chatbot de IA. A operação foi abortada no último minuto, evitando por pouco um conflito com a China, segundo reportagem da CNN repercutida pelo TechCrunch.
Como a alucinação subiu na cadeia de comando
O relatório de inteligência, que circulou durante a guerra com o Irã, afirmava que o navio transportava componentes para um programa de armas nucleares. A informação falsa teve origem em um analista do Comando de Operações Especiais, que consultou um chatbot para sintetizar dados abertos com inteligência de sinais classificada. O chatbot identificou de forma errada o manifesto de carga do navio.
O problema se agravou quando o analista usou a ferramenta uma segunda vez, desta vez para formatar os dados errados em um resumo com aparência oficial — que então circulou pelos canais de comando sem passar pela verificação humana adequada.
O dilema da velocidade
O quase-incidente acontece no momento em que o Pentágono corre para integrar IA e acelerar a tomada de decisão, visando manter vantagem sobre a China. A mesma velocidade que torna a IA atraente também permite que alucinações se propaguem com supervisão insuficiente.
“É importante que os militares entendam a incerteza inerente aos LLMs”, afirmou Jake Steckler, pesquisador do GovAI e veterano do Exército americano. “Mas é especialmente crítico para qualquer decisão que possa levar ao uso da força, como direcionamento de alvos, análise de inteligência ou planejamento operacional. São decisões com consequências de vida ou morte.”
Steckler defende que o incidente seja um chamado para adicionar salvaguardas — e não para abandonar a IA: “Priorizar a velocidade de adoção acima de tudo provavelmente levará a incidentes que só farão os militares perderem a confiança nesses sistemas.”
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
