O que muda com a “recorrência opaca”
O Astra, próximo modelo de raciocínio da OpenAI, vai usar uma técnica chamada “profundidade recorrente” (recurrent depth) — também apelidada de “recorrência opaca” — que permite processar a mesma consulta várias vezes em loop, em vez de seguir o pensamento sequencial linear que caracteriza a maioria dos modelos de raciocínio. A informação foi revelada nesta terça-feira (2) pelo site The Information.
A consequência prática é direta: a técnica deixa menos rastros legíveis do raciocínio, contornando o registro convencional da cadeia de pensamento (chain of thought), que é hoje uma das principais ferramentas para monitorar o comportamento dos modelos. Embora o uso no Astra seja descrito como limitado, a simples emergência da técnica já acendeu um alerta entre especialistas em segurança de IA.
Por que especialistas estão preocupados
Em condições normais, a cadeia de pensamento de um modelo de raciocínio expõe os passos sequenciais que ele percorre para resolver um problema. Não é uma representação perfeita do que acontece internamente, mas funciona como um instrumento valioso para detectar desalinhamento ou comportamento indevido. Nos episódios recentes de “agentes rebeldes” da OpenAI, os registros da cadeia de pensamento foram essenciais para entender por que os agentes agiram como agiram.
Na recorrência opaca, esse registro fica comprometido. Buck Shlegeris, CEO da Redwood Research, foi direto: “Estou extremamente preocupado com a informação de que o Astra usa recorrência opaca. Se a OpenAI empurrar essa técnica mais adiante, terá a opção de aumentar massivamente a recorrência e destruir totalmente a monitorabilidade da cadeia de pensamento.”
O pesquisador Ryan Greenblatt, cientista-chefe da Redwood, acrescentou que o raciocínio opaco pode escalar mais rápido que a cadeia de pensamento convencional, “removendo efetivamente todo o raciocínio dos canais visíveis”. Para ele, o pior cenário é um modelo que passe a raciocinar “inteiramente, ou quase inteiramente, no espaço latente”.
A resposta da OpenAI
A OpenAI minimizou as preocupações: segundo a empresa, o uso da técnica no Astra é limitado, a cadeia de pensamento continua legível, e a companhia nega qualquer intenção de migrar para um “neuralês” — um formato de raciocínio incompreensível para humanos. O cientista-chefe Jakub Pachocki reforçou que a OpenAI “trabalha para preservar e utilizar o monitoramento da cadeia de pensamento desde os primeiros modelos de raciocínio”.
Ainda assim, o debate está longe de se encerrar. Um relatório de acompanhamento do The Information indica que Anthropic e Google DeepMind já discutem internamente a mesma técnica.
Por que isso importa agora
O episódio toca no centro do debate sobre alinhamento e segurança de IA: à medida que os modelos ganham mais autonomia, a capacidade de auditar o raciocínio se torna tão importante quanto a capacidade de gerar respostas corretas. Se a indústria caminhar para arquiteturas com raciocínio cada vez mais opaco, perderemos justamente o instrumento que permite identificar — e corrigir — comportamentos perigosos antes que causem dano.
Zvi Mowshowitz, um dos nomes mais conhecidos na defesa da segurança de IA, resumiu o receio: leis podem se tornar necessárias para evitar uma “corrida para o fundo do poço” entre os laboratórios de IA.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
