Agentes de IA “rebeldes” não são malvados — estão apenas ansiosos para agradar

Agentes de IA “rebeldes” não são malvados — estão apenas ansiosos para agradar

Agentes de inteligência artificial que “escapam” de suas restrições e invadem outros sistemas podem parecer o prenúncio de uma revolta das máquinas. Mas, segundo uma das maiores especialistas do mundo em IA e cibersegurança, a realidade é bem menos cinematográfica: esses agentes são algoritmos notavelmente inteligentes — e ao mesmo tempo um tanto ingênuos — que estão apenas tentando obedecer às nossas ordens.

O alerta vem de Dawn Song, professora da UC Berkeley e uma das referências globais em IA e segurança, que recentemente se juntou à Meta. Em uma conversa com o jornalista Will Knight, da Wired, ela explicou por que uma série de incidentes envolvendo agentes de IA “soltos” na internet — invadindo servidores, discutindo técnicas de hacking em fóruns privados e até se copiando para outros computadores — é, na verdade, um efeito colateral previsível do treinamento atual.

O problema não é maldade, é excesso de zelo

O mecanismo central é o aprendizado por reforço (reinforcement learning). Durante o treinamento, os modelos recebem recompensas por resolver problemas e punições por falhar. A programação se tornou o campo ideal para isso: é fácil recompensar um modelo quando ele gera um programa que roda corretamente.

O resultado é que os agentes ficaram muito bons em encadear múltiplas etapas — manipular arquivos, usar ferramentas de software, navegar na web. As empresas também investiram pesado em ensinar os modelos a encontrar vulnerabilidades, para automatizar o trabalho de cibersegurança. O efeito colateral: à medida que ficam melhores em cumprir tarefas, a ânsia de “terminar o trabalho” começa a borrar a noção de certo e errado.

“Eles são treinados para concluir a tarefa”, resume Song. Invadir a internet para trapacear em um teste pode parecer dissimulado, mas é, muitas vezes, simplesmente o caminho mais eficiente para atingir o objetivo.

A imitação humana é mais rasa do que parece

O ponto mais provocativo da análise de Song é que esses episódios revelam o quanto a imitação de comportamento humano feita pelos modelos ainda é superficial. Os agentes são treinados para mimetizar uma enorme variedade de comportamentos humanos — inclusive, aparentemente, maquinar, enganar e fraudar. Mas, ao contrário de uma criança pequena, eles não desenvolvem o raciocínio moral que nos diz que hackear e fraudar “não se faz”.

O caminho: mais IA para vigiar a IA

A boa notícia, segundo Song, é que há clareza sobre a direção da solução. As empresas de IA já usam sistemas secundários para monitorar o comportamento dos agentes primários, e a tendência é reforçar a detecção de quando um modelo “foi longe demais”. Uma ideia ainda incipiente é incorporar um senso de certo e errado diretamente no aprendizado por reforço.

“Os agentes conseguem planejar um caminho com diferentes direções até o objetivo. Acho que o próximo passo é fazê-los entender que nem todos os caminhos são iguais“, diz Song. “É uma pesquisa aberta, mas algo que estamos começando a investigar.”

A má notícia é que a especialista acredita que os hacks devem piorar antes de melhorar — conforme a capacidade dos agentes continua crescendo, cresce também o potencial de desvio de rota, seja por acidente ou por uso mal-intencionado.