Quanta memória seu agente de IA realmente precisa? Estudo da IBM mostra que a dose certa depende do modelo

A pergunta que vem antes

Equipar um agente de IA com memória parece simples: destilar lições do trabalho passado, devolvê-las ao contexto, e mais experiência deveria significar melhor desempenho. Não funciona sempre assim. Em um novo estudo, pesquisadores da IBM Research escalaram a avaliação para oito modelos — de um modelo denso de 30B a sistemas proprietários de fronteira — e chegaram a uma conclusão clara: memória agentiva não é um recurso que se liga; é uma dose que se calibra para cada modelo.

Três padrões, oito modelos

O trabalho usa o ALTK-Evolve, que permite a um agente aprender com suas próprias trajetórias passadas, destilando diretrizes reutilizáveis sem atualizar pesos e sem anotação humana. Ao distribuir essa memória, emergiram três padrões recorrentes:

• Modelos fortes com folga querem o conjunto completo de diretrizes — incluindo lições raras de casos extremos. O DeepSeek-V3.2 (671B MoE) ganhou +9,5 pontos percentuais em conclusão de tarefas.
• Modelos menores se afogam num conjunto grande. Para eles, um núcleo enxuto de alta confiança mais algumas diretrizes recuperadas por tarefa funciona melhor: o gpt-oss-120b (117B MoE) ganhou +16,1 pontos com essa abordagem seletiva — enquanto o conjunto completo ganhava menos e custava ~50% mais tokens.
• Modelos saturados não mostram ganho mensurável. O GLM-5 (745B MoE) ficou nessa categoria — possivelmente já perto do teto nas tarefas avaliadas.

O que coloca um modelo em um padrão ou outro não é só a contagem de parâmetros: folga de benchmark, tamanho da janela de contexto, arquitetura, qualidade das diretrizes e distribuição das tarefas influenciam o resultado.

A estratégia mais barata também pode ser a melhor

Os testes rodaram no benchmark AppWorld, com 585 tarefas multi-etapa em nove apps simulados, medidos por dois indicadores: TGC (conclusão de tarefa) e SGC (conclusão de cenário, mais rigorosa). Um dado relevante: a métrica mais rígida costuma se mover mais — o DeepSeek saltou +16,1 pontos em SGC contra +9,5 em TGC — porque boas diretrizes ajudam o agente a acertar todas as variantes de um cenário, não só o caso médio.

No custo, a recuperação curada mantém o gasto perto da linha de base (+5% de tokens para o gpt-oss-120b), enquanto injetar o conjunto completo infla cada passo — o DeepSeek subiu de 148K para 263K tokens por tarefa (+78%). A alavanca de eficiência em produção é o prompt caching: como a parte estática do conjunto é idêntica entre passos, ela pode ser cacheada, reduzindo o custo efetivo.

O que vem por aí

Os pesquisadores apontam próximos passos: um seletor treinado para escolher diretrizes por sinal de resultado (a similaridade por cosseno atual não prevê perfeitamente o que ajuda); memória destilada por professor para modelos muito fracos; e validação além do AppWorld. A lição prática fica: a memória deve ser calibrada, não apenas acumulada.