O problema
Gestão de investimentos é um domínio de alto risco: agentes de IA precisam ir além de gerar texto plausível — precisam recuperar dados pontuais, montar entradas computacionais corretas, invocar métodos especializados e produzir saídas estruturadas e auditáveis. Um novo benchmark, o FinSkillBench, foi criado para medir exatamente isso.
O benchmark cobre três domínios — construção de portfólio, gestão de risco e análise fundamentalista — distribuídos em 12 subtarefas e 2.603 episódios de tarefa, cada um com entradas pontuais, verdade oculta e um verificador específico.
O principal achado
Os autores compararam três condições: nenhuma habilidade, pacotes de habilidades curadas (documentos de procedimento e componentes executáveis) e habilidades autogeradas (o agente escreve e reutiliza os próprios procedimentos).
Em 9 modelos avaliados, as habilidades curadas melhoraram consistentemente o desempenho, elevando a pontuação média de 0,366 para 0,528, com os maiores ganhos em construção de portfólio e gestão de risco. Já as habilidades autogeradas trouxeram pouco benefício.
O que isso ensina
A lição é direta para quem desenvolve agentes de IA para finanças: procedimentos bem documentados e componentes testados valem mais do que deixar o modelo improvisar. Para o leitor brasileiro, o benchmark também sinaliza uma tendência de agentes cada vez mais presentes em decisões de investimento — com a ressalva de que saber usar uma ferramenta é diferente de dar conselho financeiro confiável.
Vale lembrar que o trabalho é um pré-print, e os resultados refletem um ambiente de avaliação controlado, não as condições reais de um mercado em movimento.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
