IA acerta quase tudo nas perguntas fáceis de finanças — e despenca nas difíceis
Um novo benchmark de raciocínio financeiro expôs uma lacuna incômoda: os melhores modelos de IA respondem corretamente a mais de 97% das perguntas fáceis, mas a melhor pontuação na faixa de questões difíceis foi de apenas 34,68%. Mesmo quando os pesquisadores restringiram a comparação a 372 perguntas difíceis com contexto local completo, a melhor nota subiu para somente 54,57%.
O benchmark se chama FinExam-10K e contém 10.198 perguntas reanotadas por especialistas, alinhadas aos níveis I a III do CFA e às partes I e II do FRM — duas das certificações mais respeitadas do mercado financeiro global.
O placar geral esconde o problema
No total das 10.198 perguntas, o Gemini-3.1-Pro liderou com 85,29%, seguido de perto pelo GPT-5.6-Sol com 84,75%. O melhor modelo aberto de raciocínio alcançou 75,76%, e o principal modelo especializado em finanças ficou em 68,07%.
Essa distribuição mostra um ponto central do estudo: uma média alta pode esconder onde o sistema quebra. O desempenho cai de forma acentuada conforme a dificuldade das perguntas aumenta.
O conjunto de avaliação foi dividido em 6.578 perguntas fáceis, 2.183 médias e 1.437 difíceis. A construção envolveu filtragem de racionalização, normalização e deduplicação global, seguida de revisão em duas etapas por uma equipe de quatro profissionais com qualificação em finanças.
A limitação do contexto nas perguntas difíceis
Há uma ressalva importante: das 1.437 perguntas difíceis, 1.065 não tinham evidência de apoio anexada localmente. Os pesquisadores também testaram intervenções com cadeia de raciocínio (DeepSeek-R1) e programa de pensamento (GPT-4o), com decodificação determinística quando suportada.
Por que isso importa agora
À medida que a IA avança em direção a casos de uso de alto impacto — análise de investimentos, auditoria, gestão de risco — a diferença entre acertar o básico e dominar o avançado se torna crítica. Um assistente que erra uma em cada três perguntas difíceis de finanças não é confiável para decisões de alto valor.
Para profissionais brasileiros de mercado financeiro, o FinExam-10K oferece uma régua mais realista do que as médias gerais costumam sugerir, mostrando que a barreira entre “impressionante” e “confiável” ainda está longe de ser superada.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
