Até os modelos de linguagem de fronteira acertam menos da metade das perguntas de business intelligence quando precisam trabalhar de ponta a ponta — mas um agente com ferramentas especializadas muda esse cenário. É a conclusão de um novo estudo que cria o primeiro benchmark dedicado a medir a capacidade de LLMs nessa tarefa empresarial.
O gargalo do BI tradicional
Business intelligence é a espinha dorsal da tomada de decisão nas empresas, apoiado por ferramentas como Power BI e Tableau. Mas o fluxo tradicional é penoso: identificar tabelas relevantes, transformar dados, construir relacionamentos de junção e só então responder à pergunta de negócio. São etapas manuais, complexas e demoradas.
Com a capacidade crescente dos LLMs de lidar com dados, a pergunta natural é se eles conseguem executar esse fluxo inteiro sozinhos, sem a preparação manual.
O benchmark BI-Bench
Para responder isso, os pesquisadores coletaram uma grande quantidade de projetos reais de BI de fontes públicas e extraíram manualmente pares de perguntas e respostas corretas de painéis reais de usuários. O resultado é o BI-Bench, o primeiro benchmark a estudar sistematicamente a capacidade dos LLMs em BI de ponta a ponta.
O diagnóstico é duro: mesmo os modelos de fronteira têm menos de 50% de precisão no BI-Bench. O motivo é que a tarefa exige raciocínio sobre estrutura de dados, junções e transformações — muito além de gerar uma consulta SQL simples.
A solução: BI-Agent
Para enfrentar as limitações, a equipe criou o BI-Agent, um agente aumentado por ferramentas que decompõe o fluxo de BI em subtarefas sobre dados estruturados: busca, junção e transformação. Ele orquestra métodos especializados de gestão de dados em cada etapa do processo, em vez de tentar resolver tudo de uma vez.
Além disso, foi desenvolvida uma estrutura de pós-treinamento que sintetiza trajetórias de treinamento a partir de projetos reais de BI, permitindo que o agente aprenda com exemplos autênticos de como especialistas humanos navegam pelos dados.
Por que isso importa agora
Para empresas brasileiras que dependem de relatórios e painéis, a automatização do BI pode significar respostas em minutos em vez de dias. Mas o estudo deixa claro o limite atual: LLMs sozinhos não bastam. É a combinação de agente, ferramentas especializadas e treinamento sobre dados reais que aproxima a IA do desempenho necessário para uso em produção.
A ressalva é que o benchmark, embora baseado em projetos reais, foi construído a partir de fontes públicas — o desempenho em ambientes corporativos fechados, com esquemas proprietários e dados sensíveis, ainda precisa ser validado.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
