Modelos de ponta acertam só metade em pesquisa profunda que mistura web e SQL

Pesquisa profunda que mistura web e banco de dados

Agentes de deep research — que navegam a web aberta para sintetizar informações — avançaram bastante. Mas a resolução de problemas no mundo real raramente fica confinada a um único ambiente. Tarefas analíticas complexas exigem que o agente costure evidências de duas fontes distintas: texto não estruturado (a web) e dados estruturados de alta precisão (bancos de dados relacionais, via SQL).

O problema é que os benchmarks atuais avaliam essas modalidades de forma isolada, ignorando o que os autores chamam de handoff — a capacidade de preservar restrições ao mover evidências entre sistemas.

HybridDeepResearch: o primeiro benchmark híbrido

Pesquisadores da Microsoft e da Universidade de Chicago apresentaram o HybridDeepResearch, descrito como o primeiro benchmark de deep research que exige tanto busca na web quanto SQL para formar uma resposta completa e verificável. São 380 tarefas dependentes de ferramentas, ancoradas nos bancos do LiveSQLBench-Base-Lite e em corpora públicos da web, com validação automática e revisão humana.

O benchmark cobre três padrões de raciocínio: SQL-para-SQL, SQL-para-texto e paralelo.

Modelos de ponta acertam só a metade

Mesmo modelos de fronteira como GLM-5.2, Claude-Sonnet-4.6 e GPT-5 alcançam apenas 50% a 54% de Pass@8 no subconjunto difícil. Um achado notável: o raciocínio direcional (partir de dados estruturados para texto, ou vice-versa) é substancialmente mais difícil que a interseção paralela.

A conclusão é clara: atravessar os espaços de informação estruturada e não estruturada sem perder restrições continua sendo um grande desafio em aberto para sistemas agentivos. Para quem usa agentes de análise de dados em produção, o recado é que os números “human-level” de benchmarks isolados ainda não se traduzem em tarefas híbridas reais.