Supabase lança benchmark open source para avaliar agentes de IA que programam
A Supabase acaba de abrir o código do Supabase Evals, um framework e benchmark sob licença Apache 2.0 que mede o desempenho de agentes de IA em tarefas reais de desenvolvimento. A ferramenta testa modelos como Claude Code (Anthropic), Codex (OpenAI) e OpenCode em cenários que vão desde criar esquemas de banco de dados até depurar políticas de segurança (RLS, Row-Level Security).
O benchmark já alimenta o leaderboard público e uma suíte interna de regressão que a Supabase executa diariamente para monitorar a qualidade dos agentes.
Como o benchmark funciona
O Supabase Evals opera em três dimensões: produtos (banco de dados, autenticação, armazenamento, edge functions, filas, vetores), tópicos (RLS, segurança, migrações, SQL, SDK, observabilidade) e estágios (construir, implantar, investigar, resolver). Os cenários são baseados em tickets de suporte reais, relatórios de bugs e issues do GitHub.
Cada cenário é executado contra um ambiente real em containers — nada de mocks. O framework sobe uma stack completa da Supabase com CLI e servidor MCP, permitindo que os agentes interajam com a plataforma real. A pontuação combina verificações determinísticas com um juiz baseado em LLM, e cada agente tem direito a uma única tentativa de retry antes da nota final.
Resultados: onde os agentes brilham e onde tropeçam
Na fase de Build, os modelos mais avançados tiveram desempenho impressionante mesmo sem skills adicionais: Claude Opus 5 e Kimi K3 atingiram 100% de acerto. Já os modelos menores mostraram o valor das skills: Claude Sonnet 5 saltou de 78% para 100%, GPT-5.6 Sol de 89% para 100%, e GPT-5.4 mini de 78% para 89% quando receberam instruções específicas.
Três fraquezas chamaram a atenção: (1) agentes tendem a escrever migrações manualmente em vez de usar schemas declarativos; (2) verificam autenticação “na mão” em vez de usar o pacote @supabase/server; e (3) o uso de documentação varia radicalmente — o Codex lê cerca de 8 páginas de documentação por cenário, enquanto o Claude Code consulta apenas 2, e em menos de 40% dos casos.
Por que isso importa
Este benchmark chega em um momento em que agentes de IA estão sendo cada vez mais usados para gerar código em produção. Para equipes que trabalham com Supabase — especialmente em fintechs e healthtechs —, um agente que escreve uma política de RLS incorreta não é só um bug: é um incidente de segurança. O Supabase Evals oferece um padrão reprodutível e open source para validar se o agente que você está usando é confiável para o seu contexto.
O repositório está disponível em github.com/supabase/evals e pode ser executado localmente com pnpm, exigindo apenas Docker, chaves de API dos provedores e as portas 54321-54329 livres.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
