A média que esconde o seu caso
Em 18 de agosto de 2026, a Anthropic publicou os resultados de uma campanha autônoma de design de proteínas. O número que todo mundo repetiu foi o hit rate: 354 ligantes em 1.320 designs, ou 26,8%, contra uma norma da indústria de 10 a 15%. É um resultado real, validado de forma independente em dois laboratórios contratados. Mas escondido dentro desses 26,8% está um alvo em que o agente produziu 90 designs — todos sintetizados, expressos e medidos — e nenhum deles se ligou.
Os dois fatos saíram da mesma campanha, do mesmo prompt, do mesmo modelo. A Decoding AI fez, em 25 de agosto, a aritmética que a cobertura não fez: 26,8% é uma média de portfólio entre dezesseis alvos, não a probabilidade de que o seu alvo funcione.
De 80% a 0%, na mesma rodada
As taxas por alvo publicadas variam brutalmente: TREM2 com 72 de 90 (80%); VEGF-A com 54 de 90 (60%); IL-7Rα com 49 de 90 (54,4%); RBX1 com 28 de 90 (31,1%); TNFα com 12 de 150 (8%); BBF-14 com 3 de 90 (3,3%); 15-PGDH com 1 de 30 (3,3%); e MBP (maltose-binding protein) com 0 de 90 (0%).
Se cada design tivesse realmente 26,8% de chance de se ligar, a probabilidade de tirar zero sucessos em 90 tentativas independentes seria de 6,3 × 10⁻¹³ — cerca de uma em 1,6 trilhão. Um teste de razão de verossimilhança formal rejeita a hipótese de uma taxa única compartilhada com p ≈ 1,8 × 10⁻⁶³. A conclusão é direta: o 26,8% agregado não é uma propriedade do método — é uma propriedade da lista de alvos.
O que o novo alvo realmente enfrenta
Ao modelar a dispersão em vez da média (um ajuste beta-binomial por máxima verossimilhança sobre as oito contagens publicadas), o quadro se inverte. Para um alvo novo e não visto: a taxa mediana cai para 18,6% (não 26,8%); o intervalo preditivo de 90% vai de 0,1% a 84,7%; a chance de cair abaixo do piso de 10% da indústria sobe para 37,8%; e um lote de 30 designs tem 20,1% de chance de voltar com zero ligantes (contra 0,0086% sob a taxa única).
Para 95% de chance de ao menos um ligante, a conta passa de 10 designs (sob o headline) para 638 designs (no modelo ajustado) — uma diferença de 64 vezes. Como o parâmetro α do ajuste fica abaixo de 1, a probabilidade de um fracasso total decai como N^(−α), não exponencialmente: mesmo com um milhão de designs, o modelo ainda atribui 0,17% de chance de zero ligantes. Há alvos que, para a caixa de ferramentas atual, são simplesmente “fechados” — e a MBP, uma proteína bacteriana grande e flexível com superfície lisa e hidrofílica, é um deles: não há onde um ligante se agarrar.
O detalhe que deveria preocupar qualquer time
Os scores de confiança dos modelos de dobramento não conseguiram distinguir um alvo de 80% de um de 0%. Designs contra MBP e BBF-14 receberam pontuações parecidas com as de alvos que funcionaram. O ranqueador era discriminativo dentro de um alvo (designs em primeiro lugar se ligavam 49% das vezes) e cego entre alvos. Em um domínio em que a verdade de campo custa semanas e dinheiro real, um agente falhou com confiança — e nada a montante do laboratório úmido soube.
Por que isso importa além das proteínas
Quase todo benchmark agêntico que você lê este ano é reportado da mesma forma: uma taxa de acerto agregada sobre um conjunto de tarefas — SWE-bench, ARC-AGI, τ-bench. Um time lê “62%” e planeja como se o ticket dele tivesse 62% de chance. Não tem: tem a probabilidade que a dificuldade do item específico implica, e a média é só a média de uma distribuição cuja dispersão nunca foi publicada. A lição prática custa nada: peça a distribuição por item, não a média; assuma que a sua tarefa é um sorteio, não a média; e orce o caso de fracasso total explicitamente.
Os autores fazem o “steelman” honesto: uma média agregada é a métrica certa se a pergunta for “o design agêntico autônomo é competitivo com humanos em um benchmark representativo?”, que é exatamente o que a Anthropic perguntou. E a Anthropic publicou as contagens por alvo, os prompts e os dados — foi isso que tornou a análise possível. A síntese honesta: 26,8% é uma afirmação verdadeira e impressionante sobre um benchmark, e enganosa sobre o seu próximo projeto.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
