A OpenAI propôs em 22 de novembro de 2026 que laboratórios de inteligência artificial passem a divulgar e comparar uma medida técnica chamada perplexidade — ou, de forma equivalente no contexto apresentado, a perda de entropia cruzada — como parte de um padrão compartilhado de segurança. A ideia, defendida pelo cientista-chefe Jakub Pachocki, é usar a capacidade de um modelo de prever o próximo token como um sinal antecedente de avanços gerais que ainda não aparecem em benchmarks de tarefas específicas.

A proposta não é que perplexidade substitua avaliações de cibersegurança, autonomia, persuasão ou alinhamento. Ela tenta resolver outro problema: benchmarks aplicados envelhecem e saturam, enquanto os modelos podem adquirir capacidades inesperadas antes que a indústria tenha criado testes apropriados. Para a OpenAI, acompanhar a evolução do pré-treinamento com uma métrica mais estável pode ajudar a decidir quando desacelerar, ampliar auditorias e estabelecer limites comuns entre laboratórios.

Resumo: o que a OpenAI está propondo

  • Mais transparência: laboratórios divulgariam medidas comparáveis do desempenho de seus modelos-base em conjuntos de avaliação retidos.
  • Um sinal antes dos benchmarks: quedas na perplexidade seriam tratadas como indício de que novas capacidades podem emergir, mesmo sem um teste específico para elas.
  • Limites condicionais: desenvolvedores poderiam concordar em não avançar além de faixas técnicas pré-definidas até que ferramentas de monitoramento e segurança atinjam metas concretas.
  • Complemento, não atalho: a métrica não mede diretamente risco, utilidade comercial, raciocínio com cadeia de pensamento ou comportamento em uma tarefa real.

O que é perplexidade e por que ela aparece na discussão sobre IA

Em modelos de linguagem, a perplexidade é uma forma de medir quão bem o sistema prevê a próxima unidade de texto — o token — em dados que não foram usados para o treinamento. Em termos intuitivos, um modelo que atribui probabilidades melhores às continuações corretas de uma sequência tende a ter perplexidade menor. No texto da OpenAI, a empresa usa o logaritmo dessa medida, também chamado de perda de entropia cruzada: quanto menor o valor, melhor a previsão no conjunto de avaliação usado.

Isso não significa que um modelo “entenda” cada frase como uma pessoa, nem que uma pontuação isolada prove competência em uma profissão. A métrica mede desempenho preditivo médio sobre uma distribuição de dados. Ainda assim, ela tem importância histórica porque a melhoria nessa previsão acompanhou saltos de capacidade em modelos de grande escala. A OpenAI descreve o pré-treinamento como a construção de um “substrato” de inteligência: depois dele, técnicas como prompting, fine-tuning e aprendizado por reforço podem tornar capacidades latentes mais fáceis de usar em produtos e tarefas.

Os números divulgados e o que eles significam

Pachocki afirma que o GPT-3.5 registrava aproximadamente 0,99 de log-perplexidade no conjunto principal de avaliação interno da OpenAI; o GPT-4, cerca de 0,91. Segundo o autor, a faixa abaixo de 0,8 coincidiu com o surgimento de capacidades que a empresa descreve como transformadoras em áreas como matemática e cibersegurança. A publicação projeta que a janela entre 0,68 e 0,70 poderá trazer outros avanços relevantes, mas deixa claro que a empresa não sabe antecipadamente quais serão essas capacidades.

Esses valores devem ser lidos com cuidado. Eles são calculados no conjunto de dados interno que a OpenAI vem usando desde o GPT-3.5, e não constituem uma tabela pública universal para comparar qualquer modelo de qualquer laboratório. Um número obtido em outro conjunto, com outra mistura de dados e outra metodologia, pode não ser diretamente equivalente. A própria OpenAI reconhece esse obstáculo e diz que a comparabilidade entre empresas exigiria transparência e procedimentos compartilhados.

Por que benchmarks tradicionais não bastam

Benchmarks são essenciais, mas costumam medir uma capacidade depois que ela já foi definida. Um teste de programação, por exemplo, pode perder poder discriminativo quando modelos passam a resolvê-lo facilmente; um benchmark criado para a geração anterior pode não capturar novas formas de planejamento, uso de ferramentas ou pesquisa. A OpenAI argumenta que esse ciclo torna perigoso depender apenas de avaliações downstream: quando uma capacidade nova aparece, talvez a avaliação adequada ainda não exista.

A perplexidade tenta funcionar como um termômetro mais geral do progresso do modelo-base. A tese é que, se o modelo melhora de forma consistente em prever dados retidos, sua capacidade de representar regularidades complexas também pode habilitar comportamentos que os avaliadores ainda não procuraram. Isso não elimina a necessidade de red teaming. Ao contrário: deveria acionar avaliações mais rigorosas antes de disponibilizar sistemas que cruzem determinado patamar de capacidade.

O ponto mais delicado: IA acelerando o próprio desenvolvimento

O texto chama atenção para a possibilidade de modelos contribuírem para pesquisa algorítmica no próprio pré-treinamento. A OpenAI relata que, após atualizar seus modelos para uma log-perplexidade de aproximadamente 0,76, observou resultados inéditos em problemas matemáticos usados internamente para avaliação. Pachocki especula que, já em 2027, um processo semelhante poderia acelerar descobertas em pesquisa de deep learning.

Isso é uma hipótese da OpenAI, não uma previsão confirmada nem uma garantia de “autoaperfeiçoamento recursivo”. A distinção importa. A empresa afirma que a aceleração recente veio principalmente de investimentos de longo prazo em pesquisa e computação, com automação contribuindo em menor escala — embora cite contribuições significativas de IA no desenho de modelos mais recentes. Para leitores e empresas, o dado prático é que o ritmo de avanço pode depender não apenas de mais chips, mas também de ferramentas capazes de melhorar como esses chips são usados no treinamento.

Limitações: uma métrica não é um caso de segurança

A proposta enfrenta limites claros. Primeiro, diferentes laboratórios usam diferentes conjuntos de avaliação e dados de treinamento; sem um protocolo comum, comparar números pode criar uma falsa precisão. Segundo, perplexidade não diz diretamente se um sistema consegue invadir uma rede, manipular um usuário, operar um robô ou obedecer a uma política de uso. Ela é uma medida de previsão, não uma auditoria de impacto.

Terceiro, avanços obtidos depois do pré-treinamento podem ampliar muito a capacidade prática sem reduzir a perplexidade do modelo-base. A OpenAI cita explicitamente o raciocínio com cadeia de pensamento como exemplo. Por fim, há uma incógnita matemática: não se sabe qual é o limite inferior da perda nos dados avaliados. À medida que os modelos se aproximam desse piso, pequenas melhorias numéricas podem corresponder a mudanças desproporcionalmente grandes — ou a ganhos menos expressivos do que o esperado.

O que mudaria se a indústria adotasse um padrão comum

Um acordo útil exigiria mais do que publicar um gráfico. Laboratórios teriam de definir conjuntos de avaliação com governança adequada, mecanismos para impedir vazamento de dados, regras para reportar metodologia e uma ligação explícita entre faixas de desempenho e obrigações de segurança. Entre essas obrigações poderiam estar avaliações independentes, red teaming mais amplo, limites de acesso, monitoramento de uso e evidências de que técnicas de supervisão continuam eficazes.

A OpenAI também menciona a necessidade de sucessores para monitores de cadeia de pensamento antes de atravessar certos limites. A mensagem é importante: monitorar o raciocínio de sistemas avançados ainda é uma área incompleta, e uma métrica de escala só teria valor regulatório se viesse acompanhada de critérios verificáveis sobre controle e auditoria.

Análise do NoticIA: transparência útil, mas insuficiente sozinha

Na análise do NoticIA, a proposta tem valor por deslocar o debate de slogans genéricos sobre “IA mais poderosa” para um indicador técnico que os laboratórios já acompanham. Publicar tendências de pré-treinamento pode dar a pesquisadores, reguladores e clientes corporativos uma referência adicional para questionar se os mecanismos de segurança avançam na mesma velocidade que as capacidades.

Mas a métrica não deve virar uma licença para confiar em um modelo porque seu número parece baixo. Segurança depende de comportamento observável em contextos concretos: permissões, dados conectados, autonomia, ferramentas, usuários afetados e controles de implantação. A forma responsável de usar perplexidade é como alerta antecipado e gatilho de investigação — nunca como certificado de segurança.

O que acompanhar a partir de agora

O teste real da proposta será ver se outras empresas aceitam expor métricas suficientemente comparáveis e se os compromissos resultantes têm consequências práticas. Vale acompanhar quatro pontos: qual conjunto de avaliação será usado; como as empresas evitarão que ele seja contaminado pelo treinamento; quais limites serão públicos; e quais medidas de segurança serão exigidas antes de superar cada limite. Sem essas respostas, a transparência pode informar o debate, mas não padronizar a proteção.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário