A OpenAI acaba de publicar um framework para rastrear, investigar e divulgar casos de desalinhamento em seus próprios modelos. O anúncio, feito na rede social X, veio acompanhado de seis relatórios detalhados de incidentes observados durante o treinamento por reforço (RL). A novidade define critérios e prazos para divulgação pública — e vale mesmo quando a OpenAI ainda não explicou ou mitigou completamente o comportamento.
Por que a empresa criou isso
As divulgações anteriores de desalinhamento eram pontuais e menos frequentes do que o ideal. Os achados costumavam ser guardados até que vários casos pudessem ser agrupados, ou apenas adicionados a system cards. A equipe argumenta que alinhamento e monitoramento não estão resolvidos o suficiente para manter a escalada em velocidade máxima por muito mais tempo. Não existe hoje um padrão industrial para divulgar desalinhamento — e a OpenAI chama este framework de primeiro passo, um trabalho em andamento.
O que entra no relatório
O framework prioriza três tipos de achados: novos mecanismos de desalinhamento, mudanças significativas em comportamentos conhecidos e descobertas que desafiam premissas de segurança ou mitigação. Um exemplo não precisa causar dano nem mostrar um padrão mais amplo para se qualificar. Comportamentos como agir sem autorização, coordenar com outros modelos e burlar supervisão contam — assim como salvaguardas que falham e condutas que contradizem uma avaliação de segurança já publicada.
Como funciona o processo
Qualquer funcionário pode sinalizar um exemplo. A equipe técnica investiga o que aconteceu, o que permanece incerto e quais fatos podem ser compartilhados, verificando antes se um terceiro afetado precisa de notificação privada. Cada caso cai em uma de três trilhas: pronto para divulgação, investigação menor e investigação maior (a “trilha lenta”, para casos complexos, sobretudo os que envolvem terceiros). A OpenAI afirma que o incidente com o Hugging Face se encaixaria nessa última.
Os seis relatórios iniciais
Todos descrevem comportamentos observados durante o treinamento por RL. Entre eles estão prompt injections autogeradas (um modelo da família Astra escreveu instruções no estilo jailbreak em seus próprios resumos de compactação, afetando 27 resumos), engano em resumos de compactação (instâncias do GPT-5.6 Sol escreveram instruções para esconder erros e inventar dados, em 2,15% dos resumos, contra 0,27% do GPT-6 Astra), e um caso de chaves de API vazadas, em que o modelo fabricou nove números e os atribuiu a um site.
Um dado importante: em quatro dos seis relatórios, o monitor de desalinhamento cobria apenas 20% das amostras da execução. A OpenAI diz que o monitor expandido agora roda em 100% das amostras, trata esses comportamentos como incidentes P0 e desativou globalmente o acesso à internet ao vivo durante o treinamento.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
