Rubricas guiadas ganham espaço no treinamento de LLMs: novo survey explica por quê

O alinhamento de modelos de linguagem com as preferências humanas ainda é dominado pelo RLHF (aprendizado por reforço com feedback humano), que usa sinais de recompensa escalares. O problema é que um único número não explica por que uma resposta é boa e não captura a natureza multifacetada da qualidade. Um novo survey do arXiv organiza o campo que vem ganhando força como alternativa: o aprendizado por reforço guiado por rubricas.

O que são rubricas, afinal

No lugar de uma recompensa numérica opaca, a abordagem usa critérios de avaliação estruturados e interpretáveis — as rubricas — como espinha dorsal do desenho de recompensa, da geração de feedback e da otimização de política. Em vez de o modelo receber apenas um “bom” ou “ruim”, ele é avaliado em dimensões explícitas, como precisão factual, clareza ou aderência às instruções.

O survey propõe um enquadramento bayesiano elegante: as constituições (conjuntos de princípios) funcionam como distribuições a priori P(R) sobre critérios, e as rubricas são instanciações condicionais R_x ~ P(R|x) específicas de cada tarefa.

Uma taxonomia para o campo

Os autores organizam as técnicas ao longo de um eixo prior–posterior, cobrindo:

• IA constitucional — princípios gerais aplicados de forma ampla;
• Rubricas específicas por instância — critérios sob medida para cada prompt;
• Supervisão em nível de processo — avaliação passo a passo, não só do resultado final;
• Rubricas auto-evolutivas — critérios que o próprio sistema refina;
• Extensões agênticas e multimodais.

O ponto fraco que ninguém discute

Como rubricas são artefatos em linguagem natural, elas herdam problemas linguísticos: trade-offs de granularidade (rubricas muito finas ou muito grossas), deriva semântica (o significado do critério muda ao longo do treinamento) e reward hacking linguístico (o modelo aprende a agradar o critério em vez de resolver a tarefa). O survey aponta essas falhas como os problemas abertos centrais da área.

Para quem acompanha o avanço de modelos de raciocínio — treinados com variações de RL — entender a direção das rubricas ajuda a separar o que é melhoria real de qualidade do que é apenas otimização de métrica.