RobustTests: gerar testes a partir de código quase certo melhora o reforço em modelos de código

Por que isso importa

Treinar modelos de código com aprendizado por reforço exige um sinal de qualidade — e a recompensa binária (acertou ou errou) é esparsa demais para guiar o modelo. Um pré-print da Ant Group propõe o RobustTests, que gera casos de teste a partir de programas “quase corretos” (com falhas em alguns inputs) e usa a taxa de aprovação nos testes como recompensa densa.

Como funciona

O processo começa gerando programas que falham em parte das entradas; exclui os totalmente corretos e os totalmente incorretos e remove duplicatas por vetor de execução — mantendo padrões de falha distintos. Os testes candidatos passam por três filtros: verificação de input, confirmação de que o LLM seguiu a instrução e seleção por diversidade. Em um estudo de caso, duas rodadas de refinamento produziram 248 testes, reduzidos a 40 representativos.

Para o treino, os autores filtraram o CodeContests+ com Qwen3-32B e mantiveram problemas com pass@10 entre 0,2 e 0,9 — cerca de 3,3 mil problemas.

Resultados

• LiveCodeBench: 68,39 — o maior entre os métodos listados.
• CodeForces: pontuação 38,50, rating 85,99 e percentil 94,67.
• Recompensa densa venceu a esparsa em todas as três comparações (68,39 contra 67,84 na versão integrada).

A ressalva que importa

A auditoria dos testes gerados merece atenção: cerca de 30% foram rejeitados como inválidos, e aproximadamente 10% dos aceitos ainda continham erros. Como o RobustTests usa o resultado dos testes como sinal de recompensa, essa incerteza se propaga para os números. Também não há estimativas de variância para os resultados de benchmark. O documento é um pré-print (v1, 25 de agosto de 2026) com apoio do Ant Group Research Intern Program.