Modelos de ordem reduzida aceleram o treinamento de aprendizado por reforço em sistemas físicos

Aplicar aprendizado por reforço (RL) a sistemas físicos complexos — como motores de avião, turbinas ou processos industriais — esbarra em um gargalo conhecido: o tempo de treinamento. Cada iteração exige uma simulação cara do sistema, e algoritmos como o PPO podem precisar de milhares de passos para convergir. Um artigo publicado na Towards Data Science mostra que a combinação de transfer learning com modelos de ordem reduzida (ROMs) pode reduzir drasticamente esse custo.

O problema: simular física é caro

Sistemas dinâmicos reais são, em sua maioria, não lineares: dobrar uma entrada não necessariamente dobra a saída. Além disso, equações governantes completas raramente existem de forma solúvel — no caso de um turbojato, o desempenho depende de equações acopladas de aerodinâmica e termodinâmica que precisam ser resolvidas iterativamente em seis ou mais estágios do motor. Uma simulação completa de dinâmica de fluidos de uma única seção de motor pode consumir dezenas de milhares de horas de computação.

Modelos de ordem reduzida: um atalho fiel

Um ROM é um modelo simplificado que reduz a complexidade preservando o máximo de precisão possível. O artigo usa o SINDy (Sparse Identification of Nonlinear Dynamics), técnica do livro Data-Driven Science and Engineering de Brunton e Kutz, para descobrir equações a partir de séries temporais de medição — sem conhecimento prévio do sistema. O algoritmo testa uma biblioteca de termos candidatos (produtos, derivadas, senoides) e encontra a equação parcimoniosa que melhor descreve a variação do estado no tempo.

O experimento: autothrottle de turbojato

O autor construiu um ambiente de treinamento baseado em um simulador de motor J-47 (usado no bombardeiro B-47), com uma aeronave hipotética em escala 1/6. O objetivo é ajustar o acelerador para atingir uma variação de 10% na velocidade, equilibrando tempo e consumo de combustível. O RL (PPO, via Stable Baselines) recebe altitude, número de Mach e Mach-alvo, e devolve a posição do acelerador.

O ROM gerado pelo SINDy resultou numa equação surpreendentemente simples — dv = -3,022 + 1,973·Throttle - 0,132·Throttle³ — que não depende de altitude nem de Mach, sugerindo que esses fatores se anulam parcialmente no modelo.

Resultado: treinamento muito mais rápido

Treinar no ROM levou 13 segundos para 10.000 passos, contra cerca de 2.500 segundos para 4.000 passos na simulação completa. No corte de tempo equivalente, o modelo com transfer learning atingiu recompensa de -1170, contra -2080 do modelo treinado do zero — uma melhora substancial na mesma janela de computação.

Por que isso importa

Para engenheiros e cientistas de dados no Brasil que trabalham com controle de processos, aeronáutica, energia ou manufatura, a mensagem é clara: modelos de ordem reduzida baseados em dados podem servir como ambientes de treinamento baratos para RL. Isso abre caminho para explorar modos de operação mais eficientes e sistemas de controle mais robustos, mesmo quando as equações do sistema são desconhecidas ou intratáveis.

O próprio autor pondera que o autothrottle não é a aplicação ideal de RL — sistemas de controle clássicos já resolvem esse problema de forma determinística e mais fácil de certificar. O valor do trabalho está em demonstrar a técnica, não em propor um substituto imediato.