Photon-1: modelo de imaginação aprende a usar computadores sem rótulos de ação

Como o Photon-1 aprende a usar computadores sem nenhum rótulo de ação

A maioria dos agentes que aprendem com vídeo precisam saber qual ação produziu cada frame — um requisito caro que limita a escala do treinamento. A Induction Labs está desafiando essa premissa com um novo tipo de arquitetura que chama de modelos de imaginação (imagination models): um modelo de fundação que faz pré-treinamento em vídeos brutos, sem absolutamente nenhum rótulo de ação.

O sistema de teste é o Photon-1, um transformer Mixture-of-Experts (MoE) esparso de 106B parâmetros com 5B ativos, treinado com o equivalente a 18 anos de vídeos de demonstração de computador. Em um benchmark interno de computer use, a Induction Labs reporta que o Photon-1 supera o Gemini 3.1 Flash-Lite usando aproximadamente 27× menos computação de pré-treinamento e custando cerca de 3× menos para servir.

O que um modelo de imaginação realmente faz

Um modelo de imaginação prevê frames futuros de forma autorregressiva usando um objetivo de next-latent-token-prediction. Ele não gera pixels durante o pré-treinamento — tudo é modelado em um espaço de representação aprendido.

A afirmação que importa é esta: prever estados futuros ensina o modelo a completar tarefas, mesmo sem nunca ter visto uma ação durante o pré-treinamento. A Induction Labs chama isso de política implícita. O modelo aprende conceitos do que uma pessoa está fazendo, em vez de um rótulo para cada clique do mouse.

O truque de compressão que viabiliza a escala

A arquitetura depende de um codificador de visão que usa quantização escalar finita (FSQ). Cada frame é comprimido em 960 tokens discretos, onde cada token é um vetor de 8 dimensões com valores em {−1, −½, 0, ½, 1}. Isso resulta em uma codificação de aproximadamente 2,2 KB por frame — uma compressão mais de 100× melhor que representações de OCR e modelos multimodais existentes, preservando texto, layout e mudanças de estado.

Para atingir essa taxa, o Photon-1 usa um codificador latente diferencial que codifica pares de frames, fazendo com que os latentes descrevam diferenças entre frames em vez do conteúdo absoluto.

Dados e computação de treinamento

O corpus começa com um índice interno de 2 bilhões de vídeos públicos. Após filtragem, reduz para aproximadamente 2 milhões de gravações de tela de computador. Um modelo interno de detecção de keyframes remove frames redundantes, resultando em 575 milhões de frames amostrados a 1 fps — equivalente a 552 bilhões de tokens.

O treinamento do MoE 106B-A5B com contexto de 32K tokens levou aproximadamente 30.000 GPU-hours em H200 (4,4×10²² FLOPs), sustentando 40% de MFU com kernels CUDA customizados para o codificador de visão e camadas MoE.

Da imaginação à ação

A Induction Labs fez fine-tuning do Photon-1 em menos de 35.000 trajetórias de computer use para ensinar o formato de ação e instrução. Na inferência, o Photon-1 prevê primeiro o estado do próximo frame e depois emite a ação que leva até ele. O aprendizado por reforço online roda em tempo real em VMs Linux com cinco ambientes de desktop (LXQt, Xfce, MATE, GNOME e Plasma), cada um com ferramentas como ChatGPT interno sem limite de taxa.

Comparação de custo computacional

Duas ressalvas importantes: primeiro, o número do Gemini é uma estimativa conservadora da própria Induction Labs. Segundo, o benchmark é interno e não foi divulgado publicamente, portanto o resultado não é independentemente reproduzível hoje.

Generalização além do desktop

O teste mais interessante: o Photon-1 viu apenas vídeos de uso de computador, mas após fine-tuning, superou baselines de LLM e codificador de visão em domínios completamente diferentes. Em 20.000 partidas de damas do Open Checkers Archive, venceu ambas as baselines em simulação de mundo e qualidade de jogada. Em 10.000 jogos de bilhar sintéticos simulados a 5 fps, teve erro absoluto médio de 0,47 contra o motor de física real, comparado a 1,15 do baseline LLM.

O Photon-1 também aprendeu, por reforço, a usar o ChatGPT interno nas VMs para redigir artefatos e responder perguntas de conhecimento — direcionando o LLM como uma pessoa faria.

Por que isso importa

A abordagem da Induction Labs questiona um dos pilares do treinamento de agentes: a dependência de dados de ação rotulados. Se um modelo pode aprender políticas implícitas apenas assistindo vídeos, a barreira para treinar agentes de computador cai drasticamente. O fato de o Photon-1 generalizar para damas e física de bilhar — domínios ausentes do pré-treinamento — sugere que a compressão de vídeo em espaço latente captura algo mais fundamental sobre causalidade e interação com o mundo.

Limitações importantes: não há pesos, API ou licença disponíveis — este é um resultado de pesquisa, não um modelo implantável. O benchmark de comparação com o Gemini é interno e os números de compute do concorrente são estimativas.