Ant Group Open-Sourcing do LingBot-Vision: Modelo de Visão 1B com Percepção Espacial Nativa

A Robbyant, divisão de IA incorporada do Ant Group (braço tecnológico do Alibaba), acaba de disponibilizar em código aberto o LingBot-Vision — uma família de Vision Transformers (ViTs) auto-supervisionados construídos especificamente para percepção espacial densa. Os pesos estão sob licença Apache 2.0 no Hugging Face, acompanhados de relatório técnico e código de inferência.

O que torna este lançamento relevante é a inversão de prioridade que o modelo propõe. Enquanto a maioria dos modelos de visão é treinada para invariância semântica — responder “o que” está na imagem, descartando a estrutura espacial fina — o LingBot-Vision trata contornos, fronteiras de objetos e descontinuidades de profundidade como sinal nativo de pré-treinamento, não como uma tarefa secundária.

Quatro tamanhos, um objetivo comum

A família LingBot-Vision está disponível em quatro variantes:

• ViT-giant (ViT-g/16): ~1,1 bilhão de parâmetros, o carro-chefe
• ViT-large (ViT-L): 300 milhões de parâmetros, obtido por destilação
• ViT-base (ViT-B): 86 milhões de parâmetros
• ViT-small (ViT-S): a versão mais compacta

Todas compartilham o mesmo objetivo de treinamento — masked boundary modeling (modelagem de fronteiras mascaradas) — aplicado sobre um corpus curado de aproximadamente 161 milhões de imagens, selecionadas de um pool de 2 bilhões da web. O treinamento é notavelmente econômico: o corpus é uma ordem de grandeza menor que o LVD-1689M do DINOv3, e o modelo consome menos de um terço das amostras de treinamento daquele competidor.

Como funciona o Masked Boundary Modeling

O método se baseia no paradigma de auto-destilação DINO/iBOT: um professor (cópia EMA do estudante) gera alvos online, e o estudante os recupera a partir de visões mascaradas. Mas há duas inovações cruciais:

1. Boundary-forcing (forçamento de fronteira): O modelo professor prevê um campo denso de fronteiras e identifica tokens que carregam informação de contorno. Esses tokens são forçados para dentro do conjunto mascarado do estudante, garantindo que as regiões mais informativas da imagem — exatamente aquelas que o mascaramento aleatório tradicional ignora — recebam atenção especial durante o treinamento.

2. Campo de fronteira categórico: Em vez de regredir diretamente um campo vetorial contínuo (que colapsa no loop professor-estudante), o modelo discretiza cada canal do campo em 32 bins, transformando a predição de fronteiras em classificação por pixel. Isso permite herdar a mesma maquinaria de centralização e sharpening que estabiliza a auto-destilação moderna.

O resultado é um encoder de 1B parâmetros que iguala ou supera modelos até 7 vezes maiores em tarefas espaciais densas — incluindo o DINOv3 de 7 bilhões de parâmetros.

Benchmarks: desempenho que impressiona

Todos os resultados abaixo usam features congeladas com uma única camada linear — o desempenho é atribuível à representação, não a um decoder complexo.

Na segmentação semântica, o LingBot-Vision melhora em mais de 4 pontos de mIoU em relação ao DINOv2 do mesmo tamanho nos três benchmarks principais (ADE20K, Cityscapes, VOC12). Na segmentação de objetos em vídeo (DAVIS-2017 e YouTube-VOS), o modelo alcança pontuações virtualmente idênticas às do DINOv3 de 7B.

O trade-off está no reconhecimento em nível de imagem: no ImageNet-1K, o modelo atinge 86,32% em linear probing, atrás do DINOv3-7B, que investe sua capacidade em invariância de imagem. É uma troca consciente: percepção espacial em troca de classificação global.

LingBot-Depth 2.0: o payoff downstream

Para demonstrar o que um encoder nativo em percepção espacial entrega em tarefas práticas, a equipe atualizou seu sistema de completamento de profundidade para o LingBot-Depth 2.0. A receita de masked depth modeling permaneceu idêntica à versão 1.0; apenas dois ingredientes mudaram:

• O encoder passou de DINOv2 para LingBot-Vision (variantes ViT-L e ViT-g)
• Os dados de treinamento cresceram de 3 milhões para 150 milhões de amostras

Essas duas mudanças produziram resultados líderes em 14 benchmarks de completamento de profundidade, cobrindo regimes de máscara de bloco, esparsos e sensores reais. No DIODE-Indoor com máscara de bloco, o RMSE foi reduzido pela metade (de 0,132 para 0,062). O sistema é particularmente forte em objetos transparentes (ClearGrasp: 0,010/0,012 RMSE) — a falha clássica do sensoriamento ativo de profundidade.

Um detalhe importante: as duas mudanças se compõem, não se cancelam. Conforme os dados de treinamento crescem de 3M para 150M, a curva do DINOv2 satura além de 20M de amostras, enquanto a curva do LingBot-Vision continua melhorando. Mais dados amplificam, em vez de diluir, a vantagem do ponto de partida superior.

Como usar

O modelo está disponível no Hugging Face com código de inferência no repositório oficial. Requisitos: Python ≥ 3.10 e PyTorch ≥ 2.0. GPU recomendada para os backbones maiores. O carregamento segue a API padrão de transformers:

from lingbot import LingBotVision
model = LingBotVision.from_pretrained("robbyant/lingbot-vision", variant="large")
patch_tokens = model(images)  # shape: [B, H*W, C]

Os patch tokens congelados servem diretamente para estimativa de profundidade, segmentação semântica e segmentação de objetos em vídeo via correspondência por similaridade de cosseno — sem nenhum treinamento adicional.

Por que isso importa

O LingBot-Vision representa uma direção promissora para modelos de visão que vão além da classificação. Ao tratar fronteiras como sinal de pré-treinamento de primeira classe, ele entrega desempenho de ponta em percepção espacial com uma fração dos parâmetros e dados de treinamento dos competidores. Para robótica, veículos autônomos e sistemas incorporados — onde “onde está o contorno do objeto” importa mais do que “isto é um gato ou um cachorro” — este é um avanço significativo.

O fato de ser open-source sob Apache 2.0 e incluir quatro tamanhos diferentes também torna o modelo acessível para pesquisa acadêmica e implementações com orçamento limitado de GPU.