Cloudflare lança Clef-omni, modelo aberto para decisões com áudio, vídeo, imagem e texto

A Cloudflare lançou em 9 de outubro de 2026 o Clef-omni, um modelo de decisão de pesos abertos que recebe texto, JSON, imagens, áudio e vídeo na mesma requisição e devolve respostas estruturadas com probabilidades. A proposta não é competir como chatbot: ela mira a etapa curta e repetitiva de classificação, roteamento e validação que hoje costuma exigir transcrição, visão computacional, prompts generativos e pós-processamento separados.

O modelo deriva de Qwen3-Omni-30B-A3B-Instruct, tem 30 bilhões de parâmetros totais e cerca de 3 bilhões ativos por inferência, segundo a Cloudflare. Ele está disponível no Workers AI como @cf/cloudflare/clef-omni e teve os pesos publicados sob licença Apache-2.0 no Hugging Face.

O que muda com um modelo de decisão multimodal

Um modelo de decisão não escreve uma resposta em linguagem natural como um LLM convencional. Em vez disso, recebe um estado — por exemplo, o relato de um cliente, fotos de um equipamento e um clipe de áudio — junto de perguntas tipadas. As perguntas podem ser binárias (noul), de escolha entre opções (choice) ou de escala ordenada (score). A saída traz a opção escolhida e as probabilidades associadas.

Essa diferença é importante para fluxos automatizados. Em vez de pedir a um modelo generativo que explique se uma fatura parece fraudulenta e depois tentar interpretar seu texto, a aplicação pode pedir diretamente uma classificação com critérios explícitos. O código decide o próximo passo a partir de uma estrutura previsível: encaminhar para revisão humana, abrir um chamado ou bloquear uma ação. A Cloudflare informa compatibilidade com as APIs Jev e SystemOne, o que reduz o custo de adaptação para equipes que já usam esse formato.

O Clef-omni acrescenta áudio e vídeo nativos a esse padrão. Antes, uma aplicação que analisasse uma ocorrência de campo poderia transcrever a chamada, extrair quadros do vídeo, executar classificadores separados e só então combinar os resultados. A promessa é avaliar as modalidades em conjunto em uma chamada, preservando a relação entre som e imagem. Isso é particularmente relevante para triagem de suporte técnico, inspeção visual, moderação e análise de incidentes.

Arquitetura: menos geração, mais classificação orientada por esquema

Segundo o cartão do modelo, o Clef-omni mantém os encoders de visão e áudio do Qwen3-Omni, mas não usa o caminho de saída de fala. A camada adicional lê os estados finais do modelo e atribui um logit a cada opção permitida em cada pergunta. Uma normalização softmax transforma esses valores em probabilidades.

Na prática, o desenho evita a etapa autorregressiva de gerar token por token. Isso não torna o modelo automaticamente correto: uma probabilidade alta ainda pode estar errada se a evidência for ambígua ou se os critérios forem mal definidos. Mas torna a interface mais apropriada para decisões limitadas, auditáveis e fáceis de validar por regras de negócio. A Cloudflare diz ter congelado o backbone e treinado adaptadores LoRA, combinando entropia cruzada com suavização de rótulo e calibração por Brier score.

Velocidade e benchmarks: onde o lançamento parece forte — e onde não

A Cloudflare afirma mediana de cerca de 130 ms para decisões só de texto, 150 ms para imagens e aproximadamente 1,5 segundo para um vídeo de 21 segundos com som. Esses tempos são medições do fornecedor, não uma garantia de ponta a ponta: upload, codificação dos arquivos, região, fila e integração da aplicação podem acrescentar latência material.

Nos resultados divulgados, o Clef-omni lidera o conjunto da família Clef e Jev em BANKING77 (94,8 de macro-F1) e CLINC150+OOS (97,7 de macro-F1). Ele não lidera todos os testes. No fluxo de processamento de faturas da avaliação Typesafe, o Clef obteve 64,7 em ações exatas contra 60,2 do Clef-omni; em observabilidade de rastros de agentes, Jev marcou 71,6 na ação principal, acima dos 65,8 do modelo novo. Esses contrastes são úteis: multimodalidade não substitui automaticamente um modelo especializado quando o problema é majoritariamente textual.

Também há lacunas mais claras no cartão do modelo. Em GPQA Diamond, o Clef-omni registrou 47,4, enquanto Jev aparece com 78,3; em POP909-CL, a pontuação foi 2,6. A leitura responsável é que o produto foi desenhado para decisões delimitadas por esquema, não para ser uma ferramenta geral de raciocínio científico. Usá-lo como juiz universal de fatos, segurança ou decisões de alto impacto seria extrapolar o que os próprios benchmarks mostram.

Preço, contexto e a atualização dos outros modelos Clef

O modelo chega a US$ 0,15 por milhão de tokens de entrada no Workers AI. No mesmo anúncio, a Cloudflare reduziu o preço do Clef-flash de US$ 0,09 para US$ 0,038 por milhão de tokens de entrada, mas diminuiu sua janela de contexto hospedada de 64 mil para 24 mil tokens. Os pesos do Clef-flash permanecem treinados para 256 mil tokens quando auto-hospedados, segundo a empresa. O Clef maior segue em US$ 0,24 por milhão de tokens, com 64 mil tokens no serviço hospedado.

Para empresas brasileiras, a comparação mais relevante não é apenas o preço por token em dólar. É o custo operacional do pipeline completo: armazenar mídia, cumprir requisitos de proteção de dados, ter uma regra de contingência quando a confiança for baixa e manter uma trilha de auditoria. Uma classificação barata que encaminha casos errados pode custar mais do que uma etapa humana bem posicionada.

Onde faz sentido testar primeiro

• Suporte técnico: combinar descrição do problema, foto do produto e ruído do equipamento para priorizar atendimento.
• Triagem de seguros ou logística: usar imagens e vídeos para separar casos simples de ocorrências que exigem inspeção humana.
• Moderação e confiança: classificar evidência multimodal contra categorias previamente definidas, com revisão para os casos incertos.
• Operações de agentes: transformar mensagens, anexos e sinais de ferramentas em decisões tipadas, em vez de depender de interpretação de texto livre.

Limitações que precisam entrar no desenho do produto

A API estruturada não elimina a necessidade de avaliar qualidade. Os benchmarks publicados são em grande parte do próprio ecossistema da Cloudflare e devem ser tratados como evidência inicial, não como validação independente para qualquer domínio. A equipe que adotar o modelo precisa criar um conjunto de testes com dados representativos, definir um limiar de confiança, registrar a versão do modelo e encaminhar automaticamente casos ambíguos para pessoas.

Há também uma diferença prática entre “pesos abertos” e “barato para executar”. O cartão do Clef-omni indica teste em uma H200 com cerca de 64 GB de memória de GPU em bfloat16. Portanto, auto-hospedar pode ser inviável para a maior parte das equipes sem infraestrutura de GPU; a rota hospedada reduz essa barreira, mas cria dependência de plataforma e cobrança em moeda estrangeira.

Análise do NoticIA

O lançamento é mais significativo como mudança de interface do que como uma promessa de inteligência geral. Modelos generativos são flexíveis, mas introduzem uma etapa frágil quando precisam tomar decisões estreitas: produzir texto e depois convertê-lo novamente em regra. Ao oferecer probabilidades para um esquema definido e incluir áudio e vídeo, a Cloudflare tenta deslocar parte dessa decisão para uma camada mais próxima do software operacional.

O ganho real aparecerá apenas onde o esquema de decisão é bem definido. Em processos com categorias mutáveis, exceções frequentes ou consequências regulatórias, uma resposta estruturada pode dar uma falsa sensação de certeza. A adoção madura é usar o Clef-omni para priorizar e organizar trabalho, não para retirar a responsabilidade humana de decisões que afetem pessoas, crédito, segurança ou direitos.

O que acompanhar a partir de agora

As questões abertas são a qualidade fora dos benchmarks do fornecedor, a estabilidade do serviço hospedado e a capacidade de reproduzir os resultados com mídia real e ruidosa. A disponibilidade aberta sob Apache-2.0 favorece auditoria e experimentação, mas equipes devem validar latência, custo e taxa de erro em seu próprio domínio antes de colocar o modelo na rota crítica. A novidade torna pipelines multimodais mais simples de prototipar; não torna a verificação independente menos necessária.