Vídeo generativo em tempo real

Vídeo generativo em tempo real é o modelo de IA que cria cada quadro na hora, enquanto você mexe na câmera, aperta uma tecla ou fala com ele. Até 2024, gerar poucos segundos de vídeo levava minutos. Em setembro de 2026 já existem modelos rodando a 24 quadros por segundo ou mais, alguns abertos e capazes de rodar numa única placa de vídeo de consumo. Neste mapa eu separo o que existe em três famílias (câmera transformada ao vivo, mundos jogáveis e personagens que conversam), mostro os motores abertos por trás delas, o caso que chegou primeiro ao público, que é o provador virtual pela webcam, quanto custa uma hora de vídeo ao vivo e o que ainda não funciona. É um guia de consulta para o engenheiro criativo que quer saber onde essa tecnologia está de verdade. Mapa atualizado em setembro de 2026.

Resumo rápido

• A virada técnica: os modelos passaram a gerar o vídeo quadro a quadro, olhando só o que já foi gerado, em poucos passos.
• O produto mais visível é o Anywear, da Decart, que veste você com uma peça de qualquer loja ao vivo pela webcam.
• A Runway lançou em 3 de setembro o GWM Worlds 2, mundo interativo em 720p a 24 quadros por segundo com áudio e vários jogadores.
• Os modelos abertos mais fortes vêm de empresas chinesas (JD, Skywork, Tencent, Alibaba) e de laboratórios como NVIDIA e Adobe.
• Uma hora de vídeo ao vivo custa de centavos (avatares em volume) a US$ 72 (provador da Decart, preço de tabela).

O que mudou: o vídeo virou transmissão

Os modelos de vídeo tradicionais são bidirecionais: olham o clipe inteiro, do começo ao fim, e refinam tudo ao mesmo tempo. Isso dá qualidade, mas obriga a esperar o clipe ficar pronto. A mudança veio de uma linha de pesquisa que treina o modelo para gerar quadro a quadro, olhando só o passado, e destila o processo para dois a quatro passos de difusão. Assim o vídeo pode responder a uma entrada enquanto ainda está sendo gerado, como um jogo.

Os trabalhos que abriram esse caminho foram o CausVid, do MIT com a Adobe (dezembro de 2024), e o Self-Forcing, da Adobe com a Universidade do Texas (junho de 2025), que chegou a 17 quadros por segundo numa única H100. Boa parte dos modelos abertos deste mapa aplica essa receita sobre o Wan, o modelo de vídeo aberto da Alibaba. Neste texto, tempo real quer dizer algo perto de 24 quadros por segundo com resposta rápida o bastante para parecer imediata.

Família 1: modelos que transformam a câmera ao vivo

Você entrega um vídeo ao vivo (webcam, jogo ou tela) e o modelo devolve o mesmo vídeo transformado, com outro estilo, outra roupa ou outro cenário.

Decart Lucy 2.5: modelo fechado da Decart, lançado em julho de 2026, que re-renderiza vídeo ao vivo a 30 quadros por segundo em 1080p, com latência abaixo de 40 milissegundos segundo a empresa. Evolui o MirageLSD (julho de 2025) e o Lucy 2 (janeiro de 2026). Na API custa US$ 0,02 por segundo.

Vidu S2-Editing: lançado pela chinesa ShengShu em 15 de setembro de 2026, edita ao vivo o vídeo de uma câmera a partir de uma imagem de referência, trocando roupa, pessoa, fundo ou estilo. A documentação oficial cita efeitos de livestream e provador virtual como usos. A Alibaba Cloud liderou a rodada de US$ 290 milhões da ShengShu em abril.

JoyAI-Video-Edit: modelo aberto da JD.com (licença Apache 2.0, pesos publicados em 5 de agosto de 2026) com 16 bilhões de parâmetros. Edita os quadros conforme chegam, a partir de uma instrução em texto ou de uma imagem de referência, e roda a 24 quadros por segundo em 840 por 480 pixels numa GeForce RTX 5090. As demonstrações incluem troca de roupa guiada por imagem. Artigo científico.

Krea Realtime 14B: modelo da Krea com pesos em Apache 2.0 (outubro de 2025), derivado do Wan 2.1 com Self-Forcing. Aceita webcam e vídeo como entrada, gera a 11 quadros por segundo numa B200 e permite trocar o prompt no meio da geração.

Daydream Scope: ferramenta aberta da Livepeer para rodar modelos de vídeo em tempo real com entrada de webcam. Com o LongLive de 1,3 bilhão de parâmetros chega a 22 quadros por segundo numa RTX 5090. A licença é não comercial.

StreamDiffusionV2: sistema aberto (Apache 2.0) de pesquisadores de Berkeley, MIT e Stanford para vídeo em live streaming, com o primeiro quadro em menos de meio segundo e 58 quadros por segundo com o modelo de 14 bilhões de parâmetros em quatro H100.

Família 2: mundos interativos (world models)

Aqui não existe câmera de entrada. O modelo gera um mundo e reage ao teclado, ao mouse ou a comandos de texto, como um jogo em que cada quadro é desenhado na hora.

Runway GWM Worlds 2: research preview lançado em 3 de setembro de 2026. Gera vídeo contínuo em 720p a 24 quadros por segundo com áudio a 48 kHz, sem duração definida, e aceita várias pessoas ao mesmo tempo, cada uma com um papel (jogador 1, jogador 2, diretor). A própria Runway avisa que giros rápidos de câmera degradam a imagem e que a memória de longo prazo ainda falha. Evolui o GWM-1, de dezembro de 2025.

Runway Solaris: artigo de 1º de setembro de 2026, listado na página de pesquisa da Runway, que leva a mesma ideia para interfaces: um world model que gera a tela quadro a quadro reagindo ao mouse, em vez de uma interface programada com estados fixos.

Google DeepMind Genie 3: anunciado em agosto de 2025, gera mundos navegáveis em 720p a 20 a 24 quadros por segundo, com consistência de alguns minutos. Desde janeiro de 2026 está disponível como Project Genie para assinantes do Google AI Ultra nos Estados Unidos. O Google cita treino de agentes, educação e carros autônomos como usos.

Odyssey: lançou o Odyssey-2 Pro em janeiro de 2026 (720p a 22 quadros por segundo, com API) e hoje apresenta o Odyssey-3 e o Agora-1, que coloca várias pessoas no mesmo mundo. O foco declarado é robótica, direção autônoma, drones, defesa e games. Captou US$ 310 milhões com valuation de US$ 1,45 bilhão.

Decart Oasis 3: preview de junho de 2026 que simula direção com várias câmeras para treinar IA física, com latência abaixo de 200 milissegundos. O primeiro Oasis, um Minecraft gerado por IA lançado em 2024, passou de 1 milhão de usuários em 3 dias.

Matrix-Game 3.0: world model aberto da Skywork (licença MIT, março de 2026) que chega a 40 quadros por segundo em 720p, com memória consistente por minutos e controle por teclado e mouse. A configuração de referência usa oito GPUs para o modelo principal.

Overworld Waypoint 1.5: modelo aberto (Apache 2.0, abril de 2026) com 1,2 bilhão de parâmetros, feito para rodar localmente. Segundo o model card, gera 720p a 56 quadros por segundo numa RTX 5090 (72 com quantização) e 30 quadros por segundo numa RTX 3090, com uma versão em 360p para PCs mais simples e Macs com Apple Silicon. A primeira versão, de janeiro, tinha 2,3 bilhões de parâmetros e ficava em 20 a 30 quadros por segundo.

Tencent HY-World 1.5: modelo aberto de dezembro de 2025 que gera mundos em streaming a 24 quadros por segundo com consistência geométrica.

PixVerse R1: world model em tempo real em 1080p lançado em janeiro de 2026. Em abril ganhou avatares personalizados a partir de uma a três fotos.

Também entram nesta família o Seaweed APT2 da ByteDance (24 quadros por segundo em 736 por 416 numa H100, junho de 2025), o MineWorld da Microsoft Research (Minecraft em tempo real, aberto em MIT), o Mirage 2 da Dynamics Lab e o RTFM da World Labs.

Família 3: personagens e avatares que conversam ao vivo

O modelo recebe voz ou texto e devolve um rosto ou corpo falando em tempo real. É a família mais madura comercialmente, usada em atendimento, vendas e educação.

Runway Characters: transforma uma única imagem em um personagem que conversa, com animação facial sincronizada ao áudio a 24 quadros por segundo em HD. Na API, o modelo gwm1_avatars custa 2 créditos para abrir a sessão e 2 créditos a cada 6 segundos, cerca de US$ 12 por hora.

Tavus Phoenix-4.5: modelo de renderização de rostos em tempo real da Tavus, lançado em 10 de setembro de 2026. Converte áudio em vídeo em 134 milissegundos e roda a cerca de 35 a 40 quadros por segundo, segundo a empresa. A principal mudança em relação ao Phoenix-4 (fevereiro de 2026, 40 quadros por segundo em 1080p) é que ele gera o quadro inteiro, com cabeça, ombros, tronco e fundo, em vez de animar só uma área de cerca de 512 por 512 pixels em volta do rosto sobre um vídeo gravado do corpo. Também renderiza personagens de desenho, anime e outras figuras estilizadas, e cria um rosto novo a partir de uma foto, com a prévia pronta em cerca de um minuto. Não faz corpo inteiro: para isso, a Tavus indica o Phoenix-4. Está disponível na API e na ferramenta sem código PAL Maker (documentação).

HeyGen LiveAvatar: API de avatares em tempo real com o primeiro quadro em menos de 300 milissegundos e 1080p nos planos mais altos. Os planos começam em US$ 99 por mês e, em volume, a empresa anuncia até US$ 0,01 por minuto. Autodesk, JPMorgan e HubSpot aparecem como clientes.

PikaStream 1.0: lançado pela Pika em abril de 2026 para videochamadas com avatar, a 24 quadros por segundo e 1,5 segundo de latência numa GPU.

Character.AI TalkingMachines: modelo de julho de 2025 que anima personagens em tempo real a partir do áudio da conversa.

Alibaba: o LiveAvatar é aberto (Apache 2.0) e gera avatares movidos a áudio a 20 quadros por segundo em cinco H800. O Wan-Streamer conversa em áudio e vídeo em tempo real, e o Wan-Animate-2 Lite chega a 24 quadros por segundo em 400 por 720 com quatro GPUs, pensado para apresentadores de live.

Vidu S1 e S2-Avatar: avatares controlados por voz da ShengShu, lançados em julho e setembro de 2026, de 25 a 42 quadros por segundo.

Os motores abertos por trás de tudo

Quase todos os modelos acima se apoiam em alguns projetos de pesquisa abertos. Vale conhecer:

• Self-Forcing (Adobe e Universidade do Texas, Apache 2.0): a técnica de treino mais usada para geração quadro a quadro.
• CausVid (MIT e Adobe): converte um modelo bidirecional em um modelo que gera em sequência.
• LongLive (NVIDIA): vídeos longos em tempo real, 20,7 quadros por segundo numa H100; a versão 2.0 chega a 45,7 com NVFP4.
• MAGI-1 (Sand AI, Apache 2.0): gera o vídeo em pedaços com suporte a streaming; a versão 1.1 de 24 bilhões de parâmetros abriu os pesos em 17 de junho de 2026.
• SkyReels-V2 (Skywork): vídeo de duração ilimitada com diffusion forcing.
• MotionStream (Adobe Research, novembro de 2025): controle de movimento em tempo real, 17 quadros por segundo em 480p numa H100.

Aplicação em destaque: o provador virtual ao vivo

É a aplicação mais fácil de entender e a que chegou primeiro ao consumidor final.

Anywear, da Decart

O Anywear é uma extensão para Chrome (e um web app no celular) lançada no começo de agosto de 2026. Você arrasta a foto de uma peça de qualquer loja online, como Zara, ASOS ou Amazon, para a imagem da sua webcam, e o modelo Lucy VTON re-renderiza você vestindo a peça, acompanhando os seus movimentos. Está gratuito durante o beta.

Segundo a Decart, a peça aparece cerca de 1,5 segundo depois de arrastada e cada sessão dura em média pouco menos de oito minutos. A própria empresa lista os limites: casacos pesados, alfaiataria rígida, saias volumosas, fundos poluídos e giros rápidos atrapalham, e o sistema não mede o seu corpo, então não resolve a dúvida do tamanho.

Para lojas, a instalação é uma linha de script. Os números que a Decart divulga, sem metodologia publicada, são 11,3% de quem prova clicando em comprar e 8,7 peças testadas por visita (página para lojistas). Na API, o modelo Lucy VTON 3.5 entrega 720p e custa US$ 0,02 por segundo. Exemplos de código para loja, espelho digital e quiosque estão no repositório oficial.

O que a Alibaba e outros laboratórios estão fazendo

FashionChameleon: pesquisa do Taobao (Alibaba) com a Universidade de Xiamen, de maio de 2026. Gera vídeo de uma pessoa vestindo as peças escolhidas a 23,8 quadros por segundo em 720p numa H200 e troca a roupa no meio da geração. O código é aberto em Apache 2.0, mas os pesos ainda não foram publicados. Diferente do Anywear, parte de uma foto sua e não usa a câmera.

OutfitAnyone: demonstração viral da Alibaba de dezembro de 2023 (pessoas dançando e trocando de roupa, junto com o AnimateAnyone). Não é tempo real e nunca teve os pesos abertos. Hoje é uma API paga na Alibaba Cloud.

Tstars-Tryon 1.0: provador por imagem do Taobao, de abril de 2026, já em produção no aplicativo, com dezenas de milhões de requisições segundo o artigo.

LiveVVT: pesquisa de Tsinghua e outras universidades, de agosto de 2026, que faz provador em vídeo em streaming a 22,39 quadros por segundo em 512 por 384. O código ainda não foi publicado.

MagicTryOn: provador em vídeo da vivo com pesos abertos (licença não comercial). A versão Turbo gera 64 quadros em 6,69 segundos numa H20, rápido, mas ainda sem streaming.

Outros provadores, ao vivo e por foto

• Remark: startup de Boston que lançou em 20 de agosto de 2026 um provador que diz acompanhar o cliente em movimento, com mais de 70 marcas. Não detalha o modelo usado.
• LOOOK.AI: espelhos inteligentes para lojas físicas, construídos sobre o SDK da Decart.
• Snap Garment Transfer: leva uma peça da parte de cima do corpo para a câmera ao vivo no Lens Studio, com aprendizado de máquina clássico, sem difusão.
• Google: provador por foto no Search e no Shopping, disponível no Brasil desde maio de 2026. O app Doppl foi encerrado em 30 de abril de 2026.
• Zara Try-On: avatar criado a partir de uma selfie, com mais de 7 milhões de sessões em 43 mercados.
• Doris: provador generativo brasileiro que cobra por conversão, com clientes como Aramis, Reserva, Vans e Decathlon.
• APIs de prova por foto custam de US$ 0,04 a US$ 0,10 por imagem: Amazon Nova Canvas, Kling Kolors, FASHN e Pixelcut. O FASHN VTON v1.5 é aberto em Apache 2.0 e permite uso comercial.

O que roda numa placa de vídeo de consumo

Segundo os próprios projetos, três opções abertas rodam numa GeForce RTX 5090: Waypoint 1.5 (56 quadros por segundo em 720p), JoyAI-Video-Edit (24 quadros por segundo em 840 por 480) e Daydream Scope com LongLive (22 quadros por segundo). Atenção às licenças: os pesos do LongLive de 1,3 bilhão de parâmetros, o Daydream Scope e a maioria dos modelos de provador são não comerciais, enquanto JoyAI-Video-Edit, Krea Realtime, Matrix-Game e Waypoint 1.5 permitem uso comercial.

O que ainda não funciona

• Fidelidade à referência: quando o modelo gera em sequência, ele perde detalhe da imagem de referência. O autor do Daydream Scope descreve essa perda como severa.
• Deriva em vídeos longos: a imagem vai se desfazendo com o tempo. A Decart combate isso com uma técnica que usa a própria saída como nova âncora, e o LiveVVT adiciona memória de aparência.
• Movimento difícil: oclusão, giro rápido e as costas de uma peça que só aparece de frente na foto.
• Detalhe fino: estampas, listras, texto e logotipos ainda escapam.
• Memória: mundos interativos esquecem o que ficou fora de quadro depois de alguns minutos.
• Licenças: os principais conjuntos de dados de provador e muitos pesos são de uso não comercial.

Quem está investindo nessa corrida

• Decart: fundada no fim de 2023, captou US$ 300 milhões com valuation de cerca de US$ 4 bilhões em maio de 2026. A Bloomberg noticiou que a Anthropic negociou comprar a empresa por cerca de US$ 6 bilhões e desistiu em setembro.
• Odyssey: US$ 310 milhões com valuation de US$ 1,45 bilhão, em junho de 2026.
• Luma: captou US$ 900 milhões em novembro de 2025 com o discurso de modelos de mundo, mas ainda não tem um modelo em tempo real; seus lançamentos recentes (Ray3.14 e Ray3.2) geram clipes.
• ShengShu (Vidu): US$ 290 milhões em rodada liderada pela Alibaba Cloud.
• China abrindo os pesos: JD, Skywork, Tencent e Alibaba publicaram modelos em tempo real com licenças abertas.

O que isso muda para o engenheiro criativo

O vídeo gerado por IA está deixando de ser um arquivo que você exporta para virar um sistema que responde enquanto roda. Para quem trabalha com engenharia criativa, a pergunta muda: em vez de escolher qual vídeo gerar, passa a ser desenhar um comportamento, com quais entradas, quais limites e qual custo por minuto.