Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

Apple acelera modelo de vídeo em 7,6 vezes: 36 ms por quadro em vez de 272 ms

Modelos de vídeo que geram o clipe quadro a quadro respondem com uma pausa perceptível ao toque de uma tecla em jogos e simuladores. O melhor modelo aberto, o Causal Forcing++, levava 272 ms por quadro em uma GPU B200. O método FastFrames, da Apple, reduziu esse tempo para 36 ms (versão S), ou seja, 7,6 vezes mais rápido. O segredo está em trocar o pesado decodificador VAE (147 ms por quadro) por uma minirrede de 1 ms. As pessoas passam a notar atrasos a partir de 50–60 ms, então a meta é gerar cada quadro em até 50 ms.

Processado por IA de TG: @ai_machinelearning_big_data (Machinelearning); editado por Hamidun News
Apple acelera modelo de vídeo em 7,6 vezes: 36 ms por quadro em vez de 272 ms
Fonte: TG: @ai_machinelearning_big_data (Machinelearning). Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTG: @ai_machinelearning_big_data (Machinelearning) ↗
Editor-chefe
FastFrames-L, com 14 bilhões de parâmetros45 ms por quadro em oito B200
VBench84,23 pontos para o FastFrames-S contra 84,11 do Causal Forcing++
Licença Apple Model License for Researchapenas para pesquisa

Imagine um jogo em que cada quadro é desenhado por uma rede neural: você aperta "para frente" e o mundo só reage um segundo depois. É esse tipo de atraso que impede os modelos de vídeo que geram o clipe quadro a quadro de servir de base para jogos, simuladores e modelos preditivos para robôs. A Apple lançou o FastFrames, um método que reduz essa pausa.

O modelo aberto mais rápido desse tipo, o Causal Forcing++, com 1,3 bilhão de parâmetros, levava 272 ms por quadro em uma GPU Nvidia B200. A versão FastFrames-S gera o mesmo quadro em 36 ms, 7,6 vezes mais rápido. A referência é a seguinte: a pessoa percebe atrasos a partir de cerca de 50–60 ms, então cada quadro não deve levar mais de 50 ms.

A conclusão prática para quem desenvolve vídeo interativo: o que importa medir é a latência de resposta à ação, não os quadros por segundo.

Por que o FPS engana neste caso

A métrica de velocidade mais usada é a de quadros por segundo (FPS). Mas ela mostra o desempenho médio, não a capacidade de resposta. Suponha que o modelo gere vídeo em lotes de 30 quadros e leve um segundo para cada um. No papel, são 30 FPS. Só que o jogador que apertar uma tecla logo depois do início do lote só verá o resultado um segundo depois, quando o próximo bloco estiver pronto.

Por isso, a Apple mede a latência entre o comando e o primeiro quadro em que a ação aparece. O limite-alvo vem de pesquisas sobre interação humano-computador: atrasos acima de 50–60 ms já são percebidos pelas pessoas. Portanto, cada quadro não deve levar mais de 50 ms.

Onde o tempo era gasto e o que foi substituído

Para entender onde os milissegundos se perdem, a equipe analisou o Causal Forcing++. Em uma única B200, ele gasta 272 ms por quadro, e apenas cerca de 30% desse tempo vai para os passos de difusão, isto é, para transformar ruído em imagem.

As principais perdas estavam em outro lugar:

  • o decodificador VAE, que converte a representação interna (latente) do quadro em pixels, ocupa 147 ms, mais da metade do tempo;
  • outros 41,6 ms vão para uma passagem extra do transformer, necessária apenas para atualizar o KV-cache, a memória do modelo sobre o que ele já mostrou.

O FastFrames substitui os dois gargalos. No lugar do VAE, entra um decodificador leve, com três blocos convolucionais e uma camada linear, que gasta 1 ms por quadro. Em vez da passagem extra do transformer, uma rede pequena corrige em 2 ms o cache gravado a partir da entrada com ruído. O transformer em si não muda e não é retreinado. O restante da aceleração vem de otimizações de sistema, incluindo a distribuição do processamento entre várias GPUs.

Números e modelos

A Apple publicou no Hugging Face dois modelos baseados no Wan 2.1: o FastFrames-S, com 1,3 bilhão de parâmetros, e o FastFrames-L, com 14 bilhões. Ambos geram vídeo a partir de uma descrição em texto: clipes de cerca de cinco segundos, resolução de 832×480, 81 quadros, 16 quadros por segundo.

O FastFrames-S gera um quadro em 36 ms em uma única B200, 7,6 vezes mais rápido que o Causal Forcing++. A qualidade não caiu: no benchmark VBench, o modelo faz 84,23 pontos contra 84,11.

O FastFrames-L fica em 45 ms por quadro com oito B200 e em 158 ms com uma única GPU. Seu resultado no VBench é de 84,44 pontos, no nível do Krea-Realtime 14B (84,42), que precisa de 1675 ms por quadro.

O método também funciona em modelos de terceiros. O LingBot, modelo de mundo aberto da Robbyant em que é possível se mover usando o teclado, passou a responder ao toque de uma tecla em 52 ms em vez de 842 ms. O RealWonder, modelo com controle físico, responde em 51 ms em vez de 1141 ms. Mas, para isso, os dois precisam de oito GPUs.

Limitações e o que fazer na prática

Há algumas ressalvas. Os valores recordes para modelos grandes exigem oito GPUs da classe B200, então não é uma solução para notebook nem para uma instância comum de nuvem. O limite de 50 ms só foi atingido nas configurações mais caras, e o FastFrames-L em uma única placa, com 158 ms, não chega lá. Além disso, os pesos foram lançados sob a licença Apple Model License for Research, voltada a pesquisa e não a produtos comerciais.

Para quem desenvolve sistemas de vídeo interativo, como protótipos de jogos, simuladores de mundos e modelos preditivos para robôs, a conclusão é simples: meça não o FPS, mas o tempo entre o toque na tecla e a reação visível. E procure gargalos além dos passos de difusão: aqui, os principais culpados foram o decodificador e a manutenção do cache. Trocá-los por pequenas redes treinadas rendeu quase todo o ganho, sem retreinar o modelo principal.

Para os times de produto, o sinal também é claro: os modelos de vídeo estão deixando o modo "gerar e mostrar" para entrar no modo "responder à entrada do usuário". Por ora, é um lançamento de pesquisa, mas os pesos abertos permitem verificar o resultado por conta própria.

História

Perguntas frequentes sobre a notícia

Por que o FPS engana neste caso?

A métrica de velocidade mais usada é a de quadros por segundo (FPS). Mas ela mostra o desempenho médio, não a capacidade de resposta. Suponha que o modelo gere vídeo em lotes de 30 quadros e leve um segundo para cada um. No papel, são 30 FPS. Só que o jogador que apertar uma tecla logo depois do início do lote só verá o resultado um segundo depois, quando o próximo bloco estiver pronto. Por isso, a Apple mede a latência entre o comando e o primeiro quadro em que a ação aparece.

Onde o tempo era gasto e o que foi substituído?

Para entender onde os milissegundos se perdem, a equipe analisou o Causal Forcing++. Em uma única B200, ele gasta 272 ms por quadro, e apenas cerca de 30% desse tempo vai para os passos de difusão, isto é, para transformar ruído em imagem.

O que se sabe sobre Números e modelos?

A Apple publicou no Hugging Face dois modelos baseados no Wan 2.1: o FastFrames-S, com 1,3 bilhão de parâmetros, e o FastFrames-L, com 14 bilhões. Ambos geram vídeo a partir de uma descrição em texto: clipes de cerca de cinco segundos, resolução de 832×480, 81 quadros, 16 quadros por segundo. O FastFrames-S gera um quadro em 36 ms em uma única B200, 7,6 vezes mais rápido que o Causal Forcing++. A qualidade não caiu: no benchmark VBench, o modelo faz 84,23 pontos contra 84,11.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…