FusionCow lança Sulphur-3, um fine-tune do MiniMax H3 para vídeo com áudio a partir de 11,4 GB

Há anos, os modelos abertos de vídeo sofrem com o mesmo fluxo de trabalho inconveniente: uma rede neural gera as imagens, outra cuida do som e, depois, tudo é montado manualmente, muitas vezes com problemas de sincronização. Por isso, qualquer lançamento baseado em um modelo capaz de produzir vídeo e áudio em uma única passagem merece atenção. Foi exatamente isso que a FusionCow fez: a terceira versão de seu fine-tune Sulphur é baseada no MiniMax H3.

O que foi publicado exatamente

O Sulphur-2 era conhecido como uma opção para gerar vídeos sem censura integrada. Na terceira versão, o criador mudou a base para o MiniMax H3, que gera o clipe já com áudio. Os pesos principais estão disponíveis em três formatos: BF16 com 40,2 GB, INT8 com 20,9 GB e W4A8 com 11,4 GB. Essa é a escala habitual de quantização: quanto menor o arquivo, menores os requisitos de memória e maior o risco de perda de qualidade.

Há também uma variante Ref2VA separada, com suporte a imagens de referência. Em termos simples, você fornece uma foto ou ilustração de um personagem, e o modelo tenta preservar sua aparência ao longo de todo o clipe. Esse é um dos problemas mais persistentes da geração de vídeo: sem uma referência, o rosto e as roupas tendem a mudar de um quadro para outro. O Ref2VA foi publicado em BF16 e INT8, sendo que a versão INT8 ocupa 22,1 GB.

Além disso, o criador publicou uma LoRA de 2,4 GB extraída do Sulphur-3. É uma opção conveniente para quem não quer baixar o modelo completo e prefere aplicar as alterações sobre uma base H3 já disponível.

Execucao e hardware

O repositório contém o arquivo S3_ComfyUI.zip, enquanto a variante com referências é executada por meio de um nó Ref2VA específico. Há uma ressalva importante: o codificador e o VAE de vídeo/áudio do H3 precisam ser baixados separadamente. Isso significa que o espaço real ocupado em disco será maior que a soma dos arquivos listados acima. Se você pretende executar tudo em sua própria máquina ou em um servidor alugado, reserve uma margem adicional.

Há apenas um teste divulgado por um usuário. A variante Ref2VA INT8, executada em uma GPU com 32 GB de VRAM, gerou 124 quadros na resolução de 672×384 em aproximadamente 50 segundos, usando 20 etapas e sem corretor. O autor do teste não informou qual placa de vídeo foi usada, portanto esse resultado serve como referência para uma configuração específica, e não como benchmark. A resolução é modesta: suficiente para prévias e rascunhos, mas uma produção final exigirá upscaling.

Limitacoes e conclusao pratica

A primeira limitação é o acesso: por enquanto, os arquivos no Hugging Face são liberados mediante solicitação e aprovação manual, e o criador não informou quando o acesso será aberto a todos. A segunda é que este é um fine-tune de terceiros sem censura. Se você estiver desenvolvendo um produto voltado ao público, terá de assumir a responsabilidade pela moderação das entradas e saídas, pelas restrições de idade e pelos riscos jurídicos relacionados ao conteúdo gerado, incluindo o uso da imagem de pessoas reais ao trabalhar com referências.

O que isso significa para equipes de produção? Primeiro, encare o lançamento como um sinal: a combinação de vídeo e áudio em um único modelo, junto com pesos abertos, já chegou aos fine-tunes da comunidade, o que significa que variantes mais neutras devem surgir em breve. Segundo, se você estiver testando o H3 no ComfyUI, considere W4A8 e INT8 como formas de acomodar o modelo em 12–24 GB de memória, mas verifique a qualidade do áudio e dos rostos em seus próprios casos de uso. Terceiro, para projetos que exigem um protagonista consistente, vale observar mais de perto a abordagem Ref2VA: o uso de referências pode ser útil tanto em pipelines de publicidade quanto de jogos.

Em resumo, o lançamento é interessante sobretudo do ponto de vista técnico, como exemplo de uma base aberta recente com áudio e referências. No entanto, até que o acesso seja aberto e existam medições independentes, ele deve ser tratado como um experimento, e não como uma ferramenta pronta para produção.