Pesquisa de sites

LTX-2 Trai Geração Audiovisual de Código Aberto que Finalmente Acompanha Sora e VEO

No último ano, a geração de vídeo tem sido uma das aplicações mais promissoras da tecnologia de IA. Com a proliferação dos vídeos Sora da OpenAI, VEO do Google e Kling AI nas redes sociais, a geração de vídeos por IA tornou-se praticamente inevitável no panorama online moderno. Isto tem muitas implicações a longo prazo, mas a utilidade desta tecnologia não deve ser subestimada nem ignorada.

As tecnologias de código aberto têm ficado atrás desses modelos proprietários há algum tempo. Embora possam gerar vídeo de alta qualidade em estilos variados com boa aderência aos prompts, como acontece com o Wan2.2, careciam da geração de áudio emparelhado. Embora os modelos Sound-to-Video do Wan tenham dado um passo na direção certa, a curva de dificuldade ao usar estes modelos era demasiado alta para realmente os utilizar em algo como a criação de conteúdos. Esta limitação significativa tem impedido que estas tecnologias de código aberto alcancem um público mais vasto e não técnico, bem como o mundo empresarial.

Tudo isso está prestes a mudar com o LTX-2. Um verdadeiro avanço na geração de vídeo open-source, o LTX-2 é, sem dúvida, a tecnologia de geração de vídeo mais poderosa alguma vez disponibilizada como código aberto. Simplificando, "LTX-2 é um modelo de base áudio-vídeo baseado em DiT, concebido para gerar vídeo e áudio sincronizados num único modelo." Esta poderosa combinação, aliada a um design eficiente do modelo que permite a sua execução em GPUs de nível consumidor, torna o LTX-2 uma ferramenta formidável para a criação de vídeo.

Neste tutorial, vamos explorar como o LTX-2 funciona enquanto analisamos o seu pipeline arquitetónico, e depois mostramos como executar o LTX-2 no Linux-Console.net Gradient usando o ComfyUI.

Principais Conclusões

  • O LTX-2 é um verdadeiro avanço na geração de vídeo, unificando a modelagem de áudio e vídeo num único fluxo de trabalho
  • O LTX-2 é fácil de executar no Gradient AI usando GPUs NVIDIA
  • O LTX-2 está disponível para usar gratuitamente agora mesmo no Hugging Face

LTX-2: Como funciona

O LTX-2 é um modelo unificado de geração de vídeo e áudio. No seu núcleo, é composto por um transformador de fluxo duplo assimétrico que possui fluxos de vídeo e áudio individuais, emparelhados com "camadas de atenção cruzada áudio-vídeo bidirecionais com embeddings posicionais temporais e AdaLN de cross-modality para condicionamento de passos compartilhados." (Fonte). Esta unificação permite uma geração mais eficiente de ambos os fluxos, com uma maior alocação de capacidade para a geração de vídeo do que para a geração de áudio.

Podemos ver a arquitetura do modelo acima. Na prática, os sinais brutos de vídeo e áudio são codificados em tokens latentes específicos de cada modalidade através de VAEs causais, enquanto o texto é processado através de um pipeline de embeddings refinado. Um transformador de difusão de fluxo duplo depois limpa em conjunto os latentes de áudio e vídeo, aproveitando a atenção cruzada audiovisual bidirecional e a condicionamento de texto para gerar saídas áudio-visuais sincronizadas.

Para tornar isto possível, a equipa da Lightricks fez vários avanços em Visão Computacional e tecnologia de geração de Áudio. Notavelmente, o artigo do LTX-2 apresenta quatro contribuições principais feitas para esta versão:

-Arquitetura Dual-Stream Assimétrica Eficiente: a espinha dorsal baseada em transformer apresenta fluxos específicos de modalidade ligados através de atenção cruzada bidirecional e AdaLN inter-modalidade para condicionamento de timestep partilhado.

  • Blocos de Processamento de Texto com Fichas de Pensamento: também desenvolveram um novo módulo de condicionamento de texto que utiliza a previsão de múltiplas fichas para melhorar a compreensão do prompt e a estabilidade semântica.
  • Representação Neural Compacta de Áudio: para processar áudio, criaram um VAE (AutoCodificador Variacional) de áudio causal eficiente que produz um espaço latente 1D de alta fidelidade, otimizado para treino e inferência baseados em difusão.
  • Orientação Sem Classificador Sensível à Modalidade: Um novo esquema de configuração bimodal que permite o controlo independente sobre as escalas de orientação cross-modal, melhorando significativamente o alinhamento audiovisual

Em conjunto, estes constituem o modelo de vídeo de código aberto mais eficiente disponível, que combina a geração de vídeo e áudio num único processo.

Demonstração: LTX-2 com ComfyUI em Droplet GPU

Agora que vimos como o modelo funciona, podemos começar com a demonstração. Para começar, faça login no Linux-Console.net Gradient e crie um Droplet com GPU. Recomendamos uma GPU NVIDIA H100 ou H200 para executar o LTX-2, mas também deve funcionar suficientemente com a NVIDIA A6000. Uma vez que o seu Droplet esteja ativo, aceda a ele através de SSH no terminal do seu computador local.

Configurando o Droplet de GPU

Siga as instruções descritas neste tutorial para configurar o seu Droplet de GPU se ainda não o tiver feito. Em seguida, utilizará o SSH para aceder ao Droplet de GPU a partir do seu computador local usando o VS Code ou o Cursor. Mantenha tanto a janela do terminal como a janela do VS Code/Cursor aberta para uso posterior.

Configurando o ComfyUI e a transferência dos modelos

Usando a janela do terminal conectada ao Droplet com GPU, navegue até ao diretório da sua escolha. Uma vez lá, cole o seguinte código para instalar o ComfyUI no Droplet com GPU, baixar os modelos necessários para o LTX-2 e, em seguida, executar o ComfyUI e aceder a ele com o VS Code/Browser simples do Cursor:

git clone https://github.com/Comfy-Org/ComfyUI
cd ComfyUI
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
cd models/text_encoders
wget https://huggingface.co/Comfy-Org/ltx-2/resolve/main/split_files/text_encoders/gemma_3_12B_it.safetensors
cd ../checkpoints
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-dev-fp8.safetensors
cd ../latent_upscale_models
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-spatial-upscaler-x2-1.0.safetensors
cd ../loras
wget https://huggingface.co/Lightricks/LTX-2/resolve/main/ltx-2-19b-distilled-lora-384.safetensors
cd ../custom_nodes
git clone https://github.com/Lightricks/ComfyUI-LTXVideo
cd ComfyUI-LTXVideo/
pip install -r requirements.txt
cd ../..
python main.py

Quando isto for concluído, pegue o URL fornecido (o padrão é http://127.0.0.1:8188) e use a funcionalidade Simple Browser do VS Code/Cursor para aceder a ele no navegador do seu computador.

A executar LTX-2

Para agora executar o fluxo de trabalho LTX-2, podemos navegar para o lado esquerdo da janela para aceder ao ícone de modelos da barra lateral. Clique nele e, em seguida, procure e selecione o modelo "LTX-2 Texto para Vídeo". Isto completará a nossa configuração. Se agora clicarmos em executar, obteremos o vídeo padrão de uma marioneta a cantar sobre a chuva. Não podemos partilhar vídeos nesta plataforma, mas aqui está um gif do vídeo sem som.

A partir daqui, podemos clicar na janela de prompt para modificar o vídeo de saída e também mudar o tamanho/duração do vídeo. Recomendamos experimentar todas as suas ideias. O modelo é excelente na criação de vídeos com som, por isso certifique-se de incluir prompts com fala "citação", indicações sonoras e música.

Para a geração de Imagem para Vídeo, volte ao menu de seleção de modelos e procure pelo modelo “LTX-2 Imagem para Vídeo”. Pode então inserir qualquer imagem que tenha criado ou tirado na vida real, e animá-la com um comando. Por exemplo, podemos dizer a uma imagem fixa de uma cena de praia para se transformar numa animação de vídeo completa com ondas a quebrar, gaivotas a chamar e uma praia ventosa. Aqui está um exemplo disso mesmo:

Fica claro a partir dos nossos testes que, pelo menos para esta primeira versão do LTX-2, as capacidades de transformação de texto em vídeo superam de longe as capacidades de transformação de imagem em vídeo. É um pouco lamentável, mas esperamos que isso seja melhorado nas futuras iterações do modelo, que a equipa LTX-2 da Lightricks prometeu lançar.

Considerações Finais

O LTX-2 é talvez o modelo mais impressionante com que tivemos a oportunidade de experimentar na esfera de vídeo. Ainda mais do que o VEO-3 e o Sora 2, ficámos impressionados com a velocidade e acessibilidade do modelo de código aberto. Encorajamos todos a experimentar este modelo no Gradient hoje mesmo!

Obrigado por aprender com a comunidade Linux-Console.net.