Dublagem de vídeo com IA que acompanha a imagem
Vozes, efeitos sonoros e música a partir de uma única descrição
A maioria das ferramentas de voz com IA lê o texto no vazio e deixa para você o trabalho de encaixar o áudio na edição. O Seed Audio 1.5 assiste ao vídeo. Descreva quem fala, o que diz, como é o som do ambiente e o que a música faz, e ele devolve uma única trilha sonora sincronizada com o que aparece na tela. Você também pode dublar em português, um dos 30 idiomas compatíveis.
Você escreve as falas. O modelo as interpreta, com efeitos e música, em sincronia com a imagem.
Três jeitos de dublar
A ByteDance documenta três modos de vídeo. Escolha de acordo com o quanto de controle você precisa sobre a voz.
Vídeo e uma descrição
O modelo lê a cena e a dubla a partir do seu texto: as falas, o tipo de voz, os efeitos e a base musical.
Vídeo, descrição e uma voz
Adicione um clipe de referência e as falas serão ditas com essa voz. O vídeo define o tempo; a referência define o timbre.
Traduzir o que já está no vídeo
Se o vídeo já tem fala em inglês ou chinês, traduza-a e mantenha a voz original de quem fala.
Onde a dublagem faz diferença
Cenas geradas por IA
Clipes de modelos de vídeo costumam chegar mudos ou com uma trilha improvisada. Dubele com os diálogos e a atmosfera que a cena realmente pede.
Áudio ruim de locação
A ByteDance lista a melhoria de áudio de baixa qualidade como um caso de uso: refaça a cena com som limpo em vez de brigar com o ruído.
Dramas curtos e séries
Mantenha a voz de um personagem igual de episódio para episódio reutilizando o mesmo clipe de referência.
Anúncios e promos
Sincronize a locução, o som do produto e o toque musical com o quadro exato e depois troque o idioma para o próximo mercado.
Como dublar um vídeo com o Seed Audio 1.5
Prepare a edição
MP4 ou MOV, de 4 a 360 segundos, de 480p a 1080p, até 200 MB. Dublê a edição final: se o corte mudar, o tempo muda.
Escreva o que se ouve
Falas entre aspas, uma breve descrição de cada voz e depois os efeitos e a música. O modelo não inventa diálogos, então tudo o que deve ser dito vai no prompt.
Fixe o tempo onde importa
Use timestamps como [2.0s:6.5s] para falas e efeitos que precisam cair num corte. O resto fica por conta do modelo.
Adicione uma referência de voz, se precisar
Até seis clipes de 2 a 30 segundos cada. Use o mesmo clipe sempre que o personagem falar.
Exemplos de prompt
O guia de prompts da ByteDance recomenda: o que se ouve, como soa e o que não pode aparecer. Os prompts ficam em inglês, que é o idioma em que o modelo segue melhor as indicações de cena.
Duas pessoas numa rua com chuva
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
Cada personagem recebe uma descrição de uma linha e uma emoção antes da fala.
Uma cena de produto com tempo exato
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
Os timestamps mantêm o clique exatamente no quadro em que a tampa se abre.
Antes de começar
- O modelo não escreve o roteiro. Se o prompt não trouxer nenhuma descrição, o vídeo fica sem diálogo planejado.
- Ele gera apenas áudio. O movimento da boca na tela não é alterado, então o diálogo funciona melhor em planos abertos, cenas de costas, narração e animação.
- Cada solicitação gera até 6 minutos de áudio; para filmes mais longos, dublê cena por cena.
- Use referências de voz somente com a permissão de quem fala.
Perguntas frequentes sobre dublagem de vídeo com IA
O que é dublagem de vídeo com IA?
É gerar com IA a trilha sonora de um vídeo: diálogos, locução, efeitos sonoros e música, sincronizados com o que acontece na tela. No Seed Audio 1.5, você descreve o som e o modelo o produz de uma só vez.
O Seed Audio 1.5 escreve os diálogos por mim?
Não. A ByteDance é clara: ele não faz dublagem automática. Você fornece as falas e a descrição do som; o modelo as interpreta e define o tempo.
Posso dublar com uma voz específica?
Sim. Adicione um clipe de referência de 2 a 30 segundos e as falas serão ditas com essa voz, enquanto o vídeo controla o tempo. É possível usar até seis referências em uma solicitação.
Posso dublar em outros idiomas além do inglês?
Sim. O Seed Audio 1.5 fala 30 idiomas, do japonês e coreano ao polonês, turco e hindi, e o português também está incluído.
Qual é a diferença entre dublagem e tradução de vídeo?
A dublagem cria uma nova trilha sonora a partir da sua descrição. A tradução de vídeo pega a fala que já existe em inglês ou chinês e a refaz em outro idioma, mantendo a mesma voz.
Relacionados
Dê à sua cena o som que ela precisa
Escreva as falas, descreva o ambiente e deixe a imagem definir o tempo.
Dublar um vídeo