跟着画面走的 AI 视频配音
一段描述,生成人声、音效和配乐
多数 AI 配音工具只是对着文字朗读,对齐剪辑还得你自己来。Seed Audio 1.5 会“看”视频:你只需描述谁在说话、说什么、环境听起来如何、音乐怎么变化,它就会按画面内容生成一条时间对得上的完整音轨。台词也可以用中文,Seed Audio 1.5 支持 30 种语言,包括中文。
台词由你来写。模型负责演绎,并配上音效和音乐,与画面保持同步。
三种配音方式
ByteDance 官方文档介绍了三种视频模式。你可以根据对声音的控制需求来选择。
视频 + 文字描述
模型会理解画面内容,并根据你的文字配音:包括台词、声音类型、音效和背景配乐。
视频 + 文字描述 + 指定音色
加入一段参考音频,台词就会用这个声音说出来。视频决定时间点,参考音频决定音色。
哪些场景最适合配音
AI 生成的视频素材
视频模型生成的片段往往没有声音,或者只带一段随机配出的音轨。你可以为它们配上场景真正需要的对白和环境氛围。
现场收音不理想
ByteDance 把改善低质量音频列为用途之一:与其和噪音较劲,不如把这场戏干净地重新演绎一遍。
短剧和系列内容
每一集都使用同一段参考音频,角色的声音就能始终保持一致。
广告和宣传片
让旁白、产品音效和音乐重音精确卡在画面帧上,下一个市场只需换一种语言。
如何用 Seed Audio 1.5 给视频配音
准备好成片
支持 MP4 或 MOV,时长 4 至 360 秒,分辨率 480p 至 1080p,大小不超过 200 MB。请对最终剪辑版配音:剪辑一变,时间点也会跟着变。
写下要听到的内容
台词用引号标出,简要描述每个人的声音,再写上音效和音乐。模型不会自行编造对白,所有需要说出口的话都要写进提示词。
在关键位置锁定时间
对必须落在某个剪辑点上的台词和音效,使用 [2.0s:6.5s] 这样的时间戳。其余部分交给模型即可。
需要时添加音色参考
最多可添加六段参考音频,每段 2 至 30 秒。同一个角色每次说话都使用同一段音频。
提示词示例
提示词保持英文原文,因为模型对英文的舞台指令理解得最好。ByteDance 的提示词指南建议写清三件事:听到什么、听起来如何、哪些内容不该出现。
雨中街头的两个人
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
每位说话人在台词前都有一句声音描述和情绪说明。
时间精确的产品镜头
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
时间戳让“咔嗒”声准确落在盖子打开的那一帧。
开始之前
- 模型不会替你写剧本。如果提示词里没有描述,视频就不会有预设的对白。
- 它只生成音频,不会改变画面中人物的口型。因此对白最适合用在远景、背影、旁白和动画镜头上。
- 单次请求最多生成 6 分钟音频;更长的影片请按场景分段配音。
- 使用音色参考前,请先取得说话人的许可。
AI 视频配音常见问题
什么是 AI 视频配音?
就是用 AI 生成视频的音轨:对白、旁白、音效和音乐,并与画面内容保持同步。使用 Seed Audio 1.5,你只需描述想要的声音,模型一次就能生成。
Seed Audio 1.5 会帮我写台词吗?
不会。ByteDance 明确说明它不会自动配音。台词和声音描述由你提供,模型负责演绎并对准时间。
配音可以使用指定的声音吗?
可以。添加一段 2 至 30 秒的参考音频,台词就会用这个声音说出来,时间则由视频控制。单次请求最多可使用六段参考音频。
可以用英语以外的语言配音吗?
可以。Seed Audio 1.5 支持 30 种语言,包括中文,从日语、韩语到波兰语、土耳其语和印地语都在其中。
配音和视频翻译有什么区别?
配音是根据你的描述创建全新的音轨。视频翻译则是把视频中已有的英语或中文语音,用同一个声音翻译成另一种语言。