貼合畫面的 AI 影片配音
一段描述,生成人聲、音效與配樂
多數 AI 語音工具只是把文字唸出來,還得由你自己對齊剪輯。Seed Audio 1.5 會看影片。你只要描述誰在說話、說什麼、環境聽起來如何、配樂怎麼變化,它就會產生一條與畫面時間同步的完整聲音。配音語言也可以選擇中文。
台詞由你來寫,模型負責演出,並搭配音效與配樂,與畫面同步。
三種配音方式
ByteDance 的文件列出三種影片模式,依你對聲音的控制需求來選擇。
影片加文字描述
模型會理解場景,並依你的文字配音:包括台詞、聲音類型、音效與背景配樂。
影片、文字描述加指定聲音
加入一段參考音訊,台詞就會用該聲音說出。影片決定時間點,參考音訊決定音色。
AI 配音適合哪些情境
AI 生成的影片素材
影片模型產出的片段常常沒有聲音,或只有猜測出來的配樂。你可以為它補上場景真正需要的對白與氛圍。
現場收音不佳
ByteDance 將改善低品質音訊列為使用情境之一:與其費力消除雜訊,不如乾淨地重新演繹整個場景。
短劇與系列影集
每一集都使用同一段參考音訊,角色的聲音就能前後一致。
廣告與宣傳影片
旁白、產品音效與配樂重音都能對準畫面格數,接著換個語言,就能進入下一個市場。
如何用 Seed Audio 1.5 為影片配音
準備好剪輯完成的影片
支援 MP4 或 MOV,長度 4 至 360 秒,解析度 480p 至 1080p,檔案最大 200 MB。請用最終剪輯版配音:剪輯一改,時間點也會跟著變。
寫下聽得到的內容
台詞用引號標示,簡短描述每個聲音,再寫上音效與配樂。模型不會自行編寫對白,所以所有要說的話都要放進提示詞。
在關鍵處指定時間
對必須落在剪接點上的台詞與音效,使用 [2.0s:6.5s] 這類時間戳記。其餘部分交給模型處理。
需要時加入聲音參考
最多可加入六段參考音訊,每段 2 至 30 秒。同一個角色每次說話都使用同一段音訊。
提示詞範例
ByteDance 的提示詞指南建議寫出三件事:聽到什麼、聽起來如何、哪些聲音不該出現。提示詞範例維持英文,因為模型對英文的場景指令反應最好。
雨中街頭的兩個人
Outdoor street at night, steady rain on umbrellas and a passing car on wet asphalt. A young woman with a clear British voice, exasperated then laughing, says: “I cannot believe I let you talk me into this.” A man with a warm baritone, apologetic but smiling, answers: “I said it might rain. I did not say the sky would take it personally.” No music.
每位說話者在台詞前,都有一句聲音描述與情緒。
精準對時的產品鏡頭
[0.0s:15.0s] Light electronic music under the whole clip. [0.4s:1.0s] A crisp click as the lid opens. [1.5s:5.0s] A confident adult male voice, General American accent, says: “Built for the days that do not end at five.” [12.0s:15.0s] The music lifts and resolves.
時間戳記能讓「喀」的一聲剛好落在蓋子打開的那一格。
開始前請注意
- 模型不會幫你寫劇本。提示詞中沒有任何描述的影片,不會產生事先規劃好的對白。
- 它只生成音訊,不會改變畫面中人物的嘴型,因此對白最適合搭配遠景、背影、旁白與動畫。
- 單次請求最多可生成 6 分鐘的音訊;較長的影片請逐場景配音。
- 使用聲音參考前,務必取得說話者的同意。
AI 影片配音常見問題
什麼是 AI 影片配音?
就是用 AI 生成影片的聲音,包括對白、旁白、音效與配樂,並與畫面內容同步。使用 Seed Audio 1.5 時,你只需描述想要的聲音,模型就會一次生成。
Seed Audio 1.5 會幫我寫對白嗎?
不會。ByteDance 明確說明,它不會自動配音。台詞與聲音描述由你提供,模型負責演出並對準時間。
配音可以使用指定的聲音嗎?
可以。加入一段 2 至 30 秒的參考音訊,台詞就會用該聲音說出,時間點則由影片決定。單次請求最多可使用六段參考音訊。
可以用英文以外的語言配音嗎?
可以。Seed Audio 1.5 支援 30 種語言,包括中文、日文、韓文,以及波蘭文、土耳其文、印地文等。
影片配音和影片翻譯有什麼不同?
配音是依你的描述生成全新的聲音。影片翻譯則是把影片中已有的英文或中文語音,用同一個聲音以另一種語言重新說出。