Seed Audio 1.5:用同一個聲音翻譯與配音影片
一個模型搞定人聲、音效與音樂,全部依照您的影片生成
Seed Audio 1.5 是 ByteDance 推出的全新音訊模型。它會讀取影片、聆聽內容,再寫出一份新的聲音:同一位旁白改用日文開口說話、緊貼畫面的配音,或是把人聲、音樂與音效拆成獨立音軌。您也可以把影片翻成中文。我們在搶先體驗階段,用它把一部 9 分鐘的動畫短片翻成了 12 種語言。以下是它的表現、出現的小失誤,以及如何做出同樣的成果。
Doitong 為獨立平台,與 ByteDance 無任何關聯。
我們的實測:一部影片、12 種語言、同一位旁白
我們選用「The Last Ordinary Day in Pompeii」,這是一部 9 分鐘、以英文旁白的歷史動畫短片,每種語言各用 Seed Audio 1.5 影片翻譯跑一次。播放影片後,開啟「設定 → 音訊軌」,即可在英文原音與 12 種翻譯之間切換。
本影片的音訊軌:英文(原音),以及俄文、德文、法文、西班牙文(西班牙)、義大利文、日文、韓文、荷蘭文、瑞典文、丹麥文、挪威文和芬蘭文。
- 影片長度
- 9:00
- 語言數量
- 12
- 每次請求耗時
- 2.6–3.3 分鐘
- 長度差異
- < 0.03 秒
我們如何進行測試
上方的數字來自我們自己的紀錄,不是新聞稿。如果您想重現這個測試,有三個細節很重要。
在停頓處切開
每次請求可接受 4 到 360 秒的影片,因此這部 9 分鐘的短片在自然停頓處切成兩段送入:4:43 和 4:17。12 種語言共 24 次請求,每次都在 157 到 200 秒內完成。
長度完全一致
每一段翻譯結果的長度都與原片相同。第一段回傳 283.26 秒,原片為 283.29 秒;第二段回傳 256.83 秒,原片同樣是 256.83 秒,每種語言的數字都一樣。新的旁白不需要重新調整時間,就能直接對上畫面。
只送入人聲
我們餵給模型的是不含音樂的旁白,事後再自行混入配樂與音效。翻譯時保留音樂與音效是該模型明確標示的功能,但這次測試並未用到。
Seed Audio 1.5 能做什麼
1.5 版是第一個可以輸入影片的 Seed Audio 模型。光是這一點,就讓下列大部分的工作成為可能。
複製聲音
最多六段、每段 2 到 30 秒的參考音訊,用來決定音色。把參考音訊與影片搭配,配音就會用那個聲音說出來。
創作含歌詞的歌曲
依文字需求生成最長六分鐘的音樂,歌詞可用英文、中文、日文、韓文或粵語演唱。
Seed Audio 1.5 使用限制
以下限制來自 ByteDance 的搶先體驗整合指南。剪輯影片之前請先確認。
| 輸入項目 | 限制 |
|---|---|
| 影片長度 | 每次請求 4–360 秒 |
| 影片格式 | MP4、MOV |
| 影片解析度 | 480p、720p 或 1080p |
| 影片檔案大小 | 最大 200 MB |
| 聲音參考音訊 | 最多 6 段,每段 2–30 秒,總計 180 秒 |
| 音軌分離用音訊 | 單一檔案,2–360 秒,最大 90 MB,WAV 或 MP3 |
| 輸出項目 | 數值 |
|---|---|
| 每次請求最長音訊 | 6 分鐘 |
| 分離音軌數 | 最多 6 條 |
| 格式 | WAV(預設)、MP3、PCM、OGG Opus |
| 預設取樣率 | 44.1 kHz |
| 支援語音語言 | 30 種 |
| 影片翻譯來源語言 | 英文或中文,也可自動偵測 |
資料來源:ByteDance Seed Audio 1.5 搶先體驗整合指南,2026 年 10 月。正式發布後,限制可能會有調整。
30 種語言
Seed Audio 1.5 能說以下這些語言。影片翻譯可從英文或中文翻成其中任何一種。
歌曲歌詞支援的語言較少:英文、中文、日文、韓文和粵語。
實用的提示詞範例
ByteDance 的提示詞指南分為三個層次:單純的描述、規定事件順序的腳本,以及精確到秒的時間軸。建議先從單純描述開始,只有在時間點重要時才加上時間戳記。提示詞範例維持英文,因為模型對英文的舞台指示反應最好。
單純的旁白
Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”
先寫限制條件,再寫聲音,最後才是確切的台詞。說明「不要出現什麼」和說明「要出現什麼」一樣重要。
有時間點的場景
[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.
時間戳記會把每個聲音放到時間軸上,讓音訊對上您已經剪好的畫面。
使用時要注意的事
這些是我們在測試中遇到的狀況,以及文件中已明確說明的限制。
- 人名與罕見詞彙在不同次生成之間可能不一致。在我們第二支測試影片(背景為 1666 年的倫敦)的俄文翻譯中,泰晤士河船隻的古稱說錯了,還有一位角色的名字變了形。影片翻譯支援詞彙表,所以執行前請先列出專有名詞。
- 配音需要描述。Seed Audio 1.5 不會自行編寫台詞,您得告訴它要說什麼、要聽到什麼。
- 它生成的是聲音,不是嘴型。翻譯後的聲音會保留原片的時間節奏,但畫面中的嘴型不會重新繪製。
- 每次請求最長涵蓋 6 分鐘。更長的影片必須分段,而且在句子中間切開會聽得出來,所以請在停頓處切。
- 影片翻譯的來源語言限英文或中文。其他語言的影片無法直接翻譯。
- 請只複製您有權使用的聲音。
Seed Audio 1.5 常見問題
Seed Audio 1.5 是什麼?
Seed Audio 1.5 是 ByteDance 於 2026 年 10 月 28 日發布的音訊生成模型。它能一次生成語音、音效與音樂,也是第一個可以輸入影片的 Seed Audio 版本,因此才能做到影片配音與保留原聲的影片翻譯。
Seed Audio 1.5 可以用同一個聲音翻譯影片嗎?
可以。影片翻譯會用另一種語言重新配上語音,同時保留說話者的聲音特色,也保留原本的音效與音樂。在我們的測試中,一段 9 分鐘的英文旁白被翻成 12 種語言,每一個版本的長度都與原片相同。
Seed Audio 1.5 支援哪些語言?
語音支援 30 種語言,包括英文、中文、日文、韓文、西班牙文(西班牙與墨西哥)、葡萄牙文(巴西與葡萄牙)、德文、法文、俄文、阿拉伯文和印地文。影片翻譯可從英文或中文翻成這 30 種語言中的任何一種。
影片最長可以多長?
每次請求可處理 4 到 360 秒、最大 200 MB、解析度為 480p、720p 或 1080p 的影片。如果影片更長,請在停頓處切開,再逐段翻譯,就像我們處理 9 分鐘龐貝短片的做法。
影片翻譯要花多久時間?
在我們的測試中,每段約四分半鐘的影片,每種語言需要 157 到 200 秒。
Seed Audio 1.5 有對嘴功能嗎?
沒有。它生成的是音訊。翻譯後的聲音會跟隨原片的時間節奏,但影片本身,包括嘴部動作,都不會被更動。
可以分離人聲、音樂和音效嗎?
可以。上傳最長 6 分鐘的音訊檔,它就會把人聲、音效與音樂分成獨立音軌回傳,最多六條。
和 Seed Audio 1.0 相比有什麼不同?
Seed Audio 1.5 新增了影片輸入,也因此有了影片配音與影片翻譯。同時還加入音軌分離與最長 6 分鐘的音樂,支援最多六段聲音參考音訊,每次請求最長可生成 6 分鐘的音訊,並支援 30 種語言。
Seed Audio 1.5 和 Seed Audio 2.0 是同一個東西嗎?
有些網站把即將推出的模型稱為 Seed Audio 2.0。ByteDance 的搶先體驗文件則稱它為 Seed Audio 1.5,我們也沿用這個名稱。
Doitong 與 ByteDance 有關係嗎?
沒有。Doitong 是獨立的 AI 影片平台。我們取得了 Seed Audio 1.5 的搶先體驗資格,本頁介紹的是我們自己的測試結果。