登入
價格 創作者 聯盟行銷 開始創作
ByteDance · 2026 年 10 月 28 日發布

Seed Audio 1.5:用同一個聲音翻譯與配音影片

一個模型搞定人聲、音效與音樂,全部依照您的影片生成

Seed Audio 1.5 是 ByteDance 推出的全新音訊模型。它會讀取影片、聆聽內容,再寫出一份新的聲音:同一位旁白改用日文開口說話、緊貼畫面的配音,或是把人聲、音樂與音效拆成獨立音軌。您也可以把影片翻成中文。我們在搶先體驗階段,用它把一部 9 分鐘的動畫短片翻成了 12 種語言。以下是它的表現、出現的小失誤,以及如何做出同樣的成果。

Doitong 為獨立平台,與 ByteDance 無任何關聯。

我們的實測:一部影片、12 種語言、同一位旁白

我們選用「The Last Ordinary Day in Pompeii」,這是一部 9 分鐘、以英文旁白的歷史動畫短片,每種語言各用 Seed Audio 1.5 影片翻譯跑一次。播放影片後,開啟「設定 → 音訊軌」,即可在英文原音與 12 種翻譯之間切換。

The Last Ordinary Day in Pompeii — 以 Seed Audio 1.5 翻譯的旁白

本影片的音訊軌:英文(原音),以及俄文、德文、法文、西班牙文(西班牙)、義大利文、日文、韓文、荷蘭文、瑞典文、丹麥文、挪威文和芬蘭文。

英文(原音)俄文德文法文西班牙文(西班牙)義大利文日文韓文荷蘭文瑞典文丹麥文挪威文芬蘭文
影片長度
9:00
語言數量
12
每次請求耗時
2.6–3.3 分鐘
長度差異
< 0.03 秒

我們如何進行測試

上方的數字來自我們自己的紀錄,不是新聞稿。如果您想重現這個測試,有三個細節很重要。

在停頓處切開

每次請求可接受 4 到 360 秒的影片,因此這部 9 分鐘的短片在自然停頓處切成兩段送入:4:43 和 4:17。12 種語言共 24 次請求,每次都在 157 到 200 秒內完成。

長度完全一致

每一段翻譯結果的長度都與原片相同。第一段回傳 283.26 秒,原片為 283.29 秒;第二段回傳 256.83 秒,原片同樣是 256.83 秒,每種語言的數字都一樣。新的旁白不需要重新調整時間,就能直接對上畫面。

只送入人聲

我們餵給模型的是不含音樂的旁白,事後再自行混入配樂與音效。翻譯時保留音樂與音效是該模型明確標示的功能,但這次測試並未用到。

Seed Audio 1.5 能做什麼

1.5 版是第一個可以輸入影片的 Seed Audio 模型。光是這一點,就讓下列大部分的工作成為可能。

保留原聲翻譯影片

可從英文或中文翻成 30 種語言。聲音保有說話者的特色,原本的音效與背景音樂維持不變,只有語音被替換。

翻譯影片 →

依描述為影片配音

提供影片,再描述應該聽到什麼:台詞、聲音、音效、音樂。它會生成貼合畫面的音訊,但不會替您編寫腳本。

為影片配音 →

將音訊分離成音軌

上傳一個音訊檔,就能取回分開的人聲、音效與音樂,最多六條音軌,可直接用於混音。

分離音軌 →

為無聲片段配上聲音

要求環境音、腳步聲、關門聲、背景音樂,並在提示詞中用時間戳記把每個聲音放到時間軸上。

為影片加入聲音 →

複製聲音

最多六段、每段 2 到 30 秒的參考音訊,用來決定音色。把參考音訊與影片搭配,配音就會用那個聲音說出來。

創作含歌詞的歌曲

依文字需求生成最長六分鐘的音樂,歌詞可用英文、中文、日文、韓文或粵語演唱。

Seed Audio 1.5 使用限制

以下限制來自 ByteDance 的搶先體驗整合指南。剪輯影片之前請先確認。

輸入
輸入項目限制
影片長度每次請求 4–360 秒
影片格式MP4、MOV
影片解析度480p、720p 或 1080p
影片檔案大小最大 200 MB
聲音參考音訊最多 6 段,每段 2–30 秒,總計 180 秒
音軌分離用音訊單一檔案,2–360 秒,最大 90 MB,WAV 或 MP3
輸出
輸出項目數值
每次請求最長音訊6 分鐘
分離音軌數最多 6 條
格式WAV(預設)、MP3、PCM、OGG Opus
預設取樣率44.1 kHz
支援語音語言30 種
影片翻譯來源語言英文或中文,也可自動偵測

資料來源:ByteDance Seed Audio 1.5 搶先體驗整合指南,2026 年 10 月。正式發布後,限制可能會有調整。

30 種語言

Seed Audio 1.5 能說以下這些語言。影片翻譯可從英文或中文翻成其中任何一種。

波蘭文葡萄牙文(巴西)葡萄牙文(葡萄牙)馬來文法文菲律賓文芬蘭文德文丹麥文土耳其文泰文挪威文羅馬尼亞文荷蘭文韓文捷克文西班牙文(墨西哥)西班牙文(西班牙)希臘文匈牙利文中文日文瑞典文義大利文印地文印尼文英文越南文阿拉伯文(沙烏地口音)俄文

歌曲歌詞支援的語言較少:英文、中文、日文、韓文和粵語。

實用的提示詞範例

ByteDance 的提示詞指南分為三個層次:單純的描述、規定事件順序的腳本,以及精確到秒的時間軸。建議先從單純描述開始,只有在時間點重要時才加上時間戳記。提示詞範例維持英文,因為模型對英文的舞台指示反應最好。

單純的旁白

Generate only this speaker as dry, close-miked speech. No music, no sound effects, no room reverb, no second speaker. A calm adult female voice at a steady pace reads: “Most people in Pompeii woke up that morning expecting an ordinary day.”

先寫限制條件,再寫聲音,最後才是確切的台詞。說明「不要出現什麼」和說明「要出現什麼」一樣重要。

有時間點的場景

[0.0s:12.0s] Soft market ambience under the whole scene. [0.5s:1.5s] A wooden cart rolls past. [2.0s:6.5s] An old man, warm and unhurried, says: “Bread, still warm from the oven.” [7.0s:12.0s] A low drum rumble rises in the distance.

時間戳記會把每個聲音放到時間軸上,讓音訊對上您已經剪好的畫面。

使用時要注意的事

這些是我們在測試中遇到的狀況,以及文件中已明確說明的限制。

  • 人名與罕見詞彙在不同次生成之間可能不一致。在我們第二支測試影片(背景為 1666 年的倫敦)的俄文翻譯中,泰晤士河船隻的古稱說錯了,還有一位角色的名字變了形。影片翻譯支援詞彙表,所以執行前請先列出專有名詞。
  • 配音需要描述。Seed Audio 1.5 不會自行編寫台詞,您得告訴它要說什麼、要聽到什麼。
  • 它生成的是聲音,不是嘴型。翻譯後的聲音會保留原片的時間節奏,但畫面中的嘴型不會重新繪製。
  • 每次請求最長涵蓋 6 分鐘。更長的影片必須分段,而且在句子中間切開會聽得出來,所以請在停頓處切。
  • 影片翻譯的來源語言限英文或中文。其他語言的影片無法直接翻譯。
  • 請只複製您有權使用的聲音。

Seed Audio 1.5 常見問題

Seed Audio 1.5 是什麼?

Seed Audio 1.5 是 ByteDance 於 2026 年 10 月 28 日發布的音訊生成模型。它能一次生成語音、音效與音樂,也是第一個可以輸入影片的 Seed Audio 版本,因此才能做到影片配音與保留原聲的影片翻譯。

Seed Audio 1.5 可以用同一個聲音翻譯影片嗎?

可以。影片翻譯會用另一種語言重新配上語音,同時保留說話者的聲音特色,也保留原本的音效與音樂。在我們的測試中,一段 9 分鐘的英文旁白被翻成 12 種語言,每一個版本的長度都與原片相同。

Seed Audio 1.5 支援哪些語言?

語音支援 30 種語言,包括英文、中文、日文、韓文、西班牙文(西班牙與墨西哥)、葡萄牙文(巴西與葡萄牙)、德文、法文、俄文、阿拉伯文和印地文。影片翻譯可從英文或中文翻成這 30 種語言中的任何一種。

影片最長可以多長?

每次請求可處理 4 到 360 秒、最大 200 MB、解析度為 480p、720p 或 1080p 的影片。如果影片更長,請在停頓處切開,再逐段翻譯,就像我們處理 9 分鐘龐貝短片的做法。

影片翻譯要花多久時間?

在我們的測試中,每段約四分半鐘的影片,每種語言需要 157 到 200 秒。

Seed Audio 1.5 有對嘴功能嗎?

沒有。它生成的是音訊。翻譯後的聲音會跟隨原片的時間節奏,但影片本身,包括嘴部動作,都不會被更動。

可以分離人聲、音樂和音效嗎?

可以。上傳最長 6 分鐘的音訊檔,它就會把人聲、音效與音樂分成獨立音軌回傳,最多六條。

和 Seed Audio 1.0 相比有什麼不同?

Seed Audio 1.5 新增了影片輸入,也因此有了影片配音與影片翻譯。同時還加入音軌分離與最長 6 分鐘的音樂,支援最多六段聲音參考音訊,每次請求最長可生成 6 分鐘的音訊,並支援 30 種語言。

Seed Audio 1.5 和 Seed Audio 2.0 是同一個東西嗎?

有些網站把即將推出的模型稱為 Seed Audio 2.0。ByteDance 的搶先體驗文件則稱它為 Seed Audio 1.5,我們也沿用這個名稱。

Doitong 與 ByteDance 有關係嗎?

沒有。Doitong 是獨立的 AI 影片平台。我們取得了 Seed Audio 1.5 的搶先體驗資格,本頁介紹的是我們自己的測試結果。

讓您的影片用另一種語言開口說話

先從一段短片開始,確認人名與專有名詞,再處理整部影片。

在 Doitong 開始使用