视频翻译,保留原声
您的解说员,开口说日语、德语或印地语
字幕要观众自己去读,通用 AI 配音听起来又像换了个人。Seed Audio 1.5 会用另一种语言重新配出这段语音,同时保留原说话人的声音。译好的音轨与原片等长,可以直接对上画面。
支持以英语或中文为源语言,翻译成 30 种语言;英语视频也可以直接译成中文。
先听效果,再动手试
一部 9 分钟的英语影片,由我们的团队用 Seed Audio 1.5 译成 12 种语言。播放后,可在“设置 → 音轨”中切换语言。请留意每个版本里是不是同一位解说员。
- 源语言
- 英语
- 目标语言
- 12 种
- 请求次数
- 24 次
- 时长差异
- < 0.03 秒
适合哪些人
课程与讲解视频
老师的声音本身就是课程的一部分。翻译时保留声音,留下的就不只是文字,还有这个人。
产品视频与广告
产品演示可以当天登陆新市场,仍由客户熟悉的那位讲解人出镜。
纪录片与故事片
有解说的影片,比如我们的庞贝测试,是最容易处理的情形:一个声音,停顿清晰,节奏平稳。
如何翻译视频并保留原声
以下就是我们制作上面那部影片时实际采用的顺序。
确认源语言
视频翻译的源语言须为英语或中文。模型能自动识别是哪一种,您只需选择目标语言。
长视频在停顿处切开
单次请求可处理 4 到 360 秒的视频。我们那部 9 分钟的影片分成两段送入,分别为 4:43 和 4:17,都切在解说员换气停顿的地方。若在句子中间切开,译文里能听出来。
列出人名和生僻词
专有名词、古语和专业术语最容易译错。把它们加入请求的术语表,各语言版本里的译法就能保持一致。
一次翻译一种语言
每次请求返回一种语言。在我们的测试中,一段约四分半钟的视频耗时 157 到 200 秒。
发布前先听一遍
每种语言至少听一遍,重点听开头和人名。上传前改一个词,比观众发现后再改省事得多。
把音轨放回视频
译好的音轨与原片等长,无需调整就能对上画面。您可以按语言分别发布视频,也可以把所有音轨加到同一个 YouTube 视频里。
哪些会变,哪些不变
| 视频的组成部分 | 翻译之后 |
|---|---|
| 口语内容 | 译成目标语言 |
| 声音特色 | 保留:仍是同一位说话人,而不是通用音色 |
| 背景音乐 | 保留 |
| 音效 | 保留 |
| 时长 | 与原片一致(在我们的测试中,相差不到 0.03 秒) |
| 画面与口型 | 不变:这是音频翻译,不是口型同步 |
据 ByteDance 的文档,音乐和音效会被保留。在我们自己的测试中,是单独翻译解说音轨,再自行把音乐混回去。
可翻译成 30 种语言中的任意一种
从英语或中文翻译成:
西班牙语和葡萄牙语各有两个变体,请选择您的受众所使用的那一种:墨西哥西班牙语或西班牙本土西班牙语,巴西葡萄牙语或欧洲葡萄牙语。
使用前须知
- 源语言必须是英语或中文。西班牙语视频无法直接翻译。
- 单次请求可处理 4 到 360 秒的视频,文件最大 200 MB,分辨率为 480p、720p 或 1080p。
- 人名在不同语言间可能变形,除非您把它们列入术语表。
- 画面中人物的嘴型不会重绘。说话人脸部特写时,口型对不上会很明显;解说类视频则看不出来。
- 请只翻译您拥有权利的视频和声音。
关于保留原声翻译的常见问题
AI 能翻译视频并保留原声吗?
可以。Seed Audio 1.5 的视频翻译会用目标语言重新配音,同时保留说话人的声音特色。在我们的测试中,12 种语言版本里都能认出是同一位解说员。
背景音乐会丢失吗?
据 ByteDance 介绍,视频翻译会保留原有的音乐和音效,只替换语音。在我们自己的测试中,送去翻译的是不带音乐的解说音轨,再由我们自己把音乐混回去。如果您的工程文件里音乐本来就是单独一轨,这也是一条稳妥的做法。
译制后的音频与视频时长一致吗?
在我们的测试中是一致的:每一段、每种语言返回的音频都只比源文件短不到 0.03 秒,无需重新调整时间。
超过 6 分钟的视频能翻译吗?
可以,分段处理即可。单次请求最长 360 秒,所以请在自然停顿处把视频切开,逐段翻译,再把结果拼接起来。我们那部 9 分钟的影片就是分成两段送入的。
这是口型同步吗?
不是。翻译的是声音,画面保持原样。对于解说、屏幕录制和配音类视频,这样就够用了。
可以翻译成哪些语言?
共 30 种,包括西班牙语(西班牙和墨西哥)、葡萄牙语(巴西和葡萄牙)、日语、韩语、德语、法语、意大利语、俄语、印地语、阿拉伯语、土耳其语和越南语。源语言须为英语或中文。