配音、字幕与音轨:多角色语音、时间轴对齐与字幕文件
让每个角色有自己的声音,用语音时长反过来校正镜头时长,生成时间轴正确的字幕文件,并处理好背景音与人声的关系。
今日目标
- 能按角色分配音色并批量合成台词,产出可直接使用的音频文件
- 能把音频时长与镜头时长对齐,并生成时间轴正确的字幕文件
- 能说清语音合成里影响成片质感的几个参数,以及背景音乐的处理边界
昨天你拿到了一批会动的镜头。今天给它们配音——顺便解决一个前四天一直被推迟的问题:这一镜到底该多长。读完回到页面顶部把三条目标勾掉。
小白版讲解
先破一个默认假设,否则今天整天的内容会被误当成唯一选择。
先破一个默认假设:并不是所有视频模型的产物都是默片。 有的模型只出画面、音轨全空;有的自带环境音;还有的能按提示词里写的台词连口型一起生成,官方文档里就给了「角色说话:某句台词」这样的写法,甚至允许再传一段参考音去指定音色。所以「拿到镜头之后必须配音」这句话,取决于你用的是哪个模型——动手前先看一眼产物里有没有音频流。
那既然模型能自己说话,为什么本课还要单独走语音合成?因为四条工程上的差别:
- 台词逐字可控。 剧本里的台词是定死的。让模型即兴,它说的永远不会正好是那一句——而剧情片的台词错一个字就是错。
- 音色跨镜稳定。 一个角色出现在六个镜头里,如果每段视频各自生成人声,同一个人会有六个声音。这是**「变脸」问题的听觉版**,而观众对声音的敏感度比对脸更高。
- 时间轴算得出来。 整条流水线的时间轴是从配音时长反推的(这就是今天下半段的内容)。语音烧在视频里,你量不出每句话何时说、说多久——字幕的时间码没法生成,背景乐的闪避也没法对齐。
- 改一个字的代价差四个数量级。 台词改一个字:重合成一段语音是几分之一分钱,重生成一个镜头是几块钱。
反过来说,如果你的片子明确不要字幕、台词不需要逐字精确、而且更看重口型贴合,那让视频模型自己说话是更省事的选择——它的口型是和画面一起生成的,后期对不出这种效果。这一天教的是可控的那条路;知道另一条路存在,你才知道自己在选什么。
一人一声:音色分配表
录音棚里,配音导演做的第一件事不是开录,是定角:谁配男主、谁配女二,定完写在墙上的表里,整季不换。观众对声音的记忆力远比你以为的强——同一个角色第二集换了个声线,弹幕立刻会问「这是谁」。
所以配音环节的第一步是一张分配表,而这张表不该在配音这一天现编。它属于 D2 定下来的人物卡:每个角色有一个 voiceId 字段,值就是厂商的系统音色标识。跨集一致性靠这份档案,不靠配音代码里的临时映射——这也是为什么本课把人物卡叫「档案」而不是「参数」。
MiniMax 的系统音色里有一批是专门做短剧适配的,名字本身就是角色定位:badao_shaoye 霸道少爷、junlang_nanyou 俊朗男友、lengdan_xiongzhang 冷淡学长、chunzhen_xuedi 纯真学弟、bingjiao_didi 病娇弟弟;女声有 wumei_yujie 妩媚御姐、danya_xuejie 淡雅学姐、tianxin_xiaoling 甜心小玲、qiaopi_mengmei 俏皮萌妹、diadia_xuemei 嗲嗲学妹。另外还有一批通用音色,像 male-qn-jingying、female-chengshu 这类,适合配旁白和路人。
除了音色,还有三个参数直接影响成片质感,值得一次说清:
情绪(emotion)是最容易被忽略、效果又最明显的一个。它的取值是一组固定枚举:happy、sad、angry、fearful、disgusted、surprised、calm、fluent、whisper。同一句「那部手机,不是你的」,calm 是冷静提醒,angry 是当场翻脸,两条音频的戏完全不同。工程上的做法是给每个角色一个基调情绪,再允许单条台词覆盖——短剧的情绪转折就藏在这些覆盖里。
语速(speed)取值范围是 0.5 到 2。它有个隐藏作用:语速直接改变音频时长,而时长会传导到镜头。所以语速不能在配音这一步随手调,调了就得重新对一遍时间轴。
音量与音高(vol、pitch)通常保持默认。想让某个角色显得更年轻或更沉,用换音色解决,不要靠拉音高——拉出来的声音会有明显的电子感。
最后是一个必须知道的返回值细节:data.audio 默认是 hex 字符串,不是 base64。在 Node 里落盘就是 Buffer.from(json.data.audio, "hex"),用 base64 解一次会得到一个能存下来、但播不出来的文件,而且报错信息完全不会指向这里。
async function synthesize({ text, voiceId, emotion, speed, outPath }) {
const res = await fetch(`${process.env.MINIMAX_BASE_URL}/v1/t2a_v2`, {
method: 'POST',
headers: {
Authorization: `Bearer ${process.env.MINIMAX_API_KEY}`,
'Content-Type': 'application/json',
},
body: JSON.stringify({
model: 'speech-2.8-hd',
text,
stream: false,
voice_setting: { voice_id: voiceId, speed, vol: 1, pitch: 0, emotion },
audio_setting: { sample_rate: 32000, bitrate: 128000, format: 'mp3', channel: 1 },
}),
})
const json = await res.json()
if (json.base_resp?.status_code) throw new Error(`合成失败 ${json.base_resp.status_code}`)
// data.audio 默认是 hex 字符串,不是 base64——用 base64 解会得到一个播不出来的文件
await writeFile(outPath, Buffer.from(json.data.audio, 'hex'))
// audio_length 的单位是毫秒,直接进时间轴
return { path: outPath, durationMs: json.extra_info.audio_length }
}import os
import httpx
def synthesize(text: str, voice_id: str, emotion: str, speed: float, out_path: str) -> dict:
res = httpx.post(
f"{os.environ['MINIMAX_BASE_URL']}/v1/t2a_v2",
headers={"Authorization": f"Bearer {os.environ['MINIMAX_API_KEY']}"},
json={
"model": "speech-2.8-hd",
"text": text,
"stream": False,
"voice_setting": {"voice_id": voice_id, "speed": speed, "vol": 1, "pitch": 0, "emotion": emotion},
"audio_setting": {"sample_rate": 32000, "bitrate": 128000, "format": "mp3", "channel": 1},
},
timeout=120,
)
data = res.json()
if data.get("base_resp", {}).get("status_code"):
raise RuntimeError(f"合成失败 {data['base_resp']['status_code']}")
# data.audio 默认是 hex 字符串,不是 base64——用 base64 解会得到一个播不出来的文件
with open(out_path, "wb") as f:
f.write(bytes.fromhex(data["data"]["audio"]))
# audio_length 的单位是毫秒,直接进时间轴
return {"path": out_path, "duration_ms": data["extra_info"]["audio_length"]}音色定好、参数调好、音频落盘之后,真正的问题才出现:这段音频有 3.3 秒,可你昨天生成的那一镜只有 3 秒。 谁让步?
面试题库
语音时长和画面时长对不上,你会调哪一边?为什么?When the synthesized speech and the shot duration disagree, which side do you adjust, and why?
国内高频海外高频进阶#timeline#tts#pipeline-design🔒 解锁本章后查看答题要点。
字幕的时间戳你会怎么拿?接口不给时间戳时有什么替代方案?Where do you get subtitle timestamps from, and what do you do when the API does not provide them?
国内高频海外高频进阶#subtitles#timeline🔒 解锁本章后查看答题要点。
多角色配音里,怎么保证同一个角色跨集用的是同一个声音?In a multi-character pipeline, how do you guarantee the same character keeps the same voice across episodes?
国内高频海外高频基础#tts#consistency#provider-abstraction🔒 解锁本章后查看答题要点。
