逐日AI微信小程序
14 天用 Agent 搭一条 AI 短剧生产线
第 1 周 · D5🔒 锁定约 5 小时

配音、字幕与音轨:多角色语音、时间轴对齐与字幕文件

让每个角色有自己的声音,用语音时长反过来校正镜头时长,生成时间轴正确的字幕文件,并处理好背景音与人声的关系。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能按角色分配音色并批量合成台词,产出可直接使用的音频文件
  2. 能把音频时长与镜头时长对齐,并生成时间轴正确的字幕文件
  3. 能说清语音合成里影响成片质感的几个参数,以及背景音乐的处理边界

昨天你拿到了一批会动的镜头。今天给它们配音——顺便解决一个前四天一直被推迟的问题:这一镜到底该多长。读完回到页面顶部把三条目标勾掉。

小白版讲解

先破一个默认假设,否则今天整天的内容会被误当成唯一选择。

先破一个默认假设:并不是所有视频模型的产物都是默片。 有的模型只出画面、音轨全空;有的自带环境音;还有的能按提示词里写的台词连口型一起生成,官方文档里就给了「角色说话:某句台词」这样的写法,甚至允许再传一段参考音去指定音色。所以「拿到镜头之后必须配音」这句话,取决于你用的是哪个模型——动手前先看一眼产物里有没有音频流。

那既然模型能自己说话,为什么本课还要单独走语音合成?因为四条工程上的差别:

  1. 台词逐字可控。 剧本里的台词是定死的。让模型即兴,它说的永远不会正好是那一句——而剧情片的台词错一个字就是错。
  2. 音色跨镜稳定。 一个角色出现在六个镜头里,如果每段视频各自生成人声,同一个人会有六个声音。这是**「变脸」问题的听觉版**,而观众对声音的敏感度比对脸更高。
  3. 时间轴算得出来。 整条流水线的时间轴是从配音时长反推的(这就是今天下半段的内容)。语音烧在视频里,你量不出每句话何时说、说多久——字幕的时间码没法生成,背景乐的闪避也没法对齐。
  4. 改一个字的代价差四个数量级。 台词改一个字:重合成一段语音是几分之一分钱,重生成一个镜头是几块钱。

反过来说,如果你的片子明确不要字幕、台词不需要逐字精确、而且更看重口型贴合,那让视频模型自己说话是更省事的选择——它的口型是和画面一起生成的,后期对不出这种效果。这一天教的是可控的那条路;知道另一条路存在,你才知道自己在选什么。

一人一声:音色分配表

录音棚里,配音导演做的第一件事不是开录,是定角:谁配男主、谁配女二,定完写在墙上的表里,整季不换。观众对声音的记忆力远比你以为的强——同一个角色第二集换了个声线,弹幕立刻会问「这是谁」。

所以配音环节的第一步是一张分配表,而这张表不该在配音这一天现编。它属于 D2 定下来的人物卡:每个角色有一个 voiceId 字段,值就是厂商的系统音色标识。跨集一致性靠这份档案,不靠配音代码里的临时映射——这也是为什么本课把人物卡叫「档案」而不是「参数」。

MiniMax 的系统音色里有一批是专门做短剧适配的,名字本身就是角色定位:badao_shaoye 霸道少爷、junlang_nanyou 俊朗男友、lengdan_xiongzhang 冷淡学长、chunzhen_xuedi 纯真学弟、bingjiao_didi 病娇弟弟;女声有 wumei_yujie 妩媚御姐、danya_xuejie 淡雅学姐、tianxin_xiaoling 甜心小玲、qiaopi_mengmei 俏皮萌妹、diadia_xuemei 嗲嗲学妹。另外还有一批通用音色,像 male-qn-jingying、female-chengshu 这类,适合配旁白和路人。

除了音色,还有三个参数直接影响成片质感,值得一次说清:

情绪(emotion)是最容易被忽略、效果又最明显的一个。它的取值是一组固定枚举:happy、sad、angry、fearful、disgusted、surprised、calm、fluent、whisper。同一句「那部手机,不是你的」,calm 是冷静提醒,angry 是当场翻脸,两条音频的戏完全不同。工程上的做法是给每个角色一个基调情绪,再允许单条台词覆盖——短剧的情绪转折就藏在这些覆盖里。

语速(speed)取值范围是 0.5 到 2。它有个隐藏作用:语速直接改变音频时长,而时长会传导到镜头。所以语速不能在配音这一步随手调,调了就得重新对一遍时间轴。

音量与音高(vol、pitch)通常保持默认。想让某个角色显得更年轻或更沉,用换音色解决,不要靠拉音高——拉出来的声音会有明显的电子感。

最后是一个必须知道的返回值细节:data.audio 默认是 hex 字符串,不是 base64。在 Node 里落盘就是 Buffer.from(json.data.audio, "hex"),用 base64 解一次会得到一个能存下来、但播不出来的文件,而且报错信息完全不会指向这里。

tts.js
async function synthesize({ text, voiceId, emotion, speed, outPath }) {
  const res = await fetch(`${process.env.MINIMAX_BASE_URL}/v1/t2a_v2`, {
    method: 'POST',
    headers: {
      Authorization: `Bearer ${process.env.MINIMAX_API_KEY}`,
      'Content-Type': 'application/json',
    },
    body: JSON.stringify({
      model: 'speech-2.8-hd',
      text,
      stream: false,
      voice_setting: { voice_id: voiceId, speed, vol: 1, pitch: 0, emotion },
      audio_setting: { sample_rate: 32000, bitrate: 128000, format: 'mp3', channel: 1 },
    }),
  })
  const json = await res.json()
  if (json.base_resp?.status_code) throw new Error(`合成失败 ${json.base_resp.status_code}`)
  // data.audio 默认是 hex 字符串,不是 base64——用 base64 解会得到一个播不出来的文件
  await writeFile(outPath, Buffer.from(json.data.audio, 'hex'))
  // audio_length 的单位是毫秒,直接进时间轴
  return { path: outPath, durationMs: json.extra_info.audio_length }
}

音色定好、参数调好、音频落盘之后,真正的问题才出现:这段音频有 3.3 秒,可你昨天生成的那一镜只有 3 秒。 谁让步?

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 语音时长和画面时长对不上,你会调哪一边?为什么?When the synthesized speech and the shot duration disagree, which side do you adjust, and why?
    国内高频海外高频进阶#timeline#tts#pipeline-design

    🔒 解锁本章后查看答题要点。

  • 字幕的时间戳你会怎么拿?接口不给时间戳时有什么替代方案?Where do you get subtitle timestamps from, and what do you do when the API does not provide them?
    国内高频海外高频进阶#subtitles#timeline

    🔒 解锁本章后查看答题要点。

  • 多角色配音里,怎么保证同一个角色跨集用的是同一个声音?In a multi-character pipeline, how do you guarantee the same character keeps the same voice across episodes?
    国内高频海外高频基础#tts#consistency#provider-abstraction

    🔒 解锁本章后查看答题要点。

评论