逐日AI微信小程序
14 天用 Agent 搭一条 AI 短剧生产线
第 1 周 · D6🔒 锁定约 5 小时

剪辑台:用 ffmpeg 把素材合成一集竖屏成片

把镜头视频、配音、字幕、背景音按时间轴拼成一条竖屏成片,加上转场与封面,并让程序按结构化时间轴生成命令而不是让模型自由发挥。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能用 ffmpeg 把多个镜头按时间轴拼接成一集竖屏成片
  2. 能给成片加上字幕、音轨、转场与封面,并输出平台能接受的编码参数
  3. 能让程序按结构化时间轴生成命令,而不是把命令交给模型自由发挥

昨天你已经有了每一镜的画面、每一句台词的声音,还有一张时间轴表。今天要做的就一件事:把这些散落的文件变成一个能发出去的 mp4。读完回到页面顶部把三条目标勾掉。

小白版讲解

剪辑台上只有一张表

剪辑师面前的屏幕分成两半:上面是预览窗,下面是一条横着铺开的轨道。轨道上一格一格排着素材,每一格标着从第几秒到第几秒。剪辑师干的活说白了就是把这些格子按顺序摆好,让画面和声音在同一个时刻对上。

我们要做的事一模一样,只是那条轨道不是拖出来的,是算出来的。昨天 D5 已经把它定义好了:一个数组,每一条记录说清「哪一镜、从第几毫秒到第几毫秒、放哪个视频文件、配哪段声音、打哪句字幕」。这就是时间轴(timeline),今天所有工作都从它开始。

它长这样,一集四镜,二十一秒:

JSONJSON
[
  {
    "shotId": "s01",
    "startMs": 0,
    "endMs": 6000,
    "clipPath": "work/runs/run-20260907-001/shots/s01/clip.mp4",
    "voicePath": "work/runs/run-20260907-001/shots/s01/voice.mp3",
    "subtitle": "这手机怎么自己亮了"
  },
  { "shotId": "s02", "startMs": 6000, "endMs": 11000, "...": "..." }
]

请先记住一条规矩:这张表是唯一的真相。 成片多长、字幕什么时候出、封面从第几秒截,全部只能从这张表算出来,代码里不许出现手敲的时间数字。当读者反馈「第三镜的字幕慢了半秒」时,你不用去翻十几条 ffmpeg 命令找那个 0.5,只要看表里第三条的 startMs 是怎么算出来的。bug 有且只有一个藏身之处。

第一条从表里算出来的东西,就是字幕文件。SRT 的格式简单到有点朴素:一个序号、一行起止时间码、一到两行文字,中间空行隔开。

srt.js
// 时间码格式是 时:分:秒,毫秒 —— 毫秒前面是逗号,不是点。
// 写成点的字幕文件,多数播放器会直接当作没有字幕,而且不报错。
function srtTime(ms) {
  const p = (n, w = 2) => String(n).padStart(w, '0')
  const h = Math.floor(ms / 3600000)
  const m = Math.floor(ms / 60000) % 60
  const s = Math.floor(ms / 1000) % 60
  return `${p(h)}:${p(m)}:${p(s)},${p(ms % 1000, 3)}`
}
 
export function renderSrt(entries, leadInMs = 200) {
  let index = 0
  return entries
    .filter((e) => e.subtitle)
    .map((e) => {
      index += 1
      // 首尾各留一点呼吸:镜头刚切进来的那一瞬间不出字,镜尾也提前收掉。
      const from = e.startMs + leadInMs
      const to = Math.max(from + 500, e.endMs - leadInMs)
      return `${index}\n${srtTime(from)} --> ${srtTime(to)}\n${e.subtitle}\n`
    })
    .join('\n')
}

这段代码里没有一个数字是拍脑袋来的,200 那个呼吸值也在参数里,改一次全片跟着改。它的价值不在于写得多聪明,而在于把「时间从哪来」这个问题彻底关死了。

那么接下来,把这些片段真正拼成一条视频该怎么拼?答案有两条完全不同的路,选错的代价是几十倍的耗时,或者一条从第二镜开始就花屏的片子。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 如果让大模型直接生成 ffmpeg 命令来合成视频,会有什么风险?你会怎么改造这个设计?What are the risks of letting an LLM generate ffmpeg command lines directly, and how would you redesign it?
    国内高频海外高频深入#prompt-injection#pipeline-design#reproducibility

    🔒 解锁本章后查看答题要点。

  • 一集自动生成的短剧成片出现音画不同步,你的排查顺序是什么?为什么是这个顺序?An auto-generated episode comes out with audio and video out of sync. What is your debugging order, and why that order?
    国内高频海外高频进阶#debugging#av-sync#timeline

    🔒 解锁本章后查看答题要点。

  • 把多个视频片段拼成一条完整的视频,什么时候可以不重新编码,什么时候必须重编码?When can you concatenate video segments without re-encoding, and when must you re-encode?
    国内高频海外高频基础#ffmpeg#encoding#media-pipeline

    🔒 解锁本章后查看答题要点。

评论