剪辑台:用 ffmpeg 把素材合成一集竖屏成片
把镜头视频、配音、字幕、背景音按时间轴拼成一条竖屏成片,加上转场与封面,并让程序按结构化时间轴生成命令而不是让模型自由发挥。
今日目标
- 能用 ffmpeg 把多个镜头按时间轴拼接成一集竖屏成片
- 能给成片加上字幕、音轨、转场与封面,并输出平台能接受的编码参数
- 能让程序按结构化时间轴生成命令,而不是把命令交给模型自由发挥
昨天你已经有了每一镜的画面、每一句台词的声音,还有一张时间轴表。今天要做的就一件事:把这些散落的文件变成一个能发出去的 mp4。读完回到页面顶部把三条目标勾掉。
小白版讲解
剪辑台上只有一张表
剪辑师面前的屏幕分成两半:上面是预览窗,下面是一条横着铺开的轨道。轨道上一格一格排着素材,每一格标着从第几秒到第几秒。剪辑师干的活说白了就是把这些格子按顺序摆好,让画面和声音在同一个时刻对上。
我们要做的事一模一样,只是那条轨道不是拖出来的,是算出来的。昨天 D5 已经把它定义好了:一个数组,每一条记录说清「哪一镜、从第几毫秒到第几毫秒、放哪个视频文件、配哪段声音、打哪句字幕」。这就是时间轴(timeline),今天所有工作都从它开始。
它长这样,一集四镜,二十一秒:
[
{
"shotId": "s01",
"startMs": 0,
"endMs": 6000,
"clipPath": "work/runs/run-20260907-001/shots/s01/clip.mp4",
"voicePath": "work/runs/run-20260907-001/shots/s01/voice.mp3",
"subtitle": "这手机怎么自己亮了"
},
{ "shotId": "s02", "startMs": 6000, "endMs": 11000, "...": "..." }
]请先记住一条规矩:这张表是唯一的真相。 成片多长、字幕什么时候出、封面从第几秒截,全部只能从这张表算出来,代码里不许出现手敲的时间数字。当读者反馈「第三镜的字幕慢了半秒」时,你不用去翻十几条 ffmpeg 命令找那个 0.5,只要看表里第三条的 startMs 是怎么算出来的。bug 有且只有一个藏身之处。
第一条从表里算出来的东西,就是字幕文件。SRT 的格式简单到有点朴素:一个序号、一行起止时间码、一到两行文字,中间空行隔开。
// 时间码格式是 时:分:秒,毫秒 —— 毫秒前面是逗号,不是点。
// 写成点的字幕文件,多数播放器会直接当作没有字幕,而且不报错。
function srtTime(ms) {
const p = (n, w = 2) => String(n).padStart(w, '0')
const h = Math.floor(ms / 3600000)
const m = Math.floor(ms / 60000) % 60
const s = Math.floor(ms / 1000) % 60
return `${p(h)}:${p(m)}:${p(s)},${p(ms % 1000, 3)}`
}
export function renderSrt(entries, leadInMs = 200) {
let index = 0
return entries
.filter((e) => e.subtitle)
.map((e) => {
index += 1
// 首尾各留一点呼吸:镜头刚切进来的那一瞬间不出字,镜尾也提前收掉。
const from = e.startMs + leadInMs
const to = Math.max(from + 500, e.endMs - leadInMs)
return `${index}\n${srtTime(from)} --> ${srtTime(to)}\n${e.subtitle}\n`
})
.join('\n')
}# 时间码格式是 时:分:秒,毫秒 —— 毫秒前面是逗号,不是点。
# 写成点的字幕文件,多数播放器会直接当作没有字幕,而且不报错。
def srt_time(ms: int) -> str:
h, m, s = ms // 3_600_000, ms // 60_000 % 60, ms // 1000 % 60
return f"{h:02d}:{m:02d}:{s:02d},{ms % 1000:03d}"
def render_srt(entries: list[dict], lead_in_ms: int = 200) -> str:
blocks = []
for index, e in enumerate((x for x in entries if x.get("subtitle")), start=1):
# 首尾各留一点呼吸:镜头刚切进来的那一瞬间不出字,镜尾也提前收掉。
start = e["startMs"] + lead_in_ms
end = max(start + 500, e["endMs"] - lead_in_ms)
blocks.append(f"{index}\n{srt_time(start)} --> {srt_time(end)}\n{e['subtitle']}\n")
return "\n".join(blocks)这段代码里没有一个数字是拍脑袋来的,200 那个呼吸值也在参数里,改一次全片跟着改。它的价值不在于写得多聪明,而在于把「时间从哪来」这个问题彻底关死了。
那么接下来,把这些片段真正拼成一条视频该怎么拼?答案有两条完全不同的路,选错的代价是几十倍的耗时,或者一条从第二镜开始就花屏的片子。
面试题库
如果让大模型直接生成 ffmpeg 命令来合成视频,会有什么风险?你会怎么改造这个设计?What are the risks of letting an LLM generate ffmpeg command lines directly, and how would you redesign it?
国内高频海外高频深入#prompt-injection#pipeline-design#reproducibility🔒 解锁本章后查看答题要点。
一集自动生成的短剧成片出现音画不同步,你的排查顺序是什么?为什么是这个顺序?An auto-generated episode comes out with audio and video out of sync. What is your debugging order, and why that order?
国内高频海外高频进阶#debugging#av-sync#timeline🔒 解锁本章后查看答题要点。
把多个视频片段拼成一条完整的视频,什么时候可以不重新编码,什么时候必须重编码?When can you concatenate video segments without re-encoding, and when must you re-encode?
国内高频海外高频基础#ffmpeg#encoding#media-pipeline🔒 解锁本章后查看答题要点。
