第 2 周 · D8🔒 锁定约 6 小时
工作流引擎:把流水线做成可断点续跑的任务图
把顺序脚本换成有节点、有依赖、有状态的工作流引擎,让每步产物落盘、每步幂等,失败后能从断点继续而不是从头再烧一遍钱。
今日目标
- 能实现一个最小的任务图执行器,按依赖调度节点并记录每个节点的状态
- 能让每个节点幂等:同样的输入不重复花钱,重跑只补做没做完的部分
- 能把每次运行的产物与花费记进台账,支持按运行标识追溯
昨天那份痛点报告上写着一个数字:第四个环节炸掉时,已经花掉的三块一毛二五会被原封不动再花一次。今天把它变成 0。读完回到页面顶部把三条目标勾掉。
小白版讲解
场记板:拍到哪一条了,重拍从哪接
片场里有一块小黑板,每拍一条就在上面写清楚:第几场、第几镜、第几次。它看起来只是给后期对素材用的,但它真正的作用是让「拍到哪儿了」这件事离开任何一个人的脑子。摄影指导中途换人、机器死机重启、第二天补拍,翻一下场记单就知道从哪接。
昨天那条流水线没有场记板。它把「进度」这个东西存在了进程的调用栈里——跑到第四步就是第四步,进程一死,前面三步做过什么、花了多少、产物在哪,全部随之消失。所以它只能从头再来。
要修好它,得先做一件更基础的事:把调度、状态、重试这三件事从业务代码里分出去。
昨天的六个环节是六段依次 await 的代码,业务逻辑和执行顺序焊在一起。现在换一种写法:每个环节只声明自己是什么,不管什么时候跑。
node-spec.js
// 节点只声明四件事:我依赖谁、我的输入是什么、我会产出哪些文件、我怎么跑。
// 「什么时候跑我」「我跑挂了怎么办」「我跑过没有」,一律不归它管。
export const clipsNode = {
id: 'clips',
title: '镜头视频',
deps: ['frames'],
version: 1, // 改了这个节点的实现就加一,旧产物立刻失效
inputs: { model: 'video-model-id', shots: shots.map((s) => `${s.id}|${s.visual}|${s.durationSec}`) },
outputs: shots.map((s) => `${s.id}.mp4`),
async run(ctx) {
for (const s of shots) {
// 依赖的产物从目录里读,不从内存里传——这样节点才可能跑在别的进程上。
const firstFrame = `${ctx.depDir('frames')}/${s.id}.png`
const r = await video.generate({ prompt: s.visual, firstFrame, outPath: `${ctx.outDir}/${s.id}.mp4` })
ctx.record({ nodeId: 'clips', kind: 'video', units: s.durationSec, costCny: r.costCny })
}
return { note: `${shots.length} 个镜头` }
},
}node_spec.py
# 节点只声明四件事:我依赖谁、我的输入是什么、我会产出哪些文件、我怎么跑。
# 「什么时候跑我」「我跑挂了怎么办」「我跑过没有」,一律不归它管。
from dataclasses import dataclass
from typing import Any, Callable
@dataclass
class NodeSpec:
id: str
title: str
deps: list[str]
version: int # 改了这个节点的实现就加一,旧产物立刻失效
inputs: Any # 参与幂等键的输入
outputs: list[str] # 产出的文件名,相对本节点的产物目录
run: Callable[["Ctx"], dict]
def run_clips(ctx: "Ctx") -> dict:
for s in SHOTS:
# 依赖的产物从目录里读,不从内存里传——这样节点才可能跑在别的进程上。
first_frame = f"{ctx.dep_dir('frames')}/{s.id}.png"
r = video.generate(prompt=s.visual, first_frame=first_frame, out_path=f"{ctx.out_dir}/{s.id}.mp4")
ctx.record(node_id="clips", kind="video", units=s.duration_sec, cost_cny=r["costCny"])
return {"note": f"{len(SHOTS)} 个镜头"}这一步的价值不在于代码变好看了,而在于节点从此可以被引擎任意摆布:可以跳过、可以重排、可以在别的进程上跑、可以在跑之前先问一句「这活儿是不是已经干过了」。而这最后一句,正是省钱的全部来源。
那么,引擎怎么才能知道「这活儿已经干过了」?这个问题的答案就是一个键,而这个键设计得对不对,决定了你的流水线是省一半的钱,还是安静地给你一集串了戏的片子。
面试题库
怎么让一个会调用付费接口的生成节点是幂等的?缓存键里该放什么、不该放什么?How do you make a node that calls a paid generation API idempotent? What belongs in the cache key and what does not?
国内高频海外高频进阶#idempotency#caching#workflow-engine🔒 解锁本章后查看答题要点。
要支持断点续跑,你需要持久化哪些状态?只存每个节点的完成状态够不够?What state must you persist to support resuming a workflow? Is per-node completion status enough?
国内高频海外高频深入#workflow-engine#state-persistence#resume🔒 解锁本章后查看答题要点。
什么时候该自己写调度,什么时候该直接上现成的工作流引擎?When should you write your own scheduler, and when should you adopt an off-the-shelf workflow engine?
国内高频海外高频基础#architecture#build-vs-buy#workflow-engine🔒 解锁本章后查看答题要点。
