第 2 周 · D9🔒 锁定约 6 小时
并发与配额:多集同时开机,还不能把厂商额度打爆
让多集并行生产,用队列、令牌桶与优先级控制对每家厂商的压力,并处理长任务在并发下的排队、饥饿与占位问题。
今日目标
- 能用队列让多集并行生产,并按 provider 分别限制并发与速率
- 能给任务排优先级,让插队的急稿不至于饿死排队的长任务
- 能在超限、限流、排队超时之间做出正确的退避与降级决策
昨天的引擎已经能把一集稳稳当当地跑完,也能断点续跑。今天把它从「一次一集」推到「五集同时开机」,你会立刻撞上一个新问题:机器有的是,额度只有那么多。读完回到页面顶部把这三条勾掉。
小白版讲解
同时开三个组,但只有一台摇臂
剧组扩产的时候,制片主任第一反应是「多开几个组同时拍」。第二反应通常在半天之内到来:三个组同时要用那台摇臂,而摇臂只有一台。人可以多招,灯可以多租,但那台摇臂就是一台。
生成式流水线里的摇臂就是厂商配额。你的进程可以开一百条,云主机可以加到十六核,但 MiniMax 给你的速率上限也不会变大。这些数字是公开的,我们照着官方速率限制页抄下来,按充值用户那一档算:
| 接口 | 充值用户 RPM |
|---|---|
| 语音 T2A v2 | 20 |
| 图像生成 | 10 |
| 视频生成 v1 | 20 |
| 文本 MiniMax-M3 | 200 |
先把这几个数字换算成你熟悉的单位。一集短剧四十个分镜,每个分镜至少一句台词,那就是四十次语音合成。语音是每分钟二十次,光配音这一步就要排两分钟,而这还是一集。五集并行就是两百次,十分钟。首帧更紧:图像每分钟十次,五集两百张首帧要二十分钟,比配音还慢一倍。
这两个数字会颠覆一个很自然的直觉。多数人以为并行的瓶颈在「视频生成太慢」,于是拼命去优化视频那一步;但真按配额算下来,卡住整条线的往往是那个看起来最便宜、最快的环节。图像一张两分半钱、几秒钟就返回,可它一分钟只让你调十次。
所以今天要做的不是「把并发调大」,而是给每一家厂商的每一类接口装一道闸门,让你的进程主动把自己限制在配额之内。听起来是自我设限,实际上是相反的:只有主动限住,你才能一直跑在配额的上沿;不限的那种写法会在冲过头之后被厂商拒绝,退避、重试、再冲过头,平均吞吐反而更低。
面试题库
多个任务共用一家厂商的额度,你会怎么设计限流?Many jobs share one vendor's quota. How would you design the rate limiting?
国内高频海外高频进阶#rate-limiting#concurrency#scheduling🔒 解锁本章后查看答题要点。
收到限流响应之后,除了退避重试还该做什么?Beyond backing off and retrying, what else should happen when you get rate limited?
国内高频海外高频深入#rate-limiting#error-handling#retry🔒 解锁本章后查看答题要点。
优先级队列容易出现饿死,你会怎么防?Priority queues starve low-priority work. How do you prevent that?
国内高频海外高频基础#scheduling#priority-queue#fairness🔒 解锁本章后查看答题要点。
