成本与模型路由:按环节选模型、缓存、降级与预算熔断
把这条线的账算清楚,按环节把模型分档,用缓存和降级把成本压下来,并给每次运行装一个会真的踩刹车的预算熔断。
今日目标
- 能按环节把成本拆开,指出钱主要花在哪一步以及为什么
- 能给每个环节配一条模型路由策略,在质量与成本之间做出可解释的取舍
- 能实现预算熔断,让一次运行在超预算时安全停下而不是烧到底
前十一天你一直在让这条线跑得更稳:能重跑、能并发、能审核、能过质检。今天换一个维度——让它跑得起。读完回到页面顶部把上面三条勾掉。
小白版讲解
制片主任上任第一天,先把账摊在桌上
剧组里有个岗位叫制片主任。他只管一件事:钱花在哪儿了。新人最常犯的错是一上来就抠盒饭——盒饭一天几百块,那台摇臂一天几千块。抠错地方,累死也省不下钱。
你的生产线也一样。前十一天里 run.json 一直在默默记账(D7 打印过账单,D8 把台账条目落了盘),但没人认真看过那张表。今天先把它摊开,因为这条线上的四类调用,价格差了三个数量级。
| 环节 | 计价单位 | 公开单价 | 一集用量 | 小计 |
|---|---|---|---|---|
| 镜头视频(768P) | 每秒 | ¥0.50 | 3 镜共 18 秒 | ¥9.00 |
| 角色定妆图与每镜首帧 | 每张 | ¥0.025 | 5 张 | ¥0.125 |
| 台词配音 | 每计费字符 | 约 ¥0.00035(折算) | 27 字 | ¥0.0095 |
| 剧本与评审文本 | 每 token | 以官方控制台为准 | — | 不计价 |
三条注意事项必须先说清,不然后面全是错的:
第一,语音那一档不是官方标价。官方只公开资源包价格(HD 套餐一 ¥630 对应 200 万字符),按量单价是折算出来的,约每万字符三元多。所以本课涉及语音的金额都写「折算」两个字——把折算值当官方价报给老板,是要出事的。
第二,文本环节干脆不计价。这一档的按量单价以官方控制台为准,拿不到就不写数字,台账照样统计 token,只是金额那列空着。一个不确定的数字被写进表里,比空着危险得多——因为再没人会去核对它。
第三——这条最反直觉——视频那一行的单价不能挂到任何一个具体模型 id 上。官方按量付费页给出的是按秒档位(768P 每秒 ¥0.50、2K 每秒 ¥0.80、480P 每秒 ¥0.33),而本课代码用的 Hailuo 系列走的是套餐里的点数扣减,官方没有公开它的按秒单价;按秒计价的那几档属于另一套单独付费的模型。两套计价口径根本不通用。所以实验里那张表按「档位加规格」计价,视频那几行是台账演示用的折算常量,代码注释和面板上都标着。
这本身就是个好教学点:做成本台账的第一件事不是写表,是搞清楚每一项到底按什么计价。 同一家厂商的不同产品线、按量与包月、点数与现金,口径经常不统一;你要么核清楚,要么老实标成折算值。最糟的是把几种口径混进同一张表,再拿它去报预算。
把这四行加起来:一集 ¥9.13 出头,其中视频占了 98.5%。这就是本章、乃至整门课的那个判断的来源:
这条线上最贵、最慢、最容易失败的是视频生成,所以整条工程设计都是围着「怎么少调一次视频接口」转的。
回头看前面十一天会有新的感觉:幂等键(D8)是为了不重复调视频,参考图复用(D3)是为了少试几次视频,并发闸门(D9)是为了别把视频配额撞穿,人工审核卡在成片之前(D10)是为了不让一整集白拍。它们不是互不相干的最佳实践,是同一条判断的推论。
怎么把这张表变成代码?关键是台账要在调用发生时记,而不是事后猜。每条记录带上环节、类型、模型、用量、是否命中缓存、是否真的计费,最后按环节一聚合,钱花在哪一眼就看出来了。
// 单价表:只放公开单价,拿不到的宁可留空也不编。
const RATES = {
'video-768p': { unit: 'second', cny: 0.5, approx: false },
'video-2k': { unit: 'second', cny: 0.8, approx: false },
'video-480p': { unit: 'second', cny: 0.33, approx: false },
image: { unit: 'item', cny: 0.025, approx: false },
// 官方只公开资源包价,这一档是折算值,面板上必须标出来
tts: { unit: 'character', cny: 0.00035, approx: true },
}
const estimate = (rateId, units) =>
rateId ? Number((RATES[rateId].cny * units).toFixed(4)) : 0
function summarize(rows) {
const byStage = new Map()
for (const r of rows) {
// 命中缓存、以及失败未计费的调用,都记账但不计钱
const cny = r.cached || !r.billed ? 0 : estimate(r.rateId, r.units)
byStage.set(r.stage, (byStage.get(r.stage) ?? 0) + cny)
}
const total = [...byStage.values()].reduce((a, b) => a + b, 0)
// 同额时按环节名定序,两次运行的报表才逐行一致
return [...byStage].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0]))
.map(([stage, cny]) => ({ stage, cny, share: total ? cny / total : 0 }))
}from collections import defaultdict
# 单价表:只放公开单价,拿不到的宁可留空也不编。
RATES = {
"video-768p": {"unit": "second", "cny": 0.5, "approx": False},
"video-2k": {"unit": "second", "cny": 0.8, "approx": False},
"video-480p": {"unit": "second", "cny": 0.33, "approx": False},
"image": {"unit": "item", "cny": 0.025, "approx": False},
# 官方只公开资源包价,这一档是折算值,面板上必须标出来
"tts": {"unit": "character", "cny": 0.00035, "approx": True},
}
def estimate(rate_id, units):
return round(RATES[rate_id]["cny"] * units, 4) if rate_id else 0
def summarize(rows):
by_stage = defaultdict(float)
for r in rows:
# 命中缓存、以及失败未计费的调用,都记账但不计钱
cny = 0 if r["cached"] or not r["billed"] else estimate(r["rate_id"], r["units"])
by_stage[r["stage"]] += cny
total = sum(by_stage.values())
# 同额时按环节名定序,两次运行的报表才逐行一致
ordered = sorted(by_stage.items(), key=lambda kv: (-kv[1], kv[0]))
return [
{"stage": s, "cny": c, "share": c / total if total else 0} for s, c in ordered
]两个细节值得单独说。一个是 cached 与 billed 两个布尔值:命中缓存的调用要记账、不计钱;生成失败或命中安全审核的视频不扣费,同样记账、不计钱。少了这两个标记,报表要么高估账单,要么看不出缓存省了多少。另一个是排序的决胜键——同额时按名字定序,否则两次运行的报表行序会飘,你会以为哪里出了 bug。
账摊开之后,问题就变得很具体:视频占九成以上,这九成能不能少花一点? 答案是能,四条互不重叠的路——分档、缓存、降级、熔断,后面挨个讲。
面试题库
一条内容生成流水线的成本要怎么拆?拆完你会先优化哪一环,为什么?How do you break down the cost of a content-generation pipeline, and which stage would you optimize first?
国内高频海外高频基础#cost-analysis#observability🔒 解锁本章后查看答题要点。
什么情况下该降级而不是重试?如果决定降级,你有哪些维度可以降,怎么排先后?When should you degrade instead of retry, and which dimensions can you degrade first?
国内高频海外高频进阶#degradation#retry-strategy🔒 解锁本章后查看答题要点。
给一条会调用付费接口的流水线加预算熔断,你会怎么设计?做到什么程度才算安全停机?How would you design a budget circuit breaker for a pipeline that calls paid APIs, and what makes the stop safe?
国内高频海外高频深入#budget-control#circuit-breaker🔒 解锁本章后查看答题要点。
