逐日AI微信小程序
30 天从前端工程师到 Agent 工程师
第 2 周 · D13🔒 锁定约 6 小时

cron 调度(中心调度→stream 投递)+ 成本计量(token→USD 台账、usage report)

实现一个中心化的 cron 调度器把定时任务投递进消息总线,并搭一套把 token 用量换算成美元台账的成本计量体系。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能实现一个中心调度器,按 cron 表达式定时把任务投递进消息总线
  2. 能实现一套 token → USD 的成本台账,按调用记账
  3. 能产出一份简单的 usage report,按用户或时间维度汇总成本

昨天给 Agent 装上了长期记忆,也顺手留了一句话:每写一条记忆都要调一次 embedding,这是一笔新开销,而到目前为止没有任何人在看这笔账。今天把两件事一起办完——让 Agent 从"用户不开口就一动不动"变成会按点自己干活,同时把每一分花出去的钱当场记进台账。读完回到页面顶部,把上面三条勾掉。

小白版讲解

排班表由一个人排,不是每个员工各自定闹钟

一家公司有三名前台,谁几点上岗写在行政排的那张班表上。假如把排班改成"每个前台自己在手机上定闹钟,闹钟一响就去开门",结果不会是开门更准时,而是每天早上三个人挤在同一扇门前,同一件事被做了三遍。

从 D10 起,你的 Worker 就不止一个了:分片和租约保证了同一个用户的消息落到同一个 Worker,但 Worker 进程本身是多副本的,D14 会把它扩到 3 个。这时候如果你在 Worker 的启动代码里写一句"每天 9 点跑一次日报任务",那句话会在三个进程里各执行一次——一个任务被执行 3 次,用户收到 3 份一样的日报,你付 3 份钱。

把这笔钱算出来,感受会更直接。假设电商客服场景里有 1000 个用户开启了"每日订单摘要",每天早上 9 点各跑一次 Agent:每次请求的输入约 3000 token(系统提示词 + 工具定义 + 当天订单数据),输出约 500 token。按本课统一的价格口径,对话模型 openai/gpt-4o-mini 的输入是 0.15 美元每百万 token、输出是 0.60 美元每百万 token:

  • 单次输入成本:3000 ÷ 1000000 × 0.15 = 0.00045 美元
  • 单次输出成本:500 ÷ 1000000 × 0.60 = 0.0003 美元
  • 单次合计:0.00075 美元
  • 每月:0.00075 × 1000 用户 × 30 天 = 22.5 美元

一个月 22.5 美元听起来不痛不痒。但三个 Worker 各起各的 cron,这个数字就变成 67.5 美元——多花的 45 美元买到的全是重复的骚扰消息。而且它不会停在这里:D14 把副本数从 3 调到 10 的那天,账单和骚扰量一起变成十倍,没有任何人会收到告警,因为从每个进程自己的视角看,它只是老老实实地按点执行了一次。

所以正确的形状是把"谁该在什么时候被执行"这件事收到一个地方,Worker 只负责干活、不负责决定什么时候干:

TextText
      ┌─────────────┐   命中 cron    ┌───────────┐   consumer group   ┌──────────┐
      │  调度器      │ ─────────────> │ koda:runs │ ─────────────────> │ Worker 1 │
      │ (单实例)    │   XADD 一条    │  消息总线  │  一条消息只给一个人  ├──────────┤
      └─────────────┘                └───────────┘                    │ Worker 2 │
        只做一件事:                                                    ├──────────┤
        决定"现在该发什么"                                              │ Worker 3 │
                                                                      └──────────┘

这张图里的总线就是 D9 那条:调度器只是它的又一个生产者,Worker 那侧一行都不用改。定时任务不是一种新的执行方式,它只是"谁来按下那个按钮"换了个人——原来是用户按,现在是钟表按。想明白这一点,今天要写的代码量就小得可怕。

但把决定权收给一个进程,马上会有人问:那这个调度器自己挂了怎么办?它重启的那一分钟正好跨过 9 点,是漏发还是重发?如果为了高可用起两个调度器实例,不就又回到"同一个任务被投递两次"了吗?

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 服务部署了多个实例,定时任务为什么不能让每个实例各自起一个 cron?你会怎么做?When a service runs multiple replicas, why not let each replica start its own cron? What would you do instead?
    国内高频海外高频基础#scheduling#distributed-systems#cost

    🔒 解锁本章后查看答题要点。

  • 让你从零设计一套 token 成本计量和台账系统,你会怎么做?How would you design a token cost metering and ledger system from scratch?
    国内高频海外高频进阶#cost#observability#data-modeling

    🔒 解锁本章后查看答题要点。

  • 一份 LLM 应用的 usage report 通常要覆盖哪些维度?这些维度分别用来做什么决策?Which dimensions should a usage report for an LLM product cover, and what decision does each one drive?
    国内高频海外高频进阶#observability#cost#reporting

    🔒 解锁本章后查看答题要点。

  • 怎么保证一个 cron 任务不会被重复投递或重复执行?幂等键应该怎么构造?How do you keep a cron job from being published or executed twice, and how should the idempotency key be built?
    国内高频海外高频深入#idempotency#scheduling#distributed-systems

    🔒 解锁本章后查看答题要点。

评论