逐日AI微信小程序
30 天从前端工程师到 Agent 工程师
第 2 周 · D9🔒 锁定约 6 小时

Redis Streams 消息总线:XADD/XREADGROUP/XACK/XAUTOCLAIM、consumer group、毒消息

用 Redis Streams 搭一条消息总线,理解 consumer group 怎么让多个 worker 分摊消费,以及怎么处理反复失败的"毒消息"。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能用 XADD 写入消息、用 XREADGROUP 以 consumer group 方式消费一条消息并 XACK
  2. 能解释 XACK 和 XAUTOCLAIM 分别解决什么问题
  3. 能设计一个简单的毒消息(反复失败的消息)隔离机制

昨天把服务劈成了接入层(Gateway)、消息总线、执行层(Worker)三段,中间那条总线还只是架构图上的一个方框:POST /chat 把一次执行(run)写进 runs 表就返回了,落完库谁去执行,没人回答。今天把那个方框填上——本章结束时,D8 到 D9 的完整链路第一次真的跑通。读完回到页面顶部把三条目标勾掉。

小白版讲解

落完库之后,谁去干活

小区门口的快递驿站。快递车到了,快递员不会拿着每个包裹挨家挨户等你开门——他把包裹上架,登记一个货架号就走,取件是另一批人的事。上架和派送被这个架子彻底分开:车可以一直卸货,架子上某个一直没人来取的件也不会卡住后面的人。

D8 结束时,你的服务正好卡在"没有货架"这个状态。POST /chat 做完鉴权、限流、写库、返回 runId 就结束了。最直接的想法是:请求已经在手里,干脆就地执行完再返回。D8 算过这条路的账——一个慢执行会把整个进程的事件循环拖住——这里再补三条更硬的理由。

第一,流量的形状对不上。 用户是一阵一阵来的,早高峰十分钟的量可能顶平峰一小时。接入层必须按峰值配容量,执行层只要按平均值配、让积压的活在架子上排队。挤在一个进程里,你被迫给执行层也配峰值容量,钱花在了大半天空转的进程上。

第二,故障的边界对不上。 模型抖动、工具超时、一次执行跑满 40 秒,都是执行层的日常。和"接受请求"共用一个进程,一次执行的失败就会波及正在握手的连接——用户看到"网站挂了",实际上只是某个模型慢了。

第三,扩容的单位对不上。 接入层缺连接数和内存,执行层缺并发和出口带宽,合在一起你只能两边一起加。

那能不能不上 Redis,直接把 runs 表当队列?select ... for update skip locked 是真能跑的,每秒十几条完全够用。它的问题在于轮询:间隔设 1 秒,用户白等最多 1 秒;设 50 毫秒,一台空闲的库上就凭空多了每秒 20 次无效查询乘以 Worker 数。消息总线的价值是推——XREADGROUP 的 BLOCK 参数让 Worker 挂在那儿等,有消息立刻醒。

代价同样要说清:多了一个必须运维的组件,多了一跳延迟,而且消息一定会被重复投递——这是本章第四节的主题。

代码上今天的改动只有两行:落库之后把 id 投出去。

gateway.js
// 依赖:ioredis 5.x。createRun 就是 D8 那条 insert,返回 inserted 告诉你有没有真的插进去
const { runId, inserted } = await store.createRun({ sessionId, idempotencyKey, input: text })
 
// 撞了 idempotency_key 的唯一约束:这次是客户端重试,已经有人在跑了,不要再投一遍
if (!inserted) return reply.send({ runId, duplicated: true })
 
// 消息体只放 id,不放正文:总线是路由,不是数据库
const streamId = await redis.xadd('koda:runs', '*', 'runId', runId, 'sessionId', sessionId)
reply.send({ runId, streamId })

注意这两步的顺序:先落库、再投递。反过来的话,Worker 完全可能在 runs 那一行还没提交时就把消息捞走,读到一个不存在的 runId。

顺序对了还剩一个洞:落库成功、XADD 却失败了,这个 run 会永远停在 pending,没人执行也没人报错。省事的解法是一个定时任务扫"创建超过 30 秒还停在 pending"的 run 重新投递。只要总线和数据库是两个系统,这个洞就一定存在,你只能补偿它,不能消灭它。 面试时主动说出这一条,比把 XADD 讲得多熟都管用。

那货架具体怎么用?Redis Streams 一共只有四个命令要记,而它们凑在一起恰好是一整套投递语义。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • Redis Streams 的 consumer group 是怎么工作的?为什么它既能做工作队列又能做发布订阅?How does a Redis Streams consumer group work, and why can it serve both as a work queue and as pub/sub?
    国内高频海外高频基础#message-bus#redis-streams

    🔒 解锁本章后查看答题要点。

  • XACK 和 XAUTOCLAIM 分别解决什么问题?XACK 放在业务处理之前和之后有什么区别?What problems do XACK and XAUTOCLAIM each solve, and what changes if you XACK before instead of after doing the work?
    国内高频海外高频进阶#message-bus#redis-streams#error-handling

    🔒 解锁本章后查看答题要点。

  • 什么是 at-least-once?既然消息会被重复投递,业务上到底要怎么保证幂等?What is at-least-once delivery, and given that messages get redelivered, how do you actually make the business side idempotent?
    国内高频海外高频深入#message-bus#idempotency#reliability

    🔒 解锁本章后查看答题要点。

  • Redis Streams 和 Kafka 该怎么选?什么情况下 Streams 明显不够用?How do you choose between Redis Streams and Kafka, and when is Streams clearly not enough?
    国内高频海外高频进阶#message-bus#redis-streams#architecture

    🔒 解锁本章后查看答题要点。

  • 一条消息反复处理失败怎么办?请设计一个毒消息隔离机制。What do you do with a message that keeps failing? Design a poison-message isolation mechanism.
    国内高频海外高频进阶#message-bus#error-handling#reliability

    🔒 解锁本章后查看答题要点。

评论