逐日AI微信小程序
30 天从前端工程师到 Agent 工程师
第 2 周 · D10🔒 锁定约 6 小时

分片与租约:userId 哈希→shard、SET NX + TTL + Lua 续约、同用户顺序、handoff

用哈希分片把用户流量分散到多个 worker,再用 Redis 的 SET NX + TTL + Lua 脚本实现租约续约,保证同一用户的消息严格按顺序处理。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能实现一个 userId 哈希到固定数量 shard 的分配函数
  2. 能用 SET NX + TTL 拿到一个 shard 的租约,并用 Lua 脚本安全续约
  3. 能说清租约到期后 shard 怎么 handoff 给另一个 worker,同时不打乱同用户消息的顺序

昨天那条消息总线跑通了,但它有一个刺眼的副作用:消费组会把消息派给任意一个空闲 worker,于是同一个用户连发的两句话可能被两个进程同时处理。今天正面解决这件事。读完回到页面顶部把三条目标勾掉。

小白版讲解

一条流随便派件,同一个用户的两句话就会被两个人处理

先把昨天留下的问题摆到台面上。一条流 koda:runs、一个消费组 workers、三个 worker 从同一个货架上取件——这套分摊对彼此无关的任务毫无问题,可我们的任务偏偏彼此有关。

场景是电商客服。用户先发「我要退款」,两秒后补一句「订单号 A1024」。两条消息几乎同时躺在流里,消费组把第一条派给 worker-A、第二条派给 worker-B,谁先跑完取决于当时哪台机器负载低。于是用户很可能先看到「请提供订单号」,再看到「已为您登记退款」——他明明已经给过订单号了。

问题的根子不在总线,在分配的单位:消费组的分配单位是「一条消息」,而业务要求的最小串行单位是「一个用户」。

生活里有现成的解法:城市网格化管理。城管不是「哪个网格员闲着就派他去下一个报修单」,而是先把城区划成固定数量的网格,每个网格常态由一名网格员持牌负责——同一个小区的事永远找同一个人。

网格就是分片(shard),本课固定 256 个。用户 id 哈希取模落到某个 shard,shard 归某个 worker,于是同一个用户的所有消息永远排到同一个 worker 的同一条队列上,顺序天然就是入队顺序。

TextText
用户 u-1001 ──shardOf(userId)──▶ shard 68 ──租约──▶ worker-A
用户 u-2077 ──shardOf(userId)──▶ shard 12 ──租约──▶ worker-B
用户 u-3310 ──shardOf(userId)──▶ shard 68 ──租约──▶ worker-A(同一个格子,同一个人)

为什么不干脆用 userId 取模 worker 数?因为 worker 数会变,除数一变几乎所有用户的归属都会变、会话被整体搬家。垫一层固定的 256 个 shard,就是把「用户到 shard」钉死,只让「shard 到 worker」随伸缩浮动。

这里得交代一次架构改动,否则你照着昨天的代码往下写会卡住:分片同时改变了流的形状。 消费组的本职就是把消息分摊给任意空闲消费者,而 XREADGROUP 给你哪条取决于流里还剩什么,没有「只读属于我这批 shard 的消息」这种用法。所以 koda:runs 从今天起拆成 256 条子流 koda:runs:s0 到 koda:runs:s255:Gateway 先算 shard 再 XADD 到对应子流,worker 只读自己持有的那几条,消费组退化成「一条子流一个消费者」,分摊的活被租约接管了。代价是流从 1 条变 256 条,监控和积压告警要按子流聚合,XAUTOCLAIM 也要对每条持有的子流各跑一次。不是昨天写错了,是需求变了——D9 那套分摊是为彼此无关的任务设计的。

哈希函数没有玄机,但有一条要求不能松:同一个 userId 在任何进程、任何语言、任何一次重启之后都必须算出同一个 shard。所以用摘要函数,别用语言内置的字符串哈希。

shard.js
import { createHash } from 'node:crypto'
 
export const SHARD_COUNT = 256 // 固定值,改它等于一次数据迁移
 
export function shardOf(userId) {
  // 摘要函数天生稳定:同一个输入,换进程、换机器、换语言都是同一个结果
  const digest = createHash('sha1').update(userId, 'utf8').digest()
  return digest.readUInt32BE(0) % SHARD_COUNT
}

到这一步「同一个用户永远归同一个格子」已经成立。可格子是死的,人是活的——「谁负责哪个格子」这件事记在哪里,靠什么保证同一时刻只有一个人在负责? 这才是今天真正难的部分。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 为什么要对 userId 做哈希分片,而不是让消费组随机派发?分片数应该怎么选?Why hash user ids into shards instead of letting the consumer group dispatch freely, and how do you pick the shard count?
    国内高频海外高频基础#sharding#consistent-hashing#scalability

    🔒 解锁本章后查看答题要点。

  • 租约为什么必须配合 TTL?续约为什么要用 Lua 脚本,而不是先 GET 再 PEXPIRE?Why must a lease carry a TTL, and why renew it with a Lua script instead of GET followed by PEXPIRE?
    国内高频海外高频进阶#lease#redis#atomicity

    🔒 解锁本章后查看答题要点。

  • 两个 worker 同时认为自己持有同一个 shard 的租约(脑裂)会造成什么后果,怎么规避?What happens when two workers both believe they hold the same shard lease (split brain), and how do you mitigate it?
    国内高频海外高频深入#split-brain#fencing-token#reliability

    🔒 解锁本章后查看答题要点。

  • 在一个多 worker 的 Agent 服务里,怎么保证同一个用户的消息严格按顺序被处理?In a multi-worker agent service, how do you guarantee that one user's messages are processed in strict order?
    国内高频海外高频进阶#ordering#sharding#distributed-systems

    🔒 解锁本章后查看答题要点。

评论