分片与租约:userId 哈希→shard、SET NX + TTL + Lua 续约、同用户顺序、handoff
用哈希分片把用户流量分散到多个 worker,再用 Redis 的 SET NX + TTL + Lua 脚本实现租约续约,保证同一用户的消息严格按顺序处理。
今日目标
- 能实现一个 userId 哈希到固定数量 shard 的分配函数
- 能用 SET NX + TTL 拿到一个 shard 的租约,并用 Lua 脚本安全续约
- 能说清租约到期后 shard 怎么 handoff 给另一个 worker,同时不打乱同用户消息的顺序
昨天那条消息总线跑通了,但它有一个刺眼的副作用:消费组会把消息派给任意一个空闲 worker,于是同一个用户连发的两句话可能被两个进程同时处理。今天正面解决这件事。读完回到页面顶部把三条目标勾掉。
小白版讲解
一条流随便派件,同一个用户的两句话就会被两个人处理
先把昨天留下的问题摆到台面上。一条流 koda:runs、一个消费组 workers、三个 worker 从同一个货架上取件——这套分摊对彼此无关的任务毫无问题,可我们的任务偏偏彼此有关。
场景是电商客服。用户先发「我要退款」,两秒后补一句「订单号 A1024」。两条消息几乎同时躺在流里,消费组把第一条派给 worker-A、第二条派给 worker-B,谁先跑完取决于当时哪台机器负载低。于是用户很可能先看到「请提供订单号」,再看到「已为您登记退款」——他明明已经给过订单号了。
问题的根子不在总线,在分配的单位:消费组的分配单位是「一条消息」,而业务要求的最小串行单位是「一个用户」。
生活里有现成的解法:城市网格化管理。城管不是「哪个网格员闲着就派他去下一个报修单」,而是先把城区划成固定数量的网格,每个网格常态由一名网格员持牌负责——同一个小区的事永远找同一个人。
网格就是分片(shard),本课固定 256 个。用户 id 哈希取模落到某个 shard,shard 归某个 worker,于是同一个用户的所有消息永远排到同一个 worker 的同一条队列上,顺序天然就是入队顺序。
用户 u-1001 ──shardOf(userId)──▶ shard 68 ──租约──▶ worker-A
用户 u-2077 ──shardOf(userId)──▶ shard 12 ──租约──▶ worker-B
用户 u-3310 ──shardOf(userId)──▶ shard 68 ──租约──▶ worker-A(同一个格子,同一个人)为什么不干脆用 userId 取模 worker 数?因为 worker 数会变,除数一变几乎所有用户的归属都会变、会话被整体搬家。垫一层固定的 256 个 shard,就是把「用户到 shard」钉死,只让「shard 到 worker」随伸缩浮动。
这里得交代一次架构改动,否则你照着昨天的代码往下写会卡住:分片同时改变了流的形状。 消费组的本职就是把消息分摊给任意空闲消费者,而 XREADGROUP 给你哪条取决于流里还剩什么,没有「只读属于我这批 shard 的消息」这种用法。所以 koda:runs 从今天起拆成 256 条子流 koda:runs:s0 到 koda:runs:s255:Gateway 先算 shard 再 XADD 到对应子流,worker 只读自己持有的那几条,消费组退化成「一条子流一个消费者」,分摊的活被租约接管了。代价是流从 1 条变 256 条,监控和积压告警要按子流聚合,XAUTOCLAIM 也要对每条持有的子流各跑一次。不是昨天写错了,是需求变了——D9 那套分摊是为彼此无关的任务设计的。
哈希函数没有玄机,但有一条要求不能松:同一个 userId 在任何进程、任何语言、任何一次重启之后都必须算出同一个 shard。所以用摘要函数,别用语言内置的字符串哈希。
import { createHash } from 'node:crypto'
export const SHARD_COUNT = 256 // 固定值,改它等于一次数据迁移
export function shardOf(userId) {
// 摘要函数天生稳定:同一个输入,换进程、换机器、换语言都是同一个结果
const digest = createHash('sha1').update(userId, 'utf8').digest()
return digest.readUInt32BE(0) % SHARD_COUNT
}import hashlib
SHARD_COUNT = 256 # 固定值,改它等于一次数据迁移
def shard_of(user_id: str) -> int:
# 千万别用内置的 hash():CPython 默认给字符串哈希加了随机盐(PYTHONHASHSEED),
# 同一个 userId 在两个进程里算出不同的值,分片会当场错乱。
digest = hashlib.sha1(user_id.encode("utf-8")).digest()
return int.from_bytes(digest[:4], "big") % SHARD_COUNT// 依赖:java.security.MessageDigest(JDK 自带)
static final int SHARD_COUNT = 256; // 固定值,改它等于一次数据迁移
static int shardOf(String userId) {
try {
byte[] digest = MessageDigest.getInstance("SHA-1")
.digest(userId.getBytes(StandardCharsets.UTF_8));
// String.hashCode() 虽然写进了规范、跨 JVM 稳定,但它是有符号数,直接取模会出现负下标;
// 用 floorMod 兜住,同时改用摘要,保证和其他语言算出同一个 shard。
return Math.floorMod(ByteBuffer.wrap(digest).getInt(), SHARD_COUNT);
} catch (NoSuchAlgorithmException e) {
// 与 D8 的 idempotencyKey 一致:SHA 系列是 JDK 强制提供的,这一支走不到,
// 就地包成非受检异常,免得 worker 循环每一层都跟着带 throws
throw new IllegalStateException(e);
}
}import CryptoKit // 依赖:Foundation + CryptoKit(系统自带)
let shardCount = 256 // 固定值,改它等于一次数据迁移
func shardOf(_ userId: String) -> Int {
// Insecure 只是在提醒「别拿它做密码学」,做分片正合适:要的是稳定分布,不是抗碰撞
let digest = Insecure.SHA1.hash(data: Data(userId.utf8))
let head = digest.withUnsafeBytes { UInt32(bigEndian: $0.loadUnaligned(as: UInt32.self)) }
return Int(head % UInt32(shardCount))
}到这一步「同一个用户永远归同一个格子」已经成立。可格子是死的,人是活的——「谁负责哪个格子」这件事记在哪里,靠什么保证同一时刻只有一个人在负责? 这才是今天真正难的部分。
面试题库
为什么要对 userId 做哈希分片,而不是让消费组随机派发?分片数应该怎么选?Why hash user ids into shards instead of letting the consumer group dispatch freely, and how do you pick the shard count?
国内高频海外高频基础#sharding#consistent-hashing#scalability🔒 解锁本章后查看答题要点。
租约为什么必须配合 TTL?续约为什么要用 Lua 脚本,而不是先 GET 再 PEXPIRE?Why must a lease carry a TTL, and why renew it with a Lua script instead of GET followed by PEXPIRE?
国内高频海外高频进阶#lease#redis#atomicity🔒 解锁本章后查看答题要点。
两个 worker 同时认为自己持有同一个 shard 的租约(脑裂)会造成什么后果,怎么规避?What happens when two workers both believe they hold the same shard lease (split brain), and how do you mitigate it?
国内高频海外高频深入#split-brain#fencing-token#reliability🔒 解锁本章后查看答题要点。
在一个多 worker 的 Agent 服务里,怎么保证同一个用户的消息严格按顺序被处理?In a multi-worker agent service, how do you guarantee that one user's messages are processed in strict order?
国内高频海外高频进阶#ordering#sharding#distributed-systems🔒 解锁本章后查看答题要点。
