封装成服务:Fastify + SSE + Docker(dg P07);W1 复盘
把前六天写的 Agent 封装成一个可以被前端和其他服务调用的 Fastify 服务,用 SSE 推流并用 Docker 打包,收尾第一周。
今日目标
- 能用 Fastify 暴露一个支持 SSE 流式输出的聊天接口
- 能把 Agent 服务写成 Dockerfile 并本地构建、运行成功
- 能用一句话总结第一周从 LLM API 到 Pi SDK 学到的关键概念
前六天写的代码都是同一种跑法:在自己的终端里敲一行命令,看输出,按 Ctrl+C,只服务你一个人。今天把它变成别人能调用的东西——有地址、有接口约定、能被前端连上、能打包带到任何一台机器上跑。这是 W1 的最后一步,也是 W2 拆分架构的起点。读完回来勾掉上面三条。
小白版讲解
从脚本到服务:接口一公开,假设就全变了
在自己家厨房做饭,你不用考虑几点开门、同时来五桌、客人点了菜单上没有的东西。开门营业那一刻这些问题一个都躲不掉——不是你的菜变了,是使用它的方式变了。
CLI 脚本变成服务也是同一件事。前六天的代码里藏着三个没被挑战过的假设:只有一个用户,那份历史天然属于你,不用问「这条消息是谁的」;串行执行,不存在两件事同时改同一份状态;输入可信,参数是你自己敲的,不会是十兆字节的字符串或缺字段的 JSON。三条在服务里全部不成立,第一条翻车最快也最难查——它在本地单人测试时表现完美。
还有一条更隐蔽,而且昨天刚被你解决过一次:D6 你已经把会话写进了 .sessions/*.jsonl,另起一个进程也读得回来。但服务化之后这条路立刻失效——为了扛并发你会起两个实例,各写各的本地盘,用户第二次请求被负载均衡打到另一台,那台磁盘上根本没有他的历史。D6 解决的是「进程重启」,服务化引入的是「多实例」,不是同一个问题。 所以今天先退一步,把历史放回进程内存、按会话隔离,让服务先跑起来;挪到独立于任何一台实例的地方是 D8 的事,也正是下周要拆 Gateway 与 Worker 的动机。
// 脚本时代:全世界只有一个用户,一个模块级数组就够了
// const history = []
// 服务里两个人同时聊天,就会写进同一个数组,A 会看到 B 的对话
// 正确做法:按会话隔离
const histories = new Map()
function historyOf(sessionId) {
if (!histories.has(sessionId)) histories.set(sessionId, [])
return histories.get(sessionId)
}
// 注意:Map 只是退一步的临时方案——D6 的本地文件在多实例下失效,D8 换成 Postgresfrom collections import defaultdict
# defaultdict 省掉「不存在就先建一个」的样板代码
histories: defaultdict[str, list[dict]] = defaultdict(list)
def history_of(session_id: str) -> list[dict]:
return histories[session_id]
# 提醒:多 worker 部署时每个进程各有一份这样的字典,
# 同一个用户第二次请求落到另一个 worker 就查不到历史了// 服务端天生多线程:普通 HashMap 在并发写下会丢数据,
// 用 ConcurrentHashMap + computeIfAbsent 一步拿到或创建,整个操作是原子的
static final Map<String, List<Message>> HISTORIES = new ConcurrentHashMap<>();
static List<Message> historyOf(String sessionId) {
return HISTORIES.computeIfAbsent(sessionId,
key -> Collections.synchronizedList(new ArrayList<>()));
}// Swift 的地道做法是 actor:编译器保证同一时刻只有一个任务在改这份状态,
// 不需要你自己加锁,也不可能忘记加
actor SessionStore {
private var histories: [String: [Message]] = [:]
func history(for sessionID: String) -> [Message] {
histories[sessionID] ?? []
}
func append(_ message: Message, to sessionID: String) {
histories[sessionID, default: []].append(message)
}
}四份代码解决同一个问题,但各语言的默认危险程度不同:JavaScript 单线程让你侥幸躲过一部分并发问题,Java 必须显式选并发容器,Swift 用 actor 从类型层面禁止你写错。换语言做服务,第一件要问的是「并发安全由谁负责」。
会话隔离只是入场券。接口设计还有四个决定:接口形状(一次性返回完整 JSON 还是边生成边推)、会话标识(客户端带 sessionId 还是服务端发 cookie)、鉴权与限流、错误怎么表达。
最后一条最容易漏,也最要命:流式接口的错误没法用 HTTP 状态码表达。 200 和第一个字节一旦写出去,状态码就已经在网络上了;之后模型超时、余额不足、上游 500,都只能在流里补发一个约定好的 error 事件。所以接口文档必须写清楚正常、结束、出错三种事件各叫什么,并在推流之前把能校验的都校验完——那是你最后一次能用状态码好好说话的机会。
接口约定定下来之后,真正难的是那条一直开着的连接本身:响应头写错浏览器直接拒收,空闲两分钟被网关无声掐断,用户关掉页面而你还在为他一个字一个字地烧钱。下面从起服务开始,一件一件解决。
面试题库
流式返回大模型回复,你会选 SSE 还是 WebSocket?为什么?For streaming LLM responses, would you pick SSE or WebSocket, and why?
国内高频海外高频基础#sse#streaming#api-design🔒 解锁本章后查看答题要点。
把一个本地跑的 Agent 脚本改造成生产服务,接口层要重点考虑哪些事?When turning a local agent script into a production service, what does the interface layer have to get right?
国内高频海外高频进阶#api-design#service-architecture#streaming🔒 解锁本章后查看答题要点。
把一个 Node 服务打包成 Docker 镜像,Dockerfile 里有哪些关键决定?What are the key decisions in a Dockerfile that packages a Node service?
国内高频海外高频进阶#docker#deployment#nodejs🔒 解锁本章后查看答题要点。
一个 SSE 长连接服务上线,心跳、连接断开处理和优雅退出分别在解决什么问题?For a long-lived SSE service in production, what problems do heartbeats, disconnect handling and graceful shutdown each solve?
国内高频海外高频深入#sse#reliability#deployment🔒 解锁本章后查看答题要点。
自我介绍时,怎么在两分钟里讲清楚一个 Agent 项目的价值?In a two-minute self-introduction, how do you convey the value of an agent project?
国内高频海外高频基础#interview-prep#communication🔒 解锁本章后查看答题要点。
