第一周综合:把六天的零件装成一个可一键启动的检索问答服务并复盘
把前六天的解析、切块、索引、检索、组装、生成拼成一个真正的服务:一条摄取命令、一个问答接口、一份配置说明,用 Docker 一键起来,然后回头复盘这一周每个决定的依据和留下的技术债。
今日目标
- 能把摄取与查询两条链路拆成清晰的模块边界,并说明每个模块可以被单独替换的理由
- 能用一条命令把服务连同数据库一起起来,并跑通从投喂文档到得到带引用回答的全过程
- 能列出这一周留下的三项技术债,并说明第二周分别在哪一天偿还
今天不学新原理。前六天你已经把六个零件各做了一遍,今天要做的是把它们装成一台能开门营业的机器,然后回头看看这一周的每个决定还站不站得住。读完回到页面顶部把三条目标勾掉。
小白版讲解
六个工种验收完了,图书馆还没开门
这一周我们一直在借图书馆打比方:语料是馆藏,切块是把书拆成词条,索引是卡片目录,检索是按目录找书,引用是论文末尾的参考文献。到今天为止六个工种的活儿都干完了——书运进来了、词条拆好了、目录做了关键词与向量两套、找书和标出处的规矩也都定了。
但图书馆还没开门,因为没有人能走进来。前六天每个 lab 都是一个跑完就退出的脚本:你敲一条命令,看一眼输出,然后关掉。真实世界里没人会这么用知识库,他要的是一个地址,把文档丢进去,然后随时能问。
从「六个脚本」到「一个服务」,中间隔着的不是代码量,是边界。脚本里所有东西都可以互相调用,因为反正一次性跑完就没了;服务里不行。服务要长期运行、要被别人改、要在第二周里被换掉一半的零件而不推倒重来。所以今天真正要做的决定只有一个:这台机器切成几块,切口在哪。
切口的判据不是「代码量差不多」,也不是「按功能分类」,而是这一句:
哪一层将来最可能被整个换掉,哪里就是切口。
按这条标准过一遍这一周,三刀的位置很清楚:embedding 模型一年里会换好几次,换一次意味着库里所有向量作废、全量重算;存储可能从 PostgreSQL 换成专用向量库,而且不管换不换,两条链路都得通过它说话;切块策略在第二周还要反复调。
第一刀先落在 embedding 上。接口就用 D2 定下的那个签名,一个字都不改:
// 全课统一的向量化接口:14 天都是这个签名,不许改名
export type Embedder = (
texts: string[],
opts?: { dimensions?: number }
) => Promise<number[][]>
export interface EmbeddingBackend {
name: string // 写进 chunk_embeddings.model,用来判断库里的向量是不是当前模型算的
dimensions: number
embed: Embedder
}
export function createEmbedder(cfg) {
// 三个后端,同一个签名:离线哈希、本地开源模型、调接口。
// 上层代码永远不知道自己拿到的是哪一个
if (useMock) return { name: `mock-hash-${dims}`, dimensions: dims, embed: hashBackend }
return { name: `${cfg.model}-${dims}`, dimensions: dims, embed: openaiBackend }
}from typing import Protocol
class EmbeddingBackend(Protocol):
"""全课统一的向量化接口:14 天都是这个签名,不许改名"""
name: str # 写进 chunk_embeddings.model,用来判断库里的向量是不是当前模型算的
dimensions: int
async def embed(self, texts: list[str], dimensions: int | None = None) -> list[list[float]]: ...
def create_embedder(cfg) -> EmbeddingBackend:
# 三个后端,同一个签名:离线哈希、本地开源模型、调接口。
# 上层代码永远不知道自己拿到的是哪一个
if use_mock:
return HashBackend(dimensions=cfg.dimensions)
return OpenAIBackend(model=cfg.model, dimensions=cfg.dimensions)注意这层抽象的理由不是「面向接口编程是好习惯」这种空话,而是非常具体的一件事:换模型一年会真的发生,每次你都只想改一个配置项、跑一次重建,而不是翻遍全仓库找调用点。代价同样具体——多一层间接,调试时要多跳一次。**值不值,看那件事会不会真的发生。**不会发生的别抽象,那叫过度设计。
面试题库
你会怎么划分一个检索增强生成系统的模块边界?其中哪一层最应该做成可替换的,为什么?How would you draw the module boundaries of a RAG system, and which layer most needs to be swappable? Why?
国内高频海外高频基础#architecture#modularity#embeddings🔒 解锁本章后查看答题要点。
摄取链路和查询链路应该共享哪些代码?强行复用会带来什么具体问题?What should the ingestion path and the query path share, and what concretely goes wrong when you over-share?
国内高频海外高频进阶#architecture#ingestion#retrieval🔒 解锁本章后查看答题要点。
一个检索问答服务上线前你会做哪三项检查?为什么偏偏是这三项?What three checks would you run before shipping a retrieval QA service, and why those three?
国内高频海外高频进阶#production-readiness#citations#refusal🔒 解锁本章后查看答题要点。
你刚拼出来的这个检索问答系统,现在最大的风险在哪里?你打算怎么证明这个判断?What is the biggest risk in the RAG service you just assembled, and how would you prove that judgment?
国内高频海外高频深入#evaluation#risk-assessment#retrospective🔒 解锁本章后查看答题要点。
