综合项目与复盘:多租户企业知识库问答,一张 RAG 决策地图与面试专题
把十三天的东西收成一个可以放进作品集的项目:多租户、带引用、有评估面板的企业知识库问答。然后把整门课压缩成一张决策地图,回答面试里最常被追问的那些问题。
今日目标
- 能把前十三天的模块组装成一个多租户、带引用与评估面板的完整项目并说清架构
- 能画出一张 RAG 决策地图,面对一个新需求时按图给出该用哪套配置及其理由
- 能面对面试里的追问,用本课的数据和取舍说清自己每一个技术选择
今天不讲任何新原理。前十三天每一天都留下了一个零件和一组数字,今天只做三件事:把零件装起来、把数字收成一张地图、把这张地图变成你在面试里能讲出口的东西。读完回到页面顶部把三条目标勾掉。
小白版讲解
一、作品集项目的三个判据
先说一件不太好听的事:「我做过一个 RAG 项目」这句话在面试里的信息量接近于零。 现在人人都做过。真正把人分开的是接下来那三个追问——你怎么知道它好用?哪个决定你现在会改?如果只能再做三件事,你做哪三件?
所以一个能进作品集的项目,判据不是「功能多」,而是这三条:
第一,能演示。 五分钟之内,你要能投喂一份文档、问一个问题、点开引用看到原文、再打开面板看到指标。做不到这一串,你的项目在别人眼里就只是一段 README。这也是为什么今天的实验最后要求你写一段演示脚本——演示路径本身就是一次设计评审,走不顺的地方通常就是设计有问题的地方。
第二,能讲清取舍。 每一个配置项后面都要有一句「因为什么,所以选它」,而且那个「因为」最好是你自己量出来的。原料前十三天已经替你攒够了:为什么先做 BM25 再上向量、为什么重排只作用于前二十条、为什么门槛卡在原始分而不是融合分——每一条背后都有一次实测。
第三,有可复现的数据。 不是「效果不错」,而是「在这份三十篇语料、这二十道题、六百 token 预算下,召回率 93.8%、多跳档 75.0%、无答案题拒答率 0.0%」。最后那个 0.0% 尤其要写出来——一份只报好数字的项目说明,比不报数字更可疑。
这三条里最难的是第二条。取舍的原料你已经有了,但十三天散落的几十个结论怎么组织成一件能随身带走、遇到新需求就能翻开的东西?那需要一张地图。
面试题库
给你一个五百万文档、要求秒级响应、准确率优先的知识库场景,你会怎么设计这套系统?You are handed a knowledge base of five million documents that must answer in about a second, with accuracy as the top priority. How would you design it?
国内高频海外高频深入#system-design#scaling#latency-budget🔒 解锁本章后查看答题要点。
你做过的这个 RAG 项目里,哪个决定你现在会改?为什么?Looking back at the RAG project you built, which decision would you change now, and why?
国内高频海外高频深入#retrospective#evidence#chunking🔒 解锁本章后查看答题要点。
怎么向不懂技术的业务方证明你的检索系统真的变好了?How do you convince a non-technical stakeholder that your retrieval system actually got better?
国内高频海外高频基础#evaluation#stakeholder-communication#abstention🔒 解锁本章后查看答题要点。
RAG 系统上线后用户反馈「答得不准」,你的排查顺序是什么?Users report that your live RAG system 'answers inaccurately'. What is your triage order?
国内高频海外高频进阶#debugging#failure-modes#observability🔒 解锁本章后查看答题要点。
如果预算只够做三件事来提升一个已有 RAG 系统的效果,你选哪三件?为什么是这三件?If you could only fund three changes to improve an existing RAG system, which three would you pick and why those three?
国内高频海外高频进阶#prioritization#evaluation#abstention🔒 解锁本章后查看答题要点。
