逐日AI微信小程序
14 天 RAG:从检索到可信回答
第 2 周 · D8🔒 锁定约 5 小时

评估先行:搭 golden set、算召回与排序指标、用模型当裁判判忠实度

第二周的每一项优化都要拿数据说话,所以先建评估。这一天从零构造一份标准问答集,实现召回率、平均倒数排名与归一化折损累计增益三个检索指标,再用模型当裁判评忠实度与答案相关性,最后跑出第一周系统的基线报告。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能从真实语料出发构造一份 golden set,并说明为什么它必须包含无答案问题和多跳问题
  2. 能实现召回率、平均倒数排名与归一化折损累计增益三个指标,并说清各自敏感于什么
  3. 能设计一个模型裁判的提示词并用人工抽检验证它靠不靠谱,而不是无条件信任它的分数

第一周你把系统跑起来了,但一直没法回答一个问题:它到底好不好?今天就是来装这把秤的。读完回到页面顶部把三条目标勾掉。

小白版讲解

没有秤就别谈减肥

一个人下决心减肥,第一个月改吃沙拉,第二个月开始跑步,第三个月又戒了夜宵。三个月后他瘦了吗?他自己也说不清——因为家里根本没有秤。他只能凭"裤子好像松了一点"来判断,而这种判断在心情好的日子里格外准确。

第一周结束时,你的检索问答系统就处在这个状态。D4 你换了切法,D5 你调了索引参数,D7 你把两路检索融合到一起,每一步你都觉得"应该更好了"。但如果我现在问你:把向量那一路的权重从 0.6 调到 0.8,会更好还是更差?你只能猜。

秤的价值不在于告诉你现在多少斤,而在于让"这个改动有没有用"变成一个可以回答的问题。所以第二周的第一天不做任何优化——先把秤造出来。从今天起,这门课里"该不该上重排""该切多大""要不要做查询改写"这类问题,唯一合法的答案是:跑一遍评估,看数字。

一把秤要有两样东西:一组固定的被测对象,和一套读数的规则。前者叫标准答案集(golden set),后者就是指标。可惜这两样都不能直接拿来用——现成的公开评测集里全是维基百科问答,跟你的公司知识库没有半点关系;而指标看起来有一堆现成的名字,实际选错了会让你看着数字往上走、用户体验往下掉。

最后说一件最容易被跳过的事:造秤是有成本的。20 道题标好答案文档,我在实验里花了两小时。很多团队跳过它,理由是"先做起来再说",结果三个月后系统改了二十版,没有一版说得清自己强在哪——那不是省了两小时,是把三个月的工作变成了不可验证的。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 让你从零给一个公司知识库的 RAG 系统建评估集,你会怎么做?多少题才算够用?You need to build an evaluation set from scratch for a RAG system over a company knowledge base. How would you do it, and how many questions are enough?
    国内高频海外高频进阶#evaluation#golden-set#rag

    🔒 解锁本章后查看答题要点。

  • 召回率、平均倒数排名、归一化折损累计增益,这三个检索指标分别在什么故障下会先掉下来?只盯一个会漏掉什么?Recall, mean reciprocal rank, and normalized discounted cumulative gain - which failure mode does each one catch first, and what do you miss by watching only one?
    国内高频海外高频进阶#retrieval-metrics#evaluation#ranking

    🔒 解锁本章后查看答题要点。

  • 用模型当裁判来评 RAG 的忠实度,有哪些系统性偏差?你怎么发现它们、又怎么证明你的裁判可信?What systematic biases does an LLM judge have when scoring RAG faithfulness, and how do you detect them and prove your judge is trustworthy?
    国内高频海外高频深入#llm-as-judge#evaluation#faithfulness

    🔒 解锁本章后查看答题要点。

  • RAG 的评估集里为什么一定要放语料里没有答案的问题?不放会掩盖什么?Why must a RAG evaluation set include questions the corpus cannot answer, and what does leaving them out hide?
    国内高频海外高频基础#evaluation#abstention#golden-set

    🔒 解锁本章后查看答题要点。

评论