逐日AI微信小程序
14 天 RAG:从检索到可信回答
第 2 周 · D9🔒 锁定约 5 小时

混合检索与重排:两路召回、倒数排名融合,再用交叉编码器把前几名重新排一遍

关键词检索和向量检索各有各的盲区,把两路结果用倒数排名融合合起来往往立竿见影;再拿一个交叉编码器对前几十条做精排,用第八天的评估证明每一步各贡献了多少。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能说清关键词检索与向量检索各自的盲区,并举出一个只有对方能命中的查询
  2. 能实现倒数排名融合并解释为什么它比按分数加权更稳
  3. 能说明双编码器与交叉编码器的结构差异,以及重排为什么只能用在前几十条上

昨天你给第一周那套系统装了一杆秤,量出了 87.5% 的召回率和一个已经顶格的平均倒数排名。今天开始用这杆秤称东西:把两路检索合起来、再加一层重排,逐档量它们各自值多少钱。读完回到页面顶部把三条目标勾掉。

小白版讲解

两个侦探:一个查字面线索,一个查动机

一桩案子交给两位侦探。第一位只认物证:现场留下的指纹、鞋印、写着名字的收据,一个字对得上就锁定,对不上就当没看见。第二位不看物证,专看动机:谁最近缺钱、谁跟死者有过节、谁的说辞前后不一致——他说不出哪一条铁证指向凶手,但他能圈出一批"这类人"。

关键词检索就是第一位侦探。你问"年假当年没休完最多能结转几天到次年",它去倒排索引里找"年假""结转""次年"这几个词,谁包含得多、谁的这些词更罕见,谁就排前面。公式和两个修正项在 第 1 天 已经拆过,今天不重讲。它的强项是精确:你说"周敏",它就找"周敏",绝不会给你返回一个"李强"。它的盲区也在这里——换个说法它就瞎了。

向量检索是第二位侦探。它把查询和文档各自压成一串数字,比的是方向而不是字面。"口令"和"密码"在向量空间里离得很近,哪怕两个词一个字都不重合。它的盲区是不精确:你问"周敏",它可能给你一批"某某组长"的段落,因为"组长的名字"这件事在语义上确实相近。

这不是"哪个更好"的问题,是两个人擅长的案子不一样。我在本天实验的这份 30 篇语料上验过一对(块级检索,134 块,MOCK=1 的哈希向量):

  • 问"排障用的记录会存多长时间才被清掉",答案在 doc-022(讲日志保留期)。关键词一路把它排到第 3 名,向量一路前 10 名里根本没有它。
  • 问"员工改用公司统一身份进系统以后,原来的口令还有效吗",答案在 doc-002(讲单点登录与密码策略)。关键词一路前 10 名里一条都没有——因为"口令"这个词整份语料里就没出现过,而"统一身份""员工"这些词又太常见、分不出高下;向量一路把它排到了第 3 名。

同一份语料、同一套索引,两个查询各自把一位侦探问倒了。那就别让他们单干——问题在于,怎么把两个人的结论合到一张纸上?

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 混合检索为什么普遍用倒数排名融合,而不是把两路分数归一化之后加权相加?加权那条路在什么情况下会失控?Why do hybrid retrieval systems usually use reciprocal rank fusion instead of normalizing both scores and adding them with weights? When does the weighted approach break down?
    国内高频海外高频进阶#hybrid-search#rank-fusion

    🔒 解锁本章后查看答题要点。

  • 交叉编码器为什么比双编码器准?既然更准,为什么不干脆拿它直接检索全库?Why is a cross-encoder more accurate than a bi-encoder? And if it is more accurate, why not just use it to search the whole corpus directly?
    国内高频海外高频基础#cross-encoder#bi-encoder

    🔒 解锁本章后查看答题要点。

  • 你把纯向量检索换成了混合检索加重排,上线之后评估指标反而掉了。你会怎么排查?You replaced pure vector retrieval with hybrid search plus reranking, and after shipping it your eval metrics went down. How do you investigate?
    国内高频海外高频深入#hybrid-search#evaluation

    🔒 解锁本章后查看答题要点。

  • 加上重排之后每次提问多了两百毫秒延迟,还多了一笔按次计费的开销。你怎么判断这笔钱该不该付?Adding a reranker costs you 200 ms of extra latency per question plus a per-search fee. How do you decide whether that spend is worth it?
    国内高频海外高频深入#rerank#cost-tradeoff

    🔒 解锁本章后查看答题要点。

评论