逐日AI微信小程序
14 天 RAG:从检索到可信回答
第 2 周 · D11🔒 锁定约 5 小时

高级索引:父子文档、摘要索引、上下文检索,以及树状聚合与图检索的取舍

同一批文档可以建出好几种索引结构。这一天实现父子索引与摘要索引,落地上下文检索这一性价比很高的做法,再讲清楚树状递归聚合与图检索各自适合什么问题、贵在哪里,什么时候不该上。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能实现父子索引与摘要索引,并说明它们分别让哪一类问题变得可回答
  2. 能落地上下文检索:给每个块补上下文说明,并算清一次性建索引的成本
  3. 能说清树状递归聚合与图检索解决的是什么问题,以及在什么条件下它们的成本不划算

昨天把功夫下在查询进来之后,今天换一边:查询不动,改索引。读完回到页面顶部把三条目标勾掉。

小白版讲解

同一本书,可以配好几套目录

一本厚书的最后一般不止一个目录:前面是按章节排的目次,后面还有按主题排的索引。**书一个字没变,变的是你按什么给它建卡片。**找「第七章讲什么」翻目次最快,找「所有提到回收站的地方」翻主题索引最快。

检索也一样。前十天我们只建过一种索引:把文档切成块,每块进一次库,查询来了在这批块里找。它对「保留期是多少天」这类问题很好用。但另外三类问题它几乎没办法:

  • 命中的块太小,模型看到的是半句话(上下文完整性);
  • 块被切下来之后失去了归属,单看不知道说的是谁的保留期(块的自足性);
  • 问题要的是全库的一个概括,而不是某几段原文(全局性问题)。

今天要做的,就是在同一批文档上再建几套目录,让这三类问题各自有地方去。索引结构变了,检索器一行不用改——这是本章所有对照实验能成立的前提。

那么问题来了:同一份语料建了三套索引,一个查询进来,凭什么决定走哪一套?

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 父子索引和上下文检索都在补『块被切碎』这个问题,它们的差别到底在哪?Parent-child indexing and contextual retrieval both patch the same problem — chunks losing their context. What actually distinguishes them?
    国内高频海外高频进阶#indexing#contextual-retrieval#chunking

    🔒 解锁本章后查看答题要点。

  • 上下文检索要给每个块调一次模型,这笔一次性成本怎么估?有哪些办法能压下来?Contextual retrieval needs one model call per chunk. How do you estimate that one-off cost, and what levers bring it down?
    国内高频海外高频深入#contextual-retrieval#prompt-caching#cost

    🔒 解锁本章后查看答题要点。

  • 什么样的问题必须上图检索?给一个该上的具体例子和一个不该上的例子。What kind of question actually requires graph retrieval? Give one concrete case where it is justified and one where it is not.
    国内高频海外高频深入#graph-rag#multi-hop#cost

    🔒 解锁本章后查看答题要点。

  • 同一份语料建了三套索引,检索时你怎么决定走哪一套?You have built three different indexes over the same corpus. How do you decide which one a query goes to?
    国内高频海外高频进阶#index-routing#evaluation#architecture

    🔒 解锁本章后查看答题要点。

评论