第 2 周 · D11🔒 锁定约 5 小时
高级索引:父子文档、摘要索引、上下文检索,以及树状聚合与图检索的取舍
同一批文档可以建出好几种索引结构。这一天实现父子索引与摘要索引,落地上下文检索这一性价比很高的做法,再讲清楚树状递归聚合与图检索各自适合什么问题、贵在哪里,什么时候不该上。
今日目标
- 能实现父子索引与摘要索引,并说明它们分别让哪一类问题变得可回答
- 能落地上下文检索:给每个块补上下文说明,并算清一次性建索引的成本
- 能说清树状递归聚合与图检索解决的是什么问题,以及在什么条件下它们的成本不划算
昨天把功夫下在查询进来之后,今天换一边:查询不动,改索引。读完回到页面顶部把三条目标勾掉。
小白版讲解
同一本书,可以配好几套目录
一本厚书的最后一般不止一个目录:前面是按章节排的目次,后面还有按主题排的索引。**书一个字没变,变的是你按什么给它建卡片。**找「第七章讲什么」翻目次最快,找「所有提到回收站的地方」翻主题索引最快。
检索也一样。前十天我们只建过一种索引:把文档切成块,每块进一次库,查询来了在这批块里找。它对「保留期是多少天」这类问题很好用。但另外三类问题它几乎没办法:
- 命中的块太小,模型看到的是半句话(上下文完整性);
- 块被切下来之后失去了归属,单看不知道说的是谁的保留期(块的自足性);
- 问题要的是全库的一个概括,而不是某几段原文(全局性问题)。
今天要做的,就是在同一批文档上再建几套目录,让这三类问题各自有地方去。索引结构变了,检索器一行不用改——这是本章所有对照实验能成立的前提。
那么问题来了:同一份语料建了三套索引,一个查询进来,凭什么决定走哪一套?
面试题库
父子索引和上下文检索都在补『块被切碎』这个问题,它们的差别到底在哪?Parent-child indexing and contextual retrieval both patch the same problem — chunks losing their context. What actually distinguishes them?
国内高频海外高频进阶#indexing#contextual-retrieval#chunking🔒 解锁本章后查看答题要点。
上下文检索要给每个块调一次模型,这笔一次性成本怎么估?有哪些办法能压下来?Contextual retrieval needs one model call per chunk. How do you estimate that one-off cost, and what levers bring it down?
国内高频海外高频深入#contextual-retrieval#prompt-caching#cost🔒 解锁本章后查看答题要点。
什么样的问题必须上图检索?给一个该上的具体例子和一个不该上的例子。What kind of question actually requires graph retrieval? Give one concrete case where it is justified and one where it is not.
国内高频海外高频深入#graph-rag#multi-hop#cost🔒 解锁本章后查看答题要点。
同一份语料建了三套索引,检索时你怎么决定走哪一套?You have built three different indexes over the same corpus. How do you decide which one a query goes to?
国内高频海外高频进阶#index-routing#evaluation#architecture🔒 解锁本章后查看答题要点。
