逐日AI微信小程序
14 天 RAG:从检索到可信回答
第 1 周 · D4🔒 锁定约 5 小时

切块策略:固定、递归、按结构、父子与语义五种切法,以及用评估而不是直觉来选

切块是整条链路里最容易凭感觉决定、又最影响结果的一步。这一天把五种主流切法逐个实现并说明各自的适用面,讲清楚重叠区与上下文块头的作用,最后用一组固定问题把五种切法拉到同一把尺子下比较。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能说清固定长度、递归、按文档结构、父子、语义五种切法各自的假设与失效场景
  2. 能解释重叠区和上下文块头分别在补救什么问题,并说明它们各自的代价
  3. 能设计一组问题把不同切法的检索命中率量化对比,用数据而不是直觉做决定

昨天你把 PDF、HTML、Markdown 三类来源统一成了一串带标题路径的节点,解析这一关过了。今天要回答的是紧接着的那个问题:这串东西该按多大的粒度切开、切在哪里,才能被检索到。读完回到页面顶部把三条目标勾掉。

小白版讲解

一、切菜:块太大调料进不去,块太小尝不出是什么菜

我家做红烧肉有一条铁律:肉块要切成两厘米见方。切成五厘米,外面咸了里面还是白的,酱汁根本进不去;切成半厘米,倒是入味了,可炖完之后满锅都是碎渣,你夹起一块来分不清这到底是五花还是里脊。

切块(chunking)面对的是同一个矛盾,只是两头的代价换了名字。

块太大,调料进不去。 检索是拿问题去和块比对。一个两千字的块里可能只有一句话跟问题有关,剩下一千九百多字全是噪声,把这句话的信号稀释掉了。就算它被检索到了,塞进模型上下文的也是这两千字——你为一句话付了一整块的钱,还占掉了别的块本来可以进来的位置。

块太小,尝不出是什么菜。 一个三十字的块写着「保留期是 30 天,到期自动彻底删除」。这句话本身很精确,但它说的是谁的保留期?回收站?日志?备份?块被切下来的那一刻,它就和上下文失去了联系,变成一句谁也认不出的孤立陈述。检索能捞到它,模型却答不出所以然。

所以切块从来不是「选一个数」,而是在信噪比和完整度这两个互相拉扯的量之间找一个位置。这也是为什么网上那些「就用 512 token、重叠 50」的建议看起来都对,用起来又都不太对——它们省略了前提:什么样的文档、什么样的问题、给检索留了多少上下文预算。

今天要做的事情很具体:把五种主流切法实现在同一个接口下,用同一份语料各切一遍,再用同一批问题量出它们的命中率。这一天之后,「块该切多大」在你这里就不是一个观点问题,而是一条命令的输出。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 你怎么决定切块大小?说出你会看的两个指标和一个反例。How do you decide on chunk size? Name two metrics you would look at, and one counterexample.
    国内高频海外高频进阶#chunking#evaluation

    🔒 解锁本章后查看答题要点。

  • 父子切块的收益是什么?它在什么情况下反而会拖慢系统?What does parent-child chunking buy you, and when does it slow the system down instead?
    国内高频海外高频进阶#chunking#parent-child

    🔒 解锁本章后查看答题要点。

  • 重叠区设成块长的百分之多少合适?重叠过大会带来什么具体问题?What overlap ratio would you use, and what concretely goes wrong when the overlap is too large?
    国内高频海外高频基础#chunking#overlap

    🔒 解锁本章后查看答题要点。

  • 语义切分比递归切分贵不少,你怎么向团队证明这笔钱值得花?Semantic chunking costs considerably more than recursive splitting. How would you prove to your team that the money is well spent?
    国内高频海外高频深入#chunking#evaluation#cost

    🔒 解锁本章后查看答题要点。

评论