逐日AI微信小程序
14 天 RAG:从检索到可信回答
第 1 周 · D6🔒 锁定约 5 小时

生成这一侧:上下文怎么排、引用怎么标、什么时候必须拒答,以及流式回答

检索拿回一堆块之后,真正决定用户体验的是怎么组装、怎么让模型标出处、怎么在证据不足时闭嘴。这一天写出一个带可验证引用与拒答策略的问答接口,并把回答做成流式输出。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能设计一份提示词结构,让模型只依据给定材料回答并按块编号标出处
  2. 能实现引用的事后校验,把模型编造的出处在返回给用户之前拦下来
  3. 能说明拒答的两条触发线:检索分数太低和材料之间互相矛盾,并各写出处理方式

前五天全在讲怎么把材料找回来。今天调转方向,只讲材料回来之后的事——这一侧写坏了,前五天的功夫一分都留不住。读完并做完实验之后,回到页面顶部把这三条目标逐一勾掉。

小白版讲解

法庭上的证据链

法庭上有一条规矩:律师不能凭记忆陈述事实。他说"这份合同在三月十二日签署",法官不会因为他说得笃定就采信,一定要问"依据是哪一份证据、第几页"。律师报出编号、当庭念出那一行,书记员核对无误,这句话才进笔录。重点不在律师诚不诚实,而在于每一句话都有一条能被独立核对的链子。

现在把角色对上号。模型是律师,检索回来的块是证据,你的服务端代码是那个核对编号的书记员。前五天做的是取证:把材料找齐找准。今天做的是庭审规程:材料怎么摆上桌、结论怎么标出处、书记员怎么核对、核不上时怎么办。

这里有一个必须先接受的前提:模型标出来的引用,默认是不可信的。 它不是在撒谎,只是在做它一直在做的事——预测下一段文字最可能长什么样。一句结论后面跟一个方括号编号,这个模式它见过千万次,所以会写得非常自然、非常像真的。它编一个不存在的编号,和编一个不存在的 API 参数,是同一种行为。

所以今天真正的分水岭是这一句:引用的可信度不能来自模型的自觉,只能来自代码的事后核对。 提示词里写十遍"请确保引用准确",增益接近于零;代码里加二十行核对逻辑,编造的引用一条都出不去。这条判断决定了后面所有的设计。

D1 的最后留了两个短板,第二个今天就还:语料里那两篇关于文件上传上限的文档,一篇说 200 MB、一篇说 100 MB,检索会把它们一起捞回来,而模型面对两个打架的数字,默认行为是挑一个更像的说出来,还说得同样笃定。庭审规程要解决的正是这种时刻。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 怎么让模型的引用是真的而不是编的?说出一个不依赖模型自觉的方案。How do you make sure a model's citations are real rather than fabricated? Describe a scheme that does not rely on the model behaving well.
    国内高频海外高频进阶#citation-verification#grounding#hallucination

    🔒 解锁本章后查看答题要点。

  • 上下文里材料的排列顺序会影响回答质量吗?如果会,你会怎么排?Does the ordering of retrieved passages in the context affect answer quality? If so, how would you order them?
    国内高频海外高频基础#context-assembly#prompt-engineering#ordering

    🔒 解锁本章后查看答题要点。

  • 知识库问答的拒答阈值怎么定?定高了和定低了各自的代价是什么?How do you set the refusal threshold for a knowledge-base assistant, and what does it cost you when the threshold is too high or too low?
    国内高频海外高频深入#refusal#thresholds#evaluation

    🔒 解锁本章后查看答题要点。

  • 流式输出的场景下,你怎么保证吐出去的内容不会因为引用校验失败而需要撤回?In a streaming setup, how do you make sure nothing you have already sent needs to be retracted because its citation failed verification?
    国内高频海外高频深入#streaming#citation-verification#api-design

    🔒 解锁本章后查看答题要点。

评论