逐日AI微信小程序
5 天上下文工程
第 1 周 · D3🔒 锁定约 4 小时

工具结果与检索的上下文管理:按需加载、摘要与裁剪、结构化返回

工具定义和工具结果是上下文里最容易爆的两块。这一天给出裁剪工具清单的判据、按需加载与结构化返回的写法,并实现一个能量化前后差距的裁剪器。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能说出工具清单膨胀带来的两类问题,并给出一套按任务裁剪工具的判据
  2. 能实现一个工具结果裁剪器,按字段白名单、长度上限与陈旧结果丢弃三条规则压缩
  3. 能解释按需加载与预先检索各适合什么场景,并说出混合策略怎么搭

昨天治的是你自己写的那一块。今天治的是外部系统吐给你的那两块——工具定义和工具结果,D1 的剖面里它们合起来占了八成以上。读完回来把三条目标勾掉。

小白版讲解

别把整个衣柜塞进箱子

系统提示是你自己写的,长度你说了算。工具结果不是:你调一次订单查询,接口吐回来多少字段、每个字段多长,是对方的服务决定的。你在写代码的时候根本不知道它会有多大。

这就是它成为四块里最容易爆的那一块的根本原因。D1 的实验里,一次订单查询返回 1659 token,一次商品搜索返回 2803 token——而这两个接口在设计的时候压根没考虑过「有个语言模型要按 token 付费地读它」。它们返回 audit_log、internal_flags、supplier_code、shelf,因为对一个前端页面来说,多返回几个字段几乎不要钱。

于是你的上下文里出现了一件很荒唐的事:模型在花钱读一堆它永远不会用到的审计日志。 更糟的是,这些内容不只是浪费预算,它们还在按 D1 讲过的方式稀释注意力——真正有用的那个 status 字段,淹在十八条 state_transition 记录中间。

一句话总结今天要建立的意识:工具返回的东西是给程序看的,不是给模型看的。中间必须有一层你自己的裁剪。

而在动手裁之前,还有一个更前置的问题要解决:你到底该挂多少个工具? 这个问题的答案会直接改变后面所有的数字。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • Agent 挂了三十个工具,明显吃不消了。你会怎么裁?依据是什么?An agent has thirty tools mounted and it is clearly struggling. How do you cut the list, and on what basis?
    国内高频海外高频进阶#tool-design#tool-budget

    🔒 解锁本章后查看答题要点。

  • 按需加载和预先检索怎么选?混合策略应该怎么搭?How do you choose between just-in-time loading and pre-inference retrieval, and how would you combine them?
    国内高频海外高频进阶#retrieval#just-in-time#hybrid

    🔒 解锁本章后查看答题要点。

  • 为什么说工具返回的内容是不可信输入?做了字段白名单裁剪之后还需要担心吗?Why are tool results untrusted input, and does field whitelisting make the concern go away?
    国内高频海外高频深入#prompt-injection#trust-boundary

    🔒 解锁本章后查看答题要点。

评论