第 1 周 · D3🔒 锁定约 4 小时
工具结果与检索的上下文管理:按需加载、摘要与裁剪、结构化返回
工具定义和工具结果是上下文里最容易爆的两块。这一天给出裁剪工具清单的判据、按需加载与结构化返回的写法,并实现一个能量化前后差距的裁剪器。
今日目标
- 能说出工具清单膨胀带来的两类问题,并给出一套按任务裁剪工具的判据
- 能实现一个工具结果裁剪器,按字段白名单、长度上限与陈旧结果丢弃三条规则压缩
- 能解释按需加载与预先检索各适合什么场景,并说出混合策略怎么搭
昨天治的是你自己写的那一块。今天治的是外部系统吐给你的那两块——工具定义和工具结果,D1 的剖面里它们合起来占了八成以上。读完回来把三条目标勾掉。
小白版讲解
别把整个衣柜塞进箱子
系统提示是你自己写的,长度你说了算。工具结果不是:你调一次订单查询,接口吐回来多少字段、每个字段多长,是对方的服务决定的。你在写代码的时候根本不知道它会有多大。
这就是它成为四块里最容易爆的那一块的根本原因。D1 的实验里,一次订单查询返回 1659 token,一次商品搜索返回 2803 token——而这两个接口在设计的时候压根没考虑过「有个语言模型要按 token 付费地读它」。它们返回 audit_log、internal_flags、supplier_code、shelf,因为对一个前端页面来说,多返回几个字段几乎不要钱。
于是你的上下文里出现了一件很荒唐的事:模型在花钱读一堆它永远不会用到的审计日志。 更糟的是,这些内容不只是浪费预算,它们还在按 D1 讲过的方式稀释注意力——真正有用的那个 status 字段,淹在十八条 state_transition 记录中间。
一句话总结今天要建立的意识:工具返回的东西是给程序看的,不是给模型看的。中间必须有一层你自己的裁剪。
而在动手裁之前,还有一个更前置的问题要解决:你到底该挂多少个工具? 这个问题的答案会直接改变后面所有的数字。
面试题库
Agent 挂了三十个工具,明显吃不消了。你会怎么裁?依据是什么?An agent has thirty tools mounted and it is clearly struggling. How do you cut the list, and on what basis?
国内高频海外高频进阶#tool-design#tool-budget🔒 解锁本章后查看答题要点。
按需加载和预先检索怎么选?混合策略应该怎么搭?How do you choose between just-in-time loading and pre-inference retrieval, and how would you combine them?
国内高频海外高频进阶#retrieval#just-in-time#hybrid🔒 解锁本章后查看答题要点。
为什么说工具返回的内容是不可信输入?做了字段白名单裁剪之后还需要担心吗?Why are tool results untrusted input, and does field whitelisting make the concern go away?
国内高频海外高频深入#prompt-injection#trust-boundary🔒 解锁本章后查看答题要点。
