第 1 周 · D5🔒 锁定约 3 小时
度量与调优:token 账单、上下文利用率、失败模式排查与综合面试专题
把前四天的手段收进一个可度量的循环:算清 token 账单与缓存命中、盯住两个利用率指标、对照四种失败模式定位问题,最后过一遍上下文工程的面试专题。
今日目标
- 能算出一次任务的 token 账单,并拆成写入缓存、命中缓存与新增输入三部分
- 能用窗口占用率与有效信息占比两个指标,定位上下文问题出在哪一块
- 能对照四种典型失败模式,给出一条从现象到改动的排查路径
前四天教的是手段:精简、裁剪、压缩、隔离。今天教的是什么时候用哪个手段,以及什么时候该停手。读完回来把三条目标勾掉。
小白版讲解
回程称重:账单不是最后那一次的重量
出差回来在机场称行李,秤上的数字是这一刻箱子有多重。但如果航司按「每一段航程各称一次、分别收费」来算,你真正要付的是四段航程的重量之和——而你一路上还在往里塞东西,后面那几段一定比第一段重。
模型的账单就是这么算的。很多人报成本时看的是「一次请求多少 token」,那是称重,不是账单。账单是整场会话每一轮输入的累加值,因为模型没有记忆,每一轮都要把前面全部重发一遍。
这个差别有多大?用今天实验里那个 20 轮的电商客服任务算一次:每轮的稳定前缀是 1612 token(系统提示 881 加工具定义 731),历史每轮增长约 55,工具平均每 3 轮调一次、每次约 1424。加起来是这样一张表:
| 组成 | 增长方式 | 20 轮合计 |
|---|---|---|
| 稳定前缀 | 每轮原样重发 | 32240 |
| 对话历史 | 线性增长 | 11550 |
| 工具结果 | 阶梯增长 | 89712 |
| 合计 | 133502 |
最后一轮的单次输入是 11256 token,而整场账单是 133502——差了将近 12 倍。只报单次输入的人,会把成本低估一个数量级。
这张表还顺手回答了「该先改哪里」:工具结果占了 67%,所以先做 D3 的裁剪;前缀占 24%,所以其次做 D2 的精简;历史只占 9%,D4 的压缩排最后。四天的顺序不是按难度排的,是按这张表排的。
但这张表少算了一样东西,而它会把结论整个翻过来——缓存。下面从它开始讲。
面试题库
怎么给一个 Agent 算一次任务的 token 账单?哪些部分是可以被缓存掉的?How do you compute the token bill for one agent task, and which parts can be cached away?
国内高频海外高频深入#token-accounting#prompt-caching🔒 解锁本章后查看答题要点。
上下文出问题的时候,你怎么定位是四块里的哪一块?When context is the problem, how do you localize which of the four buckets is at fault?
国内高频海外高频进阶#diagnostics#metrics🔒 解锁本章后查看答题要点。
上下文工程做到什么程度算够?你怎么知道该停手了?How much context engineering is enough, and how do you know when to stop?
国内高频海外高频进阶#tuning#stopping-criteria🔒 解锁本章后查看答题要点。
