逐日AI微信小程序
5 天上下文工程
第 1 周 · D5🔒 锁定约 3 小时

度量与调优:token 账单、上下文利用率、失败模式排查与综合面试专题

把前四天的手段收进一个可度量的循环:算清 token 账单与缓存命中、盯住两个利用率指标、对照四种失败模式定位问题,最后过一遍上下文工程的面试专题。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能算出一次任务的 token 账单,并拆成写入缓存、命中缓存与新增输入三部分
  2. 能用窗口占用率与有效信息占比两个指标,定位上下文问题出在哪一块
  3. 能对照四种典型失败模式,给出一条从现象到改动的排查路径

前四天教的是手段:精简、裁剪、压缩、隔离。今天教的是什么时候用哪个手段,以及什么时候该停手。读完回来把三条目标勾掉。

小白版讲解

回程称重:账单不是最后那一次的重量

出差回来在机场称行李,秤上的数字是这一刻箱子有多重。但如果航司按「每一段航程各称一次、分别收费」来算,你真正要付的是四段航程的重量之和——而你一路上还在往里塞东西,后面那几段一定比第一段重。

模型的账单就是这么算的。很多人报成本时看的是「一次请求多少 token」,那是称重,不是账单。账单是整场会话每一轮输入的累加值,因为模型没有记忆,每一轮都要把前面全部重发一遍。

这个差别有多大?用今天实验里那个 20 轮的电商客服任务算一次:每轮的稳定前缀是 1612 token(系统提示 881 加工具定义 731),历史每轮增长约 55,工具平均每 3 轮调一次、每次约 1424。加起来是这样一张表:

组成增长方式20 轮合计
稳定前缀每轮原样重发32240
对话历史线性增长11550
工具结果阶梯增长89712
合计133502

最后一轮的单次输入是 11256 token,而整场账单是 133502——差了将近 12 倍。只报单次输入的人,会把成本低估一个数量级。

这张表还顺手回答了「该先改哪里」:工具结果占了 67%,所以先做 D3 的裁剪;前缀占 24%,所以其次做 D2 的精简;历史只占 9%,D4 的压缩排最后。四天的顺序不是按难度排的,是按这张表排的。

但这张表少算了一样东西,而它会把结论整个翻过来——缓存。下面从它开始讲。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 怎么给一个 Agent 算一次任务的 token 账单?哪些部分是可以被缓存掉的?How do you compute the token bill for one agent task, and which parts can be cached away?
    国内高频海外高频深入#token-accounting#prompt-caching

    🔒 解锁本章后查看答题要点。

  • 上下文出问题的时候,你怎么定位是四块里的哪一块?When context is the problem, how do you localize which of the four buckets is at fault?
    国内高频海外高频进阶#diagnostics#metrics

    🔒 解锁本章后查看答题要点。

  • 上下文工程做到什么程度算够?你怎么知道该停手了?How much context engineering is enough, and how do you know when to stop?
    国内高频海外高频进阶#tuning#stopping-criteria

    🔒 解锁本章后查看答题要点。

评论