逐日AI微信小程序
21 天手搓一个 Coding Agent
第 2 周 · D12🔒 锁定约 4 小时

上下文压缩:token 怎么数、压什么留什么、压完怎么验证没丢

上下文总会满:先用真实用量校准一个本地 token 估算器,再实现分段摘要式压缩,明确哪几类消息必须原样保留,最后用一组回答早期事实的探针验证压缩没有丢掉关键信息。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能实现一个可校准的 token 估算器,并说清估算与精确计数各自的适用场景
  2. 能设计压缩策略并说明哪几类消息必须原样保留、为什么
  3. 能用可验证的方式检查压缩是否丢失关键信息

前四天一直在往上下文里加东西:引用、指令、清单、记忆。今天是第一次往外拿。读完回到页面顶部把三条目标勾掉。

小白版讲解

桌面只放今天要用的那几份文件

那位新人的工位现在很热闹:你贴给他的资料、团队规章、待办清单、交接笔记,还有这两小时里翻过的十几个文件,全摊在桌上。桌子是有限的,再来一份就得先挪走一份。

问题在于挪走哪一份。最省事的做法是抽走最下面那几张——越旧越靠下,听起来很合理。但最旧的那张可能正是你早上交代他的那句话:这个仓库的构建命令不是 pnpm build。抽走它,他下午会用错的命令跑一遍,再回来问你为什么跑不通。

正确的做法是归档:那一叠翻过的文件收起来,但先在便签上记一行「这些文件里确认过的事实是……」。桌子空了,结论还在。

这就是上下文压缩(context compaction):把一段变长的历史换成一份短的摘要,而不是扔掉它。 第六天那条用量上限一超就停下来提示你「压缩一次」——今天做的是它的另一半:不只是停,还能腾。

边界先划清楚:这一天只讲实现。 什么该进上下文、什么不该是策略问题,本平台的《5 天上下文工程》整门课都在讲它。今天只回答三个工程问题:怎么数、压什么留什么、压完怎么证明没丢。

第三个最容易被跳过,而它是唯一能让你放心把压缩开在生产环境里的那一步:前两个做错了,你看到的是「答得不太对」;第三个不做,你连「答得不对是因为压缩」都不知道。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 不引入分词器,你怎么估算一段上下文有多少 token?误差有多大,什么时候不能用估算?Without pulling in a tokenizer, how would you estimate the token count of a context? How large is the error, and when must you not rely on an estimate?
    国内高频海外高频基础#token-counting#calibration

    🔒 解锁本章后查看答题要点。

  • 做上下文压缩时,哪几类消息必须原样保留?压掉哪些最安全?When compacting context, which kinds of messages must be kept verbatim, and which are the safest to compress away?
    国内高频海外高频进阶#context-compaction#keep-list

    🔒 解锁本章后查看答题要点。

  • 怎么证明一次上下文压缩没有丢掉关键信息?How do you prove that a context compaction did not lose critical information?
    国内高频海外高频深入#compaction-verification#probes

    🔒 解锁本章后查看答题要点。

评论