逐日AI微信小程序
21 天手搓一个 Coding Agent
第 3 周 · D20🔒 锁定约 4 小时

评估与成本:基准集怎么设计、通过率怎么算、token 与缓存命中怎么看

凭感觉调 Agent 会越调越差:设计一个能自动判分的任务基准集,跑出通过率、平均轮数与 token 消耗,把缓存命中率算出来,再用一次提示词改动的前后对比说明为什么评估必须先于优化。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能设计一个可自动判分的 Agent 任务基准集,并说清判分函数该看什么
  2. 能算出通过率、平均轮数、token 消耗与缓存命中率四类指标
  3. 能用一次前后对比说明评估驱动优化的完整流程

前十九天一直在给 mca 加东西,今天第一次回头量一量它到底行不行。做完之后回到页面顶部把三条目标勾掉。

小白版讲解

试用期考核:拿一套题量一量

新人来了三个月,该转正吗?

最省事的办法是问带他的人一句「这人怎么样」,得到的回答通常是「挺好的」。这句话听起来有信息,其实没有:印象由最近发生的事、最响的一次事故、说话人当天的心情共同决定。靠谱的公司会做另一件事——拿一套固定的题目让他做一遍,按同一把尺子判分。这套题的价值不在于能测出他有多聪明,而在于换个人来还是这套题、下季度还是这套题,于是「比上季度好了」第一次有了含义。

调 Agent 的处境一模一样。你改了一句提示词,然后打开终端试三次,觉得「好像顺一点」。这个判断值多少钱?影响那三次的东西太多了:模型这次心情好、你这次的问法更清楚、沙盒仓库恰好还留着上次的改动。凭感觉调 Agent 的人会越调越差,因为他每一次都在把噪声当成信号。

所以今天做的东西很朴素:出五道题,每道题都能由一段代码自动判对错,一口气跑完,给出四个数。第一题你已经见过很多次了——跑测试、修掉失败的那个用例、再跑一次证明它绿了,从第四天起它一直是这门课的基准任务,今天正式变成基准集的第一题。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 怎么给一个 Coding Agent 设计基准集?判分函数该看终态还是过程?How do you design a benchmark set for a coding agent, and should the grader look at the end state or at the process?
    国内高频海外高频基础#benchmark-design#grading

    🔒 解锁本章后查看答题要点。

  • 你会用哪几个指标衡量一个 Coding Agent 的好坏?为什么通过率不够?Which metrics would you use to judge a coding agent, and why is pass rate not enough?
    国内高频海外高频进阶#metrics#cost#cache

    🔒 解锁本章后查看答题要点。

  • 同一道题多次运行结果不稳定,你怎么在这种噪声下判断一次改动是不是真的有效?Results for the same task vary between runs. How do you tell whether a change actually helped, given that noise?
    国内高频海外高频深入#variance#ab-testing#evaluation

    🔒 解锁本章后查看答题要点。

评论