第 3 周 · D20🔒 锁定约 4 小时
评估与成本:基准集怎么设计、通过率怎么算、token 与缓存命中怎么看
凭感觉调 Agent 会越调越差:设计一个能自动判分的任务基准集,跑出通过率、平均轮数与 token 消耗,把缓存命中率算出来,再用一次提示词改动的前后对比说明为什么评估必须先于优化。
今日目标
- 能设计一个可自动判分的 Agent 任务基准集,并说清判分函数该看什么
- 能算出通过率、平均轮数、token 消耗与缓存命中率四类指标
- 能用一次前后对比说明评估驱动优化的完整流程
前十九天一直在给 mca 加东西,今天第一次回头量一量它到底行不行。做完之后回到页面顶部把三条目标勾掉。
小白版讲解
试用期考核:拿一套题量一量
新人来了三个月,该转正吗?
最省事的办法是问带他的人一句「这人怎么样」,得到的回答通常是「挺好的」。这句话听起来有信息,其实没有:印象由最近发生的事、最响的一次事故、说话人当天的心情共同决定。靠谱的公司会做另一件事——拿一套固定的题目让他做一遍,按同一把尺子判分。这套题的价值不在于能测出他有多聪明,而在于换个人来还是这套题、下季度还是这套题,于是「比上季度好了」第一次有了含义。
调 Agent 的处境一模一样。你改了一句提示词,然后打开终端试三次,觉得「好像顺一点」。这个判断值多少钱?影响那三次的东西太多了:模型这次心情好、你这次的问法更清楚、沙盒仓库恰好还留着上次的改动。凭感觉调 Agent 的人会越调越差,因为他每一次都在把噪声当成信号。
所以今天做的东西很朴素:出五道题,每道题都能由一段代码自动判对错,一口气跑完,给出四个数。第一题你已经见过很多次了——跑测试、修掉失败的那个用例、再跑一次证明它绿了,从第四天起它一直是这门课的基准任务,今天正式变成基准集的第一题。
面试题库
怎么给一个 Coding Agent 设计基准集?判分函数该看终态还是过程?How do you design a benchmark set for a coding agent, and should the grader look at the end state or at the process?
国内高频海外高频基础#benchmark-design#grading🔒 解锁本章后查看答题要点。
你会用哪几个指标衡量一个 Coding Agent 的好坏?为什么通过率不够?Which metrics would you use to judge a coding agent, and why is pass rate not enough?
国内高频海外高频进阶#metrics#cost#cache🔒 解锁本章后查看答题要点。
同一道题多次运行结果不稳定,你怎么在这种噪声下判断一次改动是不是真的有效?Results for the same task vary between runs. How do you tell whether a change actually helped, given that noise?
国内高频海外高频深入#variance#ab-testing#evaluation🔒 解锁本章后查看答题要点。
