第 1 周 · D7🔒 锁定约 4 小时
体检套件本身:饱和、坏任务与判分缺陷
最后一天把矛头转向评估系统自己。一个逼近满分的套件已经不再提供信息,一条判分写错的任务会让一个好模型看起来差五十个百分点。这一天给套件做体检、建立读轨迹的纪律,并把七天的产物收成一个能放进简历的项目。
今日目标
- 能识别套件饱和并说出饱和之后该做什么,而不是继续汇报那个漂亮的分数
- 能从一批失败里区分出模型的问题与判分的问题,并说出判分缺陷的典型形态
- 能说清自动化评估之外的五种质量手段各自补上了哪一类漏洞
小白版讲解
六天以来我们一直默认的那件事
前六天你建了一套完整的评估系统:能跑出两个概率、有二十四条双向基准集、裁判经过一致性校准、能抓出绕路和死循环、每次运行都有链路和成本、退化时流水线会变红。
这六天里,有一个假设从来没有被质疑过:套件是对的。分数掉了,就是 Agent 的问题。
今天要做的就是质疑它。
因为评估系统是代码,代码会有 bug。而评估系统的 bug 有一个特别恶劣的性质:它不会让你的程序崩溃,它会让你得到一个错误的结论,然后你带着这个结论去改一个没有毛病的地方。
面试题库
你们的评估套件通过率已经百分之九十八了,接下来你会做什么?Your evaluation suite is passing at 98 percent. What do you do next?
国内高频海外高频进阶#evaluation#saturation#suite-health🔒 解锁本章后查看答题要点。
一个模型在你的套件上突然掉了很多分,你怎么区分是模型退化还是判分写错了?A model suddenly drops a lot of points on your suite. How do you tell a real regression from a broken grader?
国内高频海外高频深入#evaluation#debugging#grading-defect🔒 解锁本章后查看答题要点。
为什么说没读过轨迹就不该相信评估分数?你会怎么把读轨迹变成团队习惯?Why should you not trust an evaluation score before someone has read transcripts? And how do you make transcript reading a team habit?
国内高频海外高频进阶#evaluation#transcripts#process🔒 解锁本章后查看答题要点。
自建评估框架还是用现成的?说出你的判断依据,以及选型时会看许可的哪些方面。Build your own evaluation framework or adopt an existing one? Give your decision criteria, and say what you check in the license.
国内高频海外高频深入#evaluation#tooling#licensing🔒 解锁本章后查看答题要点。
