逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D7🔒 锁定约 4 小时

体检套件本身:饱和、坏任务与判分缺陷

最后一天把矛头转向评估系统自己。一个逼近满分的套件已经不再提供信息,一条判分写错的任务会让一个好模型看起来差五十个百分点。这一天给套件做体检、建立读轨迹的纪律,并把七天的产物收成一个能放进简历的项目。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能识别套件饱和并说出饱和之后该做什么,而不是继续汇报那个漂亮的分数
  2. 能从一批失败里区分出模型的问题与判分的问题,并说出判分缺陷的典型形态
  3. 能说清自动化评估之外的五种质量手段各自补上了哪一类漏洞

小白版讲解

六天以来我们一直默认的那件事

前六天你建了一套完整的评估系统:能跑出两个概率、有二十四条双向基准集、裁判经过一致性校准、能抓出绕路和死循环、每次运行都有链路和成本、退化时流水线会变红。

这六天里,有一个假设从来没有被质疑过:套件是对的。分数掉了,就是 Agent 的问题。

今天要做的就是质疑它。

因为评估系统是代码,代码会有 bug。而评估系统的 bug 有一个特别恶劣的性质:它不会让你的程序崩溃,它会让你得到一个错误的结论,然后你带着这个结论去改一个没有毛病的地方。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 你们的评估套件通过率已经百分之九十八了,接下来你会做什么?Your evaluation suite is passing at 98 percent. What do you do next?
    国内高频海外高频进阶#evaluation#saturation#suite-health

    🔒 解锁本章后查看答题要点。

  • 一个模型在你的套件上突然掉了很多分,你怎么区分是模型退化还是判分写错了?A model suddenly drops a lot of points on your suite. How do you tell a real regression from a broken grader?
    国内高频海外高频深入#evaluation#debugging#grading-defect

    🔒 解锁本章后查看答题要点。

  • 为什么说没读过轨迹就不该相信评估分数?你会怎么把读轨迹变成团队习惯?Why should you not trust an evaluation score before someone has read transcripts? And how do you make transcript reading a team habit?
    国内高频海外高频进阶#evaluation#transcripts#process

    🔒 解锁本章后查看答题要点。

  • 自建评估框架还是用现成的?说出你的判断依据,以及选型时会看许可的哪些方面。Build your own evaluation framework or adopt an existing one? Give your decision criteria, and say what you check in the license.
    国内高频海外高频深入#evaluation#tooling#licensing

    🔒 解锁本章后查看答题要点。

评论