逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D2🔒 锁定约 4 小时

基准集:把线上翻过的车变成可复现的任务

评估的上限由任务质量决定,而不是由指标公式决定。这一天从工单与失败日志里反向出题,定下好任务的两个判据,补齐最容易被漏掉的反向用例,并用参考解把每一条任务本身验证一遍。

今日目标 0/3

登录后可以勾选并保存进度。

评估的上限由任务质量决定,而不是由指标公式决定。这一天从工单与失败日志里反向出题,定下好任务的两个判据,补齐最容易被漏掉的反向用例,并用参考解把每一条任务本身验证一遍。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 老板让你两天内给一个已上线的 Agent 建评估,你会从哪里找测试任务?Your manager gives you two days to build an evaluation for an agent that is already in production. Where do you get the test tasks?
    国内高频海外高频进阶#evaluation#golden-set#task-design

    🔒 解锁本章后查看答题要点。

  • 什么叫单向优化?举例说明只写正向用例会把系统带到什么地方。What is one-sided optimization? Give an example of where a suite containing only positive cases drives a system.
    国内高频海外高频进阶#evaluation#golden-set#negative-tests

    🔒 解锁本章后查看答题要点。

  • 一条评估任务应该满足什么条件才算合格?你怎么验证它本身没写错?What makes an evaluation task well-formed, and how do you verify the task itself is not broken?
    国内高频海外高频深入#evaluation#task-quality#reference-solution

    🔒 解锁本章后查看答题要点。

  • 能力评估和回归评估的通过率,你分别期望它们是多少?为什么不一样?What pass rates do you expect from a capability suite versus a regression suite, and why are they different?
    国内高频海外高频进阶#evaluation#capability-vs-regression#reporting

    🔒 解锁本章后查看答题要点。

评论