第 1 周 · D2🔒 锁定约 4 小时
基准集:把线上翻过的车变成可复现的任务
评估的上限由任务质量决定,而不是由指标公式决定。这一天从工单与失败日志里反向出题,定下好任务的两个判据,补齐最容易被漏掉的反向用例,并用参考解把每一条任务本身验证一遍。
评估的上限由任务质量决定,而不是由指标公式决定。这一天从工单与失败日志里反向出题,定下好任务的两个判据,补齐最容易被漏掉的反向用例,并用参考解把每一条任务本身验证一遍。
面试题库
老板让你两天内给一个已上线的 Agent 建评估,你会从哪里找测试任务?Your manager gives you two days to build an evaluation for an agent that is already in production. Where do you get the test tasks?
国内高频海外高频进阶#evaluation#golden-set#task-design🔒 解锁本章后查看答题要点。
什么叫单向优化?举例说明只写正向用例会把系统带到什么地方。What is one-sided optimization? Give an example of where a suite containing only positive cases drives a system.
国内高频海外高频进阶#evaluation#golden-set#negative-tests🔒 解锁本章后查看答题要点。
一条评估任务应该满足什么条件才算合格?你怎么验证它本身没写错?What makes an evaluation task well-formed, and how do you verify the task itself is not broken?
国内高频海外高频深入#evaluation#task-quality#reference-solution🔒 解锁本章后查看答题要点。
能力评估和回归评估的通过率,你分别期望它们是多少?为什么不一样?What pass rates do you expect from a capability suite versus a regression suite, and why are they different?
国内高频海外高频进阶#evaluation#capability-vs-regression#reporting🔒 解锁本章后查看答题要点。
