逐日AI微信小程序
7 天 Agent Harness:让 Agent 无人值守跑一整夜
第 1 周 · D5🔒 锁定约 4 小时

自验证:端到端闸门、谎报完成与打转的自动干预

无人值守最贵的两种失败是谎报完成和原地打转。今天给 harness 装上端到端闸门与停滞检测,并且把重点放在发现之后怎么办:换任务、回滚、停机报警三者各有判据。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能解释为什么模型自己说完成了不能作为翻状态的依据,并说出端到端验证该验什么、不该验什么
  2. 能说出本课端到端验证走 HTTP 层而不是浏览器的取舍,并指出它测不到哪一类缺陷
  3. 能描述停滞检测的三种干预方式与各自的判据,并说清为什么只发现不干预在无人值守场景等于没做

D1 到 D4 留了一个明摆着的破洞:验证只是浅检查,补丁写进去就算过。今天补上它,然后处理补上之后必然出现的新问题。读完回到页面顶部把三条目标勾掉。

小白版讲解

监理不看施工队的自我评价

装修到一半,你问工长「水电做完了吗」。他说做完了。

你信吗?

你不是怀疑他的人品。你只是知道一件事:他说的是「我做完了我以为要做的事」,而你要的是「这套水电真的能用」。 这两句话之间隔着一个监理——一个不问工长、只去开闸放水的人。

Agent 也一样。它回报「已实现 F07」的时候,它说的是「我按我的理解写了一段代码」。它没有跑过那个服务,它凭什么知道自己写的东西 work?

所以今天这一天的前提是一句很朴素的话:模型自己说完成了,不能作为翻状态的依据。 依据只能是一次独立的、去环境里取证的验证。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • Agent 报告任务完成,你的 harness 该用什么依据决定信不信?An agent reports a task done - what evidence should your harness use to decide whether to believe it?
    国内高频海外高频进阶#self-verification#false-completion#gates

    🔒 解锁本章后查看答题要点。

  • 端到端验证用浏览器自动化和只打 HTTP 接口,各有什么得失?Browser automation versus HTTP-only end-to-end verification - what does each buy and cost?
    国内高频海外高频进阶#end-to-end#trade-offs#capability-boundary

    🔒 解锁本章后查看答题要点。

  • 你怎么发现一个 Agent 在原地打转?发现之后该做什么?How do you detect an agent spinning in place, and what do you do once you have?
    国内高频海外高频深入#stall-detection#intervention#rollback

    🔒 解锁本章后查看答题要点。

  • 一个防谎报的验证器,你怎么确认它自己不是恒真的?A verifier built to catch false completions - how do you confirm it is not tautological itself?
    国内高频海外高频深入#assertions#mutation-testing#probe-design

    🔒 解锁本章后查看答题要点。

评论