第 1 周 · D5🔒 锁定约 4 小时
自验证:端到端闸门、谎报完成与打转的自动干预
无人值守最贵的两种失败是谎报完成和原地打转。今天给 harness 装上端到端闸门与停滞检测,并且把重点放在发现之后怎么办:换任务、回滚、停机报警三者各有判据。
今日目标
- 能解释为什么模型自己说完成了不能作为翻状态的依据,并说出端到端验证该验什么、不该验什么
- 能说出本课端到端验证走 HTTP 层而不是浏览器的取舍,并指出它测不到哪一类缺陷
- 能描述停滞检测的三种干预方式与各自的判据,并说清为什么只发现不干预在无人值守场景等于没做
D1 到 D4 留了一个明摆着的破洞:验证只是浅检查,补丁写进去就算过。今天补上它,然后处理补上之后必然出现的新问题。读完回到页面顶部把三条目标勾掉。
小白版讲解
监理不看施工队的自我评价
装修到一半,你问工长「水电做完了吗」。他说做完了。
你信吗?
你不是怀疑他的人品。你只是知道一件事:他说的是「我做完了我以为要做的事」,而你要的是「这套水电真的能用」。 这两句话之间隔着一个监理——一个不问工长、只去开闸放水的人。
Agent 也一样。它回报「已实现 F07」的时候,它说的是「我按我的理解写了一段代码」。它没有跑过那个服务,它凭什么知道自己写的东西 work?
所以今天这一天的前提是一句很朴素的话:模型自己说完成了,不能作为翻状态的依据。 依据只能是一次独立的、去环境里取证的验证。
面试题库
Agent 报告任务完成,你的 harness 该用什么依据决定信不信?An agent reports a task done - what evidence should your harness use to decide whether to believe it?
国内高频海外高频进阶#self-verification#false-completion#gates🔒 解锁本章后查看答题要点。
端到端验证用浏览器自动化和只打 HTTP 接口,各有什么得失?Browser automation versus HTTP-only end-to-end verification - what does each buy and cost?
国内高频海外高频进阶#end-to-end#trade-offs#capability-boundary🔒 解锁本章后查看答题要点。
你怎么发现一个 Agent 在原地打转?发现之后该做什么?How do you detect an agent spinning in place, and what do you do once you have?
国内高频海外高频深入#stall-detection#intervention#rollback🔒 解锁本章后查看答题要点。
一个防谎报的验证器,你怎么确认它自己不是恒真的?A verifier built to catch false completions - how do you confirm it is not tautological itself?
国内高频海外高频深入#assertions#mutation-testing#probe-design🔒 解锁本章后查看答题要点。
