逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D6🔒 锁定约 4 小时

回归门禁:让退化在合并之前就被拦住

评估只有进了流水线才会真正拦住事故。这一天把基线固化成快照,在一个每次跑分都会抖动的系统上定出既不漏报也不天天误报的阈值,再解决流水线里最现实的两个问题:跑一次要多少钱,以及红了之后谁来判断真假。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能把一次评估结果固化成基线快照,并说出快照里除了分数还必须记什么才能复现
  2. 能在有噪声的通过率上定出退化判定规则,并解释为什么单次跑分下降不足以判定退化
  3. 能设计一条控制成本的流水线策略,说明哪些任务每次都跑、哪些只在发版前跑

小白版讲解

门禁刷卡:不合格就是进不去

写字楼的门禁是一台很笨的机器。它不懂你是谁、今天心情如何、这次加班多重要,它只做一件事:卡不对,闸机不开。

这台机器的价值恰恰在于它笨。如果它会「看情况通融一下」,那它就不再是门禁,而是一个建议。

前五天我们做的全部是建议。评分器、基准集、裁判、轨迹评分、成本面板,它们产出的是一份报告,而报告是要人去读的。人会忙、会忘、会在发版前一小时告诉自己「这次应该没问题」。

今天要做的事只有一件:把那份报告接成闸机。 它不需要聪明,它只需要在退化发生时把闸门关上,并且关得足够硬——硬到没人能在不留痕迹的情况下绕过去。

对应到工程上,这个「硬」只有一个技术含义:进程以非零退出码结束。 流水线只认这一件事。你的评估脚本打印多少红色的字都没用,只要它 exit 0,合并就会发生。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 评估分数每次都在抖,你怎么定一个既不漏报也不天天误报的门禁阈值?Evaluation scores fluctuate on every run. How do you set a gate threshold that neither misses regressions nor fires false alarms every day?
    国内高频海外高频深入#ci#regression#thresholds

    🔒 解锁本章后查看答题要点。

  • 基线快照里除了通过率,你还会记录什么?少记了会出什么问题?Beyond the pass rate, what else goes into a baseline snapshot? What breaks if you leave something out?
    国内高频海外高频进阶#ci#baseline#reproducibility

    🔒 解锁本章后查看答题要点。

  • 每次提交都跑全量评估太贵,你会怎么分层?依据是什么?Running the full evaluation on every commit is too expensive. How would you tier it, and on what basis?
    国内高频海外高频进阶#ci#cost#strategy

    🔒 解锁本章后查看答题要点。

  • 评估门禁红了,团队却越来越习惯直接跳过。你会怎么改这条流程?Your evaluation gate keeps firing, and the team has learned to skip it. How would you change the process?
    国内高频海外高频深入#ci#process#culture

    🔒 解锁本章后查看答题要点。

评论