逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D4🔒 锁定约 4 小时

轨迹评估:它到了终点,但一路上撞了几次

只看结果态会放过一整类故障:答案对了,可是它多花了十倍的钱、绕了七步、还调了一个本不该碰的工具。这一天给轨迹本身写评分器,做工具序列判定、循环检测与步数预算,并用模拟用户把单轮评估扩展到多轮。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能说出三类只有看轨迹才发现得了的故障,并各给出一条可自动判定的规则
  2. 能实现循环检测与步数预算,并解释为什么阈值要按任务而不是按全局来定
  3. 能用模拟用户跑通一次多轮评估,并说明模拟用户本身会引入什么偏差

小白版讲解

行车记录仪

一辆车按时到了目的地。这说明什么?

说明它到了。它有没有闯红灯、有没有在同一个路口绕了四圈、有没有为了抄近路开进单行道,从「到了」这个事实里一个字都读不出来。

行车记录仪存在的理由就在这里。它不替代「到没到」这个判断——到没到永远是第一位的——它补上的是「一路上发生了什么」。保险公司在事故之后要调的是记录仪,不是行程单。

前三天做的评估全部是行程单:结果态对不对、裁判怎么打分。今天装记录仪。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 一个 Agent 上线后结果全对,但平均成本翻了十倍。你的评估体系怎么才能发现这件事?An agent ships with all outcomes correct, but its average cost has gone up tenfold. How would your evaluation system catch that?
    国内高频海外高频进阶#evaluation#trajectory#cost

    🔒 解锁本章后查看答题要点。

  • 你会把「工具调用顺序必须与参考流程完全一致」写进评分器吗?说出你的理由。Would you assert that an agent's tool-call sequence must exactly match a reference workflow? Give your reasoning.
    国内高频海外高频进阶#evaluation#trajectory#graders

    🔒 解锁本章后查看答题要点。

  • 怎么自动判定一个 Agent 陷入了死循环?给出你的规则,以及它的误判风险。How do you automatically detect that an agent is stuck in a loop? Give your rule and its false-positive risks.
    国内高频海外高频进阶#evaluation#trajectory#loop-detection

    🔒 解锁本章后查看答题要点。

  • 多轮对话场景怎么做自动化评估?模拟用户会带来什么问题?How do you automate evaluation of multi-turn conversations, and what problems does a simulated user introduce?
    国内高频海外高频深入#evaluation#multi-turn#simulated-user

    🔒 解锁本章后查看答题要点。

评论