第 1 周 · D4🔒 锁定约 4 小时
轨迹评估:它到了终点,但一路上撞了几次
只看结果态会放过一整类故障:答案对了,可是它多花了十倍的钱、绕了七步、还调了一个本不该碰的工具。这一天给轨迹本身写评分器,做工具序列判定、循环检测与步数预算,并用模拟用户把单轮评估扩展到多轮。
今日目标
- 能说出三类只有看轨迹才发现得了的故障,并各给出一条可自动判定的规则
- 能实现循环检测与步数预算,并解释为什么阈值要按任务而不是按全局来定
- 能用模拟用户跑通一次多轮评估,并说明模拟用户本身会引入什么偏差
小白版讲解
行车记录仪
一辆车按时到了目的地。这说明什么?
说明它到了。它有没有闯红灯、有没有在同一个路口绕了四圈、有没有为了抄近路开进单行道,从「到了」这个事实里一个字都读不出来。
行车记录仪存在的理由就在这里。它不替代「到没到」这个判断——到没到永远是第一位的——它补上的是「一路上发生了什么」。保险公司在事故之后要调的是记录仪,不是行程单。
前三天做的评估全部是行程单:结果态对不对、裁判怎么打分。今天装记录仪。
面试题库
一个 Agent 上线后结果全对,但平均成本翻了十倍。你的评估体系怎么才能发现这件事?An agent ships with all outcomes correct, but its average cost has gone up tenfold. How would your evaluation system catch that?
国内高频海外高频进阶#evaluation#trajectory#cost🔒 解锁本章后查看答题要点。
你会把「工具调用顺序必须与参考流程完全一致」写进评分器吗?说出你的理由。Would you assert that an agent's tool-call sequence must exactly match a reference workflow? Give your reasoning.
国内高频海外高频进阶#evaluation#trajectory#graders🔒 解锁本章后查看答题要点。
怎么自动判定一个 Agent 陷入了死循环?给出你的规则,以及它的误判风险。How do you automatically detect that an agent is stuck in a loop? Give your rule and its false-positive risks.
国内高频海外高频进阶#evaluation#trajectory#loop-detection🔒 解锁本章后查看答题要点。
多轮对话场景怎么做自动化评估?模拟用户会带来什么问题?How do you automate evaluation of multi-turn conversations, and what problems does a simulated user introduce?
国内高频海外高频深入#evaluation#multi-turn#simulated-user🔒 解锁本章后查看答题要点。
