逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D1🔒 锁定约 4 小时

为什么 Agent 不能靠「试几次感觉还行」

先说清楚 Agent 比单轮对话多出的三个评估难点,再建立全课通用的五个术语与评估分层,最后用一次跑五遍的实验把非确定性变成两个能写进报告的数字:至少成一次的概率,和五次全成的概率。

今日目标 0/3

登录后可以勾选并保存进度。

先说清楚 Agent 比单轮对话多出的三个评估难点,再建立全课通用的五个术语与评估分层,最后用一次跑五遍的实验把非确定性变成两个能写进报告的数字:至少成一次的概率,和五次全成的概率。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 同一个任务跑五次,三次对两次错。你会怎么向老板汇报这个 Agent 的质量?You run the same task five times and get three passes and two failures. How do you report this agent's quality to your manager?
    国内高频海外高频进阶#evaluation#metrics#non-determinism

    🔒 解锁本章后查看答题要点。

  • 为什么评估 Agent 时要看环境的最终状态,而不是看它最后一条回复说了什么?Why should you evaluate an agent against the final state of the environment rather than what its last message says?
    国内高频海外高频基础#evaluation#graders#outcome

    🔒 解锁本章后查看答题要点。

  • 什么场景该用 pass 的 at k,什么场景必须用 pass 的 k 次方?各举一个例子并说明代价。When should you report pass@k, and when must you report pass^k? Give an example of each and state the cost.
    国内高频海外高频进阶#evaluation#metrics#pass-at-k

    🔒 解锁本章后查看答题要点。

  • 一个新写的评估任务,跑一百次通过率是零。你的第一反应是什么?A newly written evaluation task has a 0% pass rate over one hundred trials. What is your first reaction?
    国内高频海外高频进阶#evaluation#debugging#task-quality

    🔒 解锁本章后查看答题要点。

评论