第 1 周 · D1🔒 锁定约 4 小时
为什么 Agent 不能靠「试几次感觉还行」
先说清楚 Agent 比单轮对话多出的三个评估难点,再建立全课通用的五个术语与评估分层,最后用一次跑五遍的实验把非确定性变成两个能写进报告的数字:至少成一次的概率,和五次全成的概率。
先说清楚 Agent 比单轮对话多出的三个评估难点,再建立全课通用的五个术语与评估分层,最后用一次跑五遍的实验把非确定性变成两个能写进报告的数字:至少成一次的概率,和五次全成的概率。
面试题库
同一个任务跑五次,三次对两次错。你会怎么向老板汇报这个 Agent 的质量?You run the same task five times and get three passes and two failures. How do you report this agent's quality to your manager?
国内高频海外高频进阶#evaluation#metrics#non-determinism🔒 解锁本章后查看答题要点。
为什么评估 Agent 时要看环境的最终状态,而不是看它最后一条回复说了什么?Why should you evaluate an agent against the final state of the environment rather than what its last message says?
国内高频海外高频基础#evaluation#graders#outcome🔒 解锁本章后查看答题要点。
什么场景该用 pass 的 at k,什么场景必须用 pass 的 k 次方?各举一个例子并说明代价。When should you report pass@k, and when must you report pass^k? Give an example of each and state the cost.
国内高频海外高频进阶#evaluation#metrics#pass-at-k🔒 解锁本章后查看答题要点。
一个新写的评估任务,跑一百次通过率是零。你的第一反应是什么?A newly written evaluation task has a 0% pass rate over one hundred trials. What is your first reaction?
国内高频海外高频进阶#evaluation#debugging#task-quality🔒 解锁本章后查看答题要点。
