7 天课程 · 约 29 小时
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
面向做过至少一个 Agent 的人,七天手写一个零依赖的评估框架:把非确定性变成 pass 的 k 次方、把线上翻的车变成基准集、把模型裁判本身考一遍、给每次运行装上行车记录仪,最后让退化在合并之前就被拦住。
登录并关联微信后,两端共享每天 1 篇免费额度;额外阅读在小程序看广告解锁。
开始第一天学完你将得到
一个可放进作品集的 evalkit:跑得出 pass 的 k 次方、带二十四条双向基准集、裁判经过一致性校准、能抓出绕路与死循环、每次运行都有链路与成本、并且退化时会让流水线变红
零依赖手写一个评估框架:先把非确定性变成两个概率指标,再依次补上基准集、模型裁判与它的校准、轨迹评分、遥测埋点与成本面板,最后让回归门禁在合并前拦住退化,并给评估套件本身做一次体检
查看账户与关联状态 →7 天课程 · 约 29 小时
第 1 周