逐日AI微信小程序
7 天 Agent 评估与可观测:让「感觉还行」变成可复现的数字
第 1 周 · D5🔒 锁定约 4 小时

可观测:给每一次运行装上行车记录仪

离线评估只覆盖你想得到的任务,线上才有真实用户。这一天按公开的生成式 AI 语义约定给靶子埋点,把一次运行变成一棵可查的链路树,聚合出成本与延迟面板,并把前四天的评估分数本身也当成遥测数据上报。

今日目标 0/3

登录后可以勾选并保存进度。

今日目标

  1. 能按公开语义约定给一次模型调用和一次工具调用埋点,并说出为什么必须把约定版本钉进代码
  2. 能从链路数据聚合出按任务维度的成本、延迟与失败率,并指出首块延迟该记在哪个字段
  3. 能把评估分数作为遥测属性回传,并解释这样做如何把离线评估与线上监控缝成一条链

小白版讲解

航班的每一段行程都有时间戳

你从上海飞到成都,中途在西安转一次机。行程单上不会只写「上海到成都,耗时八小时」,它会写成一串带时间戳的段落:值机几点、第一程几点起飞几点落地、中转等了多久、第二程几点起飞几点落地、行李几点出来。

这串段落有三个性质,正好对应今天要讲的全部内容。

第一,每一段都有自己的开始与结束。 所以晚点八小时的时候,你能指出是哪一段晚的——是第一程延误,还是中转排队排掉了三小时。

第二,段落之间是嵌套的,不是并排的。 第二程的登机在第二程这一段里面,行李托运在值机这一段里面。有了嵌套关系,你才能说「中转这一段总共花了多久」,而不是把一堆平铺的事件按时间硬拼。

第三,每一段都带着一堆属性。 航班号、机型、登机口。属性是给统计用的:航司要回答「这个机型在这个机场的平均滑行时间是多少」,靠的就是它们。

前四天你已经有了「轨迹」——一次试次的完整过程记录。今天要做的事情,是把它变成一份带时间戳、带嵌套、带属性的行程单,而且要用别人也认识的那套字段名来写。

登录并关联后阅读全文

请先登录网页,并在账户页关联微信小程序账号。关联后每天可免费阅读 1 篇;额外文章需在小程序看广告解锁。

小程序码

微信扫码打开「逐日AI」,进入相同课程和章节,选择看广告解锁,完成后刷新本页。

面试题库

  • 为什么给 Agent 埋点要用公开的语义约定,而不是团队自己定一套字段名?Why instrument an agent with a public semantic convention instead of a field-name scheme your team invents?
    国内高频海外高频基础#observability#opentelemetry#semantic-conventions

    🔒 解锁本章后查看答题要点。

  • 一个仍在开发中、属性名还会改的标准,你会现在就用吗?怎么控制升级风险?Would you adopt a standard that is still in development and whose attribute names may change? How do you control the upgrade risk?
    国内高频海外高频深入#observability#opentelemetry#dependency-risk

    🔒 解锁本章后查看答题要点。

  • 一次 Agent 运行的链路树你会怎么分层?每层各记哪些属性?How would you layer the trace tree for one agent run, and what attributes go on each layer?
    国内高频海外高频进阶#observability#tracing#span-design

    🔒 解锁本章后查看答题要点。

  • 线上全量记录太贵,你怎么设计采样策略才不会把真正的故障样本丢掉?Recording every trace in production is too expensive. How do you design sampling so that you do not throw away the failures you actually need?
    国内高频海外高频深入#observability#sampling#production

    🔒 解锁本章后查看答题要点。

评论