第 1 周 · D5🔒 锁定约 4 小时
可观测:给每一次运行装上行车记录仪
离线评估只覆盖你想得到的任务,线上才有真实用户。这一天按公开的生成式 AI 语义约定给靶子埋点,把一次运行变成一棵可查的链路树,聚合出成本与延迟面板,并把前四天的评估分数本身也当成遥测数据上报。
今日目标
- 能按公开语义约定给一次模型调用和一次工具调用埋点,并说出为什么必须把约定版本钉进代码
- 能从链路数据聚合出按任务维度的成本、延迟与失败率,并指出首块延迟该记在哪个字段
- 能把评估分数作为遥测属性回传,并解释这样做如何把离线评估与线上监控缝成一条链
小白版讲解
航班的每一段行程都有时间戳
你从上海飞到成都,中途在西安转一次机。行程单上不会只写「上海到成都,耗时八小时」,它会写成一串带时间戳的段落:值机几点、第一程几点起飞几点落地、中转等了多久、第二程几点起飞几点落地、行李几点出来。
这串段落有三个性质,正好对应今天要讲的全部内容。
第一,每一段都有自己的开始与结束。 所以晚点八小时的时候,你能指出是哪一段晚的——是第一程延误,还是中转排队排掉了三小时。
第二,段落之间是嵌套的,不是并排的。 第二程的登机在第二程这一段里面,行李托运在值机这一段里面。有了嵌套关系,你才能说「中转这一段总共花了多久」,而不是把一堆平铺的事件按时间硬拼。
第三,每一段都带着一堆属性。 航班号、机型、登机口。属性是给统计用的:航司要回答「这个机型在这个机场的平均滑行时间是多少」,靠的就是它们。
前四天你已经有了「轨迹」——一次试次的完整过程记录。今天要做的事情,是把它变成一份带时间戳、带嵌套、带属性的行程单,而且要用别人也认识的那套字段名来写。
面试题库
为什么给 Agent 埋点要用公开的语义约定,而不是团队自己定一套字段名?Why instrument an agent with a public semantic convention instead of a field-name scheme your team invents?
国内高频海外高频基础#observability#opentelemetry#semantic-conventions🔒 解锁本章后查看答题要点。
一个仍在开发中、属性名还会改的标准,你会现在就用吗?怎么控制升级风险?Would you adopt a standard that is still in development and whose attribute names may change? How do you control the upgrade risk?
国内高频海外高频深入#observability#opentelemetry#dependency-risk🔒 解锁本章后查看答题要点。
一次 Agent 运行的链路树你会怎么分层?每层各记哪些属性?How would you layer the trace tree for one agent run, and what attributes go on each layer?
国内高频海外高频进阶#observability#tracing#span-design🔒 解锁本章后查看答题要点。
线上全量记录太贵,你怎么设计采样策略才不会把真正的故障样本丢掉?Recording every trace in production is too expensive. How do you design sampling so that you do not throw away the failures you actually need?
国内高频海外高频深入#observability#sampling#production🔒 解锁本章后查看答题要点。
