评估与可观测:golden set、LLM-as-judge、tracing、失败率/成本面板;Pi vs LangGraph 总结;W3 复盘
搭一套 Agent 评估体系:用 golden set 和 LLM-as-judge 打分,接入 tracing 和失败率/成本面板,并总结 Pi 与 LangGraph 的适用场景,收尾第三周。
今日目标
- 能构建一个小规模 golden set,覆盖典型输入和期望输出
- 能实现一个 LLM-as-judge 评分脚本,对输出打分并给出理由
- 能接入 tracing,输出一份包含失败率和成本的可观测面板
昨天结尾那句话是今天的起点:这套系统会分诊、会拆任务并行做、会自我评审、会主动关怀而且知道克制,但它到底做得好不好,你手上只有「我试了几条感觉还行」。今天把这句话换成数字。读完回到页面顶部把三条目标勾掉。
小白版讲解
质检不能靠老师傅捏一把
产线刚开的时候,质检往往就是一位老师傅:拿起成品捏一捏、听一听,说这批可以。产量小时很好用,因为他确实懂;问题是这套办法没有记录、不可复现、换个人就换个标准——等客户投诉「上个月的货比这个月好」,没人能回答这话成不成立。
成熟的产线一定会长出三样东西,今天要给 Agent 装的正是这三样:标准样品(一小批批次固定的样件,只有同一批量出来的数才能互相比较)对应 golden set;自动质检仪(快、便宜、能全量跑,但仪器会漂移,得拿标准样品校准)对应 LLM-as-judge;流转卡(记着每件产品经过哪几道工序、谁做的、花了多久)对应链路追踪。
为什么普通后端靠单元测试就够,Agent 不够?因为同样的输入,Agent 不保证给同样的输出。传统测试的断言是「等于」,而 Agent 的产出没有唯一正确答案,只有「够不够好」。这一条差别连锁出三个后果。
第一,跑没跑通判断不了质量。 D17 那条评审回路跑通只意味着流程没抛错,产出有没有写明退款结论它一个字都没说。第二,改动的影响是弥散的。 改一个字的提示词可能只影响一类请求,人肉抽查五条恰好都不属于那一类,你会得出「没影响」然后上线。第三,多 Agent 又难一层:一次请求要走路由、拆分、并行执行、评审、汇总五道工序,任何一道歪了都表现成「最后那段话不太对」,不分开量你连该改哪块都不知道。
所以第一句结论是:评估不是测试,评估是给一个随机系统建立一条可比较的基线。 它的产物不是「通过」或「不通过」,而是一个能和上次比的数字。既然要比,样件就得固定——那么该怎么挑,挑多少?
面试题库
怎么评估一个 Agent 的效果?和传统后端服务的测试有什么不同?How do you evaluate an agent's quality, and how does it differ from testing a conventional backend service?
国内高频海外高频进阶#evaluation#testing#agent-quality🔒 解锁本章后查看答题要点。
用大模型给大模型的输出打分(LLM-as-judge),有哪些不可靠的地方?怎么办?What makes LLM-as-judge unreliable, and what do you do about it?
国内高频海外高频深入#evaluation#llm-as-judge#reliability🔒 解锁本章后查看答题要点。
多 Agent 系统的可观测性要看哪些东西?和单 Agent 有什么不一样?What does observability look like for a multi-agent system, and how does it differ from a single agent?
国内高频海外高频进阶#observability#tracing#distributed-systems🔒 解锁本章后查看答题要点。
什么时候该用 LangGraph 这类编排框架,什么时候不该用?When should you reach for an orchestration framework like LangGraph, and when should you not?
国内高频海外高频进阶#architecture#framework-selection#langgraph🔒 解锁本章后查看答题要点。
系统设计:一个多 Agent 客服平台已经上线,团队每周改几次提示词,但没人说得清质量是变好还是变差,成本也只有一个月底的总数。请为它设计一套评估与可观测体系。System design: a multi-agent support platform is live, the team edits prompts several times a week, nobody can say whether quality is improving, and cost is only known as a month-end total. Design its evaluation and observability system.
国内高频海外高频深入#system-design#evaluation#observability#cost🔒 解锁本章后查看答题要点。
