第 1 周 · D7🔒 锁定约 6 小时
生产化与复盘:给工具写评估、版本化、发布到 npm 与 registry、可观测与综合项目
把一个能跑的服务端变成一个能长期维护的服务端:给工具写评估集、把描述改动当成破坏性变更来管、补上追踪与指标,最后把这一周串成一个作品集条目。
今日目标
- 能为一个工具写出可重跑的评估集,并说出评估该覆盖哪三类用例
- 能判断一次改动是不是破坏性的,并说明工具描述改动为什么也算
- 能给服务端补上追踪与关键指标,并说出出问题时先看哪一个
最后一天。前六天你手上已经有一个能跑、能远程、能被自己的客户端连上、并且过了一遍安全清单的服务端。今天回答最后一个问题:它怎么活过接下来的半年。 读完回来把上面三条勾掉。
小白版讲解
工具也要评估
先看一个真实到有点无聊的故障。
某个服务端上线三个月,工具没改一行代码,某天有人把 search_docs 的描述从「在内部文档库里按关键词搜索」改成了「搜索文档」——理由是「太啰嗦了」。上线之后没有任何报警:单元测试全绿,服务端零错误,日志干干净净。两周后有人反馈「这个助手最近变笨了,问它文档它老说不知道」。
原因是模型不再选这个工具了。它一次都没调用失败过,因为它压根没被调用。
这就是 MCP 工具最反直觉的一点:「模型选不选得中」比「工具本身对不对」更早出问题,而前者没有任何传统测试能覆盖。 单元测试测的是「给定参数,输出对不对」;描述改坏了,参数根本到不了你的函数。
所以工具需要另一层测试,业内一般叫评估(eval)。它的形状很简单:给一句用户的话和一张工具表,看模型选了哪个(或者一个都没选),拿它和期望值比。
面试题库
怎么评估一个 MCP 工具做得好不好?你会设计哪几类测试用例?How do you evaluate whether an MCP tool is any good, and what categories of test cases would you design?
国内高频海外高频进阶#eval#tooling🔒 解锁本章后查看答题要点。
给一个 MCP 服务端做版本管理时,什么样的改动算破坏性变更?为什么说改一句工具描述比改一个字段名更危险?When versioning an MCP server, what counts as a breaking change, and why is editing a tool description more dangerous than renaming a field?
国内高频海外高频进阶#versioning#tooling🔒 解锁本章后查看答题要点。
线上有人反馈某个 MCP 工具「总是调不对」。你按什么顺序排查?A user reports that one of your MCP tools is 'always getting it wrong' in production. In what order do you investigate?
国内高频海外高频进阶#observability#debugging🔒 解锁本章后查看答题要点。
