第 1 周 · D4🔒 锁定约 4 小时
迭代与评估:小样本测试集、A/B、版本管理、常见反模式
把「感觉这版更好」变成「这版在十条测试上多对了三条」:建小样本测试集、跑 A/B 对比、给提示词上版本号,并认出最常见的几种反模式。
把「感觉这版更好」变成「这版在十条测试上多对了三条」:建小样本测试集、跑 A/B 对比、给提示词上版本号,并认出最常见的几种反模式。
面试题库
怎么给一个提示词建测试集?十条样本该怎么挑,标准答案从哪来?How do you build a test set for a prompt? How would you choose ten samples, and where do the expected answers come from?
国内高频海外高频基础#evaluation#test-set🔒 解锁本章后查看答题要点。
提示词版本化怎么做?它和代码版本管理有什么不同?线上出问题你先做什么?How do you version prompts? How does it differ from versioning code, and what is your first move when production misbehaves?
国内高频海外高频进阶#prompt-versioning#evaluation🔒 解锁本章后查看答题要点。
用模型给模型打分靠谱吗?什么时候可以用,什么时候必须人工看?Is using a model to grade another model's output reliable? When is it acceptable, and when must a human look?
国内高频海外高频进阶#evaluation#llm-as-judge🔒 解锁本章后查看答题要点。
