第 1 周 · D3🔒 锁定约 4 小时
让模型当裁判,再把裁判本身考一遍
能用代码判的绝不该交给模型,但开放式质量确实只能让模型来判。这一天写出评分量表与成对比较,用位置交换实测出裁判的三种系统性偏好,再用一致性系数而不是准确率来决定这个裁判能不能用。
今日目标
- 能判断一条判据该用代码型、模型型还是人工型评分器,并说出选错的具体代价
- 能设计一次位置交换实验,测出裁判的位置偏好比例,并说明为什么翻转的结论要判平局
- 能解释在标签极不均衡时准确率为什么会骗人,并用一致性系数替代它做裁判的准入判定
小白版讲解
两位评委打分,该关心的是什么
一场比赛请了两位评委。你最想知道的是什么?
多数人的第一反应是「他们判得准不准」。但你很快会发现这个问题没法回答——如果有一份标准答案能判断谁准,你就不需要评委了。评委存在的前提,恰恰是这件事没有标准答案。
所以真正能问、也真正有用的问题是另一个:这两位评委判得一不一致。
一致性是可以测的。把同一批选手分别给两位评委看,数一数他们给出相同结论的比例。一致性高,说明这套评分标准是可执行的,换个人来也是这个结果;一致性低,说明打分在很大程度上取决于是谁在打,那么把分数写进报告就是在写一个人的主观印象。
今天要做的事情,就是把这套逻辑搬到模型身上。我们会让一个模型去给 Agent 的回复打分——这叫模型型评分器,也就是通常说的「模型当裁判」。然后立刻做一件更重要的事:把这个裁判本身拉去考一遍,量出它有多大的系统性偏好,再用一致性决定它到底能不能上岗。
面试题库
什么情况下你会拒绝用模型当裁判,改用代码或人工?说出你的判断顺序。When would you refuse to use a model as the judge and reach for code or a human instead? State your decision order.
国内高频海外高频进阶#evaluation#graders#llm-as-judge🔒 解锁本章后查看答题要点。
你怎么证明自己的模型裁判没有位置偏好?请描述一个可执行的实验。How would you prove your model judge has no position bias? Describe an experiment someone could actually run.
国内高频海外高频深入#evaluation#llm-as-judge#bias🔒 解锁本章后查看答题要点。
为什么评估裁判质量要用一致性系数而不是准确率?举一个准确率会骗人的场景。Why measure judge quality with an agreement coefficient rather than accuracy? Give a scenario where accuracy lies.
国内高频海外高频深入#evaluation#metrics#kappa🔒 解锁本章后查看答题要点。
成对比较时两轮结论不一致,你会怎么处理这条数据?为什么不是随机取一个?In a pairwise comparison the two rounds disagree. How do you handle that data point, and why not just pick one at random?
国内高频海外高频进阶#evaluation#llm-as-judge#pairwise🔒 解锁本章后查看答题要点。
