LLM-as-a-Judge(用大模型当裁判评估其他模型的输出)已经是评估领域的默认做法之一,但它到底有多靠谱?我做了一次小规模复现实验,结论比想象中微妙。

实验设计

从公开数据集抽了 200 条问答对,分别让三个模型作答,然后:

  1. 两位人类标注员独立打分(1–5 分),分歧协商一致作为金标准;
  2. 用 GPT 以同样的评分细则打分;
  3. 比较机器评分与人类评分的一致性和系统性偏差。

结果

一致性:比预期好

GPT 评分与金标准的 Spearman 相关系数约 0.78,和两个标注员之间的一致性(0.81)已经很接近。作为粗筛工具,它完全够用。

但偏差很系统

逐条分析不一致样本后,发现了几类稳定的偏差:

  • 长度偏好:更长的回答平均多拿 0.4 分,即使长而无物;
  • 自信偏好:语气笃定但细节错误的回答,得分高于谨慎但正确的回答;
  • 格式偏好:用了列表、加粗的回答明显占优——哪怕内容相同。
# 长度偏好的简单验证
from scipy.stats import spearmanr
rho, p = spearmanr(answer_lengths, judge_scores - human_scores)
# rho ≈ 0.31,长度越长,机器分比人类分高得越多

缓解办法

论文里和我实验里都比较有效的几招:

  1. 交换位置:判 A/B 对比时换序各评一次取平均,消除位置偏置;
  2. 先写理由再打分:让裁判先输出分析再给分,一致性提升约 5 个点;
  3. 拆维度:不打总分,拆成正确性/完整性/表达分别评,再加权;
  4. 随机抽样人审:机器评完抽 10% 人审,监控漂移。

结论

LLM-as-a-Judge 不是”不靠谱”,而是偏差稳定且可测量——知道偏差在哪,就可以设计流程去对冲。真正危险的是把它当成无偏的金标准直接用。