LLM-as-a-Judge and Its Biases
一句话结论
模型裁判只当相对比较与粗筛工具用：固定准则文本、随机化候选顺序、保留分数与理由，并用确定性断言或人工抽检兜住高风险判定。
本页结构（可跳转）
机械断言只能覆盖可枚举的输出形态，而风格、完整性、可用性这类质量标准没有唯一答案可用等式判定，模型即裁判因此成为把主观标准工程化的主要手段。
适用边界
模型裁判的定位是相对比较与粗筛，不是唯一判据：同批次内的排序信息比绝对分数可信，跨批次、跨模型的分数不可直接比较。高风险与合规判定必须由确定性断言或人工抽检兜底。裁判的偏差也会随底座模型换代而变化，因此准则与校准样例要随模型更新重新验证，不能一次校准长期沿用。
常见偏差有四类。
| 类别 | 场景 / 条件（总结） | 具体做法（细节） |
|---|---|---|
| 该用 | 评价维度落在风格、完整性、可用性等无法机械判定的质量标准上时 | 用模型裁判，并把准则写成可判定的条款。 |
| 该用 | 需要在大量候选之间做相对排序或粗筛时 | 先用模型裁判缩小范围，再对头部候选做确定性断言或人工复核。 |
| 不该用 | 把裁判分数当绝对度量 | 跨批次、跨模型的分数不可比，只能解释为同批次内的相对高低。 |
| 不该用 | 高风险或合规判定 | 这类结论必须由确定性断言或人工抽检给出，模型裁判只能作为辅助信号。 |
你是评分裁判。按下面三条准则给候选回答打分（1–5），准则与权重固定，不得新增准则：
1. 是否回答了问题本身
2. 是否包含无法核实的断言
3. 是否可直接执行（格式与必需字段齐全）
输出 JSON：{"score": <1-5>, "reason": "<不超过两句，须引用候选回答中的原文片段>"}
注意：长度不计分；本候选的分数与它在列表中的位置无关。预期观察：裁判返回分数与理由，且理由必须引用候选原文，便于事后复核。把同一对候选换序再评一次：若分数发生变化，说明该批次存在位置偏差，必须随机化顺序或双向取平均后再写进基线。
# 顺序随机化 + 双向复评：同一对候选各评两次（A/B 与 B/A），比较两次判定是否一致
for order in ab ba; do
npx promptfoo@latest eval -c judge-$order.yaml --output run-$order.json --no-cache
done
python3 - <<'PY'
import json
load = lambda p: {t["id"]: t["score"] for t in json.load(open(p))["results"]}
a, b = load("run-ab.json"), load("run-ba.json")
flip = [k for k in a if a[k] != b.get(k)]
print("顺序敏感样本：%d / %d" % (len(flip), len(a)))
PY预期观察：打印顺序敏感样本数：计数为 0 表示本批次未见位置偏差；计数为正时必须随机化顺序或对两个方向取平均后再比较，不得直接把单方向的分数写进基线台账。
主张评测工具把断言分成两族：确定性指标（相等、包含、正则、JSON 合法性等）与模型辅助指标（llm-rubric、g-eval 等评分型裁判）；本节点主张的「能用确定性断言判定的部分绝不用模型裁判」因此有可落地的工具面支撑，而非纯口头约定。
分级official
来源S-0077 https://www.promptfoo.dev/docs/configuration/expected-outputs/
原文展开原文关键句
Deterministic eval metrics: equals / contains / icontains / regex / is-json … Model-assisted: similar / classifier / moderation / llm-rubric / g-eval
主张官方把 evaluator-optimizer（生成者—评估者）列为五种工作流模式之一：评估者是编排回路中的独立角色，其判断直接决定迭代方向，因此裁判偏差会沿回路放大，必须被单独控制。
分级official
来源S-0005 https://www.anthropic.com/engineering/building-effective-agents
原文展开原文关键句
Workflows are systems where LLMs and tools are orchestrated through predefined code paths. … Parallelization (Sectioning / Voting) … Orchestrator-workers … Evaluator-optimizer.
主张位置类偏差的强度不是常数：在长上下文检索场景中，输入占上下文窗口比例超过约一半后，首因偏差减弱而近因偏差保持稳定，原本的中间位置效应被距离型偏差取代 ⇒ 位置偏差需按输入规模重新标定，不能当作固定的分数偏移量。
分级paper
来源S-0064 https://arxiv.org/abs/2508.07479
原文展开原文关键句
the LiM effect is strongest when inputs occupy up to 50% of a model's context window. Beyond that, the primacy bias weakens, while recency bias remains relatively stable.
术语模型即裁判 LLM-as-a-Judge
界定用模型按评分准则对输出打分或排序的评测手段；存在位置偏差、冗长偏好与自我偏好等系统性偏差，须与确定性断言并用。
相关节点—
术语生成者—评估者 Generator–Evaluator
界定由生成者产出、评估者按明确判据给出反馈并驱动迭代的编排模式，适用于有清晰评价标准的任务；评估者的偏差会直接决定该回路收敛到哪种质量。
相关节点—
术语评测集 Eval Set
界定带判据的一组代表性输入输出样本，是判断提示词改动是否真的变好的唯一依据；用于校准裁判的样本应与评测集不相交，否则校准即过拟合。
相关节点—
在 交互全景图 中定位本节点。