用强模型裁判评弱模型，会不会偏

[小谢]

我们想用 GPT/Claude 当裁判，评 Qwen/DeepSeek 的回答。这样会不会天然偏向自己的风格？

[陈一]

会有这个风险。LLM-as-judge 可以省人力，但不能当绝对真理。

[Grace]

尤其是风格题。裁判可能偏好更长、更像英文论文的答案，不一定适合中文用户。

[小谢]

那还用不用？

[melo]

用，但要控制。标准答案明确的题可以自动判一部分，开放题要人工抽查。

[林小北]

裁判提示词要固定，评分维度要清楚。不要让它凭“整体质量”打分。

[半截薯条]

我们遇到过裁判更喜欢啰嗦答案，短但正确的反而低分。

[普通网友A]

多个裁判投票呢？

[阿航]

有帮助，但成本更高，也不保证对。最好还有人类校准集。

[nora]

合规和业务口径别让模型单独判。它不知道你公司真实规则。

[小吴]

代码评测可以让裁判看 diff 吗？

[陈一]

可以辅助看风险，但最终还是测试和 review。模型裁判不能替代 CI。

[Grace]

评测报告里要标注哪些分数来自模型裁判，哪些来自人工。

[小谢]

我们先做模型初筛，人工抽查边界和争议样例。

[melo]

这样比较现实。裁判也是工具，不是法官。