同一个问题，如何公平比较两个模型？

一次精彩的回答很容易让人觉得模型变强了。但如果问题、上下文和评价标准也跟着改变，最后比较的可能并不只是模型。

先固定任务，再看回答

我会先写一组规模不大、但覆盖不同难点的问题。它们应该来自真实想解决的任务，同时包含简单问题、边界问题和信息不足的情况。只挑自己知道某个模型擅长的问题，得到的结论很难推广。

每个问题需要说明允许使用哪些资料、期望输出什么，以及哪些错误不能接受。例如，对照资料提取步骤时，遗漏关键条件比措辞不够优美更重要；做格式转换时，结构合法与字段完整应先于解释是否详细。

把评价拆成可以解释的维度

评价维度不是越多越好。如果某个维度不能解释为什么一个结果更适合当前任务，就不应该为了让评分表看起来完整而保留它。分数后面应当有具体例子，而不是只有一个无法追溯的总分。

保留重复与反例

生成具有随机性时，单次结果不足以说明稳定性。可以在相同设置下重复少量代表性问题，同时保留失败答案。若只保存最好的一次，就很容易把偶然发挥当作日常能力。

我也会分开记录速度、处理量和答案质量。一个结果更快，不能直接说明它更正确；一个模型输出更长，也不能直接说明它更完整。对于本地推理，冷启动与预热后的耗时应分开比较，避免把加载时间误算为每次生成的成本。

结论只覆盖测过的范围

比较之后，更有用的结论是“在这组资料与任务中，哪类错误更少”，而不是宣布某个模型全面胜出。资料版本、参数和测试问题应与结论一起保存，下一次修改时再使用同一组问题回归。

本文提供的是个人学习时组织小型评估的方法，没有发布虚构的模型排名或分数。样本有限时，保留不确定性，比给出一个漂亮但无法复查的结论更重要。