模型评测不要只看准确率

[小蓝]

我们内部评模型，大家一直问“准确率多少”。但很多生成任务很难算准确率。

[陈一]

对。准确率只适合一部分任务。问答、摘要、代码、客服，要拆指标。

[Grace]

我常用：事实正确、引用正确、遗漏、格式、语气、拒答、成本、延迟、可恢复性。

[普通网友A]

可恢复性是什么？

[林小北]

用户纠正它以后能不能改回来。很多模型第一轮错了，后面还坚持错。

[半截薯条]

还有“坏答案危害”。同样错一句，闲聊错和财务制度错不是一个级别。

[melo]

所以要加权。高风险样例权重大，不然平均分会掩盖事故。

[小吴]

我们有模型 A 平均分高，但在拒答题上很差。

[nora]

那不一定能上线。企业场景里“不该答时不答”很重要。

[阿航]

代码能力也不能只看生成结果。能不能解释测试失败、遵守项目约束、少改无关文件，都要看。

[小蓝]

人工判分成本太高。

[Grace]

可以模型裁判加人工抽查，但裁判标准要固定。不能今天喜欢短，明天喜欢详细。

[陈一]

评测报告还要带失败样例。只有分数没有样例，没人知道该改什么。

[小潘同学]

benchmark 要不要参考？

[melo]

参考，但不要替代本地评测。公开 benchmark 测的是公共任务，你上线的是自己的坑。

[小蓝]

我们先把评测表从一个分数拆成多维。