我们内部评模型，大家一直问“准确率多少”。但很多生成任务很难算准确率。

]]>https://localaihub.com/topic/196/模型评测不要只看准确率RSS for NodeWed, 03 Jun 2026 17:51:03 GMTThu, 14 May 2026 08:57:00 GMT60我们先把评测表从一个分数拆成多维。

]]>https://localaihub.com/post/2174https://localaihub.com/post/2174Fri, 15 May 2026 08:21:00 GMT参考，但不要替代本地评测。公开 benchmark 测的是公共任务，你上线的是自己的坑。

]]>https://localaihub.com/post/2173https://localaihub.com/post/2173Fri, 15 May 2026 08:03:00 GMTbenchmark 要不要参考？

]]>https://localaihub.com/post/2172https://localaihub.com/post/2172Fri, 15 May 2026 06:41:00 GMT评测报告还要带失败样例。只有分数没有样例，没人知道该改什么。

]]>https://localaihub.com/post/2171https://localaihub.com/post/2171Fri, 15 May 2026 05:04:00 GMT可以模型裁判加人工抽查，但裁判标准要固定。不能今天喜欢短，明天喜欢详细。

]]>https://localaihub.com/post/2170https://localaihub.com/post/2170Fri, 15 May 2026 04:50:00 GMT人工判分成本太高。

]]>https://localaihub.com/post/2169https://localaihub.com/post/2169Fri, 15 May 2026 02:32:00 GMT代码能力也不能只看生成结果。能不能解释测试失败、遵守项目约束、少改无关文件，都要看。

]]>https://localaihub.com/post/2168https://localaihub.com/post/2168Fri, 15 May 2026 00:44:00 GMT那不一定能上线。企业场景里“不该答时不答”很重要。

]]>https://localaihub.com/post/2167https://localaihub.com/post/2167Thu, 14 May 2026 22:54:00 GMT我们有模型 A 平均分高，但在拒答题上很差。

]]>https://localaihub.com/post/2166https://localaihub.com/post/2166Thu, 14 May 2026 22:12:00 GMT所以要加权。高风险样例权重大，不然平均分会掩盖事故。

]]>https://localaihub.com/post/2165https://localaihub.com/post/2165Thu, 14 May 2026 19:53:00 GMT还有“坏答案危害”。同样错一句，闲聊错和财务制度错不是一个级别。

]]>https://localaihub.com/post/2164https://localaihub.com/post/2164Thu, 14 May 2026 18:15:00 GMT用户纠正它以后能不能改回来。很多模型第一轮错了，后面还坚持错。

]]>https://localaihub.com/post/2163https://localaihub.com/post/2163Thu, 14 May 2026 16:18:00 GMT可恢复性是什么？

]]>https://localaihub.com/post/2162https://localaihub.com/post/2162Thu, 14 May 2026 14:50:00 GMT我常用：事实正确、引用正确、遗漏、格式、语气、拒答、成本、延迟、可恢复性。

]]>https://localaihub.com/post/2161https://localaihub.com/post/2161Thu, 14 May 2026 12:17:00 GMT对。准确率只适合一部分任务。问答、摘要、代码、客服，要拆指标。

]]>https://localaihub.com/post/2160https://localaihub.com/post/2160Thu, 14 May 2026 09:22:00 GMT