评测基准分数高，为什么业务样例还是翻车

[阿远]

我们选了榜单分数很高的模型，结果内部制度问答不如另一个分低的。榜单是不是没意义？

[陈一]

有意义，但不是你的业务验收。榜单测的是它定义的任务。

[melo]

业务样例才是你的考场。尤其是内部缩写、老文档、权限、口语问法。

[阿远]

老板喜欢看榜单截图。

[Grace]

可以给榜单作为初筛依据，但决策要看内部评测。两者不是一个层级。

[小吴]

还有 RAG 系统里模型只是最后一环。召回错了，再高分也没用。

[半截薯条]

我见过榜单高的模型特别会写，但引用纪律差。知识库场景就麻烦。

[普通网友A]

那内部评测多少条够？

[林小北]

起步几十条能排除明显不行，正式上线至少上百条分层样例。

[nora]

别忘了拒答和安全样例。榜单通常不覆盖你公司的红线。

[小蓝]

我们要不要完全不看榜单？

[陈一]

不用走极端。榜单帮你缩小候选，业务评测决定上线。

[阿航]

还有成本和部署。一个模型再聪明，跑不稳也不适合你。

[阿远]

我准备把榜单截图放附录，主报告放我们自己的样例结果。