多 agent 评测怎么做？只看最终答案对不对，好像看不出资料员和审校员有没有用。

]]>https://localaihub.com/topic/125/多智能体评测不能只看最终答案RSS for NodeWed, 03 Jun 2026 20:32:18 GMTFri, 08 May 2026 10:47:00 GMT60记得留失败样例。生产优化靠失败样例，不靠平均分好看。

]]>https://localaihub.com/post/1161https://localaihub.com/post/1161Sat, 09 May 2026 15:04:00 GMT我先做 100 条集，标错因，比较单 agent 和三角色工作流。

]]>https://localaihub.com/post/1160https://localaihub.com/post/1160Sat, 09 May 2026 13:02:00 GMT过程日志只能解释，不是质量本身。

]]>https://localaihub.com/post/1159https://localaihub.com/post/1159Sat, 09 May 2026 10:02:00 GMT我们之前就被日志骗过。多角色一堆步骤，最后答案还是没有证据。

]]>https://localaihub.com/post/1158https://localaihub.com/post/1158Sat, 09 May 2026 08:47:00 GMT人工评审要盲评。不然看到多 agent 日志很长，会天然觉得更认真。

]]>https://localaihub.com/post/1157https://localaihub.com/post/1157Sat, 09 May 2026 06:56:00 GMT对，别只看通过率。比如从“答错”变成“拒答太多”，通过率可能看起来提高，体验却变差。

]]>https://localaihub.com/post/1156https://localaihub.com/post/1156Sat, 09 May 2026 04:52:00 GMT我建议先做 ablation。单 agent、单 agent+审校、多 agent 全跑同一批问题，看错因变化。

]]>https://localaihub.com/post/1155https://localaihub.com/post/1155Sat, 09 May 2026 03:53:00 GMT看任务价值。高风险合规报告可以接受，普通 FAQ 不值。

]]>https://localaihub.com/post/1154https://localaihub.com/post/1154Sat, 09 May 2026 01:31:00 GMT如果多 agent 最终答案更好，但成本 5 倍，怎么算？

]]>https://localaihub.com/post/1153https://localaihub.com/post/1153Fri, 08 May 2026 22:38:00 GMTSWE-bench 或 SWE-agent 结果也一样。benchmark 是参考，不是你仓库的验收。

]]>https://localaihub.com/post/1152https://localaihub.com/post/1152Fri, 08 May 2026 19:53:00 GMTWebArena 这类 benchmark 能看 web agent 能力，但企业内部后台和数据约束不一样，不能直接当上线证明。

]]>https://localaihub.com/post/1151https://localaihub.com/post/1151Fri, 08 May 2026 17:01:00 GMT还有“差点出事”的指标。审校员拦住了外发错误，这种要记功。

]]>https://localaihub.com/post/1150https://localaihub.com/post/1150Fri, 08 May 2026 14:14:00 GMT但别指标太多。最后没人看。我们保留 6 个：正确性、引用支持、越权动作、耗时、成本、人工改动量。

]]>https://localaihub.com/post/1149https://localaihub.com/post/1149Fri, 08 May 2026 12:30:00 GMT要看过程指标。资料员召回、来源质量、主控选择、审校拦截率，都得拆开。

]]>https://localaihub.com/post/1148https://localaihub.com/post/1148Fri, 08 May 2026 11:28:00 GMT