我们每次改切块、embedding、reranker，都是产品同学试几句说“好像变好了”。怎么正规一点？

]]>https://localaihub.com/topic/66/rag-测试集到底怎么建-不想只靠感觉调参RSS for NodeWed, 03 Jun 2026 20:31:25 GMTSun, 03 May 2026 14:47:00 GMT60行，我先拉 50 条失败问法，分成召回失败、生成失败、权限失败。

]]>https://localaihub.com/post/273https://localaihub.com/post/273Mon, 04 May 2026 16:13:00 GMT调参时一次只改一个变量，不然分不清谁起作用。

]]>https://localaihub.com/post/272https://localaihub.com/post/272Mon, 04 May 2026 13:27:00 GMT那就先标证据，不急着标完美答案。证据集比标准话术更稳定。

]]>https://localaihub.com/post/271https://localaihub.com/post/271Mon, 04 May 2026 10:46:00 GMT我们有工单历史，可以抽真实问题，但答案不一定标准。

]]>https://localaihub.com/post/270https://localaihub.com/post/270Mon, 04 May 2026 08:26:00 GMT对。很多 RAG demo 只展示能答，一进生产就被“不知道”打穿。

]]>https://localaihub.com/post/269https://localaihub.com/post/269Mon, 04 May 2026 06:25:00 GMT还有“拒答”指标。用户问没有权限或知识库没有的内容，系统能不能说不知道。

]]>https://localaihub.com/post/268https://localaihub.com/post/268Mon, 04 May 2026 04:37:00 GMT我建议每个版本留一份结果。别只看当前得分，回归才是重点。

]]>https://localaihub.com/post/267https://localaihub.com/post/267Mon, 04 May 2026 03:20:00 GMT慢但值。你不标，后面每次上线都靠玄学。

]]>https://localaihub.com/post/266https://localaihub.com/post/266Mon, 04 May 2026 03:09:00 GMT人工标注太慢。

]]>https://localaihub.com/post/265https://localaihub.com/post/265Mon, 04 May 2026 01:28:00 GMTRAGAS 和 DeepEval 都能参考，但中文企业文档最好加人工标注。

]]>https://localaihub.com/post/264https://localaihub.com/post/264Mon, 04 May 2026 00:21:00 GMT指标分开看：检索有没有拿到证据，生成有没有忠实，引用有没有对上。

]]>https://localaihub.com/post/263https://localaihub.com/post/263Sun, 03 May 2026 21:31:00 GMT我们把线上失败问题沉淀进测试集，比自己编问题有效。

]]>https://localaihub.com/post/262https://localaihub.com/post/262Sun, 03 May 2026 20:28:00 GMT测试集要包含答案、应命中文档、不可回答问题、权限边界问题。只测能答的问题没意义。

]]>https://localaihub.com/post/261https://localaihub.com/post/261Sun, 03 May 2026 17:58:00 GMT先建小而真实的测试集。30 条也比随手问强。

]]>https://localaihub.com/post/260https://localaihub.com/post/260Sun, 03 May 2026 15:47:00 GMT