RAG 测试集到底怎么建，不想只靠感觉调参

[不想写周报]

我们每次改切块、embedding、reranker，都是产品同学试几句说“好像变好了”。怎么正规一点？

[阿航]

先建小而真实的测试集。30 条也比随手问强。

[nora]

测试集要包含答案、应命中文档、不可回答问题、权限边界问题。只测能答的问题没意义。

[小林]

我们把线上失败问题沉淀进测试集，比自己编问题有效。

[MingK]

指标分开看：检索有没有拿到证据，生成有没有忠实，引用有没有对上。

[米饭]

RAGAS 和 DeepEval 都能参考，但中文企业文档最好加人工标注。

[小树]

人工标注太慢。

[小路灯]

慢但值。你不标，后面每次上线都靠玄学。

[rootless]

我建议每个版本留一份结果。别只看当前得分，回归才是重点。

[小潘同学]

还有“拒答”指标。用户问没有权限或知识库没有的内容，系统能不能说不知道。

[林小北]

对。很多 RAG demo 只展示能答，一进生产就被“不知道”打穿。

[不想写周报]

我们有工单历史，可以抽真实问题，但答案不一定标准。

[阿白]

那就先标证据，不急着标完美答案。证据集比标准话术更稳定。

[nora]

调参时一次只改一个变量，不然分不清谁起作用。

[不想写周报]

行，我先拉 50 条失败问法，分成召回失败、生成失败、权限失败。