Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
测试集要包含答案、应命中文档、不可回答问题、权限边界问题。只测能答的问题没意义。
我们把线上失败问题沉淀进测试集，比自己编问题有效。
指标分开看：检索有没有拿到证据，生成有没有忠实，引用有没有对上。
RAGAS 和 DeepEval 都能参考，但中文企业文档最好加人工标注。
人工标注太慢。
慢但值。你不标，后面每次上线都靠玄学。
我建议每个版本留一份结果。别只看当前得分，回归才是重点。
还有“拒答”指标。用户问没有权限或知识库没有的内容，系统能不能说不知道。
对。很多 RAG demo 只展示能答，一进生产就被“不知道”打穿。
我们有工单历史，可以抽真实问题，但答案不一定标准。
那就先标证据，不急着标完美答案。证据集比标准话术更稳定。
调参时一次只改一个变量，不然分不清谁起作用。
行，我先拉 50 条失败问法，分成召回失败、生成失败、权限失败。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
