Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
今天评审很尴尬。RAG 答案内容是对的,但引用跳到另一份相似文档。产品说算失败,研发觉得不算。
我站产品。企业知识库里引用错就是失败,因为用户要靠它复核。
答案对可能是模型常识或碰巧猜对,不代表系统可用。
也可能是引用选择策略错了。生成用了 A,最后展示引用时按相似度又选了 B。
生成上下文和展示引用要绑定。不要生成完再重新搜一次来源。
我们以前就是后搜引用,结果很好看但不可信。
还有文档版本。旧制度和新制度内容相近,模型答新制度,引用旧制度,用户肯定炸。
chunk 里带 version,答案里也记录使用的 source_chunk_ids。别只存最终文本。
这样会不会太工程化?
这是生产 RAG 的基本账本,不是过度工程。
我们现在把引用错设为 P1 缺陷。因为一次错引用,用户会怀疑所有答案。
我之前只看准确率,没单独看引用准确率。
要拆开。answer correctness、faithfulness、citation accuracy 是不同东西。
旧帖补一句:别让 UI 把“相关来源”写成“答案依据”。这两个含义差很多。
已改需求:只展示参与生成的证据,相关资料放另一个区,不混叫引用。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗