Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
我们 RAG TopK=15,答案经常像把所有片段平均了一下。新政策和旧政策混在一起,模型不敢明确说。
TopK 太多又没有排序解释,模型就会调和冲突。先处理资料版本,不是让模型猜哪个新。
chunk 元数据要有生效日期、部门、权限、文档类型。没有元数据,长上下文只会扩大混乱。
我们把 TopK 从 12 降到 5,准确率反而升了。因为少了很多相似但过期的段落。
rerank 也重要。向量召回相似,不代表能回答当前问题。
冲突片段要显式处理。可以让模型先列出候选证据和冲突,再按日期/优先级选择。
这会不会让回答变长?
内部可以长,用户答案短。模型内部决策和用户可见文案分开。
还有一个坑:摘要器把多个片段压成一个“综合事实”,冲突信息被抹平,后面无法追溯。
我们现在每个答案保留引用 chunk id,客服主管能点回原文。问题定位快很多。
如果没有明确新旧,只是两个部门说法不同呢?
那模型应该说资料存在冲突,并按产品规则转人工或给出需要确认的信息。不要装确定。
我们要补元数据、降 TopK、加 rerank 和冲突处理。
对,RAG 不是多塞资料比赛。
答案变稳,token 成本也会下来。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗