reranker 是不是生产 RAG 必选？

[小树]

我以为 reranker 就是重新排序，为什么会变慢很多？

[MingK]

因为它通常要看 query 和每个候选 chunk 的交互，不是只算一次向量距离。

[小潘同学]

我们 bge-reranker-v2-m3 本地跑，CPU 直接慢到用户怀疑网页卡死。后来只给高风险问题开。

[nora]

可以按意图开关。导航类、明确标题类不 rerank；制度解释、冲突证据类 rerank。

[阿航]

rerank 前最好去重。同一页相邻块全进候选，reranker 也浪费。

[米饭]

我们加 reranker 后引用更稳，但答案没变聪明。老板一开始不理解，说怎么多花 700ms 只为了引用顺序。

[小路灯]

这 700ms 有时候值得。企业 RAG 里，错引比慢一点更难接受。

[qwer_asdf]

有没有线上 API 方案？不想自己部署。

[Grace]

Cohere 有 rerank API，注意数据出境和成本。内部制度文档别随便外发。

[小傅]

我先做 A/B：无 rerank、rerank 全量、只对低置信问题 rerank。

[林小北]

记得看失败类型。reranker 变好的是排序，不是权限、解析、切块这些问题。