reranker 延迟太高，怎么不把体验拖死？

[林小北]

top_80 太多了。先试 top_30。候选越多不一定越好。

[小潘同学]

reranker 可以缓存 query+doc_id 分数吗？热门问题会重复。

[rootless]

可以，但文档更新和权限变化要让缓存失效。

[阿航]

还有降级策略。低峰全量 rerank，高峰只 rerank 高风险问题。

[米饭]

我们把“正在查找来源”做成状态，用户能接受一点慢，但不能空白等。

[小路灯]

UI 状态有用，但别用 UI 掩盖链路慢。1.9s 还是要优化。

[MingK]

本地 CPU 跑 reranker 很吃力。要么 GPU，要么更小模型，要么 API。

[leaf_1997]

API 方案注意数据合规。内部文档片段发出去之前先过审批。

[zeroOne]

今天降到 top_30，rerank 700ms 左右，答案没明显变差。

[小乔同学]

这就是要用数据调。别拿默认 top_80 当生产配置。