加 reranker 后首字从 1.2 秒变 3.8 秒，用户说像坏了。

]]>https://localaihub.com/topic/73/reranker-延迟太高-怎么不把体验拖死RSS for NodeWed, 03 Jun 2026 19:24:28 GMTMon, 04 May 2026 02:46:00 GMT60这就是要用数据调。别拿默认 top_80 当生产配置。

]]>https://localaihub.com/post/378https://localaihub.com/post/378Tue, 05 May 2026 03:47:00 GMT今天降到 top_30，rerank 700ms 左右，答案没明显变差。

]]>https://localaihub.com/post/377https://localaihub.com/post/377Tue, 05 May 2026 01:06:00 GMTAPI 方案注意数据合规。内部文档片段发出去之前先过审批。

]]>https://localaihub.com/post/376https://localaihub.com/post/376Tue, 05 May 2026 00:47:00 GMT本地 CPU 跑 reranker 很吃力。要么 GPU，要么更小模型，要么 API。

]]>https://localaihub.com/post/375https://localaihub.com/post/375Mon, 04 May 2026 23:52:00 GMTUI 状态有用，但别用 UI 掩盖链路慢。1.9s 还是要优化。

]]>https://localaihub.com/post/374https://localaihub.com/post/374Mon, 04 May 2026 21:10:00 GMT我们把“正在查找来源”做成状态，用户能接受一点慢，但不能空白等。

]]>https://localaihub.com/post/373https://localaihub.com/post/373Mon, 04 May 2026 18:21:00 GMT还有降级策略。低峰全量 rerank，高峰只 rerank 高风险问题。

]]>https://localaihub.com/post/372https://localaihub.com/post/372Mon, 04 May 2026 15:47:00 GMT可以，但文档更新和权限变化要让缓存失效。

]]>https://localaihub.com/post/371https://localaihub.com/post/371Mon, 04 May 2026 14:23:00 GMTreranker 可以缓存 query+doc_id 分数吗？热门问题会重复。

]]>https://localaihub.com/post/370https://localaihub.com/post/370Mon, 04 May 2026 12:54:00 GMTtop_80 太多了。先试 top_30。候选越多不一定越好。

]]>https://localaihub.com/post/369https://localaihub.com/post/369Mon, 04 May 2026 10:01:00 GMTtop_80 rerank 到 top_8。

]]>https://localaihub.com/post/368https://localaihub.com/post/368Mon, 04 May 2026 09:48:00 GMTrerank 候选多少？

]]>https://localaihub.com/post/367https://localaihub.com/post/367Mon, 04 May 2026 07:40:00 GMT检索 120ms，rerank 1.9s，模型首 token 1.1s，其他杂项。

]]>https://localaihub.com/post/366https://localaihub.com/post/366Mon, 04 May 2026 04:55:00 GMT先拆耗时。向量检索、rerank、LLM 首 token、流式输出分别是多少？

]]>https://localaihub.com/post/365https://localaihub.com/post/365Mon, 04 May 2026 03:32:00 GMT