RAG 里 top_k 应该设多少？

[小李不困]

top_k 设 3 回答缺证据，设 20 又很慢，还会混乱。大家怎么定？

[阿航]

分阶段。向量召回 top_30，rerank 后给模型 5-8 个，不是直接把 30 个都塞进去。

[nora]

没 reranker 时 top_k 大了确实会污染上下文。模型会在弱相关块里找理由。

[林小北]

top_k 没有固定值，取决于 chunk 大小、问题类型、上下文预算。

[小周]

我们 chunk 很小，top_5 经常拼不出完整答案。

[MingK]

那先别改 top_k，先看切块。小块需要 parent chunk 或上下文扩展。

[小路灯]

还有引用数量。答案引用 12 个来源，用户通常看不下去。

[米饭]

我们产品限制最多 4 个引用，但内部给模型 6 个 chunk。

[小树]

引用和给模型的上下文可以不一样？

[阿白]

可以。给模型用于理解，展示给用户的是关键证据。别把中间过程全丢出来。

[rootless]

但展示引用不能漏关键事实。内部用了某块，结果不展示，也会被质疑。

[小李不困]

我准备按问题类型设置：事实查询少一点，综合解释多一点。

[nora]

可以。再加低置信兜底：证据不足就追问或拒答。

[林小北]

最后看 context precision。top_k 大但有效证据比例低，就是噪声。

[阿航]

top_k 是旋钮，不是质量保证。