生产知识库最该先监控什么？

[周五下午]

我们知识库准备给全公司试用。除了接口错误率，还应该监控什么？

[小乔同学]

链路拆开：解析、入库、检索、rerank、生成、引用、反馈。只看接口 200 没用。

[nora]

RAG 质量监控至少要有召回命中率抽检、无答案率、引用失败率、用户点踩原因。

[林小北]

还有数据新鲜度。最新文件没进库，比模型慢更致命。

[rootless]

每个答案记录 request_id、query、retrieved_chunk_ids、model、prompt_version、index_version。注意脱敏。

[leaf_1997]

日志别存用户无权内容全文，尤其多租户。可观测不是泄露理由。

[米饭]

我们做了一个“坏答案回放”页面，产品每天挑 10 条看。比看大盘有用。

[小路灯]

自动指标只能告诉你哪里可能坏，不能替代人工复盘。

[MingK]

延迟也要按阶段。总耗时高时，你要知道是向量库慢还是 LLM 慢。

[阿白]

引用点击率挺有意思。用户经常点引用，说明他们在核查；引用点不开就是严重问题。

[小树]

用户问了知识库没有的东西，算失败吗？

[林小北]

不一定。能明确拒答、提示缺资料，也算健康行为。

[周五下午]

所以要把“拒答正确”也纳入监控。

[nora]

对。别把所有拒答都当坏事，也别把所有回答都当成功。

[周五下午]

旧帖补后续：我们上线第一周最大问题不是模型，是 17% 的文档同步失败。监控救了一命。