Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
日志别存用户无权内容全文,尤其多租户。可观测不是泄露理由。
我们做了一个“坏答案回放”页面,产品每天挑 10 条看。比看大盘有用。
自动指标只能告诉你哪里可能坏,不能替代人工复盘。
延迟也要按阶段。总耗时高时,你要知道是向量库慢还是 LLM 慢。
引用点击率挺有意思。用户经常点引用,说明他们在核查;引用点不开就是严重问题。
用户问了知识库没有的东西,算失败吗?
不一定。能明确拒答、提示缺资料,也算健康行为。
所以要把“拒答正确”也纳入监控。
对。别把所有拒答都当坏事,也别把所有回答都当成功。
旧帖补后续:我们上线第一周最大问题不是模型,是 17% 的文档同步失败。监控救了一命。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗