线上用户说机器人昨天答错了，但我们现在只能看到最后答案，看不到当时检索到了什么。排查很痛。

]]>https://localaihub.com/topic/108/回放系统比提示词本身更重要RSS for NodeWed, 03 Jun 2026 19:44:28 GMTThu, 07 May 2026 01:00:00 GMT60很多团队不是缺 prompt 工程，是缺事故现场。

]]>https://localaihub.com/post/905https://localaihub.com/post/905Thu, 07 May 2026 23:58:00 GMT对。能回放以后，提示词才有调的对象。

]]>https://localaihub.com/post/904https://localaihub.com/post/904Thu, 07 May 2026 23:06:00 GMT这个比继续改 prompt 更急。我先补日志字段。

]]>https://localaihub.com/post/903https://localaihub.com/post/903Thu, 07 May 2026 22:55:00 GMT加几个轻量原因：不准确、没看懂、太啰嗦、没有来源、需要人工。

]]>https://localaihub.com/post/902https://localaihub.com/post/902Thu, 07 May 2026 20:22:00 GMT我们现在只有 thumbs up/down，没有原因。

]]>https://localaihub.com/post/901https://localaihub.com/post/901Thu, 07 May 2026 19:42:00 GMT还有用户反馈要能挂到回放上。一个差评如果找不到原始链路，价值减半。

]]>https://localaihub.com/post/900https://localaihub.com/post/900Thu, 07 May 2026 18:38:00 GMT会。所以要有保留周期和采样策略。高风险场景全量，普通闲聊采样。

]]>https://localaihub.com/post/899https://localaihub.com/post/899Thu, 07 May 2026 16:00:00 GMT这些日志会不会很大？

]]>https://localaihub.com/post/898https://localaihub.com/post/898Thu, 07 May 2026 14:39:00 GMTRAG 场景尤其要记录检索 query 和命中的 chunk id。只看答案没用。

]]>https://localaihub.com/post/897https://localaihub.com/post/897Thu, 07 May 2026 11:33:00 GMT还要记录版本。模型版本、prompt 版本、知识库版本。否则今天复现不出昨天的问题。

]]>https://localaihub.com/post/896https://localaihub.com/post/896Thu, 07 May 2026 10:39:00 GMT回放系统是 AI 应用的黑匣子。没有它，业务说错了，工程只能猜。

]]>https://localaihub.com/post/895https://localaihub.com/post/895Thu, 07 May 2026 10:10:00 GMT可以脱敏、采样、分级存。不是要裸存所有敏感内容，但完全不存就没法修。

]]>https://localaihub.com/post/894https://localaihub.com/post/894Thu, 07 May 2026 08:13:00 GMT担心记录太多有隐私风险。

]]>https://localaihub.com/post/893https://localaihub.com/post/893Thu, 07 May 2026 05:30:00 GMT这就是缺回放。至少要记录用户问题、系统提示版本、模型名、检索片段、工具调用、最终回答。

]]>https://localaihub.com/post/892https://localaihub.com/post/892Thu, 07 May 2026 03:44:00 GMT