回放系统比提示词本身更重要

[今天也没睡醒]

线上用户说机器人昨天答错了，但我们现在只能看到最后答案，看不到当时检索到了什么。排查很痛。

[林小北]

这就是缺回放。至少要记录用户问题、系统提示版本、模型名、检索片段、工具调用、最终回答。

[今天也没睡醒]

担心记录太多有隐私风险。

[nora]

可以脱敏、采样、分级存。不是要裸存所有敏感内容，但完全不存就没法修。

[Grace]

回放系统是 AI 应用的黑匣子。没有它，业务说错了，工程只能猜。

[陈一]

还要记录版本。模型版本、prompt 版本、知识库版本。否则今天复现不出昨天的问题。

[小吴]

RAG 场景尤其要记录检索 query 和命中的 chunk id。只看答案没用。

[普通网友A]

这些日志会不会很大？

[阿航]

会。所以要有保留周期和采样策略。高风险场景全量，普通闲聊采样。

[melo]

还有用户反馈要能挂到回放上。一个差评如果找不到原始链路，价值减半。

[小蓝]

我们现在只有 thumbs up/down，没有原因。

[半截薯条]

加几个轻量原因：不准确、没看懂、太啰嗦、没有来源、需要人工。

[今天也没睡醒]

这个比继续改 prompt 更急。我先补日志字段。

[林小北]

对。能回放以后，提示词才有调的对象。

[Grace]

很多团队不是缺 prompt 工程，是缺事故现场。