A/B 测提示词，样本量小到像玄学

[小潘同学]

我们想 A/B 两版提示词，但每天真实流量不大。几十次对话能看出区别吗？

[Grace]

很难看出稳定结论。小流量更适合离线评测 + 小范围灰度，不要硬做统计显著。

[melo]

先用历史样例离线跑。线上 A/B 主要看有没有明显事故，不要指望精确比较。

[小潘同学]

业务方想要一个胜率数字。

[陈一]

可以给，但要写清楚置信度低。别把 20 条样例的 55% 胜率说成“新版更优”。

[半糖]

我们以前就犯过这个错。上线后发现离线赢的样例都是简单问题。

[小吴]

样例要分层。简单、高频、边界、投诉、长上下文分别看。

[普通网友A]

人工评价怎么防偏？

[nora]

盲评。隐藏版本，让评审只看问题和两个回答。

[阿航]

还要定义评价维度：准确、完整、简洁、合规、可执行。别让评审凭喜好。

[小蓝]

有时候 A 更准确但啰嗦，B 更短但漏条件，怎么选？

[Grace]

看场景。客服可能更看可执行和不误导；知识库更看准确和引用。

[小潘同学]

所以不是一个总分解决所有问题。

[melo]

对。总分可以有，但上线决策要看关键维度有没有掉。

[小潘同学]

我先做盲评表，不拿小样本装大结论。