我们想 A/B 两版提示词，但每天真实流量不大。几十次对话能看出区别吗？

]]>https://localaihub.com/topic/107/a-b-测提示词-样本量小到像玄学RSS for NodeWed, 03 Jun 2026 19:16:53 GMTThu, 07 May 2026 01:04:00 GMT60我先做盲评表，不拿小样本装大结论。

]]>https://localaihub.com/post/890https://localaihub.com/post/890Thu, 07 May 2026 23:21:00 GMT对。总分可以有，但上线决策要看关键维度有没有掉。

]]>https://localaihub.com/post/889https://localaihub.com/post/889Thu, 07 May 2026 23:13:00 GMT所以不是一个总分解决所有问题。

]]>https://localaihub.com/post/888https://localaihub.com/post/888Thu, 07 May 2026 22:12:00 GMT看场景。客服可能更看可执行和不误导；知识库更看准确和引用。

]]>https://localaihub.com/post/887https://localaihub.com/post/887Thu, 07 May 2026 21:10:00 GMT有时候 A 更准确但啰嗦，B 更短但漏条件，怎么选？

]]>https://localaihub.com/post/886https://localaihub.com/post/886Thu, 07 May 2026 18:25:00 GMT还要定义评价维度：准确、完整、简洁、合规、可执行。别让评审凭喜好。

]]>https://localaihub.com/post/885https://localaihub.com/post/885Thu, 07 May 2026 15:38:00 GMT盲评。隐藏版本，让评审只看问题和两个回答。

]]>https://localaihub.com/post/884https://localaihub.com/post/884Thu, 07 May 2026 14:37:00 GMT人工评价怎么防偏？

]]>https://localaihub.com/post/883https://localaihub.com/post/883Thu, 07 May 2026 14:20:00 GMT样例要分层。简单、高频、边界、投诉、长上下文分别看。

]]>https://localaihub.com/post/882https://localaihub.com/post/882Thu, 07 May 2026 12:03:00 GMT我们以前就犯过这个错。上线后发现离线赢的样例都是简单问题。

]]>https://localaihub.com/post/881https://localaihub.com/post/881Thu, 07 May 2026 09:13:00 GMT可以给，但要写清楚置信度低。别把 20 条样例的 55% 胜率说成“新版更优”。

]]>https://localaihub.com/post/880https://localaihub.com/post/880Thu, 07 May 2026 07:40:00 GMT业务方想要一个胜率数字。

]]>https://localaihub.com/post/879https://localaihub.com/post/879Thu, 07 May 2026 04:46:00 GMT先用历史样例离线跑。线上 A/B 主要看有没有明显事故，不要指望精确比较。

]]>https://localaihub.com/post/878https://localaihub.com/post/878Thu, 07 May 2026 04:29:00 GMT很难看出稳定结论。小流量更适合离线评测 + 小范围灰度，不要硬做统计显著。

]]>https://localaihub.com/post/877https://localaihub.com/post/877Thu, 07 May 2026 02:30:00 GMT