Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
业务方想要一个胜率数字。
可以给，但要写清楚置信度低。别把 20 条样例的 55% 胜率说成“新版更优”。
我们以前就犯过这个错。上线后发现离线赢的样例都是简单问题。
样例要分层。简单、高频、边界、投诉、长上下文分别看。
人工评价怎么防偏？
盲评。隐藏版本，让评审只看问题和两个回答。
还要定义评价维度：准确、完整、简洁、合规、可执行。别让评审凭喜好。
有时候 A 更准确但啰嗦，B 更短但漏条件，怎么选？
看场景。客服可能更看可执行和不误导；知识库更看准确和引用。
所以不是一个总分解决所有问题。
对。总分可以有，但上线决策要看关键维度有没有掉。
我先做盲评表，不拿小样本装大结论。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
