Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
我们主模型用便宜的,想把 GPT/Claude 当高价兜底。问题是怎么判断该升级?
先定义升级理由,不要只写“回答不好就升级”。系统不知道什么叫不好。
常见触发:检索低置信、用户明确不满意、涉及金额/合规/投诉、多文档冲突、需要复杂代码分析。
还有连续两轮澄清失败。便宜模型绕圈时,继续烧也没意义。
升级前把上下文整理干净。不要把低价模型的错误长篇一起塞给高价模型。
对,高价兜底不是垃圾桶。它应该拿到原始问题、关键事实、证据、失败原因。
兜底模型也要有限制。别因为贵就允许它越权承诺。
用户要不要知道换了模型?
一般不用。用户关心问题解决,不关心内部路由。除非产品定位就是多模型透明。
升级还要看队列。高峰期所有投诉都升级,延迟可能爆。
可以设置预算阈值和每日配额,但别让配额导致高风险问题降级乱答。高风险宁可转人工。
高价模型回答后,要不要反写训练便宜模型?
可以沉淀失败样本和期望答案,先进评测集。别直接拿输出当真理。
我准备升级触发:低检索分、负反馈、金额/隐私/合规、两轮未解决。升级上下文重新组装。
这就比“感觉不行就上贵模型”可控。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗