Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
代码更简单,账单和质量不一定简单。
如果任务差异大,路由有价值。分类、改写、复杂分析、代码、长文,不该都走同一档模型。
路由错了怎么办?
所以要从保守路由开始。高风险默认上强模型,低风险才下沉到便宜模型。
路由器本身也要评测。不是写几个 if 就结束。
用模型判断路由可以吗?
可以,但要加规则兜底。比如涉及金额、法律、人事、删除操作,直接高等级。
数据边界也能决定路由。有些数据只能本地模型,有些可以云端。
我们早期用关键词路由,后来发现用户说法太多,漏了不少。
那是不是用小模型做意图分类?
可以。小模型分类,大模型执行。但分类错的代价要可控。
路由日志很重要。每次为什么选这个模型,要能解释。
用户不需要看到内部模型名,但团队要能复盘。
先按风险和任务类型路由,别上来做太智能。
对,路由是为了控制质量和成本,不是为了炫架构。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗