Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
如果需求只是统一 OpenAI 兼容接口,可以先用现成方案或很薄的一层。
自己写可以,但别一上来做成平台。先做路由、超时、日志、限流。
我们最想要的是本地优先,失败后走云。
失败后走云要看数据。敏感请求不能自动切出去。
对,降级策略要按数据等级,不是按技术可用性。
还要记录为什么路由到某个模型,不然成本和质量都没法复盘。
直接让业务代码调用不同模型不行吗?
早期可以,但后期会散。每个业务都写一套超时重试和统计,很快乱。
网关会不会成为单点?
会,所以第一版要简单、可观测、易回滚。别把所有复杂逻辑塞进去。
我们先做薄网关,不做 UI 平台。
这个决定稳。先解耦,再平台化。
你好!看起来您对这段对话很感兴趣,但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子?您注册账号后,您每次返回时都能精准定位到您上次浏览的位置,并可选择接收新回复通知(通过邮件或推送通知)。您还能收藏书签、为帖子顶,向社区成员表达您的欣赏。
有了你的建议,这篇帖子会更精彩哦 💗