Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
我们想统一 Ollama、vLLM 和云模型接口。第一版模型网关要不要自己写？
如果需求只是统一 OpenAI 兼容接口，可以先用现成方案或很薄的一层。
自己写可以，但别一上来做成平台。先做路由、超时、日志、限流。
我们最想要的是本地优先，失败后走云。
失败后走云要看数据。敏感请求不能自动切出去。
对，降级策略要按数据等级，不是按技术可用性。
还要记录为什么路由到某个模型，不然成本和质量都没法复盘。
直接让业务代码调用不同模型不行吗？
早期可以，但后期会散。每个业务都写一套超时重试和统计，很快乱。
网关会不会成为单点？
会，所以第一版要简单、可观测、易回滚。别把所有复杂逻辑塞进去。
我们先做薄网关，不做 UI 平台。
这个决定稳。先解耦，再平台化。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
