我们想统一 Ollama、vLLM 和云模型接口。第一版模型网关要不要自己写？

]]>https://localaihub.com/topic/211/本地模型网关第一版要不要自己写RSS for NodeWed, 03 Jun 2026 19:23:43 GMTFri, 15 May 2026 16:31:00 GMT60这个决定稳。先解耦，再平台化。

]]>https://localaihub.com/post/2390https://localaihub.com/post/2390Sat, 16 May 2026 07:44:00 GMT我们先做薄网关，不做 UI 平台。

]]>https://localaihub.com/post/2389https://localaihub.com/post/2389Sat, 16 May 2026 06:04:00 GMT会，所以第一版要简单、可观测、易回滚。别把所有复杂逻辑塞进去。

]]>https://localaihub.com/post/2388https://localaihub.com/post/2388Sat, 16 May 2026 05:28:00 GMT网关会不会成为单点？

]]>https://localaihub.com/post/2387https://localaihub.com/post/2387Sat, 16 May 2026 04:57:00 GMT早期可以，但后期会散。每个业务都写一套超时重试和统计，很快乱。

]]>https://localaihub.com/post/2386https://localaihub.com/post/2386Sat, 16 May 2026 03:33:00 GMT直接让业务代码调用不同模型不行吗？

]]>https://localaihub.com/post/2385https://localaihub.com/post/2385Sat, 16 May 2026 03:00:00 GMT还要记录为什么路由到某个模型，不然成本和质量都没法复盘。

]]>https://localaihub.com/post/2384https://localaihub.com/post/2384Sat, 16 May 2026 01:14:00 GMT对，降级策略要按数据等级，不是按技术可用性。

]]>https://localaihub.com/post/2383https://localaihub.com/post/2383Fri, 15 May 2026 23:19:00 GMT失败后走云要看数据。敏感请求不能自动切出去。

]]>https://localaihub.com/post/2382https://localaihub.com/post/2382Fri, 15 May 2026 21:12:00 GMT我们最想要的是本地优先，失败后走云。

]]>https://localaihub.com/post/2381https://localaihub.com/post/2381Fri, 15 May 2026 18:38:00 GMT自己写可以，但别一上来做成平台。先做路由、超时、日志、限流。

]]>https://localaihub.com/post/2380https://localaihub.com/post/2380Fri, 15 May 2026 17:45:00 GMT如果需求只是统一 OpenAI 兼容接口，可以先用现成方案或很薄的一层。

]]>https://localaihub.com/post/2379https://localaihub.com/post/2379Fri, 15 May 2026 16:39:00 GMT