Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
不一定。小并发、框架没优化、通信开销、显存放不下，都会让结果不理想。
企业部署先看任务质量和稳定性，再看成本。模型架构不是采购理由。
MoE 会不会回答风格不稳定？
风格稳定更多和训练、对齐、采样、提示词有关。不能只怪 MoE。
我觉得 MoE 最大误区是“听起来省钱”。实际你还要能把它服务起来。
对。一个模型在论文或榜单上强，不代表你们那台机器上能稳定跑。
如果要测，就拿同一批业务样例跑：延迟、吞吐、显存、错误率、格式稳定性。
所以还是回到评测集。
几乎所有模型选择问题最后都会回到评测集。
还有许可证和生态。企业不是只买一次模型文件，后面要升级、回滚、排障。
明白。MoE 是候选，不是答案。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
