Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
那它不是一定比 dense 快？
不一定。小并发、框架没优化、通信开销、显存放不下，都会让结果不理想。
企业部署先看任务质量和稳定性，再看成本。模型架构不是采购理由。
MoE 会不会回答风格不稳定？
风格稳定更多和训练、对齐、采样、提示词有关。不能只怪 MoE。
我觉得 MoE 最大误区是“听起来省钱”。实际你还要能把它服务起来。
对。一个模型在论文或榜单上强，不代表你们那台机器上能稳定跑。
如果要测，就拿同一批业务样例跑：延迟、吞吐、显存、错误率、格式稳定性。
所以还是回到评测集。
几乎所有模型选择问题最后都会回到评测集。
还有许可证和生态。企业不是只买一次模型文件，后面要升级、回滚、排障。
明白。MoE 是候选，不是答案。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
