模型路由别把用户问题切碎到失真

[chen_vv]

为了省成本，我们想把一个用户问题拆成分类、检索、摘要、回答四个模型。会不会太复杂？

[阿航]

复杂不是问题，失真才是问题。每一层模型都会改写信息，最后回答模型看到的可能不是用户原意。

[melo]

我们之前分类器把“不能登录，想退费”分到账号问题，退款部分丢了。后面客服答得很礼貌但没解决。

[小蓝]

路由器输出要允许多标签，不要强行单选。真实问题经常同时是账号、账单、情绪。

[zeroOne]

还要保留原始用户问题给最终模型。中间摘要可以辅助，但不能替代原文。

[林小北]

小模型做前置没问题，但要有置信度。低置信时升级大模型或走人工，不要硬判。

[小周]

如果每一步都让大模型复核，成本又回来了。

[leaf_1997]

只复核高风险场景：退款、合规、隐私、投诉、越权。普通 FAQ 不需要。

[陈一]

任务拆分要看可观测性。每一步记录输入输出和决策理由，不然错了不知道哪层坏。

[普通网友A]

决策理由会不会变成开发者术语进界面？

[葡萄冰]

内部日志可以有，前端不要显示。用户只需要看到解决问题的答复。

[nora]

还有延迟。四层串行模型，用户等到失去耐心。能并行的并行，能缓存的缓存。

[chen_vv]

那第一版是不是先分类 + 主模型，别搞太多层？

[阿航]

对。先从最大成本点开始拆，别为了架构好看拆。

[melo]

每拆一层都要问：它降低了成本、延迟，还是提高了准确率？没有就删。