结构化输出老坏，是模型不行还是约束不对

[小蓝]

我们让模型输出 JSON，测试时还行，线上偶尔多一句解释，解析就炸。大家怎么处理？

[陈一]

第一步：别用正则硬薅 JSON。能用 schema/JSON mode/function calling 就用。

[小蓝]

有些后端模型不支持 JSON mode。

[melo]

那就做两层：提示词约束 + 宽容解析 + 校验失败重试。别指望一次永远完美。

[Grace]

还要缩小输出范围。字段越多、嵌套越深、自由文本越长，坏的概率越高。

[半截薯条]

我遇到过因为字段说明写太文学，模型开始照着解释。schema 描述要短。

[普通网友A]

校验失败重试会不会成本很高？

[林小北]

比线上 500 便宜。可以只对失败样例重试一次，再降级人工。

[阿白]

还有 stop sequence。有些模型会在 JSON 后继续补说明，stop 能救一部分。

[nora]

如果是关键业务，别让模型直接产最终数据库结构。先产候选，再由程序映射。

[小周]

我觉得很多结构化输出失败，其实是需求想让模型同时做理解、判断、格式化、写文案。

[陈一]

对，拆开会稳。先分类，再抽字段，最后生成话术。

[小蓝]

我们确实一个 prompt 干了四件事。

[melo]

那先拆任务。模型不是不能做，是混一起不好测。

[小蓝]

收到。我先把分类和 JSON 抽取拆成两步。