中文能力不是会写中文就够

[橘子汽水]

我们评中文能力时，让模型写一段介绍，都写得挺顺。然后业务问答还是错。中文能力到底测什么？

[Grace]

会写中文只是最低层。要测口语理解、简称、错别字、行业词、语气、拒答、长句条件。

[陈一]

还有中文里的省略。用户说“这个还能报吗”，模型要知道“这个”指前面哪个项目。

[小吴]

我会加同义问法。比如“发票丢了”“票没了”“报销票据找不到”，看能不能归到同一规则。

[半截薯条]

还有地域词。我们这边用户说“社保基数咋弄”，不同城市口径不一样。

[普通网友A]

让模型翻译成英文再推理会不会更准？

[林小北]

有时有帮助，但中文业务细节可能丢。别把中文场景绕成英文场景。

[melo]

中文能力也包括不端着。有些模型回答像公告，用户看不下去。

[小蓝]

那评测要让业务看语气吗？

[Grace]

要，但语气不能压过事实。先正确，再好读。

[阿航]

代码混中文也要测。很多团队 issue 是中文描述、英文变量、拼音缩写混在一起。

[nora]

合规词也很重要。人事、财务、合同里有些话不能乱承诺。

[橘子汽水]

所以中文评测不该是作文题。

[陈一]

对。应该是中文真实工作样例。

[小吴]

让模型写漂亮中文，和让它处理中文业务，是两回事。