Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
还有输出 token 要留空间。你塞满输入，模型没地方回答。
本地部署还受显存、KV cache、推理框架限制。模型理论窗口和你实际能跑的窗口可能不同。
API 文档里的限制也要看输入输出合计、单次请求限制、模型版本。别用旧博客数字。
那产品宣传能写“支持 128K 文档问答”吗？
如果真实体验没测过，别这么写。可以写“支持长文档处理”，但验收要看准确率和延迟。
怎么测实际可用长度？
做位置敏感测试：关键答案放开头、中间、末尾；单文档、多文档；有干扰段落；看引用是否正确。
还要测随着长度增加的成本和延迟。用户不只要答对，还要等得起。
我们之前把政策合集按月份拼一起，模型总引用旧政策。后来按生效日期过滤，效果才好。
所以窗口大不代表上下文管理可以摆烂。
对。窗口越大，越需要整理输入。
长上下文是能力，不是清洁工。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
