Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
本地部署还受显存、KV cache、推理框架限制。模型理论窗口和你实际能跑的窗口可能不同。
API 文档里的限制也要看输入输出合计、单次请求限制、模型版本。别用旧博客数字。
那产品宣传能写“支持 128K 文档问答”吗？
如果真实体验没测过，别这么写。可以写“支持长文档处理”，但验收要看准确率和延迟。
怎么测实际可用长度？
做位置敏感测试：关键答案放开头、中间、末尾；单文档、多文档；有干扰段落；看引用是否正确。
还要测随着长度增加的成本和延迟。用户不只要答对，还要等得起。
我们之前把政策合集按月份拼一起，模型总引用旧政策。后来按生效日期过滤，效果才好。
所以窗口大不代表上下文管理可以摆烂。
对。窗口越大，越需要整理输入。
长上下文是能力，不是清洁工。
你好！看起来您对这段对话很感兴趣，但您还没有一个账号。
厌倦了每次访问都刷到同样的帖子？您注册账号后，您每次返回时都能精准定位到您上次浏览的位置，并可选择接收新回复通知（通过邮件或推送通知）。您还能收藏书签、为帖子顶，向社区成员表达您的欣赏。
有了你的建议，这篇帖子会更精彩哦 💗
