KV cache 这个东西应用层要关心吗？感觉是推理框架内部的事。

]]>https://localaihub.com/topic/158/kv-cache-是不是只和模型有关-应用不用管RSS for NodeWed, 03 Jun 2026 18:50:42 GMTMon, 11 May 2026 05:58:00 GMT60这句可以贴在需求评审里。

]]>https://localaihub.com/post/1647https://localaihub.com/post/1647Tue, 12 May 2026 01:55:00 GMT对。聊天框无限历史是产品爽，推理服务痛。

]]>https://localaihub.com/post/1646https://localaihub.com/post/1646Tue, 12 May 2026 00:26:00 GMT原来它和产品设计也有关。

]]>https://localaihub.com/post/1645https://localaihub.com/post/1645Mon, 11 May 2026 21:43:00 GMT还要考虑隐私。缓存复用不能跨用户泄露上下文。

]]>https://localaihub.com/post/1644https://localaihub.com/post/1644Mon, 11 May 2026 19:20:00 GMT生产上先做限制：单会话最大上下文、最大输出、超时、并发队列。

]]>https://localaihub.com/post/1643https://localaihub.com/post/1643Mon, 11 May 2026 16:22:00 GMT有些框架有缓存和复用思路，但别指望落盘解决所有问题。延迟和命中条件都要看。

]]>https://localaihub.com/post/1642https://localaihub.com/post/1642Mon, 11 May 2026 15:49:00 GMTKV cache 能不能落盘？

]]>https://localaihub.com/post/1641https://localaihub.com/post/1641Mon, 11 May 2026 13:47:00 GMT这就是应用层问题，不是模型突然变笨。

]]>https://localaihub.com/post/1640https://localaihub.com/post/1640Mon, 11 May 2026 11:43:00 GMT我们遇到过聊十几轮越来越慢，后来发现前端一直带全量历史。

]]>https://localaihub.com/post/1639https://localaihub.com/post/1639Mon, 11 May 2026 09:49:00 GMT截短是手段，不是目标。要保留当前任务需要的状态，删掉重复闲聊和过期信息。

]]>https://localaihub.com/post/1638https://localaihub.com/post/1638Mon, 11 May 2026 09:07:00 GMT那我把历史都截短就行？

]]>https://localaihub.com/post/1637https://localaihub.com/post/1637Mon, 11 May 2026 08:32:00 GMT应用层决定历史消息塞多少、RAG 片段塞多少、并发怎么排队，所以当然间接影响。

]]>https://localaihub.com/post/1636https://localaihub.com/post/1636Mon, 11 May 2026 07:47:00 GMT不用实现，但要关心后果。上下文越长、并发越高，KV cache 压力越大。

]]>https://localaihub.com/post/1635https://localaihub.com/post/1635Mon, 11 May 2026 07:00:00 GMT