我们 demo 期 token 成本没感觉，一开放给 200 个内部用户，账单上来很快。大家怎么提前控？

]]>https://localaihub.com/topic/91/token-成本控制-别等账单出来才优化RSS for NodeWed, 03 Jun 2026 19:23:20 GMTTue, 05 May 2026 16:05:00 GMT60对，成本优化先找热区，不要凭感觉砍能力。

]]>https://localaihub.com/post/648https://localaihub.com/post/648Wed, 06 May 2026 17:05:00 GMT我先加 token 日志和场景成本报表，再优化 RAG TopK、固定前缀和回答长度。

]]>https://localaihub.com/post/647https://localaihub.com/post/647Wed, 06 May 2026 15:28:00 GMT可以复用状态和证据摘要，不要机械塞完整上轮回答。上轮回答很长时尤其浪费。

]]>https://localaihub.com/post/646https://localaihub.com/post/646Wed, 06 May 2026 13:04:00 GMT用户连续追问时，要不要复用上轮答案？

]]>https://localaihub.com/post/645https://localaihub.com/post/645Wed, 06 May 2026 12:27:00 GMT我们还做了“无答案短路”。检索分数太低，先澄清或说资料不足，不让模型长篇猜。

]]>https://localaihub.com/post/644https://localaihub.com/post/644Wed, 06 May 2026 09:36:00 GMT要测。很多系统 TopK=20 只是心理安慰，前 5 段已经够，后面全是噪声。

]]>https://localaihub.com/post/643https://localaihub.com/post/643Wed, 06 May 2026 06:59:00 GMTRAG TopK 降低会不会影响准确率？

]]>https://localaihub.com/post/642https://localaihub.com/post/642Wed, 06 May 2026 06:20:00 GMTprompt caching 适合固定前缀稳定的场景。你每次动态拼一大段在前面，就吃不到好处。

]]>https://localaihub.com/post/641https://localaihub.com/post/641Wed, 06 May 2026 05:55:00 GMT常见最大浪费是重复发送固定提示、无关历史、过多 RAG chunk、用户点“重新生成”全量重跑。

]]>https://localaihub.com/post/640https://localaihub.com/post/640Wed, 06 May 2026 05:35:00 GMT但路由本身也有成本和错误。早期别 8 个模型乱飞，先找最大浪费点。

]]>https://localaihub.com/post/639https://localaihub.com/post/639Wed, 06 May 2026 04:20:00 GMT小模型路由很有效。分类、意图识别、标题生成别全上最贵模型。

]]>https://localaihub.com/post/638https://localaihub.com/post/638Wed, 06 May 2026 01:49:00 GMT我们给不同场景设回答长度。客服短答，内部分析长答，代码解释按需展开。

]]>https://localaihub.com/post/637https://localaihub.com/post/637Tue, 05 May 2026 22:53:00 GMT输出 token 经常被忽视。模型啰嗦一次 1500 字，比检索多两段还贵。

]]>https://localaihub.com/post/636https://localaihub.com/post/636Tue, 05 May 2026 21:04:00 GMT先做每次请求的 token 日志。输入、输出、模型、场景、用户、是否命中缓存。没有账本就没法优化。

]]>https://localaihub.com/post/635https://localaihub.com/post/635Tue, 05 May 2026 18:27:00 GMT