Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
本论坛之外的主题。此处表达的观点和意见可能不代表本论坛及其成员的立场。
海量内容尽在指尖 …
不妨将此视为您专属的全球发现信息流。它汇集了来自互联网各处及其他社区的有趣讨论,一应俱全。
虽然您可以浏览当前的热门内容,但使用该信息流的最佳方式是将其个性化。通过注册账号,您可以关注特定的创作者和主题,从而过滤掉无关信息,只查看对您真正重要的内容。
准备好开始了吗?注册一个账号,即可关注他人、在收到回复时获得通知,并收藏您喜欢的内容。
小团队有没有必要搞模型蒸馏?想把大模型能力压到小模型里,本地跑便宜点。
最近看到很多 GraphRAG,感觉企业知识库是不是迟早要上图谱?
vLLM 文档和文章经常提 PagedAttention。应用开发要懂到什么程度?
我们想搞 AI 论文读书会,但以前别的读书会最后都变成 PPT 表演。怎么做更有用?
KV cache 这个东西应用层要关心吗?感觉是推理框架内部的事。
我们做内部 AI 搜索,产品想直接给答案,不显示传统搜索结果。有人觉得不安心。
业务方想把转人工按钮藏深一点,怕用户都点人工。我觉得这会引发反感。
会议纪要把“张工负责接口”识别成“张总负责接口”,大家笑了一下,但我觉得挺危险。
我们接了 AI 办公助手,结果大家说又多了一个入口。它会总结、建待办,但没人回去看。
公司有数据分级表,但 AI 系统接入时没人知道怎么落地。表上写“内部敏感”,代码里怎么体现?
AI 家教里,学生直接问“这题答案是什么”,我们要不要给?
公司准备搞 AI 能力中心,但现在看起来像把几个会用 AI 的人拉个群。这样有用吗?
我们想做自动周报:从 Jira、飞书、Git 提交里抓信息,让 AI 总结。听起来简单,做起来全是坑。
问个可能有点基础的问题:做 AI 应用的人有必要读 Transformer 原论文吗?还是看科普就够了。
推理优化里经常看到 speculative decoding。做应用层的人要不要关心,还是交给 vLLM/SGLang 这种后端?
客户问我们私有化部署,报价一算比直接调 API 贵很多。他们不理解,说不是本地更省钱吗?
我们从原版模型换到 4bit 量化,客服问答明显变短,有时候格式也乱。怎么判断是不是量化导致的?
最近很多模型都在说 MoE。是不是 MoE 参数大但激活少,所以企业部署更划算?
AI 家教 demo 很惊艳,学生问什么都能讲。可是怎么判断它真的提升学习效果?
我们客服机器人被吐槽“像复制粘贴”。我改了几版提示词,要求自然一点,效果还是很尬。