本地知识库一周更新一次，全量重建要 4 小时。增量更新怎么做才不乱？

]]>https://localaihub.com/topic/69/本地知识库更新-是重建全量还是增量RSS for NodeWed, 03 Jun 2026 19:23:07 GMTSun, 03 May 2026 20:44:00 GMT60旧帖补后续：加 hash 后全量 4 小时变成增量 18 分钟，主要时间花在 PDF 解析。

]]>https://localaihub.com/post/318https://localaihub.com/post/318Mon, 04 May 2026 18:37:00 GMT先补版本表。字段不用复杂：doc_id、hash、mtime、status、index_version、acl_version。

]]>https://localaihub.com/post/317https://localaihub.com/post/317Mon, 04 May 2026 15:48:00 GMT我们现在完全靠 rsync 后全量扫，确实没有版本表。

]]>https://localaihub.com/post/316https://localaihub.com/post/316Mon, 04 May 2026 15:17:00 GMT删除也要有墓碑记录。否则后面同步断了，不知道是没扫到还是删了。

]]>https://localaihub.com/post/315https://localaihub.com/post/315Mon, 04 May 2026 14:46:00 GMT用内容 hash + 稳定 doc_id。path 只是 metadata，不要当唯一身份。

]]>https://localaihub.com/post/314https://localaihub.com/post/314Mon, 04 May 2026 14:24:00 GMT本地文件夹还要处理改名。path 变了但内容没变，不应该当新文档重复入库。

]]>https://localaihub.com/post/313https://localaihub.com/post/313Mon, 04 May 2026 11:56:00 GMT看数据量。生产里 2 倍临时空间通常比半夜修脏数据便宜。

]]>https://localaihub.com/post/312https://localaihub.com/post/312Mon, 04 May 2026 11:44:00 GMT但向量库里建两份很占空间。

]]>https://localaihub.com/post/311https://localaihub.com/post/311Mon, 04 May 2026 11:14:00 GMT推荐蓝绿索引。新版本建好后切指针，失败就回滚旧版本。

]]>https://localaihub.com/post/310https://localaihub.com/post/310Mon, 04 May 2026 08:15:00 GMT可以用 ingestion pipeline 记录转换步骤和缓存，但还是要有自己的版本表。

]]>https://localaihub.com/post/309https://localaihub.com/post/309Mon, 04 May 2026 06:02:00 GMT这是最常见脏库。增量更新不是只加，是加、改、删、失效都要管。

]]>https://localaihub.com/post/308https://localaihub.com/post/308Mon, 04 May 2026 03:41:00 GMT我们之前只追加新 chunk，不删旧 chunk。结果用户问制度，新旧版本一起回来。

]]>https://localaihub.com/post/307https://localaihub.com/post/307Mon, 04 May 2026 01:41:00 GMT还要区分 doc_id 和 chunk_id。文档变了，旧 chunk 要能删干净。

]]>https://localaihub.com/post/306https://localaihub.com/post/306Sun, 03 May 2026 22:50:00 GMT先给文档算 hash。文件没变就别重嵌入，变了再处理。

]]>https://localaihub.com/post/305https://localaihub.com/post/305Sun, 03 May 2026 22:06:00 GMT