llmwiki-ingest

LLM Wiki 摄取

把原始来源中的新信息编译进 wiki/，让知识库持续积累，而不是每次查询都重新从原文开始。

目标

• 发现新增、变更、删除的来源文件
• 为来源创建摘要页
• 更新相关实体页、概念页、案例页
• 对 Books/ 默认按“每个正文章节 = 一个 source”摄取，而不是整本书一个 source
• 维护 [[wikilinks]] 和反向链接
• 更新 wiki/index.md、wiki/.manifest.json、wiki/log.md

输入范围

默认扫描这些来源目录：

• 300 Resources/
• Books/
• 200 Areas/

如果用户明确指定文件或子目录，就只处理指定范围。

工作原则

• 原始来源只读，不修改
• 优先增量更新，而不是重建整个 wiki
• manifest 负责追踪来源哈希和已影响的 wiki 页面
• 只保留有信息密度的摘要，不把原文无差别复制进 wiki
• 当多个来源谈到同一实体或概念时，优先合并进已有页面
• #llmwiki 只放在 frontmatter tags 里，不出现在正文；是否保留该标签优先按原始来源目录决定
• 对书籍来源，先读取书籍 moc，按目录识别正文章节；跳过致谢、目录、附录、索引、参考文献等非正文块
• 书籍来源的抽取粒度为章节级：每个正文章节单独提取 stories、entities、concepts

清单格式建议

wiki/.manifest.json 可使用这种结构：

{
  "300 Resources/example.md": {
    "md5": "a1b2c3...",
    "ingested": "2026-04-08",
    "wiki_pages": [
      "sources/example.md",
      "entities/some-entity.md",
      "concepts/some-concept.md"
    ]
  }
}

执行步骤

1. 找出需要处理的来源

• 读取 wiki/.manifest.json
• 扫描候选来源目录
• 计算文件哈希
• 分出四类状态：
  • 新增
  • 已修改
  • 未变化
  • 已删除

如果用户给了明确路径，可以跳过自动检测，直接强制重摄取目标范围。

2. 读取当前 wiki 状态

在处理来源前，先了解已有知识结构：

• 读取 wiki/index.md
• 按需搜索可能受影响的现有页面
• 找出应复用或更新的实体页、概念页、案例页

3. 处理单个来源

对每个来源执行：

3.1 读取与分析

• 如果来源在 Books/：
  • 先读取该书 moc，确定章节顺序和章节边界
  • 仅处理正文章节；跳过致谢、目录、附录、索引、参考文献等非正文内容（以及语义上等价的章节）
  • 按“每章节一个 source”处理，不把整本书合并成一个 source
• 读取来源正文
• 识别关键实体、概念、案例、数据点、结论、矛盾、关系
• 如来源包含图片，默认不要求解析图片具体内容
• 对 Books/ 来源，图片链接本身属于重要上下文：即使当前只用纯语言模型，也应把图片链接保留到 source 页面
• 如果当前环境支持多模态，可再按需把这些图片作为额外上下文；如果不支持，也不要因为无法看图而跳过图片链接

3.2 创建或更新 source 页面

写入 wiki/sources/<source-name>.md，建议包含：

• 来源路径
• 摄取日期
• 2 到 4 段高密度摘要
• 要点列表
• 提及的实体
• 相关概念
• 相关案例
• 如原始来源含重要图片，增加“相关图片”或等价小节，保留图片链接或嵌入链接
• frontmatter tags 中按需要保留 llmwiki

对于 Books/，<source-name> 应体现“书名 + 章节名”或等价唯一标识，确保每章可独立追踪、回链和增量重摄取。

3.3 创建或更新 entity 页面

放在 wiki/entities/，用于人物、公司、产品、工具、组织、地点等相对稳定对象。 页面如需进入复习池，应在 frontmatter tags 中包含 llmwiki，正文不要出现 #llmwiki。

3.4 创建或更新 concept 页面

放在 wiki/concepts/，用于原理、方法、范式、框架、模型、主题。 页面如需进入复习池，应在 frontmatter tags 中包含 llmwiki，正文不要出现 #llmwiki。