ingest

ingest 技能

核心工作流：Inbox & Archive

你正在维护一个 LLM Wiki（Obsidian 知识库）。raw/ 目录是"待处理收件箱"，wiki/ 是"编译输出层"。

目录结构约定：

• raw/01-articles/ — 网页剪藏的 Markdown 文章
• raw/02-papers/ — 论文和 PDF 文献
• raw/03-transcripts/ — 视频转录文案
• raw/04-meeting_notes/ — 会议/课堂笔记
• raw/09-archive/ — 已处理文件的归档目录，禁止读取
• wiki/sources/ — 资料摘要
• wiki/entities/ — 实体（人物、公司、工具、产品）
• wiki/concepts/ — 概念（框架、方法论、理论）
• wiki/syntheses/ — 综合分析报告

状态追踪机制（增量 Ingest）

系统通过 .claude/ingest-state.json 追踪处理状态，避免重复编译：

{
  "version": 1,
  "last_full_scan": "2026-05-01T10:00:00",
  "files": {
    "raw/01-articles/xxx.md": {
      "hash": "a3f2c1d4",
      "status": "archived",
      "ingested_at": "2026-05-01T10:30:00",
      "outputs": [
        "wiki/sources/摘要-xxx.md",
        "wiki/concepts/YYY.md",
        "wiki/entities/ZZZ.md"
      ]
    }
  }
}

状态规则

状态	含义	处理方式
pending	从未处理过	完整编译
modified	文件内容有变更（哈希不同）	重新编译，更新关联页面
archived	已处理且源文件未变更	跳过
failed	上次处理失败	重新尝试

哈希计算

对文件内容计算简单哈希（如 MD5 或 SHA-256），用于检测变更。

触发逻辑

1. 用户执行 /ingest：扫描 raw/ 所有子目录（排除 09-archive/），找出待处理文件。
2. 用户执行 /ingest <path>：仅处理指定文件。
3. 用户执行 /ingest <url>：URL 摄入模式（见下方"URL 摄入"章节）。
4. 隐式触发：用户说"把这个资料摄入知识库"、"导入这篇文章"时，自动执行 ingest。

URL 摄入模式

当 /ingest 的参数以 http:// 或 https:// 开头时，触发 URL 摄入流程：

步骤 0：网页抓取与存储

1. 抓取网页内容：使用 WebFetch 或等效工具获取 URL 指向的页面内容，提取正文文本
2. 转换为 Markdown：将 HTML 内容转换为 Markdown 格式，保留标题层级、链接、图片引用
3. 生成本地文件名：从 URL 提取域名和页面标题，生成 kebab-case 文件名
   • 格式：{域名}-{页面slug}.md
   • 示例：https://example.com/article/transformer-explained → example-com-transformer-explained.md
4. 存储到 raw/：将转换后的 Markdown 保存到 raw/01-articles/ 目录
5. 在文件头部添加元信息：

   ---
   source_url: <原始URL>
   fetched_at: YYYY-MM-DDTHH:MM:SS
   ---
   
   # <页面标题>
   
   <正文内容>
   

6. 进入正常编译流水线：从步骤 1 开始处理该文件

注意：URL 摄入模式下，步骤 7（归档）仍然执行，源文件移动到 raw/09-archive/。 如果抓取失败（网络错误、页面不存在），向用户报告失败原因，不创建任何文件。