web-clipper

Web Clipper

目标：把「网页文章收藏」做成稳定工作流，而不是一次性手工操作。

和 Obsidian / 本地知识库的关系

本 Skill 是文章进入本地知识系统的入口。它不把网页直接冒充成已经整理好的知识，而是先保存为带来源信息的 source_candidate，供后续人工筛选、知识编译或写作流程继续处理。

默认分工：

• Obsidian Web Clipper：浏览器里手动剪藏，模板负责生成最小 OKF frontmatter。
• 本 skill：Agent 批量抓取、补抓失败页面、检查文章正文质量。
• 后续知识流程：把高价值候选资料编译成来源卡、概念、方法、案例、练习或写作素材。

新增或抓取的文章默认不是“已整理知识”，而是“待判断资料”。状态字段使用：

unprocessed -> queued -> source_carded -> compiled -> used
ignored / needs_human

保存的 Markdown 应尽量包含以下字段，方便 Obsidian、检测脚本和后续 Agent 读取：

---
type: source_candidate
title: "..."
summary: "..."
source: "https://..."
resource: "https://..."
source_kind: web_article
platform: web
author: "..."
published: "YYYY-MM-DD"
clipped: "ISO时间"
clipper: agent_web_clipper
okf_version: local-okf-v0.2
compile_status: queued
status: unprocessed
training_relevance: medium
topics:
  - Agent
candidate_outputs:
  - source_card
  - writing_fuel
reuse_note: ""
tags:
  - clipping
---

字段含义：

• type: source_candidate：表示这是候选来源，不是正式 Wiki 页。
• source_kind：来源类型，例如 wechat_article、x_status、web_article。
• training_relevance：内容复用相关度。Agent 抓取默认 medium，可用 --training-relevance high|medium|low|unknown 覆盖。
• topics：OKF 主题标签。脚本会从标题、URL、描述和 tags 粗推，也可用 --topic Agent --topic AI培训 显式指定。
• candidate_outputs：后续可能拆成的知识资产类型。脚本默认 source_card + writing_fuel，可用 --candidate-output method 等重复追加。
• compile_status：后续自动检测和编译流程读取的主状态字段。Agent 抓取默认 queued，表示进入候选队列但不自动写正式 Wiki。

这个 skill 解决什么问题

它覆盖两类任务：

1. 单篇收藏

   • 输入一个文章 URL
   • 提取标题、摘要、发布日期、正文
   • 保存为 Markdown 到用户指定目录

2. 批量收藏

   • 输入一个索引页、归档页、专题页、作者主页
   • 按用户要求抓前 N 篇、热门文章、最新文章，或指定的一组文章
   • 批量保存到本地

成功率优先的执行策略

按下面顺序走，不要反过来：

首次使用与依赖自检

这个 skill 在分享 zip 给别人后，统一走 wrapper，不要直接打主脚本。

首次运行时，先执行：

bash <web-clipper-root>/scripts/run_web_clipper.sh --help

注意：这条命令有副作用。

它会先运行 bootstrap，可能创建默认 clipping 目录和当前项目下的 .web-clipper/EXTEND.md。

wrapper 会先调用 scripts/bootstrap.sh，自动做这些事：

1. 检查 Python 3 是否可用
2. Python 3 缺失时尝试自动安装
3. 检查主脚本是否完整
4. 自动创建默认 clipping 目录
5. 首次运行时写入当前项目下的 .web-clipper/EXTEND.md