link-checker

Link Checker

当任务包含外部链接清单、邮件/文档 URL 安全检查时使用。Link Checker 是一款全方位、多维度的链接健康度与安全性审计工具。它不仅能发现 404 等失效链接，还能深入探测重定向背后的潜在威胁（如钓鱼攻击、恶意软件下载），确保 Agent 与外部互联网交互时的绝对安全。

安装

npx clawhub@latest install link-checker

触发场景

• 对外发布前检查：在发布新的文档（Docs）、博客文章（Blog）或落地页（Landing Page）前，确保其中引用的所有内外部链接均为有效且可达。
• 疑似钓鱼链接检测：在处理邮件或 Slack 消息中的未知 URL 时，利用 Link Checker 进行“先行探测”。
• SEO 优化与维护：定期对现有网站进行全量扫描，修复会导致搜索引擎降权的“断链”。
• 审核运营素材：在广告投放或邮件营销前，核对跳转链路是否正确，避免预算浪费。
• 代码库依赖核对：检查 package.json 或 README.md 中引用的项目主页、许可协议链接是否依然有效。

核心检查项

• HTTP 状态码与超时：识别 404 (Not Found), 403 (Forbidden), 500 (Server Error) 等基本可达性问题。
• 重定向路径分析 (Redirect Chain)：追踪 301/302 跳数。如果跳转次数超过 5 次，标记为高风险或潜在的重定向循环。
• 协议安全性 (SSL/TLS)：强制检查是否支持 HTTPS，是否存在证书过期或不安全的 TLS 版本。
• 域名信誉与可疑特征：检测同形异义词攻击（Homograph Attack，如 googIe.com 使用大写 i 代替小写 l）、异常子域名（如 login.paypal.com.secure-auth.xyz）。
• 页面内容一致性：检查最终跳转页面的标题（Title）是否与原始链接描述相符。

结果建议

• 阻断 (Block)：检测到确凿的恶意链接、病毒库匹配项或无法修复的证书错误。
• 人工复核 (Review)：链接可达但域名信誉低，或重定向到了意外的第三方平台。
• 通过 (Pass)：链接有效、安全且符合内容上下文。
• 输出修复方案：若发现 301 永久重定向，自动生成替代的最新 URL。

触发条件 / When to Use

• 邮件/文档摘要任务：当 Agent 准备从某个外部链接提取内容前。
• 安全加固 (Hardening)：作为 security-vetter 或 input-guard 的下游技能，对输入流中的 URL 进行清洗。
• 部署前哨 (Pre-deploy)：集成在 CI/CD 流水线的最后一步。
• 知识库更新 (RAG Maintenance)：在更新本地 MEMORY.md 引用时。
• 大规模网页抓取 (Scraping)：在启动 web_scraper 之前，先批量验证 URL 列表的活性。

核心能力 / Core Capabilities

1. 深度网络探测 (Network Probing)

• 操作步骤：
  1. 使用 HEAD 请求而非 GET 请求（减少流量消耗，隐藏抓取痕迹）。
  2. 设置合理的 User-Agent（模拟 Chrome/Safari）以规避反爬策略。
  3. 捕获完整的 HTTP Response Headers，提取 X-Powered-By 或 Server 字段进行指纹识别。
• 最佳实践：对于高敏感域名，使用 Proxy 模式进行探测，防止本地 IP 泄露。

2. 启发式安全扫描 (Heuristic Scanning)

• 操作步骤：
  1. 拆解 URL 组成部分：Protocol, Subdomain, Domain, TLD, Path, Query Params.
  2. 匹配已知的恶意 TLD 黑名单（如部分免费的 .tk, .ml 域名）。
  3. 扫描 Query 参数中是否包含疑似 Base64 加密的敏感信息。
• 最佳实践：对比 whois 信息中的域名创建时间，对于刚注册不到 30 天的域名保持警惕。

3. 内容一致性对比 (Visual/Textual Validation)

• 操作步骤：
  1. 调用 web_fetch 或 screenshot 获取最终页面的快照。
  2. 提取页面关键词，与原始锚点文本（Anchor Text）进行语义匹配。
  3. 如果链接描述是“下载发票”，但最终页面包含“博彩游戏”，立即触发报警。
• 最佳实践：使用 image_edit 技能进行 OCR，识别页面内嵌入的恶意图片文字。