openclaw

WebGrab - 全能网页内容下载技能

描述

WebGrab 是一个全能的网页内容下载工具，支持从任何网站下载视频、文章、弹幕和评论，并能绕过复制保护。支持B站、抖音、YouTube 及 1700+ 网站。

触发条件

• 用户要求下载视频
• 用户要求下载文章或网页
• 用户要求获取B站弹幕
• 用户要求获取B站或抖音评论
• 用户要求绕过网页复制保护
• 用户提到 "下载视频"、"下载文章"、"弹幕"、"评论"、"反复制"

前置要求

在 OpenClaw 配置中添加 WebGrab MCP 服务器：

编辑 ~/.openclaw/openclaw.json：

{
  "mcpServers": {
    "webgrab": {
      "command": "webgrab-mcp",
      "env": {
        "BILIBILI_COOKIE": "可选-用于高画质",
        "DOUYIN_COOKIE": "可选-用于评论采集"
      }
    }
  }
}

安装命令：

pip install webgrab

使用说明

视频下载

当用户提供视频链接时：

1. 使用 download_video 工具下载视频
2. 支持画质选择：best（最佳）、1080p、720p、480p、audio（仅音频）
3. 告知下载结果和文件位置

B站弹幕

当用户要求获取B站弹幕时：

1. 使用 get_bilibili_danmaku 工具
2. 支持格式：json、csv、xml、ass（字幕格式）
3. 汇报弹幕总数和示例

B站评论（含楼中楼）

当用户要求获取B站评论时：

1. 使用 get_bilibili_comments 工具
2. 默认包含楼中楼（嵌套回复）
3. 支持按时间或点赞数排序

抖音视频（无水印）

当用户提供抖音链接时：

1. 使用 get_douyin_video 工具
2. 默认下载无水印版本

抖音评论

当用户要求获取抖音评论时：

1. 使用 get_douyin_comments 工具
2. 指定 limit 参数控制数量

文章/网页下载

当用户要求保存网页时：

1. 使用 download_article 工具
2. 默认输出 Markdown 格式
3. 如需快速提取内容，使用 extract_webpage 工具

反复制保护

当用户遇到禁止复制的页面时：

1. 使用 bypass_copy_protection 工具
2. 会通过 Playwright 注入 JS 绕过限制
3. 返回完整文本内容

批量下载

多个链接时：

1. 使用 batch_download 工具
2. 以列表形式传入所有 URL

示例

用户: "帮我下载这个B站视频和弹幕: https://www.bilibili.com/video/BV1xx" → 先调用 download_video 下载视频，再调用 get_bilibili_danmaku 获取弹幕

用户: "把这篇文章保存为markdown: https://example.com/article" → 调用 download_article，设置 format="markdown"

用户: "这个网页禁止复制，帮我提取文字: https://protected-site.com" → 调用 bypass_copy_protection 提取文本