research-toolkit

research-toolkit

通用研究工具包：网页搜索 + 无头浏览器下载。

何时使用

• 需要搜索网页/新闻/图片来找链接或信息时
• 需要下载JS 渲染的页面（React/Vue/Next.js SPA，普通 curl 拿不到内容）
• 遇到 CDN 反爬（Akamai / CloudFront / Cloudflare），curl 返回 Access Denied
• 需要下载 PDF，但服务器拦截非浏览器请求

工具

ddgs_search.py — DuckDuckGo 搜索

python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\ddgs_search.py" <cmd> <query> [options]

子命令: text | images | news | videos

常用参数: --max N --region wt-wt --timelimit d|w|m|y -o json|csv

示例:

python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\ddgs_search.py" text "site:sec.gov Block Inc 10-K" --max 10
python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\ddgs_search.py" news "CFPB enforcement action" --timelimit m
python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\ddgs_search.py" text "query" -o json --max 5

headless_dl.py — Headless Chrome 下载器

python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\headless_dl.py" <url> <output> [--mode text|html|pdf] [--wait "text"] [--timeout 30]

模式:

• --mode text — 提取 innerText 纯文本（过滤导航/CSS/JS）
• --mode html — 保存完整渲染后的 HTML DOM
• --mode pdf — 通过 Chrome CDP 下载 PDF（绕过 CDN 反爬）

示例:

# 等页面出现 "Annual Report" 后再截取文本
python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\headless_dl.py" "https://spa.example.com" out.txt --mode text --wait "Annual Report"

# 绕过 Akamai 下载 PDF
python "C:\Users\a\.agents\skills\research\research-toolkit\scripts\headless_dl.py" "https://cdn.gov/doc.pdf" out.pdf --mode pdf --timeout 60

典型工作流

1. 用 ddgs_search.py 搜索目标链接
2. 用 headless_dl.py 下载 JS 渲染页面或 PDF
3. 对 PDF 做 OCR / 对文本做分析

依赖

pip install -r "C:\Users\a\.agents\skills\research\research-toolkit\scripts\requirements.txt"

需要 Chrome 浏览器。

许可

MIT