scrape-nowcoder

scrape-nowcoder：牛客面经 CDP 抓取

基于 Chrome DevTools Protocol 原生 WebSocket，零依赖。直接连接已运行的 Chrome 调试端口，复用浏览器登录态。

工作方式

1. 连接 Chrome 调试端口（默认 9222）
2. 如果端口不可达，自动启动独立 Chrome 实例（~/.chrome-nowcoder）
3. 支持首页推荐流、标准话题 API、creation/subject 无限滚动话题和面经分类搜索结果
4. 在已登录的浏览器中操作，抓取完成后 Chrome 保持运行

前置条件

• Node.js >= 22（需要原生 WebSocket 和 fetch）
• Google Chrome（Windows 或 macOS）以调试端口运行
• 已在该 Chrome 中登录牛客网

首次使用

启动带调试端口的 Chrome（会自动创建 ~/.chrome-nowcoder profile）：

node .claude/skills/scrape-nowcoder/scrape.mjs --login

在弹出的 Chrome 中登录牛客，profile 会持久化 cookie。cookie 过期或页面跳转登录页时重新执行 --login。

用法

node .claude/skills/scrape-nowcoder/scrape.mjs [选项]

选项

参数	默认值	说明
--login	—	首次使用：启动 Chrome 并打开登录页
--home	—	抓取首页推荐流，通过连续下拉加载后续内容
--topic <url|id>	818_1	抓取话题流；支持 creation/subject/<uuid> URL、其他完整牛客 URL 或 type 值
--pages <n>	1	最大页数；首页模式下为连续滚动批次
--limit <n>	0	列表去重和关键词筛选后最多抓取前 n 篇详情；0 表示不限
--since <date>	(空)	标准话题接口或搜索模式仅保留该日及之后内容；话题接口连续两页全部更早时停止
--until <date>	(空)	标准话题接口或搜索模式仅保留该日及之前内容；与 --since 组合限定月份/区间
--keyword <kw>	(空)	按关键词筛选标题和列表摘要（如“AI”、“大模型”）
--search <query>	(空)	面经分类搜索模式；固定使用 type=all&searchType=顶部导航栏&subType=818 并翻页
--out <dir>	.claude/skills/scrape-nowcoder/nowcoder-output	输出目录
--port <port>	9222	Chrome 调试端口
--delay <ms>	2000	请求间隔，避免触发反爬

常用示例

# 默认抓牛客面经话题 type=818_1 的第 1 页
node .claude/skills/scrape-nowcoder/scrape.mjs

# 从面经话题抓 10 页，连续两页全部早于指定日期时自动停止
node .claude/skills/scrape-nowcoder/scrape.mjs --topic "https://www.nowcoder.com/?type=818_1" --pages 10 --since "2026-08-12"

# 抓 creation/subject 无限滚动话题：初始可见页 + 9 次加载
node .claude/skills/scrape-nowcoder/scrape.mjs --topic "https://www.nowcoder.com/creation/subject/14710425d5b74593b2ef7103d293606f" --pages 10

# 只取 subject 首屏前 3 篇做流水线冒烟测试
node .claude/skills/scrape-nowcoder/scrape.mjs --topic "https://www.nowcoder.com/creation/subject/14710425d5b74593b2ef7103d293606f" --pages 1 --limit 3

# 首页推荐流连续滚动 3 个批次，只保留 AI 相关内容
node .claude/skills/scrape-nowcoder/scrape.mjs --home --pages 3 --keyword "AI"

# 面经分类搜索：搜"字节跳动 后端 面经"，抓 5 页
node .claude/skills/scrape-nowcoder/scrape.mjs --search "字节跳动 后端 面经" --pages 5

# 搜索"面"并逐篇按详情发布日期筛选已召回的 2026 年 7 月候选
node .claude/skills/scrape-nowcoder/scrape.mjs --search "面" --pages 50 --since "2026-07-01" --until "2026-07-31" --out ".claude/skills/scrape-nowcoder/nowcoder-output-2026-07-search"

# 面经分类搜索：搜 Redis 八股
node .claude/skills/scrape-nowcoder/scrape.mjs --search "Redis 面经 八股" --pages 3

# 指定端口
node .claude/skills/scrape-nowcoder/scrape.mjs --port 9333