xiaohongshu-ingest

小红书采集 + 爆款拆解 Skill

把小红书笔记抓成结构化 Markdown 入库，再用 DeepSeek 拆解爆款逻辑、衍生可直接写的选题。 自动区分图文与视频笔记：图文 → 下载图片本地嵌入；视频 → 像抖音那样转成文字稿。 补齐了仓库在「中文内容采集」上最大的平台缺口，也是「采集 → 选题」创作工作流的起点。

环境要求

# 图文采集零依赖（仅 Python 标准库）

# 视频笔记转录需要（与抖音/B站转录同一套依赖）：
pip install funasr modelscope torch torchaudio
# macOS: brew install ffmpeg   |   Ubuntu: sudo apt install ffmpeg

# 强烈建议：配置 cookie 以规避风控（从浏览器登录后复制）
export XHS_COOKIE="你的小红书 cookie 字符串"

# 爆款拆解需要 DeepSeek API Key
export DEEPSEEK_API_KEY="your-api-key"

使用方法

# 1) 采集笔记 → 统一 frontmatter Markdown
python scripts/fetch_note.py "https://www.xiaohongshu.com/explore/xxxx" -o ./out
python scripts/fetch_note.py "http://xhslink.com/xxxx" -o ./out
python scripts/fetch_note.py "链接" -o ./out --no-images   # 图文：只留图片链接不下载
python scripts/fetch_note.py "链接" -o ./out --no-video    # 视频：不转录，只留视频链接
python scripts/fetch_note.py "链接" -o ./out --fallback-text 手动正文.txt

# 2) 爆款拆解 → 拆解报告 + 5 条衍生选题
python scripts/analyze_hook.py ./out/某笔记.md -o ./out

产出

• fetch_note.py：标题、正文、标签、作者、互动数据（赞/藏/评）→ 统一 frontmatter Markdown（platform: xiaohongshu，含 note_type: image|video）。按笔记类型分流：
  • 图文笔记：图片下载到本地 <标题>.assets/ 并以 ![]() 嵌入（正文常在图里，本地化后 Obsidian 直接可见）。--no-images 只留链接，单张失败自动回退为链接
  • 视频笔记：提取视频直链 → ffmpeg 抽音频 → SenseVoice 转录为文字稿写入 ## 视频文字稿。--no-video 只留视频链接；缺 funasr/ffmpeg 时自动降级为存链接
• analyze_hook.py：目标人群 / 场景 / 痛点 / 情绪价值 / 标题钩子 / 正文结构 / 可复用模板 / 5 条衍生选题（带 - [ ] 勾选，可直接进选题库）

⚠️ 关于反爬（务必先读）

小红书风控严格，未登录的纯脚本访问经常被拦。本 skill 的策略：

1. 优先解析页面内嵌的 __INITIAL_STATE__ 结构化数据
2. 失败则回退到 og: 元标签
3. 仍失败时给出明确提示——此时可手动复制笔记正文存成 .txt，用 --fallback-text 继续生成统一 Markdown，或直接走 analyze_hook.py 拆解（拆解环节不依赖抓取）

提供 XHS_COOKIE 能显著提高采集成功率。页面结构若调整，需更新 fetch_note.py 里的选择器。

合规声明

仅供个人学习与研究使用。请遵守小红书用户协议与 robots 规则，控制请求频率，不要用于批量抓取、商用爬取或侵犯他人权益的场景。

衔接工作流

• 采集产物 → knowledge-base-management 入库（统一 frontmatter，按 platform 聚合）
• 衍生选题 → 创作者选题流（采集 → 拆解 → 选题库 → 初稿）
• 多篇拆解 → 沉淀「爆款选题库」，对接 industry-intelligence-radar 的趋势信号

参考