llm-data-research

大模型数据动态定期洞察 Skill

本 Skill 自动执行完整的大模型数据市场调研流程，涵盖数据采集、Excel 整理、合作线索关联、市场洞察报告输出、定时任务设置、Word 报告生成共六个步骤。

新增核心能力：监控头部厂商和外部数商的招募动态（数据标注任务招募、专家招募画像），通过招募信号反推：

• 头部大厂下一代模型的发力方向（招募什么样的专家 → 在训练哪个能力方向）
• 外部数商（Talents AI、一面千识等）的生产能力和专家储备质量
• 海外大厂（OpenAI、Google、Meta 等）的数据战略动向

---

环境前置检查

在开始前确认以下环境就绪：

# 1. 确认 CDP Proxy 运行（web-access skill 依赖）
curl -s http://localhost:3456/targets | python3.11 -c "import json,sys; t=json.load(sys.stdin); print(f'CDP就绪，{len(t)}个Tab')"

# 2. 确认 Python 版本（openpyxl 安装在 python3.11）
python3.11 -c "import openpyxl; print('openpyxl', openpyxl.__version__)"

若 CDP Proxy 未启动，运行：node ~/.claude/skills/web-access/scripts/check-deps.mjs

关键约束：

• 所有浏览器操作必须在主线程用 Bash 直接执行，不得启动子 Agent 执行网络操作（子 Agent 无法继承工具权限）
• Excel 生成使用 python3.11（不是 python3 或 python）
• 小红书详情页需登录才能看正文，搜索结果列表页关闭弹窗后可读取卡片信息

工具受限时的降级策略

如果 Bash/Write 工具被拒绝，不要停止，切换到「知识合成 + 内联输出」模式继续执行所有6步：

1. 继续完成所有6步，文件输出改为内联 Markdown 输出，并在每步开头注明：> ⚠️ 工具受限：以下为内联输出，建议手动保存
2. Step 1：列出将执行的具体搜索关键词，从训练知识中综合近期信息（明确标注「来源：训练知识，截止至 XXXX 年」）
3. Step 2 Excel：输出各 Sheet 的列名 + 至少5条真实数据行（Markdown 表格格式）
4. Step 4 报告：完整输出所有8节内容，各节有实质分析，不留空节
5. Step 6 Word：输出完整 /tmp/llm_report_data.json JSON 内容（代码块包裹），提示用户可手动运行 node scripts/generate_report.js --data /tmp/llm_report_data.json

用户真正需要的是分析质量，不只是文件存在。在工具受限时，高质量的内联分析报告比「无法执行」更有价值。

---

Step 1：多平台信息采集

1.1 小红书采集

小红书有反爬机制，必须通过 CDP 操作：

# 打开搜索页
XHS_ID=$(curl -s "http://localhost:3456/new?url=https://www.xiaohongshu.com/search_result?keyword=大模型专家标注招募" | python3.11 -c "import json,sys; print(json.load(sys.stdin)['targetId'])")
sleep 4

# 关闭登录弹窗（弹窗选择器）
curl -s -X POST "http://localhost:3456/click?target=$XHS_ID" -d '.close-icon' > /dev/null
sleep 1

# 提取搜索结果卡片
curl -s -X POST "http://localhost:3456/eval?target=$XHS_ID" -d '
JSON.stringify(Array.from(document.querySelectorAll("section.note-item, [class*=\"note-item\"]")).map(el => {
  const title = el.querySelector("a[class*=\"title\"] span, [class*=\"title\"] span")?.innerText?.trim() || "";
  const author = el.querySelector("[class*=\"author\"] span")?.innerText?.trim() || "";
  const time_text = el.innerText?.match(/\d{4}-\d{2}-\d{2}|\d+天前|\d+小时前|[0-9]{2}-[0-9]{2}/)?.[0] || "";
  const href = el.querySelector("a[href*=\"explore\"]")?.href || "";
  return {title, author, time_text, url: href};
}).filter(x=>x.title).slice(0,20))
'