empiricalwiki: Skill for Claude Code

/exp-design

根据一个 idea（或自由文本假设），设计完整的实验计划。 以 claims 为核心：从 Target / Decomposition / Threats 三个维度界定要验证的 claims， 设计 baseline（基线复现）、validation（核心验证）、ablation（因素隔离）、robustness（鲁棒性）四种实验块。 实验按依赖关系排序，阶段间设决策门（sanity fail → 提前停止）。 可选 Review LLM review 检查实验完整性。所有实验写入 wiki/experiments/ 并添加 graph edges。

Inputs

• idea：以下之一：
  • wiki/ideas/ 中的 slug（如 sparse-lora-for-edge-devices）
  • 自由文本假设描述（直接提供实验目标）
• --review（可选）：启用 Review LLM review 审查实验计划完整性
• --budget <gpu-hours>（可选）：总计算预算上限（GPU 小时），影响 robustness 实验规模

Outputs

• wiki/experiments/{slug}.md — 每个实验块一个页面（status: planned）
• wiki/graph/edges.jsonl — 新增 experiment → claim 的 tested_by 边
• wiki/ideas/{slug}.md — 更新 linked_experiments 字段
• wiki/graph/context_brief.md — 重建
• wiki/graph/open_questions.md — 重建
• wiki/log.md — 追加日志
• EXPERIMENT_PLAN_REPORT（输出到终端）— 实验块总览、执行顺序、计算预算

Wiki Interaction

Reads

• wiki/ideas/{slug}.md — 获取 idea 的 hypothesis、approach、risks、origin_gaps
• wiki/claims/*.md — 目标 claims 的当前状态、已有 evidence、confidence
• wiki/experiments/*.md — 已有实验（避免重复设计、参考 setup 配置）
• wiki/papers/*.md — 相关论文的 baselines 和实验设置
• wiki/concepts/*.md — 涉及的技术概念（指导实验设计）
• wiki/graph/context_brief.md — 全局上下文
• wiki/graph/open_questions.md — 知识缺口（指导实验优先级）

Writes

• wiki/experiments/{slug}.md — 创建实验页面（每个实验块一个）
• wiki/ideas/{slug}.md — 更新 linked_experiments 字段
• wiki/graph/edges.jsonl — 添加 tested_by 边
• wiki/graph/context_brief.md — 重建
• wiki/graph/open_questions.md — 重建
• wiki/log.md — 追加操作日志

Graph edges created

• tested_by：claim → experiment（claim 被该实验验证）

Workflow

前置：确认工作目录为 wiki 项目根（包含 wiki/、raw/、tools/ 的目录）。

Step 1: 加载上下文

1. 解析 idea 输入：
   • 若为 slug：读取 wiki/ideas/{slug}.md，提取 ## Motivation、## Hypothesis、## Approach sketch、## Risks,以及 frontmatter 字段 origin_gaps、tags、domain、priority（遵循 CLAUDE.md 的 ideas template）
   • 若为自由文本：直接作为假设描述使用
2. 加载相关 wiki 上下文：
   • 读取 wiki/graph/context_brief.md（全局上下文）
   • 读取 wiki/graph/open_questions.md（知识缺口）
   • 从 idea 的 origin_gaps 读取对应的 wiki/claims/*.md（目标 claims）
   • 从每个目标 claim 的 source_papers 字段读取对应的 wiki/papers/*.md,获取 baseline setup 和已有实验协议 —— 这是 idea → claim → paper 的规范路径(ideas 不带 linked_papers 字段,改用 origin_gaps → source_papers)
   • 读取已有 wiki/experiments/*.md,检查是否已有类似实验
3. 若 idea 无 origin_gaps：从假设描述中提取隐含的 claims，在 wiki/claims/ 中查找或标注需要新建