pipeline-efficiency-benchmark

Pipeline Efficiency Benchmark

把一次 pipeline skill 优化拆成可复跑、可审计的七个阶段。执行器只接触公开任务、候选 skill 和运行工具；评分材料始终留在 grader 侧。

适用边界

用于优化和评测 pipeline skill，不用于普通产品开发任务。一个独立模型运行对应一个 run；同一 run 的后续 req、Dev、Verify、QA、Fix 延续原 run 身份。独立重放创建新 run。

固定产物

每个 iteration 至少保存：

iteration-N/
├── benchmark-manifest.json
├── runs/
│   └── <run-id>/
│       ├── workspace/
│       ├── executor-package-manifest.json
│       ├── eval_metadata.json
│       ├── timing.json
│       ├── grading.json
│       ├── pricing.json
│       └── benchmark-run.json
├── comparison.json
├── comparison.md
└── acceptance-report.md

benchmark-run.json 是跨版本比较的唯一输入。原始 session、评分和报告继续保留为证据。

所有人类可读报告都保留金额章节。金额证据不足时写 unknown 和原因，继续保存报告；禁止静默省略金额。

阶段 1：prepare

两种迁移 profile：

• pipeline_candidate：创建全新 x-dev-pipeline 候选 workspace，复制公开考题、七个阶段 skills、共享 x-dev-rag-call 和六个运行 tools。
• public_task_only：向已有的其他框架 workspace 只添加公开考题，保留其现有环境，不注入 x-dev skills/tools。

创建全新 pipeline candidate：

python3 skills/pipeline-efficiency-benchmark/scripts/prepare_workspace.py \
  --workspace <run-dir>/workspace \
  --task-source <public-task-dir> \
  --fixture-source <public-fixture-dir> \
  --prompt-source <public-prompt> \
  --skills-root <candidate-skill-snapshot> \
  --json

向已有 OpenSpec 等候选工程放公开考题包：

python3 skills/pipeline-efficiency-benchmark/scripts/prepare_workspace.py \
  --profile public_task_only \
  --allow-existing \
  --workspace <candidate-workspace> \
  --task-source <public-task-dir> \
  --fixture-source <public-fixture-dir> \
  --prompt-source <public-prompt> \
  --manifest-output <run-dir>/executor-package-manifest.json \
  --json

--allow-existing 只允许保留已有文件；task/、fixture/、PROMPT.md 或 manifest 目标发生冲突时拒绝覆盖。

--skills-root 目录必须包含：

• x-spec
• x-adversarial-risk
• x-req
• x-dev
• x-verify-spec
• x-qa-gate
• x-fix

共享 skill：

• x-dev-rag-call

skill 包的 assets/executor-tools/ 包含七个工具。prepare 向考生 workspace 复制六个运行工具：

• xdev.py
• validator.py
• flag.py
• req.py
• spec.py
• verify.py