skill-evolve

skill-evolve

让一个 skill 从 1 分变 100 分，不靠灵感，靠循环。

Announce at start: "I'm using the skill-evolve skill to run the 9-dimension rubric (with no-skill baseline comparison) + ratchet hill-climbing loop on the target SKILL.md."

Skill（结构化 Prompt）和 ML 超参数一样，是可以被自动化搜索优化的参数空间。

Skills are searchable parameter spaces — same as ML hyperparameters.

它解决什么问题

写完一个 SKILL.md 之后，绝大多数人停在「能跑就行」。但「能跑」和「好用」之间有一条 30 分的鸿沟：触发不准、步骤含糊、边界没定义、激活了不知道先干啥。

人工反复打磨成本极高，且改一处不知道是不是变差了。本 skill 把这个过程自动化 + 防退化：

• 自动化：9 维 rubric 直接告诉你哪里弱、改哪里
• 防退化：每次改完独立打分，不升反降立刻回滚，分数只能涨不能跌（棘轮）
• 防自欺：rubric 的三个高信号维（失败机制 / 可执行性 / 高风险黑名单）来自 SkillLens 实测，且每轮强制跑「带 skill vs 不带 skill」基线对比——刷分但实际拖累 agent（负迁移）会被当场抓出并回滚

灵感来自 Karpathy autoresearch（修改→训练→保留/回滚）、alchaincyf/darwin-skill（把范式迁移到 Skill 优化），以及微软 SkillLens（arXiv 2605.23899，46.4%→73.8% 的三维药方 + 负迁移发现）/ SkillOpt（arXiv 2605.23904，拒绝缓冲 + 慢更新记忆 + 文本学习率三个稳定性控制）。

输入与输出

输入：

• 目标 skill 路径（必须包含 SKILL.md），例如 plugins/foo/skills/bar/
• （可选）3 个已知测试 prompt + 期望输出方向（无则自动从 SKILL.md 推断）
• （可选）目标分数（默认 90）/ 最大轮次（默认 15）/ 收敛阈值（默认连续 3 轮无提升）

输出：

• .skill-evolve/<skill>/experiments.tsv —— 每轮：{round, dim_scores(9), total, negative_transfer, change_summary, kept_or_reverted, flags(dry_run/single_judge), commit_hash}
• .skill-evolve/<skill>/baseline.md —— 初评全维度分数 + 最弱维度诊断 + 确认过的测试集
• .skill-evolve/<skill>/learnings.md / dead-ends.md —— 滚动正/负反馈记忆
• .skill-evolve/<skill>/final-report.md —— 终评 + 改进清单 + 前后对比 + 负迁移确认
• 每轮 experiment: <desc> 前缀的 git commit（棘轮历史）

触发后立即做什么

1. 确认目标 skill 路径存在且包含 SKILL.md
2. 检查 git working tree 是否干净（脏树先暂存或提示用户处理）
3. 创建工作目录 .skill-evolve/<skill-name>/ 存放日志和报告
4. 初始化滚动记忆（移植自 SkillOpt）：
   : > .skill-evolve/<skill-name>/learnings.md   # 已验证规律（正反馈）
   : > .skill-evolve/<skill-name>/dead-ends.md   # 已证伪改法（负反馈，禁重试）
5. 检查 Agent/subagent 工具是否可用；不可用 → 走 dry_run 降级模式（见 test-protocol）
6. 进入 Phase 0

Phase 0.5：测试 prompt 设计与确认（先于评估的门）

测试 prompt 的质量直接决定优化方向对不对（SkillLens：测试太弱会导致「分数虚高、实战还烂」）。所以在任何评估之前：

1. 按 test-protocol「测试 prompt 自动生成」规则备出 3 个测试 prompt（happy path）+ 1 个边缘 prompt（相邻领域、超范围）
2. 写入 baseline.md 的「测试集」区，展示给用户确认
3. 用户可替换/补充更刁钻的 case。用户确认后才进入 Phase 0——这一步不许跳过