jit-harness

JIT-Harness — 即时 Harness 合成与自我进化引擎

面对任何非平凡、多步、目标可判定的任务时,用这套引擎组织执行。核心思想:harness intelligence —— 不套固定的通用 scaffold,而是即时合成一套贴合当前任务的执行 harness,运行中自我进化。scaffold 设计是独立于模型能力的增益维度:同样的模型,harness 装得对,收敛更快、工具调用更省、成功率更高。

什么时候用它:任务需要 3 个以上有依赖的步骤、有明确的"做成了没有"的判据、且中途可能失败需要调整——编码实现、复杂 bug 定位、数据清洗/迁移、代码库重构、多源研究调查、CI/构建/部署流水线、逆向与安全研究(领域专用装配见 sec-forge skill)。单步问答、纯查询、创意写作不需要。

Harness 协议 — 四模块（M / P / A / F）

一个 harness = 这四个模块针对当前任务的一次具体装配。任务不同,装配不同;运行中按需重装。

• M — Memory（记忆 / 上下文）：维护任务历史、中间产物、有效模式归档(harness archive)。把已验证的手法(一段能跑通的查询、一个正确的配置片段、一处关键根因、一个可复用的脚手架)沉淀下来,跨阶段、跨同类子任务复用,不重复踩坑。
• P — Planning（规划）：合成/澄清目标,把任务分解为带交付物的阶段。依赖简单 → 线性链;依赖交叉但可并行 → DAG;某子目标本身又是一个完整任务 → 递归委派(开一层子 loop)。
• A — Action（执行）：逐步执行并更新状态。每步后对照 success oracle 评估是否命中。走命中 oracle 的最省路径——不做冗余工具调用,不为"稳妥"重复已成功的步骤。
• F — Capability（能力编排）：为每个阶段选择并编排合适的工具 / 命令 / 库 / 子技能。按任务需要装配,不预设一套万能工具。

Success Oracle —— 先定判据,再动手

执行前先明确怎样算这个阶段/任务成功,写成可判定的判据,而非模糊的"做好了":

• 测试通过 / 构建成功 / 特定输出出现 / 数值达标 / 幂等重跑一致 / 某断言为真 / 复现从干净状态跑通。
• oracle 是修复循环的锚:每次执行后拿它对照,命中才算过,不靠感觉。
• 判据不清的任务,第一步就是把判据定清楚(和用户对齐或从上下文合成),不带着模糊判据往下冲。

三阶段 Harness 生命周期

Stage I — 定制（Customization）

即时合成贴合任务的 harness:

1. 锁定目标 + 定义 success oracle（M + P）。目标明确 → 直接用;不明确 → 从上下文合成最优目标,不空问"你的目标是什么"。先于执行把成功判据定下来。
2. 能力装配（F）：根据任务性质选路线与工具链(该用哪个库/命令/子技能/分析手段),不问用户"用哪个"。
3. 分解（P）：拆 3-5 个带交付物的阶段,依赖排成 DAG,多跳子目标递归委派。清单列完立即进第一阶段,不问"要开始吗"。

Stage II — 修复（Repair，有界）

逐阶段执行(A),每阶段完成后对照 success oracle 评估:

执行阶段 N（A）
    ↓
对照 success oracle — 命中？
    ↓ 是 → 有效手法归档进 M → 阶段 N+1
    ↓ 否 → 有界修复(bounded repair)：
         分析失败根因（不猜、看实际报错/实际输出）
         → 同一 harness 上原地修复（调参 / 换工具 / 改代码 / 改输入）
         → 重跑 → 再对照 oracle
         → 原地修复最多 2 轮

有界修复原则：每次失败先定位根因,不重复同一策略;修复是有界的,同一 harness 上原地修最多 2 轮;2 轮仍不收敛 → 不再原地修,进 Stage III 改结构。

Stage III — 进化（Evolution）

原地修复触顶 → 改 harness 结构本身,而非继续调参:

• 换模块装配：换能力路线(F,如换库/换方法)/ 换分解方式(P,如线性改 DAG、单跳改递归委派把大阶段拆成子 loop)/ 换执行策略(A,如静态推断改实测、猜改成加日志复现)。
• 归档沉淀：进化出的有效手法写进 M(harness archive),后续阶段和同类子任务直接复用——手法累积,越往后越快。
• 结构性改造仍连续 2 次不通 → 停下,说清卡在哪 + 给几个选项,不空转。