eval-design

Eval Design — E0 资格门 · 出生证契约 · 运行拓扑 · 设计自检 · 五病体检 · 干预证

版本定位（2026-08-23 v2.2 修正轮）：v0.3 = v0.2 + E5 自评回灌禁区 + runway 记账成本 + 纵向 Eval 运行拓扑 + 裁决角色分权。上位宪法： docs/architecture/eval-philosophy.md（七公理 E0–E6；v2.2 已 ratified）。 机制选择与落地边界以 ADR-031 v3.4 为准：按问题选机制， 不按层补齐。

Why This Is a Skill（价值门禁）

模型的训练先验里有"怎么算 accuracy"，没有猫咖的 eval 宪法。本 skill 是 2026-07 Eval 宪法（七公理 E0–E6）+ Alden 三日思辨的操作化——未来任何猫给任何 harness 域 配 eval 时，用同一套流程，防止家里的 eval 资产继续长成划水/污染/归因停滞/ 干预失证/摸鱼五病混合物。 来源：docs/architecture/eval-philosophy.md（宪法 v2.2，七公理）+ feature-discussions/2026-07-17-eval-charter-draft.md（v1 历史草案，已演进归档）+ 2026-07-16-alden-dialogue-distillation.md（思辨蒸馏）。

与能力进化项目的往返

capability-evolution 负责一句话入口、对象/owner 绑定与已有 Program 的持续推进；本 skill 负责测量、校准、归因诊断与干预设计。需要跨对象承接时用它的方法导航，不复制旧案例的目标、阈值或授权。

• 从项目进入：带上当前 Program/对象/claim、已有版本与来源、权限和真实缺口，按问题选择本 skill 的相关部分；不强制每个项目从头填写全部表格。
• 设计完成后返回：交付本次相关的测量/角色/校准/触发或干预约定，明确哪些仍是草稿、哪些已由 owner 发布，以及证据仍允许或不允许什么结论。回到原 Program 的当前阶段，不重复 start。
• 正式写入分界：F311 只持 owner refs。出生证、proof、角色与 outcome 不能从本 skill 的回答中直接合成；Approval 和采用仍走原 owner/正式动作。证据不足不阻塞既有授权内的公开准备。
• 没有 Program 上下文：沿原指标设计/体检流程继续；使用 eval-design 本身不要求创建 Evolution Program。

业务方只说“专业、省心、效果更好”也可能需要本 skill；先判断当前是否在设计可靠量尺，别把普通用法问答或单次交付都升级成 eval。信息很少时，仍交付本次能确定的 claim/观察单位/判断与取证草案，逐项说明 GT 域、来源与采集方式、裁判及付薪方，并把校准者、阈值、成本或数据缺口保持为未知。下方 E0 与出生证约束正式资格；草案不能自称已过 E0，也不能拿几条业务形容词代替实际应用方法。

核心定义：一个 eval 指标到底是什么

一个 eval 指标 = 一个赌注："这个数字的变动方向，与我们真实在乎的东西的变动 方向一致。" 它不是测量值本身，是"测量值 → 真实效用"的映射假设。假设会失效 （分布漂移）、会被破坏（优化压力）、需要验证（校准）——所以指标有生命周期。

〇、E0 资格门（建前先过——三问任一答不出即不发牌照，宪法 E0）

1. claim 落在哪个 GT 域——同一产物的不同 claim 落在不同域（测试判得了 "符合规约"，判不了"是人要的产品"），禁止拿产物整体贴单一域标签；
2. 判定所需的新鲜 bit 在哪——已在系统可观察边界内（verifier 射程：边际 判分成本≈0、可自动重复）/ 在冻结先验里（judge 射程：便宜但有额度）/ 只在 价值主人脑中与真实后果里（必须外采）。裁判类型由 claim 的域决定，不由 预算决定；
3. 裁判的工资谁在付——verifier=测试维护投入；judge=冻结先验额度 + calibration runway 的记账/人锚抽样成本（见出生证）；价值主人=真实关系与打扰 预算。答不出付薪方=环转不久。若连 runway 都付不起，结论是缩小或不建 judge 环， 不是省掉测量后继续宣称它可持续。