cheat-bump

/cheat-bump — Rubric / Bucket 升级

两种模式：

模式	触发	做什么	验证强度
完整 rubric bump	--propose "<新公式>"	改公式 / 维度 / 权重	5 步 + 跨模型审核（强制）
bucket-only 重校	--bucket-only	只重新派生 bucket 边界	数据自动派生，无审核

完整 rubric bump 严格遵守 shared-references/bump-validation-protocol.md 的 5 步。bucket-only 走轻量路径——见下方 Phase B。

Overview

入口：用户触发 /cheat-bump
  ↓
[Phase A0: 检测调用模式]
  ↓
  ├─ --bucket-only  →  [Phase B: 轻量 bucket 重校]
  └─ --propose      →  [Phase 0~6: 完整 rubric bump]

Phase A0: 调用模式分流（先做）

读用户参数：

• 含 --bucket-only → 走 Phase B（轻量重校）
• 含 --propose "<...>" → 走 Phase 0~8（完整 rubric bump）
• 都没有 → 询问用户："你想做什么？1) 调 rubric 公式 / 加减维度 → --propose；2) 只重新派生 bucket 边界 → --bucket-only"

如果用户说"我觉得 ER 太低了想调"→ 是 --propose 路径。 如果用户说"我账号长大了，bucket 不准了"→ 是 --bucket-only 路径。 两条路径不能混调——一次操作只做一种事。

---

完整 rubric bump 流程

[用户：升级 rubric --propose "ER×1.5→2.0，砍 NA，加 MS"]
  ↓
[Phase 0: 前置门槛检查]
  ↓
[Phase 1: 写出新公式完整方程]
  ↓
[Phase 2: 校准池全量重打分]
  ↓
[Phase 3: 计算排序一致性]
  ↓
[Phase 4: 跨模型独立审核（强制）]
  ↓
[Phase 5: 落地 + cleanup pass]
  ↓
[Phase 6: 更新所有校准样本的 prediction 文件底部追加 Re-scored 行]

Constants

• READINESS_HEURISTIC —
  • 默认参考：校准池 ≥ 5 样本 + 至少 1 个跨样本观察有 ≥3 样本支持
  • 但 Claude 可以提议 bump（即使样本少）如果观察信号特别强：
    • N=3 但出现完全推翻当前 rubric 假设的强反例（composite 8.5 vs 实绩 5w 这种 ≥3x 偏差）
    • 1 篇出现单点但极强的现象（如评论区出现 ≥2000 赞的单一模因）
  • Claude 也可以拒绝 bump（即使样本足）如果证据弱：
    • N=10 但观察都是低置信度的零碎 pattern，无清晰方向
    • 用户复盘时大量"随便看了下"的非严肃判断
  • 写在 prediction header 或 cheat-bump 输出时必说明：本次提议是 default-aligned 还是 judgment-driven，给用户审视依据
• THRESHOLD = 0.8 — 新排序与实绩排序一致性阈值（4/5）。这条写死——bump 验证的统计刚性
• CROSS_MODEL_AUDIT = true — 调外部 LLM 独立审核。false 仅用于离线
• REQUIRE_CONFIRM = true — 落地前要求用户明确"yes, bump"

Inputs

必填	来源
--propose 文本	用户参数；缺失则询问
rubric_notes.md	用户项目根
predictions/*.md 全量	校准池数据
.cheat-state.json	状态

Workflow

Phase 0: 前置门槛检查