briefbound-research-rigor-review

研究严谨性审查

目标

判断“现有证据到底允许我们说什么”，防止偶然涨分、评价泄漏、错误归因或过度外推进入 active baseline 和正式 claim。

本 skill 是关键结论的 gate，不是每条实验 lane 的固定尾声。普通候选由 briefbound-score-loop 自行 gate；只有结论将影响研究方向、论文、发布或高成本投入时才触发。

Briefbound task contract

• Context Boundary: 待审结论、研究问题、baseline、实验协议、数据与 split、对照/消融、重复结果、artifact 和适用范围。
• Output Contract: 按证据排序的 findings、允许表述、缺失证据、严谨性判定和最小补强动作。
• Allowed Action: 只读审查证据并运行必要的低风险复核；未经授权不修改研究代码、metric、数据或 claim 来源。
• Success Evidence: 可定位的命令、结果、表格、diff/config、统计信息、对照、复现记录和来源映射。
• Stop Condition: 关键 artifact 缺失、baseline/协议无法确认、数据泄漏或评价漂移未排除、结果不可复现，或结论与证据对象不一致。
• Route Out: 返回 briefbound-ai-research-loop、返回 briefbound-score-loop 补实验、路由确定性 bug owner、限定/接受结论，或 BLOCKED。

统一调用契约

• 只处理 Briefbound task contract 范围；不匹配时回 briefbound-router 或更具体 owner，复合任务不吞其他 owner。
• 用户可见内容默认中文，完成只报状态、产出、证据和剩余风险；代码、命令、路径、错误原文、API/协议、skill 名和枚举保留原样；Route Out 仅以 Briefbound task contract 为准，末行写 下一步建议: <一个具体动作>。

触发闸门

满足任一条件才进行完整审查：

• 候选将成为重要 best-known 结果、改变研究方向，或晋升依据超出普通 score gate；
• 结论准备进入论文、报告、README、发布说明或对外宣传；
• 结果反直觉、与先验冲突或将触发研究方向转向；
• 下一步需要显著更多算力、数据、人工或外部提交机会；
• 用户明确要求科研审查、证据审计或 claim 校准。

单次普通失败、低成本 smoke 或尚未形成结论的探索只做局部检查，不输出完整矩阵。

审查方法

先写出一个可审查句子：

在 <数据/协议/范围> 下，<候选> 相比 <baseline> 产生 <观测>，因此支持 <最窄解释>。

然后只检查与当前 claim 有关的维度：

1. 证据相关性：metric 和实验是否直接测量 claim，还是只使用 proxy。
2. 可证伪性：是否存在能推翻解释的对照、消融或结果；失败条件是否预先明确。
3. 范围校准：结论是否超出数据、seed、模型规模、任务、硬件或评价协议。
4. 归因一致性：一个主要机制是否被隔离；是否混入数据、参数量、训练预算或实现差异。
5. 探索完整性：负结果、异常值和冲突证据是否被保留；是否只报告赢家。
6. 方法严谨性：baseline、split、泄漏、重复、方差、统计、复现和 artifact 是否足以支持风险等级。

无需机械输出六项。没有 finding 的维度一句结论即可；有问题时给出精确证据和影响。

严重度与判定

Findings 按影响排序：

• P0 BLOCKER：证据无效或不可定位，例如泄漏、错误 metric、错误 baseline、结果无法复现。
• P1 MAJOR：会改变 claim 或方向，例如缺关键对照、混杂变量、强 seed/split 敏感。
• P2 LIMITATION：结论仍可保留但必须限定范围或降低置信度。
• P3 IMPROVEMENT：不会改变当前结论的可选增强。

最终只给一个 verdict：

• ACCEPT：证据足以支持当前窄 claim；
• QUALIFY：保留结论，但必须收窄表述或明确限制；
• REJECT：当前证据不支持该解释或晋升；
• BLOCKED：缺少决定性 artifact，无法审查。

审查不以“测试通过”替代研究证据，也不因一个指标上涨默认 ACCEPT。