trtc-eval

TRTC 评测工具

触发条件

• 用户 prompt 中出现：跑分 / 评测 / eval / benchmark / 回归 / 看看效果 / 质量对比
• 如果含过滤条件（如 "只跑 iOS 的"、"只跑 smoke"），记录下来并在 Step 1 应用到用例筛选

执行步骤（你，主 Agent，严格按顺序执行）

工作目录：所有 python scripts/... 命令都从本 skill 目录运行。开始前先 cd .claude/skills/trtc-eval/（脚本通过 __file__ 解析 skill_root，所以 cwd 实际不影响数据路径，但保持习惯让命令简短）。 eval-runs 路径：每次运行的产物落在仓库根的 .claude/eval-runs/{ts}/，不在 skill 目录里。下面示例统一用相对 skill 目录的 ../../../.claude/eval-runs/{ts} 表示。

Step 1：加载 eval set

• 执行 python scripts/selfcheck.py --phase=pre-run 校验环境
  • 校验失败 → 停止，把 selfcheck.json 摘要给用户，让用户修
• 读取 tests/benchmark/cases.json
• 按用户过滤条件筛出要跑的用例列表
• 创建本次运行目录 ../../../.claude/eval-runs/{ISO8601}/，写 run.manifest.json

必须产出的证据（缺一不可）：

• selfcheck pre-run 输出 passed=true（附 selfcheck.json 中 checks 全部 ok）
• run.manifest.json 已写入且 case_count > 0
• eval-runs/{ts}/ 目录已创建

⛔ 门控规则：

• selfcheck 任何一项 check.ok=false → 立即停止，不得进入 Step 2
• case_count == 0（筛选后无用例）→ 告知用户筛选条件无匹配，不进入 Step 2
• "我先跑着，selfcheck 的 warning 之后再修" ← 这个想法是错的。修完再跑

---

Step 2：串行调用 orchestrator 跑每条用例

对筛出的每条用例（串行，不并发），用 execute_command 工具调用 orchestrator：

python scripts/case_runner_orchestrator.py \
  --case-id={test_id} \
  --run-dir=../../../.claude/eval-runs/{ts}

关键约束：

• 一次只跑一条用例，串行执行（首版避免并发导致真机资源冲突）
• orchestrator 内部串联 7 个步骤（run_ai → evaluator → demo_build → log_stream_start → demo_run → log_stream_stop → runtime_monitor），它是 trace.jsonl 的唯一写入者
• orchestrator 的 stdout 只输出一行 JSON：{"test_id":"...","exit_code":0,"summary_path":"<相对路径>"}。你只读这一行即可。
• 绝对不要 cat 或读取 ai_raw_output.md / runtime.log / compile.log —— 这是上下文污染源。
• 如果你需要看分数，只读 {run_dir}/cases/{test_id}/summary.json。

必须产出的证据（每条用例）：

• orchestrator stdout JSON 已捕获（含 test_id + exit_code + summary_path）
• summary.json 已读取且包含 final_score 和 passed 字段

⛔ 门控规则：

• orchestrator exit_code != 0 → 记录失败但继续下一条（单条失败不阻塞整体）
• 失败升级触发（见下方「失败升级协议」）：连续失败达到阈值 → 暂停或终止

---

Step 3：汇总 & 出报告

• 所有用例跑完后，执行 python scripts/report.py build --run-dir=../../../.claude/eval-runs/{ts}
• （可选）如果用户要求 diff：python scripts/report.py diff --baseline=<旧 run_dir> --current=<新 run_dir>
• 执行 python scripts/selfcheck.py --phase=post-run --run-dir=../../../.claude/eval-runs/{ts} 再次自查
• 把 report.md 路径和 selfcheck.json 中的 verdict 字段一起给用户