carve-harness: Skill for Claude Code

eval-goldenset — 골든셋 정량평가 (모델 무관 SOP)

권위는 도구가 아니라 이 절차에 있다. carve-eval 워크플로는 이 절차를 코드로 자동 실행할 뿐이다. 태스크당 완성도는 checklist-loop(항목 5축 채점)이 담당하고, 이 스킬은 고정 케이스 집합의 품질을 시간축으로 관리한다.

첫 골든셋을 만드는 중이면 /eval-init을 써라 — 이 문서의 절차를 프로젝트 분석 + 대화형 인터뷰로 태우는 실행기다(SOP ⟷ 실행기 관계는 checklist-loop ⟷ carve-verify-loop와 같다). 이 문서는 형식·판정 기준의 정본이고, 셋업 이후의 증설(트레이스 마이닝)도 여기 절차를 따른다.

언제 쓰나

• 프롬프트·CLAUDE.md·에이전트·스킬·규칙을 바꾼 뒤 회귀 확인 — "이 변경이 출력을 나쁘게 만들지 않았나"를 숫자로.
• 데모는 되는데 프로덕션은 무너지는지 — pass@k(능력) vs pass^k(일관성) 분리 측정.
• 안 쓰는 경우: 정답 없는 탐색·리서치, 골든셋을 유지할 사람이 없을 때(유지 안 하면 추이가 무의미).

골든셋 형식 (specs/goldenset/*.json)

{
  "suite": "cs-agent",
  "cases": [
    {
      "id": "refund-policy",
      "version": "1.0",
      "prompt": "고객: 어제 산 제품 환불돼요? 규정대로만 답하라.",
      "k": 3,
      "assert": [
        { "type": "contains",    "value": "14일" },
        { "type": "regex",       "value": "환불|반품" },
        { "type": "not_contains","value": "무조건" },
        { "type": "llm-rubric",  "value": "규정 수치를 정확히 인용하고 규정 외 약속을 하지 않는다" }
      ]
    }
  ]
}

• assert.type 3계층:
  • 텍스트(순수 채점): contains · not_contains · regex · not_regex
  • 상태(.claude/hooks/eval-state.sh가 결정론 채점 — 워크디렉토리의 실제 상태): file_exists(경로) · file_contains(경로::리터럴) · cmd_exit0(명령 exit 0) · git_diff_contains(diff 내 리터럴) · log_contains(logs/*.jsonl::<jq 불리언 필터> — 워크디렉토리의 하네스 훅 로그로 경로(trajectory)를 결정론 채점. 예: .decision=="block" and .tool=="Write". 외부 target(claude·exec:)에서만 유효 — 세션 응답자는 로그가 리포 logs/로 간다)
  • 정성: llm-rubric(evaluator 위임 — "평가의 평가" 문제가 있으니 상태 assert로 대체 가능하면 대체)
• setup(선택): 케이스 실행 전 격리 워크디렉토리에서 실행할 bash 스크립트(환경 구성 — 파일·git 초기화 등). 상태 assert 또는 setup이 있으면 respondent는 리포 밖 임시 디렉토리에서 실행된다(골든셋 정답 비노출).
• k: 반복 실행 횟수(기본 1, 상한 10). k>1이면 pass@k·pass^k가 의미를 가진다.
• tags(선택): ["required", "category:domain_safety"]. required 케이스는 하나라도 완전 green(100)이 아니면 eval-gate가 평균과 무관하게 regressed로 막는다(블루프린트 §6.5 관문 ①). category:*는 리포트 분류용. 골든셋에 required가 0건이면 carve-validate가 NOTE(--strict면 ERROR) — 안전·결제·인증 케이스에 붙여라. 이 리포는 harness-guard 5건이 required.
• version(필수): 케이스 정의의 버전. 케이스를 고치면 반드시 올린다. 버전 없이 점수만 쌓으면 run #3과 run #7이 서로 다른 문제를 푼 점수인데도 같은 축에 그려져 추이가 조용히 무의미해진다. 추이 엔트리에 caseVersion으로 함께 기록되고, 직전 run과 다르면 [VERSION CHANGED]로 경고한다.
• 알 수 없는 assert 타입·잘못된 정규식·상태 채점 불능은 전부 fail-closed(통과로 새지 않음).