benchmark

/benchmark — 벤치마크 실행 & 증거 기반 의사결정

주인님, 이 스킬은 "어느 모델이 좋을까?", "이 프롬프트가 더 나을까?", "접근법 A vs B 중 무엇을 택해야 할까?" 같은 질문을 감이 아닌 측정으로 답하기 위한 도구입니다. 한 줄 요약: 선택하기 전에 재보는 저울.

원본 영감: gstack/benchmark (웹 성능 회귀 감지). 그 철학("Measure, don't guess")과 Phase 구조만 계승하고, 도메인은 모델/프롬프트/접근법 비교로 전면 재설계하였습니다. 외부 gstack-* 바이너리 의존은 전부 제거하였으며, 모든 로직은 본 스킬 본문에 내재합니다.

---

기존 스킬과의 경계 (반드시 확인)

주인님께서 다음 스킬들과 헷갈리실 수 있어 경계를 명시합니다.

스킬	목적	시점	산출물
/verify	작업물 사후 검증 (7-Gate + Contrarian)	이미 만들어진 결과물	"이 작업물, 믿을 만한가?"
/office-hours	의사결정 면담 (정성 + 정량 혼합)	선택 직전	옵션/트레이드오프/권고
/review	코드 리뷰 (Dev + Reviewer)	PR/diff 단위	코드 품질 개선점
/benchmark	선택 전 정량 측정 (모델·접근법 자체를 저울에 올림)	옵션이 2개 이상일 때	샘플별 수치 + 권고

한 줄 판단 기준: "이미 고른 걸 검증하는가"면 /verify. "숫자로 재봐야 결정 가능한가"면 /benchmark. "숫자 + 직관 섞어서 상의하고 싶은가"면 /office-hours.

---

Phase 0 — Jarvis 특화 3종 선제 조회

측정을 시작하기 전, 과거의 실패와 통찰을 먼저 꺼내 봅니다. 같은 실수를 반복하지 않기 위함입니다.

0-1. 오답노트 조회

if [ -f ~/jarvis/runtime/wiki/meta/learned-mistakes.md ]; then
  grep -iE "benchmark|벤치마크|측정|모델 비교|샘플" \
    ~/jarvis/runtime/wiki/meta/learned-mistakes.md || \
    echo "관련 오답노트 없음 — 처음 시도하는 도메인"
else
  echo "오답노트 파일 없음 — 초회 실행"
fi

발견된 유사 실수 패턴은 주인님께 먼저 보고한 뒤, 해당 실수를 이번 벤치마크에서 어떻게 피할지 Phase 1 목적 정의에 반영합니다.

0-2. Eureka 재사용

if [ -f ~/jarvis/runtime/wiki/meta/eureka.jsonl ]; then
  grep -iE "benchmark|모델|프롬프트|샘플|분산" \
    ~/jarvis/runtime/wiki/meta/eureka.jsonl | tail -5 || \
    echo "관련 Eureka 없음"
else
  mkdir -p ~/jarvis/runtime/wiki/meta
  touch ~/jarvis/runtime/wiki/meta/eureka.jsonl
  echo "Eureka 파일 초기화 완료"
fi

과거 벤치마크에서 얻은 "의외의 발견"(예: 특정 프롬프트 스타일이 지연시간을 반감시킨 사례)을 현재 설계에 반영합니다.

0-3. 조직도 포지셔닝

벤치마크는 감사팀장(Audit)과 학습팀장(Learning)의 공동 소관입니다.

• 감사팀장: Iron Law 2 (거짓 완료 선언 금지) 집행 — "측정 안 하고 결론 내기" 차단
• 학습팀장: Phase 5의 Eureka 등록과 오답노트 연계 담당 — Compound Engineering 체인

주인님께 보고 시 "감사팀장 시각: X / 학습팀장 시각: Y" 형식을 권장드립니다.

---