meta-skill-tester

Skill Tester — 스킬 품질 검증 도구 (루브릭 + 체인 내장)

moai-coworker | revfactory/harness 테스트 방법론 기반 single source of truth for: 4차원 스코어링 루브릭, 스킬 체인 검증 프로토콜

개요

meta-skill-builder로 생성된 스킬 또는 기존 스킬의 품질을 검증합니다. harness의 A/B 테스트 방법론을 구현하여 baseline(스킬 없음)과 with-skill(스킬 사용)을 비교하며, 4차원 스코어링 루브릭과 체인 검증 프로토콜을 본문에 직접 포함하여 별도 rules 파일 참조 없이 단독으로 동작합니다.

트리거 키워드

스킬 테스트 검증 A/B 테스트 baseline 회귀 테스트 체인 테스트 meta-skill-tester 품질 측정 루브릭 스코어링 4차원 평가

워크플로우

1. [로드]    → 대상 스킬의 tests/test-cases.yaml 로드
2. [선택]    → 테스트 모드 선택 (A/B | 회귀 | 체인 | 루브릭 단독)
3. [실행]    → 테스트 프롬프트를 Claude Code에 실행
4. [측정]    → 토큰 사용량, 출력 품질, 시간 측정
5. [스코어]  → 4차원 루브릭 가중 평균 산출
6. [비교]    → baseline vs with-skill 결과 비교
7. [보고]    → 스코어 리포트 생성

실행 규칙

테스트 모드

Mode 1: A/B 테스트 (신규 스킬 검증)

meta-skill-builder Phase 5에서 사용하는 기본 모드입니다.

절차:

1. Baseline 실행: 스킬 없이 동일 프롬프트를 Claude Code에 실행
2. With-Skill 실행: 스킬 로드 후 동일 프롬프트 실행
3. 비교 측정:

메트릭	측정 방법	개선 기준
토큰 사용량	input + output 토큰	-10% 이상 감소
출력 품질	루브릭 스코어	+0.15 이상 향상
정확성	assertion 통과율	80% 이상
완전성	필수 출력 포함 여부	100%

샘플 사이즈 가이드:

예상 개선율	최소 샘플 수
>= 20%	2-3회
10-20%	3-5회
< 10%	5회 이상

Mode 2: 회귀 테스트 (기존 스킬 수정 후)

스킬 수정 시 기존 테스트 케이스가 여전히 통과하는지 확인합니다.

절차:

1. 수정 전 마지막 테스트 결과를 baseline으로 로드
2. 수정 후 동일 테스트 케이스 재실행
3. 비교: 기존 통과 항목이 미통과로 변경되면 regression

회귀 판정:

변화	판정
기존 통과 → 여전히 통과	PASS
기존 통과 → 미통과	REGRESSION (수정 롤백 필요)
기존 미통과 → 통과	IMPROVEMENT
새로운 테스트 추가	INFO (비교 불가)

Mode 3: 체인 테스트 (스킬 조합 검증)

여러 스킬이 순차적으로 연결되는 체인을 테스트합니다. 프로젝트에 정의된 모든 스킬 체인이 검증 대상입니다.

3-1. Chain Definition Format

chain:
  name: "blog-publishing"
  description: "Blog post creation → AI slop review → optional media generation"
  steps:
    - skill: "moai-marketer:content-blog"
      output_type: "markdown"
      provides: ["blog_draft"]
    - skill: "moai-coworker:ai-slop-reviewer"
      input_from: ["blog_draft"]
      output_type: "markdown"
      provides: ["reviewed_draft"]
    - skill: "moai-media:media-higgsfield-image"
      input_from: ["reviewed_draft"]
      output_type: "image_url"
      optional: true
      provides: ["cover_image"]