meta-skill-tester

Skill Tester — 스킬 품질 검증 도구 (루브릭 + 체인 내장)

moai-coworker | revfactory/harness 테스트 방법론 기반 single source of truth for: 4차원 스코어링 루브릭, 스킬 체인 검증 프로토콜

개요

meta-skill-builder로 생성된 스킬 또는 기존 스킬을 검토합니다. 대상 호스트에서 실행할 수 있으면 스킬 사용 전후 결과를 비교하고, 실행하지 못한 검사는 별도로 표시합니다. 4차원 평가 기준과 체인 검증 절차를 이 문서에 담았습니다.

트리거 키워드

스킬 테스트 검증 A/B 테스트 baseline 회귀 테스트 체인 테스트 meta-skill-tester 품질 측정 루브릭 스코어링 4차원 평가

워크플로우

1. [로드]    → 대상 스킬의 tests/test-cases.yaml 로드
2. [선택]    → 테스트 모드 선택 (A/B | 회귀 | 체인 | 루브릭 단독)
3. [실행]    → 사용 가능한 대상 호스트에서 테스트 프롬프트 실행
4. [기록]    → 실행 환경, 입력, 실제 출력과 확인 가능한 측정값 기록
5. [스코어]  → 관측한 결과에만 4차원 루브릭 적용
6. [비교]    → 비교 실행이 있을 때만 baseline과 with-skill 비교
7. [보고]    → PASS / FAIL / NOT-RUN과 미확인 항목 기록

실행 규칙

테스트 모드

Mode 1: A/B 테스트 (신규 스킬 검증)

meta-skill-builder Phase 5에서 사용하는 기본 모드입니다.

절차:

1. Baseline 실행: 대상 호스트에서 스킬 없이 동일 프롬프트 실행
2. With-Skill 실행: 같은 호스트·모델·설정에서 스킬을 로드한 뒤 실행
3. 두 실행의 입력, 출력, 도구 호출, 모델과 설정을 기록합니다. 실행할 수 없으면 NOT-RUN으로 보고합니다.
4. 비교 측정:

메트릭	측정 방법	판정
토큰 사용량	호스트가 사용량을 제공할 때만 input + output 토큰	관측값과 차이 보고
출력 품질	관측한 결과를 동일 루브릭으로 평가	점수와 근거 보고
정확성	실행한 assertion의 통과율	사전 정의한 기준과 비교
완전성	필수 출력 포함 여부	누락 항목 보고

반복 실행 횟수는 결과 변동성과 판단 목적에 맞춰 정합니다. 한 번의 예시는 전체 호스트의 성능을 대표하지 않습니다.

Mode 2: 회귀 테스트 (기존 스킬 수정 후)

스킬 수정 시 기존 테스트 케이스가 여전히 통과하는지 확인합니다.

절차:

1. 수정 전 실제 테스트 결과가 있으면 동일 호스트·설정의 baseline으로 로드
2. 수정 후 동일 테스트 케이스 재실행
3. 비교: 기존 통과 항목이 미통과로 변경되면 regression

회귀 판정:

변화	판정
기존 통과 → 여전히 통과	PASS
기존 통과 → 미통과	REGRESSION (수정 롤백 필요)
기존 미통과 → 통과	IMPROVEMENT
새로운 테스트 추가	INFO (비교 불가)
이전 실행 결과 없음	NOT-RUN (회귀 비교 불가)

Mode 3: 체인 테스트 (스킬 조합 검증)

여러 스킬이 순차적으로 연결되는 체인을 테스트합니다. 실제로 존재하고 실행 가능한 체인만 실행 대상으로 삼고, 나머지는 미실행으로 기록합니다.

3-1. Chain Definition Format

chain:
  name: "blog-publishing"
  description: "Blog post creation → AI slop review → optional media generation"
  steps:
    - skill: "moai-marketer:content-blog"
      output_type: "markdown"
      provides: ["blog_draft"]
    - skill: "moai-coworker:ai-slop-reviewer"
      input_from: ["blog_draft"]
      output_type: "markdown"
      provides: ["reviewed_draft"]
    - skill: "moai-media:media-higgsfield-image"
      input_from: ["reviewed_draft"]
      output_type: "image_url"
      optional: true
      provides: ["cover_image"]