autoresearch

Autoresearch

Karpathy의 autoresearch — 한 번에 하나만 바꾸고, 채점하고, 유지하거나 되돌린다. 레시피를 고쳐서 앞으로 만드는 요리를 전부 좋게 만드는 것.

---

핵심 원리

점수를 매길 수 있으면, autoresearch할 수 있다.
— Ole (@unclejobs)

원본 (Karpathy ML)	이 스킬 (프롬프트 최적화)
train.py 수정	SKILL.md 수정
program.md 지침	이 SKILL.md = 루프 지침
val_bpb 메트릭	체크리스트 점수 (pass/total × 100)
results.tsv	autoresearch-log.md 변경 로그
git commit/reset	유지/되돌림

---

사용법

기본 설치에서는 카탈로그에서 이 SKILL.md를 직접 읽고 아래 인자 의도를 적용합니다. 다음 표기는 명령 실행이 아니라 route intent입니다. --include-source-only-skills로 전체 활성화한 설치에서만 같은 앞에 /를 붙인 /autoresearch compatibility alias를 사용할 수 있습니다.

# 기본 — 단일 스킬 최적화
autoresearch humanizer

# 옵션 지정
autoresearch humanizer --input sample.md --rounds 20

# 체크리스트 파일 직접 지정
autoresearch humanizer --checklist my-checklist.md

# 스캔 모드 — 전체 스킬 품질 진단
autoresearch --scan

# 스캔 후 바로 최적화
autoresearch --scan --auto

인자

인자	필수	기본값	설명
<skill-name>	—	—	개선할 대상 스킬 이름 (scan 모드 시 생략)
--scan	—	—	전체 스킬 품질 스캔 모드
--auto	—	—	scan 후 최하위 스킬부터 자동 최적화 시작
--input	—	자동 생성	테스트용 샘플 입력. 파일 경로 또는 인라인 텍스트
--checklist	—	대화로 수집	체크리스트 파일 경로 (.md)
--rounds	—	20	최대 라운드 수
--target	—	95	목표 점수 (%)
--streak	—	3	연속 달성 횟수

---

Scan 모드 (--scan)

어떤 스킬을 돌려야 하는지 모르면 scan부터. 96개 스킬을 빠르게 훑어서 우선순위 리스트를 뽑아준다.

사용법

# 전체 스캔
autoresearch --scan

# 스캔 + 최하위부터 자동 최적화
autoresearch --scan --auto

Scan 워크플로우

1. 스킬 목록 수집
   └─ skills/*/SKILL.md를 Glob으로 전부 수집

2. 각 스킬에 Quick Health Check (6개 항목, 예/아니오)
   └─ skill-judge의 D1~D8 차원을 빠른 이진 질문으로 압축:

   ┌─────────────────────────────────────────────────────────────┐
   │ Q1 [Knowledge Delta]                                        │
   │    SKILL.md에 기본 모델이 모르는 전문 지식이 있는가?         │
   │    (결정 트리, 비직관적 트레이드오프, 경험 기반 엣지 케이스)  │
   │                                                             │
   │ Q2 [Anti-Patterns]                                          │
   │    구체적인 NEVER 리스트(하지 말 것 + 이유)가 있는가?        │
   │                                                             │
   │ Q3 [Examples]                                                │
   │    좋은 예시 또는 나쁜 예시가 스킬 안에 포함돼 있는가?       │
   │                                                             │
   │ Q4 [Description Quality]                                    │
   │    frontmatter description이 WHAT + WHEN + KEYWORDS를       │
   │    모두 포함하는가?                                          │
   │                                                             │
   │ Q5 [Progressive Disclosure]                                 │
   │    SKILL.md가 500줄 이하이고, 무거운 콘텐츠가               │
   │    references/로 분리돼 있는가?                              │
   │                                                             │
   │ Q6 [Actionable Instructions]                                │
   │    지시가 구체적인가? ("좋은 코드를 작성하라" ❌ vs          │
   │    "함수는 20줄 이내, 단일 책임" ✅)                         │
   └─────────────────────────────────────────────────────────────┘

3. 점수 산출
   └─ 각 항목 PASS=1, FAIL=0
   └─ 점수 = (PASS / 6) × 100

4. 등급 분류 + 정렬

   | 점수 | 등급 | 의미 |
   |------|------|------|
   | 0~33% | 🔴 낮음 | 즉시 autoresearch 필요 |
   | 34~66% | 🟡 보통 | 개선 여지 있음 |
   | 67~100% | 🟢 양호 | 유지 |