skill-comply

skill-comply: Automated Compliance Measurement

Measures whether coding agents actually follow skills, rules, or agent definitions by:

1. Auto-generating expected behavioral sequences (specs) from any .md file
2. Auto-generating scenarios with decreasing prompt strictness (supportive → neutral → competing)
3. Running claude -p and capturing tool call traces via stream-json
4. Classifying tool calls against spec steps using LLM (not regex)
5. Checking temporal ordering deterministically
6. Generating self-contained reports with spec, prompts, and timelines

Supported Targets

• Skills (skills/*/SKILL.md): Workflow skills like search-first, TDD guides
• Rules (rules/common/*.md): Mandatory rules like testing.md, security.md, debugging.md
• Agent definitions (agents/*.md): Whether an agent gets invoked when expected (internal workflow verification not yet supported)

When to Activate

• User runs /skill-comply <path>
• User asks "is this rule actually being followed?"
• After adding new rules/skills, to verify agent compliance
• Periodically as part of quality maintenance

Usage

# 前提: scripts/ と pyproject.toml はこのスキルのディレクトリにあり、
# `python -m scripts.run` の解決は cwd 依存のため、まずスキルディレクトリへ cd する
# （`uv run --project` だけでは module 解決できないことを 2026-07-13 に実測確認）
cd ~/.claude/skills/skill-comply

# Full run
uv run python -m scripts.run ~/.claude/rules/common/testing.md

# Dry run (no cost, spec + scenarios only)
uv run python -m scripts.run --dry-run ~/.claude/skills/search-first/SKILL.md

# Custom models
uv run python -m scripts.run --gen-model haiku --model sonnet --classifier-model sonnet <path>

# 直列に戻す（レートリミットに当たったとき）
uv run python -m scripts.run --concurrency 1 <path>

# Bash を要する spec のみ (既定は off — 下の「信頼境界」を読んでから)
uv run python -m scripts.run --allow-bash <path>

# 保存済み spec を再利用して run 間比較 (LLM 再生成をスキップ)
uv run python -m scripts.run --spec results/<skill-name>.spec.yaml <path>

spec の固定と run 間比較: spec は「試験問題」。LLM 生成のたびに required steps 数も 順序制約も変わるため、生成された spec は自動で results/<skill-name>.spec.yaml に保存される （gitignore 対象外 — version 管理できる）。同じ skill を再測定するときは --spec でこれを 読み込むと問題文が固定され、スコアが比較可能になる。次回の生成 run は同名ファイルを 上書きするので、比較対象として残したい spec は別名でコピーしておく。 なお scenario prompt は引き続き毎回 LLM 生成で変動する — run 間比較の固定は spec までで、 scenario の非決定性は現状スコープ外。