caracterizar-prompt

Cria/Atualiza:

• tests/characterization/prompts/<prompt-stem>.test.ts (ou .py/.go conforme runtime)
• tests/characterization/prompts/__snapshots__/<prompt-stem>.test.ts.snap
• tests/characterization/prompts/<prompt-stem>/inputs/<intent>.json — inputs canônicos por intent

Após: mudança em prompt deve manter snapshot diff = 0 (ou mudança documentada). Detecta drift de model upstream automaticamente.

Exemplos:

/caracterizar-prompt prompts/generate-summary.md
/caracterizar-prompt prompts/code-reviewer.md --num-intents 7 --max-tokens 1000
/caracterizar-prompt prompts/intent-classifier.md --inputs-dir test-data/classifier-intents
/caracterizar-prompt prompts/customer-support.md --provider anthropic --seed 123

Pré-requisitos:

• ANTHROPIC_API_KEY ou OPENAI_API_KEY em env
• Test framework (Vitest, Jest, pytest, ...)
• Provider escolhido suporta temperature=0 + seed

Quando este comando é o caminho:

• Prompt em produção > 50 linhas
• Mudanças em prompt quebraram silenciosamente no passado
• Equipe quer baseline antes de refactor de prompt
• CI deve detectar drift de model upstream (Claude 4.7 → 4.8)

1. Parsear argumentos

PROMPT_FILE=$(echo "$ARGUMENTS" | awk '{print $1}')
INPUTS_DIR=$(echo "$ARGUMENTS" | grep -oE -- '--inputs-dir [^ ]+' | awk '{print $2}')
PROVIDER=$(echo "$ARGUMENTS" | grep -oE -- '--provider [^ ]+' | awk '{print $2}')
SEED=$(echo "$ARGUMENTS" | grep -oE -- '--seed [0-9]+' | awk '{print $2}')
MAX_TOKENS=$(echo "$ARGUMENTS" | grep -oE -- '--max-tokens [0-9]+' | awk '{print $2}')
NUM_INTENTS=$(echo "$ARGUMENTS" | grep -oE -- '--num-intents [0-9]+' | awk '{print $2}')

[ -z "$SEED" ]         && SEED=42
[ -z "$MAX_TOKENS" ]   && MAX_TOKENS=500
[ -z "$NUM_INTENTS" ]  && NUM_INTENTS=5

if [ -z "$PROMPT_FILE" ]; then
  echo "ERROR: prompt_file obrigatório"
  exit 1
fi

if [ ! -f "$PROMPT_FILE" ]; then
  echo "ERROR: arquivo não encontrado: $PROMPT_FILE"
  exit 1
fi