testing-framework

Agent Testing Framework

Quand utiliser ce skill

Utilise ce skill pour :

• Mettre en place une stratégie de test pour un agent IA (simple ou multi-agents)
• Détecter des régressions après modification de prompts, logique ou outils
• Intégrer la qualité agent dans une pipeline CI/CD avec quality gates

Workflow en étapes

1. Définir la pyramide de tests

Critère de décision : si le test appelle un vrai LLM → c'est au minimum un test d'intégration. Ne jamais le compter comme unitaire.

2. Tests unitaires — composants isolés

Tester sans LLM : parsing de sorties, templates de prompts, transitions d'état, logique de routing.

# pytest — test unitaire de parsing tool call
from agent.parser import parse_tool_call

def test_parse_tool_call_valid():
    raw = '{"tool": "search", "args": {"query": "prix BTC"}}'
    result = parse_tool_call(raw)
    assert result.tool == "search"
    assert result.args["query"] == "prix BTC"

def test_parse_tool_call_malformed_returns_none():
    assert parse_tool_call("not json") is None

# Tester une transition d'état sans LLM
from agent.state import AgentState, handle_event

def test_state_transition_tool_called():
    state = AgentState(step="thinking")
    new_state = handle_event(state, event="tool_called")
    assert new_state.step == "waiting_tool_result"

3. Tests d'intégration — chaînes d'outils mockées

Mocker le LLM pour injecter des réponses contrôlées et tester la logique de chaînage.

# respx (httpx) — mock de l'API OpenAI/Anthropic
import respx, httpx, pytest

@pytest.fixture
def mock_llm():
    with respx.mock:
        respx.post("https://api.anthropic.com/v1/messages").mock(
            return_value=httpx.Response(200, json={
                "content": [{"type": "text", "text": "Paris"}]
            })
        )
        yield

def test_retrieval_to_llm_pipeline(mock_llm):
    result = run_pipeline(query="Capitale de la France ?")
    assert result.answer == "Paris"
    assert result.sources_used >= 1