monitoring-setup

Agent Monitoring Setup

Quand utiliser ce skill

Mise en place de l'observabilité d'un agent IA en production : traces, métriques, logs structurés, dashboards, alertes coût/qualité, debugging d'incidents.

---

Étape 1 — Choisir le backend de tracing

Outil	Cas d'usage	Hébergement
LangSmith	LangChain natif, éval intégrée	SaaS
Langfuse	Open source, multi-framework	Self-hosted / SaaS
Arize Phoenix	ML observability, RAG eval	Self-hosted / SaaS
OpenTelemetry + Jaeger	Standard ouvert, multi-service	Self-hosted
Datadog / New Relic	Monitoring infra unifié	SaaS

Critère de décision :

• LangChain → LangSmith (zéro config)
• Budget limité / données sensibles → Langfuse self-hosted
• Équipe SRE existante avec Datadog → OpenTelemetry + Datadog
• RAG avec éval de fidélité → Phoenix

---

Étape 2 — Instrumenter l'agent

LangSmith (LangChain)

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=lsv2_...
export LANGCHAIN_PROJECT=my-agent-prod

Tout appel LangChain est automatiquement tracé. Pas de code supplémentaire.

Langfuse (multi-framework)

from langfuse import Langfuse
from langfuse.decorators import observe, langfuse_context

lf = Langfuse(public_key="pk-...", secret_key="sk-...", host="https://cloud.langfuse.com")

@observe()  # trace automatique de la fonction entière
def run_agent(user_input: str, conversation_id: str):
    langfuse_context.update_current_trace(
        user_id="user-42",
        session_id=conversation_id,
        tags=["prod", "v2.1"],
    )
    # ... logique agent

OpenTelemetry (agent custom)

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider

tracer = trace.get_tracer("my-agent")

with tracer.start_as_current_span("llm_call") as span:
    span.set_attribute("model", "claude-sonnet-4-5")
    span.set_attribute("input_tokens", 450)
    span.set_attribute("output_tokens", 120)
    response = llm.invoke(prompt)
    span.set_attribute("latency_ms", elapsed)