kafka-patterns

Kafka Patterns

Workflow

1. Concevoir la topologie des topics

• Nommer les topics par domaine + type d'événement : orders.created, payments.processed, inventory.updated
• Calcul des partitions : partitions = débit_cible_MB/s ÷ débit_par_partition_MB/s (typiquement 10–20 MB/s par partition)
• Règle pratique : commencer avec max(producteurs_parallèles, consommateurs_parallèles) partitions
• Rétention selon le cas : time-based (retention.ms=604800000 = 7j), size-based (retention.bytes), ou compaction pour les changelogs (KTable)

# Créer un topic avec 12 partitions, réplication 3, rétention 7 jours
kafka-topics.sh --bootstrap-server broker:9092 \
  --create --topic orders.created \
  --partitions 12 --replication-factor 3 \
  --config retention.ms=604800000

# Lister / décrire
kafka-topics.sh --bootstrap-server broker:9092 --describe --topic orders.created

2. Définir le schéma des messages

• Avro (compact, Schema Registry natif) > Protobuf > JSON Schema selon l'éco-système
• Enregistrer dans Confluent Schema Registry avec compatibilité BACKWARD par défaut
• Inclure les champs obligatoires : event_id (UUID), event_type, occurred_at (ISO-8601), source, correlation_id

// Avro schema — orders.created
{
  "type": "record",
  "name": "OrderCreated",
  "namespace": "com.example.orders",
  "fields": [
    {"name": "event_id", "type": "string"},
    {"name": "order_id", "type": "string"},
    {"name": "customer_id", "type": "string"},
    {"name": "amount_cents", "type": "long"},
    {"name": "occurred_at", "type": {"type": "long", "logicalType": "timestamp-millis"}}
  ]
}

3. Configurer les producers

Choisir les garanties selon le besoin :

Cas	acks	enable.idempotence	transactional.id
Fire-and-forget (logs)	0	false	—
At-least-once (défaut)	all	false	—
Exactly-once	all	true	txn-{service}-{instance}