dataset-builder

Dataset Builder

Guide opérationnel pour construire, curate et maintenir des datasets ML de production.

---

Étape 1 — Cadrer les besoins

Question	Décision
Tâche ML ?	Classif / régression / détection / génération
Volume minimum viable ?	Règle empirique : ≥ 1 000 exemples/classe pour classif tabulaire, ≥ 10 k images pour CNN
Déséquilibre acceptable ?	Ratio max 1:10 sans traitement ; au-delà → SMOTE/oversampling
Contraintes légales ?	RGPD / consentement / droit à l'oubli à vérifier avant collecte

Fixer un schéma de données dès le départ :

# Exemple de schéma avec Pydantic
from pydantic import BaseModel, Field
from typing import Literal

class Sample(BaseModel):
    text: str = Field(min_length=10)
    label: Literal["positive", "negative", "neutral"]
    source: str
    collected_at: str  # ISO 8601

---

Étape 2 — Collecter les données brutes

Choisir le format de stockage selon le cas d'usage :

Format	Quand l'utiliser
Parquet	Données tabulaires, requêtes analytiques, > 100 k lignes
JSONL	Texte, NLP, LLM fine-tuning
TFRecord / WebDataset	Images/audio à grande échelle, streaming
CSV	Prototypage, petits datasets (< 50 k lignes)

Collecter avec provenance :

# Exemple : snapshot DVC d'une source API
dvc run -n collect_api \
  -d scripts/collect.py \
  -o data/raw/samples.jsonl \
  python scripts/collect.py --source api --date 2026-06-24

Déduplication à la collecte (texte) :

import hashlib, json

seen = set()
with open("data/raw/samples.jsonl", "w") as out:
    for record in raw_records:
        h = hashlib.md5(record["text"].encode()).hexdigest()
        if h not in seen:
            seen.add(h)
            out.write(json.dumps(record, ensure_ascii=False) + "\n")

---

Étape 3 — Nettoyer et prétraiter

Pipeline type avec Pandas + Pandera :

import pandas as pd
import pandera as pa

schema = pa.DataFrameSchema({
    "text": pa.Column(str, pa.Check(lambda s: s.str.len() > 10)),
    "label": pa.Column(str, pa.Check.isin(["positive", "negative", "neutral"])),
})

df = pd.read_parquet("data/raw/samples.parquet")
df = df.drop_duplicates(subset=["text"])
df = df.dropna(subset=["label"])
df = schema.validate(df)  # lève une exception si non-conforme
df.to_parquet("data/clean/samples.parquet", index=False)