nlp-pipeline-designer

NLP Pipeline Designer

Guide opérationnel pour concevoir et implémenter des pipelines NLP production-ready, de la tokenization aux tâches avancées.

---

Étape 1 — Cadrer la tâche et choisir l'approche

Questions à trancher avant tout code :

Critère	Approche légère	Approche Transformer
< 10 k exemples annotés	TF-IDF + sklearn	SetFit / few-shot
Latence < 50 ms	DistilBERT, FastText	Non
Corpus français	CamemBERT, FlauBERT	XLM-RoBERTa si multilingue
Généralisation zero-shot	Non	NLI (MNLI) ou GPT-4o
Tâche extractive simple	regex + spaCy rules	Rarement utile

Tâches → modèles recommandés (2026) :

• Classification texte : CamemBERT-base (FR), DeBERTa-v3-base (EN)
• NER : spaCy fr_core_news_lg (règles + statistique), bert-base-multilingual-cased fine-tuné
• Sentiment : nlptown/bert-base-multilingual-uncased-sentiment, ou zero-shot facebook/bart-large-mnli
• Summarization : facebook/bart-large-cnn, moussaKam/barthez-orangesum-abstract (FR)
• QA extractif : deepset/camembert-base-squad2 (FR)

---

Étape 2 — Prétraitement du corpus

import re, unicodedata
from langdetect import detect

def clean_text(text: str) -> str:
    text = re.sub(r"<[^>]+>", " ", text)               # strip HTML
    text = unicodedata.normalize("NFC", text)           # normalise unicode
    text = re.sub(r"http\S+|www\.\S+", "[URL]", text)  # masque URLs
    text = re.sub(r"\s+", " ", text).strip()
    return text

# Chunking pour textes longs (sliding window)
def chunk_text(text: str, max_tokens: int = 400, overlap: int = 50) -> list[str]:
    words = text.split()
    chunks = []
    for i in range(0, len(words), max_tokens - overlap):
        chunks.append(" ".join(words[i : i + max_tokens]))
    return chunks

Points critiques :

• Ne pas supprimer les stopwords avant un Transformer (il les utilise pour le contexte).
• Conserver la casse pour la NER (majuscules = signal fort pour les entités).
• Annoter la langue avant tout pipeline multilingue : detect(text) → filtrer/router.