model-optimization-guide

Model Optimization Guide

Guide opérationnel pour réduire la taille et accélérer l'inférence d'un modèle ML sans régresser les métriques métier.

Critères de décision rapides

Contrainte principale	Technique recommandée
Déploiement sans GPU, CPU seul	PTQ INT8 + ONNX Runtime (OpenVINO EP)
Latence < 20 ms sur GPU NVIDIA	TensorRT FP16 ou INT8
Modèle trop gros pour mémoire edge	Pruning structuré + TFLite/CoreML
LLM > 7B à servir sur 1 GPU	GPTQ 4-bit ou AWQ
Contrainte de qualité stricte (< 0,5 % drop)	QAT ou distillation
Pipeline cross-framework	ONNX export + ORT

---

Workflow en 7 étapes

1. Profiler et fixer les objectifs

Avant toute optimisation, mesurer la baseline sur le hardware de production.

# PyTorch Profiler (CPU+GPU)
import torch
from torch.profiler import profile, ProfilerActivity

with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
             record_shapes=True, profile_memory=True) as prof:
    model(inputs)

print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=15))
prof.export_chrome_trace("trace.json")  # ouvrir dans chrome://tracing

Grille d'objectifs à remplir avant de commencer :

Métrique	Valeur actuelle	Cible	Tolérance dégradation
Latence P95 (ms)	?	?	+0 %
Taille modèle (MB)	?	?	—
Accuracy / F1	?	—	-0,5 % max
VRAM / RAM (MB)	?	?	—

---

2. Quantification (technique la plus rapide)

PTQ INT8 — PyTorch (sans réentraînement)

import torch.quantization as tq

model.eval()
model.qconfig = tq.get_default_qconfig('fbgemm')   # CPU x86
# ou 'qnnpack' pour ARM/mobile
tq.prepare(model, inplace=True)

# Calibration : passer ~100-500 exemples représentatifs
for batch in calibration_loader:
    model(batch)

tq.convert(model, inplace=True)
torch.save(model.state_dict(), "model_int8.pt")

PTQ FP16 — ONNX Runtime (le plus portable)

from onnxruntime.quantization import quantize_dynamic, QuantType

quantize_dynamic(
    "model.onnx",
    "model_int8.onnx",
    weight_type=QuantType.QInt8
)