Définition complète
La validation est l'étape qui évalue les performances d'un modèle de machine learning sur des données distinctes de celles utilisées pour l'entraînement. Le jeu de validation permet d'ajuster les hyperparamètres et de détecter le surapprentissage (overfitting) pendant le développement. Le jeu de test, utilisé une seule fois à la fin, donne la performance finale non biaisée. La validation croisée (cross-validation) répète ce processus sur plusieurs découpages des données pour une estimation plus robuste.
Questions fréquentes
Quelle différence entre validation et test ?
Le jeu de validation est utilisé pendant le développement pour choisir le meilleur modèle et régler les hyperparamètres. Il peut être consulté plusieurs fois. Le jeu de test est réservé pour l'évaluation finale, utilisé une seule fois pour éviter tout biais. Si on optimise trop sur le test, on risque le surapprentissage sur le test. Typiquement : 70% train, 15% validation, 15% test.
Qu'est-ce que la validation croisée (cross-validation) ?
La validation croisée divise les données en K parties (folds). On entraîne K modèles, chacun utilisant K-1 parties pour l'entraînement et 1 pour la validation. Cela donne K scores de performance dont on fait la moyenne. C'est plus robuste qu'un simple split car chaque donnée est utilisée pour la validation une fois. La K-fold classique utilise K=5 ou 10.
Comment valider un chatbot en production ?
La validation d'un chatbot en production combine : tests automatisés (jeu de conversations test avec réponses attendues), évaluation humaine (annotateurs qui notent la pertinence), A/B testing (comparer deux versions du bot), et analyse des métriques live (taux de résolution, satisfaction, fallback). La validation continue est essentielle car les comportements utilisateurs évoluent.