Définition complète
Le transfer learning (apprentissage par transfert) est une technique où un modèle entraîné sur une tâche est réutilisé comme point de départ pour une autre tâche. Au lieu de partir de zéro, on exploite les connaissances déjà acquises. C'est le principe du fine-tuning des LLM : prendre GPT ou BERT (entraînés sur des tâches génériques) et les adapter à un domaine spécifique. Le transfer learning réduit drastiquement les besoins en données et en temps d'entraînement.
Questions fréquentes
Pourquoi le transfer learning est-il si puissant ?
Le transfer learning exploite le fait que les couches inférieures des réseaux de neurones apprennent des représentations génériques (bords dans les images, structures grammaticales dans le texte). Ces représentations sont utiles pour de nombreuses tâches. Seules les couches supérieures, spécifiques à la tâche, doivent être ré-entraînées. Cela permet d'obtenir de bons résultats avec peu de données spécifiques.
Quand utiliser le transfer learning vs entraîner from scratch ?
Utilisez le transfer learning (quasi-toujours recommandé) quand : vous avez peu de données, votre tâche est similaire à celle du modèle source, et vous voulez des résultats rapides. Entraînez from scratch (rare) seulement si : votre domaine est très différent (données médicales très spécifiques, nouvelle langue peu représentée), vous avez énormément de données, et les performances du transfer learning ne suffisent pas.
Le transfer learning fonctionne-t-il entre domaines différents ?
Le transfer learning fonctionne mieux quand les domaines sont proches. Transférer de texte général vers texte juridique fonctionne bien. Transférer d'images vers du texte est plus difficile (les représentations sont différentes). Cependant, même des transferts inter-domaines peuvent aider en fournissant une meilleure initialisation que l'aléatoire. Les modèles multimodaux (texte + image) exploitent cette idée.