Définition complète
Le fine-tuning est le processus d'adaptation d'un modèle de machine learning pre-entraîné a une tache ou domaine spécifique. Plutot que d'entraîner un modèle de zero, on part d'un modèle existant (GPT, BERT) et on l'ajuste avec des données du domaine cible. Cela permet d'obtenir d'excellentes performances avec moins de données et de temps que l'entraînement complet. En entreprise, on fine-tune des LLM pour adopter le ton de la marque ou maitriser le vocabulaire métier.
Questions fréquentes
Quels sont les avantages du fine-tuning pour une entreprise ?
Le fine-tuning permet : d'adapter le ton et le style au brand voice, d'intégrer le vocabulaire métier spécifique, d'améliorer la précision sur les cas d'usage cibles, de reduire les hallucinations sur le domaine, et de diminuer les couts d'inference (modèle plus petit possible). C'est le pont entre un modèle généraliste et une solution sur-mesure.
Combien de données faut-il pour fine-tuner un LLM ?
Les quantités varient : pour les modèles OpenAI, la recommandation est 50 à 100 exemples de qualité minimum, idéalement 500+. Pour les modèles open source (Llama, Mistral), 1000 a 10000 exemples sont courants. La qualité prime sur la quantite : 200 exemples bien rediges battent 2000 exemples bruites. Le format : paires prompt/réponse attendue.
Quel est le cout du fine-tuning ?
Les couts varient enormêment. Via API OpenAI : quelques dizaines a centaines de dollars pour un fine-tuning. En auto-hébergé sur cloud : le cout GPU domine (100-1000+ dollars selon la taille du modèle et la duree). Des techniques comme LoRA reduisent le cout en n'entrainant qu'une fraction des paramêtres. Prevoyez aussi le cout de preparation des données.