Définition complète
Un modèle de langage est un modèle de machine learning entraîné à prédire la probabilité de séquences de mots. Les modèles de langage modernes (LLM) utilisent l'architecture Transformer et sont entraînés sur des milliards de textes. Ils apprennent la grammaire, les faits, et les patterns de raisonnement, leur permettant de générer du texte cohérent, répondre à des questions, et exécuter des tâches linguistiques variées. Les modèles des principaux fournisseurs (OpenAI, Anthropic, Mistral, Meta) sont des exemples de grands modèles de langage.
Questions fréquentes
Comment un modèle de langage génère-t-il du texte ?
Un modèle de langage génère du texte mot par mot (token par token). À chaque étape, il calcule la probabilité de chaque mot possible étant donné les mots précédents, puis en sélectionne un (déterministiquement ou avec un élément aléatoire contrôlé par la "température"). Ce processus se répète jusqu'à générer la réponse complète. La qualité dépend de l'entraînement sur des corpus massifs.
Quelle est la différence entre modèle de langage et chatbot ?
Un modèle de langage est le "moteur" qui comprend et génère du texte. Un chatbot est une application complète qui utilise ce moteur, avec en plus : une interface utilisateur, une logique métier, une connexion aux systèmes (CRM, bases), et des garde-fous. Le LLM seul n'a pas de mémoire persistante ni d'accès aux données entreprise ; le chatbot orchestre tout cela.
Peut-on utiliser un modèle de langage sans fine-tuning ?
Oui, les modèles de langage modernes fonctionnent très bien en "zero-shot" (sans entraînement spécifique) grâce au prompting. On décrit la tâche en langage naturel dans le prompt. Le fine-tuning améliore les performances pour des cas d'usage spécifiques (ton de marque, vocabulaire métier) mais n'est pas toujours nécessaire. Le RAG est une alternative pour intégrer des connaissances sans fine-tuning.