Définition complète
Le contexte conversationnel désigne l'ensemble des informations accumulees au cours d'une conversation que le système IA utilise pour interpreter correctement les nouvelles requêtes. Cela inclut les messages precedents, les entites identifiées (nom du client, numero de commande), et l'intention globale de la discussion. Un bon gestionnaire de contexte permet au chatbot de comprendre 'et pour demain ?' apres une question sur la meteo du jour, sans que l'utilisateur reprécise le sujet.
Questions fréquentes
Pourquoi le contexte est-il important pour un chatbot ?
Sans contexte, chaque message est traite independamment et le bot redemande les mêmes informations. Le contexte permet : de résoudre les anaphores ('elle', 'ca', 'le même'), de conserver les informations collectees (nom, commande), de comprendre les questions de suivi, et d'offrir une expérience fluide. Un chatbot sans memoire de contexte frustre rapidement l'utilisateur.
Comment les LLM gèrent-ils le contexte conversationnel ?
Les LLM gèrent le contexte via leur 'fenêtre de contexte' (context window) : l'ensemble des tokens qu'ils peuvent traiter en une seule requête. Chaque nouvelle interaction inclut l'historique de la conversation dans le prompt. Les limites varient : de 4K à 128K+ tokens selon le modèle. Pour les longues conversations, des techniques de resume ou de RAG sur l'historique sont utilisees.
Combien de temps un chatbot doit-il conserver le contexte ?
La duree de retention du contexte depend du cas d'usage. Pour une session de support, 30 minutes a 1 heure suffisent. Pour un assistant personnel, le contexte peut persister plusieurs jours. Les bonnes pratiques : conserver le contexte le temps de la session, stocker les informations cles (preferences, historique) dans un profil utilisateur persistant, et respecter le RGPD pour les données personnelles.