Un LLM n’a pas de mémoire, le chatbot si

Dans la formation au prompt que je donne à des non-spécialistes, un fait passe avant toute technique: le modèle derrière un chatbot ne se souvient de rien.

Un grand modèle de langage est sans état. Chaque requête est indépendante: du texte entre, du texte sort, et rien ne reste dans le modèle. Les fournisseurs l’écrivent dans leur propre documentation: leurs API traitent chaque requête de génération comme indépendante et sans état, et une conversation à plusieurs tours comme une suite de requêtes où l’appelant renvoie les échanges précédents.

Le modèle ne se souvient pas de la conversation. Il la relit, à chaque fois

La mémoire que perçoit l’utilisateur appartient donc à l’application de chat. Quand vous envoyez votre cinquième message, l’application transmet au modèle les quatre précédents et leurs réponses, puis le nouveau. Le modèle lit toute la conversation comme pour la première fois, et la prolonge.

Trois conséquences en découlent, et elles expliquent la plupart des surprises.

Une longue conversation a une limite. Une requête contient un nombre limité de tokens, pour ce qui entre comme pour ce qui sort. Quand la conversation dépasse cette limite, l’application coupe ou résume, et ce qui en sort n’existe plus pour le modèle, même s’il reste affiché à l’écran.

Une nouvelle conversation repart de zéro. Le modèle n’a rien appris de la discussion d’hier. Les fonctions dites de mémoire sont des notes que l’application garde sur vous et ajoute au prompt: utiles, mais stockées par l’application, pas apprises par le modèle.

Chaque mot est renvoyé. Un détail confié en début de conversation voyage avec toutes les requêtes suivantes. Avant de coller une information sensible, la bonne question n’est pas de savoir si l’IA s’en souviendra, mais où l’application la stocke et combien de fois elle l’envoie.

Ce que l’IA retient, c’est ce que l’application a choisi de lui renvoyer