Le scribe qui prédit des mots
Imaginez un bibliothécaire qui aurait lu presque tous les livres, forums, articles scientifiques et poèmes du monde. Mais il ne « comprend » pas les textes comme nous. Il sait juste, statistiquement, comment les phrases se continuent. Un LLM (Large Language Model), c'est ça : un scribe probabiliste. Il ne cherche pas une réponse pré‑écrite, il la compose en temps réel, mot après mot, en calculant la suite la plus probable.
Des fragments de mots, des adresses mathématiques
Avant tout, le texte est découpé en petits morceaux appelés tokens. Le mot « incroyable » peut devenir « in‑croy‑able ». Chaque token est ensuite transformé en vecteur — une longue liste de nombres. C'est comme une adresse sur une carte géante où les mots proches (chat, chien) sont voisins, et les mots éloignés (chat, voiture) sont très loin. L'IA ne « lit » pas le sens, elle calcule des distances mathématiques entre ces adresses.
Prédire la suite : l'art de la mosaïque
Quand vous tapez une phrase, le LLM examine tout ce qui précède et prédit le mot suivant le plus plausible. Il ne fait pas cela une fois, mais des milliards de fois pendant son entraînement. C'est un mosaïste aveugle : il a des milliards de petits carreaux (les tokens), et il les assemble pour que la fresque finale (le texte) soit statistiquement cohérente avec tout ce qu'il a « lu ». Il ne cherche pas la vérité, il cherche la cohérence.
Forces et faiblesses en quatre catégories
1. Les phrases évidentes — « Il était une fois… » → le LLM n'a aucun mal, il a vu ce pattern des milliers de fois. C'est la force des schémas de langage courants.
2. Les phrases ambiguës — « La vue de l'avion… » (depuis le sol ? depuis le cockpit ?). Sans contexte, le LLM hésite. Il montre ici qu'il ne « comprend » pas le monde, il calcule des probabilités sur des mots. L'ambiguïté reste un défi.
3. La mémoire de contexte — Si la phrase commence par « Dans la forêt amazonienne, le… », le LLM saura qu'il doit parler d'animaux, de plantes, pas de voitures. Il utilise la fenêtre de contexte pour guider sa prédiction.
4. Le choix statistique — Parfois plusieurs mots sont possibles (« mer » ou « océan »). Le LLM choisira l'option statistiquement la plus fréquente, même si une autre serait plus poétique. C'est la limite de la logique purement fréquentielle.
Et en formation ?
- Faire deviner les complétions aux stagiaires, puis comparer avec les réponses d'un vrai LLM.
- Discuter : pourquoi certaines réponses sont‑elles évidentes ? (fréquence statistique) ; pourquoi d'autres sont‑elles biaisées ? (données d'entraînement) ; comment le modèle gère‑t‑il l'ambiguïté ? (probabilités, contexte limité).
- Montrer que les LLM ne comprennent pas, ils prédisent des motifs. C'est la clé pour une utilisation lucide et critique.
Le LLM ne « sait » rien au sens humain. Il calcule. Il prédit. Il assemble. Mais le résultat ressemble à de la magie. À nous d'en garder la maîtrise.