1. Le principe : deviner la suite
Un grand modèle de langage (ChatGPT, Mistral, etc.) est entraîné à une seule tâche : prédire le prochain morceau de texte à partir de ce qui précède. Pour écrire une réponse entière, il répète cette prédiction en boucle : il ajoute le mot choisi au texte, puis relit le tout pour prédire le suivant. C’est ce qu’on appelle la génération autorégressive.
2. Des mots aux jetons
Les vrais modèles ne manipulent pas des mots mais des jetons (tokens) : des morceaux de mots, comme « capit » + « ale ». Leur vocabulaire compte souvent 50 000 à 200 000 jetons. Ici, pour rester lisible, chaque mot ou signe de ponctuation est un jeton.
3. Des scores aux probabilités
Pour chaque jeton du vocabulaire, le modèle produit un score brut appelé logit. Plus il est élevé, plus le jeton lui paraît adapté. La fonction softmax transforme ces scores en probabilités positives dont la somme fait 100 % :
p(mot) = exp(logit / T) / Σ exp(logiti / T)
Comme l’exponentielle amplifie les écarts, un logit à peine plus grand peut donner une probabilité beaucoup plus forte.
4. La température
Le paramètre T divise les logits avant la softmax. Avec T < 1, les écarts sont grossis : le modèle devient sûr de lui et répétitif. Avec T > 1, ils sont aplatis : les mots rares ont leur chance, le texte devient plus créatif... ou incohérent. Essayez T = 0,2 puis T = 2,5 sur la même phrase.
5. Top-k et top-p : écarter les mauvais candidats
- Top-k ne garde que les k mots les plus probables.
- Top-p (ou nucleus sampling) garde le plus petit groupe de mots dont les probabilités cumulées atteignent p (par exemple 90 %). Le nombre de candidats s’adapte : peu quand le modèle est sûr, beaucoup quand il hésite.
Les probabilités des mots restants sont ensuite renormalisées pour faire de nouveau 100 %.
6. Glouton ou échantillonnage ?
Le décodage glouton prend toujours le mot le plus probable : c’est déterministe, mais cela tourne vite en boucle. L’échantillonnage tire un nombre au hasard entre 0 et 1 et regarde dans quelle « tranche » de probabilité il tombe, comme une roue de loterie où chaque mot occupe une part proportionnelle à sa probabilité.
7. Entropie, surprise et perplexité
L’entropie mesure l’hésitation du modèle à une étape : 0 bit quand un mot a 100 %, 1 bit pour un pile-ou-face entre deux mots, 3 bits pour huit mots à égalité. La surprise d’un mot vaut −log₂(p) : un mot à 50 % coûte 1 bit, un mot à 1 % en coûte environ 6,6. La perplexité vaut 2 puissance la surprise moyenne : c’est à peu près le nombre de mots entre lesquels le modèle hésitait en moyenne.
8. Ce que ce mini-modèle simplifie
Le modèle de cette page est un modèle n-gramme appris dans votre navigateur sur une centaine de phrases françaises. Il ne regarde que les deux derniers mots (trigramme), et se replie sur le dernier mot seul, puis sur la fréquence globale, quand il n’a jamais vu le contexte.
Un vrai LLM remplace ce comptage par un réseau de neurones (un Transformer) qui lit des milliers de jetons d’un coup grâce au mécanisme d’attention. Mais la dernière étape est exactement la même : des logits, une softmax, un tirage, et on recommence.
À retenir : un texte fluide n’est pas forcément vrai. Le modèle choisit ce qui est probable au vu de ses données, pas ce qui est exact.