LLM et Architecture

Comment fonctionne un modèle de langage

Vous utilisez un modèle de langage chaque fois que vous posez une question sur Le Chat. Mais que se passe-t-il réellement entre le moment où vous appuyez sur Entrée et celui où la réponse apparaît ? Cette leçon vous donne les clés pour comprendre l’architecture sous-jacente, sans entrer dans les détails mathématiques. Ce n’est pas de la culture générale gratuite : comprendre le mécanisme vous aidera à anticiper ce que le modèle fait bien, ce qu’il fait mal, et pourquoi.

Qu’est-ce qu’un LLM ?

Un LLM (Large Language Model, ou grand modèle de langage) est un programme informatique entraîné sur d’immenses quantités de texte pour apprendre à prédire le mot suivant dans une phrase. Ce principe paraît presque décevant de simplicité — et pourtant, appliqué à grande échelle, il produit des résultats étonnamment cohérents et utiles. Concrètement, quand vous posez une question à Mistral Small 4, le modèle procède ainsi :

1. Il transforme votre texte en tokens
2. Il traite ces tokens à travers des milliards de calculs
3. Il prédit le token le plus probable qui devrait suivre
4. Il répète l’opération token par token jusqu’à compléter sa réponse

Vous tenez là l’explication d’un phénomène observé dès votre premier échange : la réponse apparaît progressivement à l’écran (le streaming) parce que le modèle génère effectivement sa réponse mot par mot. Ce que vous voyez défiler n’est pas un artifice d’affichage — c’est la génération elle-même, en direct.

Les paramètres d’un modèle

Quand on parle d’un modèle à « 7 milliards de paramètres » ou « 14 milliards de paramètres », on fait référence au nombre de connexions numériques ajustables que le modèle contient. Ces paramètres sont les « poids » (weights) du modèle. Pour prendre une analogie : si le modèle était un cerveau, les paramètres seraient les synapses — les connexions entre neurones. Plus il y a de paramètres, plus le modèle peut capturer de nuances et de relations complexes dans le langage.

Attention cependant à ne pas transformer ce chiffre en critère unique : un modèle plus grand n’est pas automatiquement meilleur. L’efficacité dépend tout autant de la qualité des données d’entraînement — des données propres et diversifiées produisent de meilleurs résultats —, de l’architecture du modèle, c’est-à-dire la façon dont les paramètres sont organisés, des techniques d’entraînement utilisées pour ajuster ces paramètres, et du fine-tuning, l’affinage post-entraînement pour des tâches spécifiques. C’est précisément ce qui permet à Mistral de rivaliser avec des modèles beaucoup plus grands : une architecture efficace et des données d’entraînement de haute qualité.

L’architecture Transformer

Tous les LLM modernes reposent sur l’architecture Transformer, introduite en 2017. Deux idées suffisent pour en saisir l’essentiel.

La première est le mécanisme d’attention, le cœur du Transformer. Il permet au modèle de « regarder » l’ensemble du texte d’entrée pour comprendre les relations entre les mots, même lorsqu’ils sont éloignés dans la phrase. Prenez « Le chat qui dormait sur le canapé s’est réveillé » : grâce à l’attention, le modèle comprend que « s’est réveillé » se rapporte au chat, pas au canapé. Cette capacité à relier des éléments distants est ce qui distingue les Transformers des générations précédentes de modèles de langage.

La seconde idée est l’empilement de couches. Un Transformer est composé de multiples couches superposées, et chacune affine la compréhension du texte : les premières captent les relations grammaticales simples, tandis que les couches profondes saisissent des concepts abstraits et des relations sémantiques complexes. La compréhension se construit donc par raffinements successifs, un peu comme une lecture qui passerait de la syntaxe au sens.

Mixture of Experts (MoE) — La spécialité de Mistral

L’une des innovations majeures de Mistral AI est l’utilisation de l’architecture Mixture of Experts (MoE), popularisée avec Mixtral 8x7B. Le principe rompt avec l’approche classique : au lieu d’un seul réseau de neurones massif qui traite tout, le MoE divise le modèle en plusieurs « experts » spécialisés, et un mécanisme de routage sélectionne, pour chaque token traité, les experts les plus pertinents.

Le bénéfice est double. Côté efficacité, seuls quelques experts sont activés pour chaque token, ce qui réduit considérablement le temps de calcul. Côté performance, le modèle bénéficie de la capacité totale de tous les experts réunis, tout en ne payant le coût de calcul que pour ceux qui travaillent effectivement — chaque expert pouvant en outre se spécialiser dans un type de contenu ou de tâche. En pratique, un modèle MoE de 47 milliards de paramètres qui n’en active que 12 milliards par token peut offrir des performances comparables à un modèle dense de 47 milliards, tout en étant aussi rapide qu’un modèle de 12 milliards. C’est ce qui explique pourquoi les modèles Mistral offrent un rapport performance/vitesse souvent supérieur à la concurrence.

Les poids du modèle

Les poids (weights) sont les valeurs numériques qui définissent le comportement du modèle — ce sont les fameux paramètres, une fois l’entraînement terminé. Quand Mistral publie un modèle en « Open », cela signifie que ces poids sont téléchargeables. Et posséder les poids change tout : vous pouvez héberger le modèle sur vos propres serveurs, l’exécuter sans connexion internet, le modifier ou l’affiner par fine-tuning, et l’intégrer dans des systèmes embarqués. Sans les poids, vous dépendez de l’API du fournisseur. C’est la différence fondamentale entre les modèles Open et Premier que vous avez rencontrée dans les leçons précédentes — vous comprenez maintenant ce qui se cache techniquement derrière.

L’entraînement en deux phases

Comment naît un modèle comme Mistral Small 4 ? En deux grandes étapes. La première est le pré-entraînement : le modèle est exposé à des quantités massives de texte — livres, articles, code source, pages web — et apprend les structures du langage. Cette phase mobilise des milliers de GPU pendant des semaines et coûte des millions d’euros ; c’est elle qui donne au modèle sa culture et sa maîtrise de la langue.

La seconde étape est le fine-tuning et l’alignement : le modèle pré-entraîné est affiné pour suivre des instructions, être utile, et éviter de produire des contenus dangereux. Cette phase s’appuie sur des données annotées par des humains et des techniques comme le RLHF (Reinforcement Learning from Human Feedback). C’est elle qui transforme un prédicteur de texte brut en assistant capable de dialoguer — la différence entre un modèle qui complète des phrases et un modèle qui vous répond.

Points clés à retenir

• Un LLM prédit le token suivant, répété des milliers de fois pour produire une réponse complète
• Les paramètres (poids) sont les connexions numériques qui encodent les connaissances du modèle
• L’architecture Transformer et son mécanisme d’attention permettent de comprendre les relations dans le texte
• Le Mixture of Experts (MoE) est la spécialité de Mistral : performance d’un grand modèle, vitesse d’un petit
• Les modèles sont créés en deux phases : pré-entraînement massif puis fine-tuning ciblé
• Les poids ouverts (Open) permettent l’auto-hébergement et la personnalisation