LLM et Architecture

Comment fonctionne un modèle de langage

Vous utilisez un modèle de langage à chaque fois que vous posez une question sur Le Chat. Mais comment fonctionne-t-il réellement ? Cette leçon vous donne les clés pour comprendre l’architecture sous-jacente, sans entrer dans les détails mathématiques.

Qu’est-ce qu’un LLM ?

Un LLM (Large Language Model, ou grand modèle de langage) est un programme informatique entraîné sur d’immenses quantités de texte pour apprendre à prédire le mot suivant dans une phrase. C’est ce principe simple — prédire le prochain token — qui, appliqué à grande échelle, produit des résultats étonnamment cohérents et utiles.

Concrètement, quand vous posez une question à Mistral Small 4, le modèle :

1. Transforme votre texte en tokens
2. Traite ces tokens à travers des milliards de calculs
3. Prédit le token le plus probable qui devrait suivre
4. Répète l’opération token par token jusqu’à compléter sa réponse

C’est pourquoi vous voyez la réponse apparaître progressivement (streaming) : le modèle génère effectivement sa réponse mot par mot.

Les paramètres d’un modèle

Quand on parle d’un modèle à “7 milliards de paramètres” ou “14 milliards de paramètres”, on fait référence au nombre de connexions numériques ajustables que le modèle contient. Ces paramètres sont les “poids” (weights) du modèle.

Pour faire une analogie : si le modèle était un cerveau, les paramètres seraient les synapses — les connexions entre neurones. Plus il y a de paramètres, plus le modèle peut capturer de nuances et de relations complexes dans le langage.

La taille compte, mais pas seulement

Un modèle plus grand n’est pas automatiquement meilleur. L’efficacité dépend aussi de :

• La qualité des données d’entraînement : des données propres et diversifiées produisent de meilleurs résultats
• L’architecture du modèle : la façon dont les paramètres sont organisés
• Les techniques d’entraînement : les algorithmes utilisés pour ajuster les paramètres
• Le fine-tuning : l’affinage post-entraînement pour des tâches spécifiques

C’est précisément ce qui permet à Mistral de rivaliser avec des modèles beaucoup plus grands : une architecture efficace et des données d’entraînement de haute qualité.

L’architecture Transformer

Tous les LLM modernes reposent sur l’architecture Transformer, introduite en 2017. Sans entrer dans les détails techniques, voici les principes clés :

Le mécanisme d’attention

Le cœur du Transformer est le mécanisme d’attention. Il permet au modèle de “regarder” l’ensemble du texte d’entrée pour comprendre les relations entre les mots, même s’ils sont éloignés dans la phrase.

Par exemple, dans la phrase “Le chat qui dormait sur le canapé s’est réveillé”, le mécanisme d’attention permet au modèle de comprendre que “s’est réveillé” se rapporte au “chat”, pas au “canapé”.

Les couches

Un Transformer est composé de multiples couches empilées. Chaque couche affine la compréhension du texte. Les premières couches captent les relations grammaticales simples, tandis que les couches profondes saisissent des concepts abstraits et des relations sémantiques complexes.

Mixture of Experts (MoE) — La spécialité de Mistral

L’une des innovations majeures de Mistral AI est l’utilisation de l’architecture Mixture of Experts (MoE), popularisée avec Mixtral 8x7B.

Le principe

Au lieu d’avoir un seul réseau de neurones massif qui traite tout, le MoE divise le modèle en plusieurs “experts” spécialisés. Pour chaque token traité, un mécanisme de routage sélectionne les experts les plus pertinents.

Les avantages du MoE

• Efficacité : seuls quelques experts sont activés pour chaque token, ce qui réduit considérablement le temps de calcul
• Performance : le modèle bénéficie de la capacité totale de tous les experts, mais ne paie le coût de calcul que pour ceux qui sont activés
• Spécialisation : chaque expert peut se spécialiser dans un type de contenu ou de tâche

En pratique

Un modèle MoE de 47 milliards de paramètres qui active seulement 12 milliards de paramètres par token peut offrir des performances comparables à un modèle dense de 47 milliards, tout en étant aussi rapide qu’un modèle de 12 milliards.

C’est ce qui explique pourquoi les modèles Mistral offrent un rapport performance/vitesse souvent supérieur à la concurrence.

Les poids du modèle

Les poids (weights) sont les valeurs numériques qui définissent le comportement du modèle. Quand Mistral publie un modèle en “Open”, cela signifie que ces poids sont téléchargeables.

Avec les poids, vous pouvez :

• Héberger le modèle sur vos propres serveurs
• L’exécuter sans connexion internet
• Le modifier ou l’affiner (fine-tuning)
• L’intégrer dans des systèmes embarqués

Sans les poids, vous dépendez de l’API du fournisseur. C’est la différence fondamentale entre les modèles Open et Premier.

L’entraînement en deux phases

La création d’un modèle comme Mistral Small 4 se fait en deux grandes étapes :

Phase 1 : Le pré-entraînement

Le modèle est exposé à des quantités massives de texte (livres, articles, code source, pages web) et apprend les structures du langage. Cette phase nécessite des milliers de GPU pendant des semaines et coûte des millions d’euros.

Phase 2 : Le fine-tuning et l’alignement

Le modèle pré-entraîné est ensuite affiné pour suivre des instructions, être utile, et éviter de produire des contenus dangereux. Cette phase utilise des données annotées par des humains et des techniques comme le RLHF (Reinforcement Learning from Human Feedback).

Points clés à retenir

• Un LLM prédit le token suivant, répété des milliers de fois pour produire une réponse complète
• Les paramètres (poids) sont les connexions numériques qui encodent les connaissances du modèle
• L’architecture Transformer et son mécanisme d’attention permettent de comprendre les relations dans le texte
• Le Mixture of Experts (MoE) est la spécialité de Mistral : performance d’un grand modèle, vitesse d’un petit
• Les modèles sont créés en deux phases : pré-entraînement massif puis fine-tuning ciblé
• Les poids ouverts (Open) permettent l’auto-hébergement et la personnalisation