Tokens et Contexte
Comprendre la monnaie des modèles de langage
Les tokens sont l’unité fondamentale de tout modèle de langage. Comprendre ce concept est essentiel pour utiliser efficacement les modèles Mistral, estimer vos coûts et optimiser vos requêtes.
Qu’est-ce qu’un token ?
Un token est la plus petite unité de texte traitée par un modèle de langage. Ce n’est ni exactement un mot, ni exactement une syllabe — c’est un fragment de texte défini par l’algorithme de tokenisation du modèle.
En pratique :
- Un mot courant comme “bonjour” correspond généralement à un seul token
- Un mot rare ou technique peut être découpé en plusieurs tokens (par exemple, “désintermédiation” pourrait devenir 3 ou 4 tokens)
- Les espaces, la ponctuation et les caractères spéciaux sont aussi des tokens
- Un chiffre ou un symbole peut constituer un token à part entière
L’algorithme BPE
La plupart des modèles modernes, y compris ceux de Mistral, utilisent l’algorithme BPE (Byte-Pair Encoding) pour la tokenisation. Cet algorithme analyse un vaste corpus de texte et identifie les combinaisons de caractères les plus fréquentes pour créer un vocabulaire optimal.
Le résultat : les mots et expressions fréquents sont représentés par peu de tokens, tandis que les termes rares nécessitent davantage de tokens. C’est une compression intelligente du langage.
Estimation pratique
Pour estimer rapidement le nombre de tokens dans un texte :
- En anglais : 1 token correspond à environ 4 caractères, soit 0,75 mot
- En français : le ratio est légèrement moins favorable en raison des accents et des mots plus longs — comptez environ 1 token pour 3,5 caractères
- En code : très variable selon le langage, mais les symboles et l’indentation consomment des tokens
Une page A4 de texte (environ 500 mots) représente approximativement 650 à 750 tokens en français.
La fenêtre de contexte
La fenêtre de contexte (context window) est la quantité maximale de tokens qu’un modèle peut traiter en une seule requête. Elle inclut à la fois votre message (input) et la réponse du modèle (output).
Pourquoi c’est important
Imaginez la fenêtre de contexte comme la mémoire de travail du modèle. Tout ce que le modèle “sait” pendant une conversation doit tenir dans cette fenêtre :
- Votre question actuelle
- L’historique de la conversation
- Les documents que vous avez joints
- Les instructions système
- La réponse en cours de génération
Si la conversation dépasse la fenêtre de contexte, le modèle ne peut plus “voir” les messages les plus anciens. C’est pourquoi les conversations très longues peuvent perdre en cohérence.
Les fenêtres de contexte chez Mistral
Les tailles varient selon les modèles :
- Mistral Small 4 : 256 000 tokens — la plus grande fenêtre de la gamme
- Mistral Large 3 : 131 000 tokens
- Ministral 3 : 131 000 tokens
- Codestral : 256 000 tokens
Avec 256k tokens, Mistral Small 4 peut traiter l’équivalent de 500 pages de texte en une seule requête. C’est suffisant pour analyser un contrat complet, un rapport annuel, ou un code source de taille conséquente.
Le calcul des coûts
Si vous utilisez l’API Mistral avec le plan Scale, votre facture dépend directement du nombre de tokens consommés. Les prix sont exprimés en dollars par million de tokens, avec une distinction entre :
- Tokens d’entrée (input) : votre question, les documents joints, le contexte
- Tokens de sortie (output) : la réponse générée par le modèle
Les tokens de sortie sont généralement plus chers que les tokens d’entrée, car la génération de texte est plus coûteuse en calcul que la simple lecture.
Optimiser ses coûts
Quelques stratégies pour maîtriser votre consommation :
- Soyez concis dans vos prompts : évitez les instructions redondantes
- Limitez la longueur de sortie : si vous n’avez besoin que d’un résumé en 3 phrases, précisez-le
- Choisissez le bon modèle : Ministral pour les tâches simples, Large pour les tâches complexes
- Réutilisez le contexte : dans une conversation, évitez de répéter des informations déjà fournies
Tokens et multilinguisme
Un point important pour les utilisateurs francophones : le français consomme en moyenne plus de tokens que l’anglais pour exprimer la même idée. Cela s’explique par :
- Les accents qui peuvent fragmenter les mots différemment
- Les mots français souvent plus longs que leurs équivalents anglais
- Les articles et prépositions plus fréquents en français
En pratique, un texte en français utilisera environ 10 à 20% de tokens en plus que le même texte en anglais. C’est un facteur à prendre en compte dans l’estimation des coûts.
Mise en pratique
Pour visualiser concrètement les tokens, vous pouvez :
- Ouvrir Le Chat et poser une question courte, puis une question longue — observez la différence de temps de réponse
- Essayer de résumer un document long en une seule requête — la fenêtre de 256k tokens de Small 4 vous le permet
- Comparer les réponses d’un même prompt en français et en anglais pour constater les différences de longueur
Points clés à retenir
- Un token est l’unité de base du traitement textuel, correspondant à environ 4 caractères
- La fenêtre de contexte détermine la quantité de texte qu’un modèle peut traiter en une fois
- Mistral Small 4 offre la plus grande fenêtre : 256 000 tokens (environ 500 pages)
- Le coût API est directement proportionnel au nombre de tokens consommés
- Le français consomme plus de tokens que l’anglais pour le même contenu
- Optimisez vos coûts en choisissant le bon modèle et en étant précis dans vos prompts