Le contexte long : jusqu'à 1 million de tokens

Ce que signifie une fenêtre d’un million de tokens

Les modèles texte de la gamme Grok n’ont pas tous la même capacité d’ingestion, et cette différence est un critère de choix à part entière : grok-4.3 et la génération grok-4.20 montent à 1 million de tokens, grok-4.5 en accepte 500 000, et grok-build-0.1 256 000. Pour mettre le chiffre haut en perspective, 1 million de tokens représente environ 750 000 mots — l’équivalent de sept à dix romans, ou d’une base de code de taille moyenne.

Cette capacité transforme la manière dont vous utilisez un modèle de langage. Au lieu de découper vos données en fragments et de les traiter séparément, vous pouvez fournir l’ensemble du contexte en une seule requête — et c’est souvent grok-4.3, l’option économique à très long contexte, qui devient le bon choix pour ces tâches, plutôt que le modèle phare.

Cas d’usage concrets

Analyse de bases de code

Avec 1 million de tokens, vous pouvez charger une base de code entière dans le contexte du modèle. Un projet Python de plusieurs dizaines de milliers de lignes tient confortablement dans cette fenêtre. Le modèle peut alors répondre à des questions sur l’architecture globale, identifier des dépendances croisées ou proposer des refactoring cohérents avec l’ensemble du code — ce que grok-build-0.1, limité à 256k, ne permet pas à cette échelle.

Traitement de documents longs

Rapports annuels, documents juridiques, manuels techniques — ces documents font souvent des centaines de pages. Plutôt que de les résumer par morceaux et de perdre le contexte global, vous pouvez les injecter intégralement et poser des questions précises sur n’importe quelle section.

Conversations longues

Dans les applications conversationnelles, la fenêtre de contexte détermine la longueur de l’historique que le modèle peut « se rappeler ». Avec une fenêtre d’un million de tokens, vous maintenez des conversations très longues sans perte de contexte — utile pour les sessions de travail prolongées ou le support technique complexe.

Synthèse multi-sources

Charger simultanément plusieurs documents — articles, rapports, emails — pour en faire une synthèse croisée. Le modèle peut identifier les recoupements, les contradictions et les informations complémentaires entre les sources.

Limites et considérations

Le palier de 200 000 tokens

C’est le point que l’on découvre trop souvent sur la facture : la tarification de la gamme Grok double au-delà de 200 000 tokens de contexte. Autrement dit, dès que vous exploitez réellement le contexte long, vous basculez automatiquement dans le palier haut. Une requête d’un million de tokens en entrée sur grok-4.3 est facturée au tarif doublé — $2.50 par million au lieu de $1.25 — soit $2.50 pour cette seule requête. Sur grok-4.5, une requête de 500 000 tokens passe à $4.00 par million en entrée.

Ce seuil doit entrer dans votre conception : une architecture qui reste sous 200k tokens coûte deux fois moins cher par token qu’une architecture qui déborde, à volume égal.

Latence

Plus le contexte est long, plus le temps de traitement augmente. Une requête avec un million de tokens en entrée sera significativement plus lente qu’une requête avec 2 000 tokens. Prévoyez des timeouts adaptés — xAI recommande 3 600 secondes minimum pour les requêtes complexes.

Coût et cache

Le coût est directement proportionnel au nombre de tokens traités, et le cache est le seul vrai contrepoids : les tokens d’entrée déjà vus bénéficient d’environ 90 % de réduction. Un contexte de référence stable, réutilisé de requête en requête, revient donc à une fraction de son prix initial — d’où l’importance cruciale du cache pour les contextes longs.

Qualité de l’attention

Même si le modèle accepte un million de tokens, la qualité de l’attention n’est pas uniforme. Les informations placées au début et à la fin du contexte sont généralement mieux « retenues » que celles au milieu. Pour les requêtes critiques, placez les informations les plus importantes en début de contexte ou directement avant la question.

Pas de stockage permanent

La fenêtre de contexte est éphémère : elle n’existe que pendant la requête. Si vous avez besoin de stocker des informations entre les requêtes, utilisez les Collections de xAI ou votre propre base de données. La fenêtre de contexte ne remplace pas un système de mémoire persistante.

Stratégies d’utilisation efficace

Structurez votre contexte

Avec un contexte très long, la structure devient cruciale. Utilisez des délimiteurs clairs (balises XML, titres Markdown) pour organiser les différentes sections. Le modèle s’y retrouve mieux quand le contexte est bien balisé.

Combinez contexte long et cache

La combinaison la plus puissante : un contexte long stable (documentation de référence, code source) qui bénéficie du cache, avec des ajouts courts et dynamiques (question de l’utilisateur) à la fin. Vous obtenez la puissance du contexte long au prix du cache.

Ne remplissez pas le contexte inutilement

Ce n’est pas parce que vous pouvez injecter un million de tokens que vous devez le faire systématiquement. Chaque token a un coût, franchit potentiellement le palier de 200k et augmente la latence. Sélectionnez le contexte pertinent pour la tâche à accomplir plutôt que de tout envoyer par défaut — et rappelez-vous que le RAG reste souvent moins cher que le contexte long pour interroger un corpus volumineux.

Points clés à retenir

• Les fenêtres varient selon le modèle : 1M pour grok-4.3 et la génération 4.20, 500k pour grok-4.5, 256k pour grok-build-0.1
• 1 million de tokens représente environ 750 000 mots — idéal pour le code, les documents longs et les conversations étendues
• Attention au palier : au-delà de 200 000 tokens de contexte, le tarif par token double
• La latence augmente avec la taille du contexte — prévoyez des timeouts adaptés
• Le cache (environ 90 % de réduction) est essentiel pour rendre les contextes longs économiques
• La qualité d’attention varie : placez les informations critiques en début ou fin de contexte