RPM et TPM par modèle

Les deux métriques de limitation

L’API Grok mesure vos limites selon deux axes complémentaires : le RPM (requêtes par minute) et le TPM (tokens par minute). Ces deux métriques s’appliquent par modèle, ce qui signifie que vos limites pour grok-4.20 sont indépendantes de celles pour grok-4-1-fast.

Comprendre cette distinction est essentiel pour dimensionner correctement votre infrastructure et éviter les interruptions de service en production.

RPM : requêtes par minute

Le RPM limite le nombre d’appels API que vous pouvez effectuer en une minute, indépendamment de la taille de chaque requête. Pour les modèles texte, la limite standard est de 1 800 RPM. Cela représente 30 requêtes par seconde, ce qui convient à la plupart des applications.

En pratique, le RPM devient limitant lorsque vous envoyez de nombreuses requêtes courtes, par exemple pour de la classification ou de l’extraction d’entités sur un grand nombre de documents.

TPM : tokens par minute

Le TPM limite le volume total de tokens traités par minute, en entrée et en sortie cumulés. La limite standard pour les modèles texte est de 10 millions de TPM. Cette limite devient contraignante lorsque vous traitez de longs contextes ou générez de longues réponses.

Un cas typique : si vous envoyez des documents de 50 000 tokens chacun, vous ne pourrez traiter que 200 documents par minute au maximum, même si le RPM vous autoriserait 1 800 requêtes.

Limites par type de modèle

Les limites varient selon la catégorie de modèle utilisé :

• Modèles texte (grok-4.20, grok-4-1-fast) : 1 800 RPM, 10M TPM
• Modèles image (grok-imagine-image-pro) : 30 RPM par image
• Modèles image standard (grok-imagine-image) : 300 RPM
• Modèles vidéo (grok-imagine-video) : 60 RPM

Ces limites s’appliquent au tier standard. Chaque passage à un tier supérieur augmente proportionnellement ces valeurs.

Limites indépendantes par modèle

Un point souvent négligé : les limites RPM et TPM sont calculées par modèle. Si vous atteignez le plafond RPM sur grok-4.20, vous pouvez toujours envoyer des requêtes sur grok-4-1-fast. Cette indépendance vous permet de répartir la charge entre plusieurs modèles selon le cas d’usage.

Stratégie de répartition

Vous pouvez exploiter cette indépendance pour maximiser votre débit global :

• Utilisez grok-4-1-fast pour les tâches simples (classification, extraction, résumé court)
• Réservez grok-4.20 pour les tâches complexes nécessitant un raisonnement approfondi
• Utilisez grok-4.20-multi-agent pour les flux orchestrant plusieurs sous-agents

Surveiller votre consommation

L’API Grok ne fournit pas de header explicite indiquant votre consommation RPM/TPM restante dans chaque réponse. Vous devez donc implémenter un suivi côté client. Les bonnes pratiques incluent :

• Un compteur local de requêtes par minute par modèle
• Un compteur de tokens consommés (disponible dans l’objet usage de chaque réponse)
• Des alertes lorsque vous approchez 80 % de vos limites

Points clés à retenir

• Les limites se mesurent en RPM (requêtes/minute) et TPM (tokens/minute)
• Les modèles texte offrent 1 800 RPM et 10M TPM en standard
• Chaque modèle possède ses propres limites indépendantes
• Répartir la charge entre modèles permet de multiplier le débit effectif
• Implémentez un suivi côté client pour anticiper les limites