Introduction au self-hosting

Pourquoi héberger soi-même un modèle Mistral

Le self-hosting consiste à déployer les modèles Mistral sur votre propre infrastructure, que ce soit un serveur on-premise, un cloud privé ou des GPU loués. Cette approche offre un contrôle total mais implique une complexité significative. Avant de plonger dans les moteurs d’inférence des leçons suivantes, déterminez si elle est réellement pertinente pour votre cas d’usage : c’est une décision d’architecture, pas un choix réversible en une après-midi.

Les motivations du self-hosting

La raison la plus fréquente est la souveraineté des données : vos requêtes ne quittent jamais votre infrastructure, aucune ne transite par les serveurs de Mistral ou d’un cloud provider tiers. C’est souvent une exigence réglementaire dans la défense et le gouvernement pour les données classifiées, dans la santé pour les données de patients soumises à l’HDS ou à HIPAA, dans la finance pour les données de trading et les informations clients, et dans le juridique pour les dossiers confidentiels. Là, la question n’est pas de savoir si le self-hosting est rentable, mais si l’alternative est seulement autorisée.

Vient ensuite le contrôle des coûts à grande échelle. À faible volume, l’API Mistral est moins chère : vous ne payez que ce que vous consommez, sans machine allumée en permanence. Au-delà d’un certain seuil de requêtes, le coût par token d’une infrastructure dédiée devient inférieur au pay-as-you-go, parce que le GPU tourne déjà et que chaque token supplémentaire ne coûte presque rien. Le point de bascule dépend de votre volume mensuel de tokens, du modèle utilisé (Small ou Large), du coût de vos GPU selon qu’ils sont loués ou possédés, et des coûts d’exploitation — équipe DevOps et électricité comprises.

Troisième motivation, la personnalisation complète. Le self-hosting donne accès aux poids bruts du modèle, donc à la quantization en FP8 ou INT4 pour réduire la mémoire GPU, à l’optimisation du batch size et du scheduling, au déploiement de modèles fine-tunés indisponibles via l’API, et à la configuration précise des paramètres d’inférence. Enfin, la latence : le réseau se limite à votre infrastructure interne. Pour un chatbot visant moins de 100 ms de TTFB, la traversée d’Internet vers une API distante consomme déjà une part significative du budget ; un déploiement local offre des performances inaccessibles autrement.

Les défis, qu’il faut regarder en face

La complexité opérationnelle est le premier obstacle : vous devenez responsable de l’installation et de la mise à jour du moteur d’inférence, de la gestion des GPU (drivers NVIDIA, CUDA, mémoire), du monitoring et de l’alerting, de la haute disponibilité et du failover, ainsi que de la sécurité réseau et des certificats. Chacun de ces points est un métier ; les cumuler dans une équipe de trois développeurs backend conduit rarement à un service fiable.

Le coût initial n’est pas une ligne de facture mensuelle mais un investissement à amortir, et le calcul doit être complet :

Infrastructure GPU (location ou achat)
+ Stockage (les modèles pèsent 15-140 Go)
+ Bande passante réseau
+ Temps ingénieur pour le setup et la maintenance
= Coût total de possession (TCO)

Les compétences requises constituent le troisième frein, le plus difficile à combler dans l’urgence : administration Linux et Docker, drivers NVIDIA et CUDA, moteurs d’inférence (vLLM, TensorRT-LLM, TGI), monitoring et observabilité. Si aucun de ces domaines n’est déjà couvert chez vous, le self-hosting commencera par un recrutement.

Les modèles open-weights de Mistral

La plupart des modèles Mistral sont disponibles en open-weights sous licence Apache 2.0. Mistral 7B est le modèle fondateur, avec ses 7 milliards de paramètres ; Mixtral 8x7B adopte une architecture Mixture-of-Experts totalisant 46.7B de paramètres ; Mistral Nemo est un modèle polyvalent de 12B ; Codestral est spécialisé sur le code. Les poids se récupèrent depuis Hugging Face, avec un compte et un token :

# Télécharger un modèle via Hugging Face CLI
pip install huggingface_hub
huggingface-cli login  # Nécessite un token HF

# Le téléchargement se fait automatiquement au premier lancement du moteur

Les trois moteurs d’inférence

Mistral recommande trois moteurs pour le self-hosting. vLLM est le choix par défaut : moteur Python open-source très actif, il expose une API compatible OpenAI dès l’installation, utilise PagedAttention pour une gestion mémoire optimale et supporte nativement les modèles Mistral. TensorRT-LLM, le framework d’optimisation de NVIDIA, vise les performances maximales sur GPU NVIDIA au prix d’une configuration plus complexe ; il s’adresse à la production à très haut débit. TGI (Text Generation Inference), le toolkit de Hugging Face, apporte la quantization intégrée, le tensor parallelism, le streaming et le batching natifs. Les leçons suivantes détailleront chacun de ces moteurs.

Décider en quatre questions

Prenez ces questions dans l’ordre, car la première qui répond « oui » tranche souvent le débat. Vos données sont-elles soumises à des contraintes réglementaires strictes ? Si oui, le self-hosting devient probable quel que soit le reste. Sinon, regardez le volume : au-delà de 100 millions de tokens par mois, l’équation économique bascule en faveur d’une infrastructure dédiée ; en dessous, l’API reste probablement moins chère. Avez-vous une équipe DevOps ou MLOps compétente ? Sans elle, restez sur l’API ou sur un cloud managé. Enfin, avez-vous besoin de latences inférieures à 100 ms ? C’est le seul argument qu’aucune API distante ne pourra vous donner.

Une PME qui traite 5 millions de tokens par mois pour un assistant interne répond « non » quatre fois : elle économiserait quelques centaines d’euros d’API pour en dépenser plusieurs milliers en GPU et en temps d’ingénierie. Un hôpital qui analyse des comptes rendus médicaux, lui, s’arrête à la première question.

Points clés à retenir

• Le self-hosting offre souveraineté, contrôle des coûts et personnalisation complète
• La complexité opérationnelle et le coût initial sont les principaux freins
• Les modèles Mistral open-weights sont disponibles gratuitement sur Hugging Face
• Trois moteurs recommandés : vLLM (recommandé), TensorRT-LLM (performance), TGI (Hugging Face)
• Le self-hosting n’est pas toujours la bonne réponse — évaluez vos contraintes réelles avant de vous lancer