Processus Forge

De l’évaluation au déploiement : le parcours complet

Un projet Forge suit un processus structuré en quatre phases, accompagné par un Field Deployment Engineer (FDE) de Mistral. Ce n’est pas un projet en self-service — c’est un engagement conjoint entre votre organisation et Mistral AI, avec des jalons définis, des livrables mesurables et un calendrier prévisible.

Cette leçon détaille chaque phase pour que vous puissiez planifier votre projet en connaissance de cause.

Vue d’ensemble du processus

Le processus complet s’étend sur 3 à 6 mois, selon la complexité du cas d’usage et la qualité des données disponibles :

• Phase 1 : Évaluation — 2 à 4 semaines
• Phase 2 : Préparation des données — 4 à 8 semaines
• Phase 3 : Entraînement et itération — 4 à 6 semaines
• Phase 4 : Déploiement et monitoring — 2 à 4 semaines

Phase 1 : Évaluation (2-4 semaines)

Objectif

Déterminer si Forge est la bonne approche pour votre cas d’usage et définir les critères de succès.

Ce qui se passe

L’équipe Mistral, avec votre sponsor métier et votre équipe technique, réalise :

• Audit du cas d’usage — quel problème résolvez-vous ? Le prompt engineering ou le RAG ont-ils été testés ? Pourquoi ne suffisent-ils pas ?
• Évaluation des données — quel volume de données est disponible ? Quelle est leur qualité ? Sont-elles structurées, annotées, à jour ?
• Baseline de performance — mesure des performances du modèle généraliste sur vos tâches cibles, pour pouvoir quantifier l’amélioration apportée par Forge
• Définition des KPIs — précision, rappel, temps de traitement, satisfaction utilisateur — les métriques qui définiront le succès du projet

Livrable

Un document de cadrage qui contient : la définition du cas d’usage, l’inventaire des données, la baseline de performance, les KPIs cibles et le planning prévisionnel.

Go / No-go

À la fin de cette phase, Mistral et votre organisation décident conjointement de poursuivre ou non. Si les données sont insuffisantes ou si le cas d’usage ne justifie pas Forge, l’équipe Mistral vous orientera vers le RAG ou le prompt engineering.

Phase 2 : Préparation des données (4-8 semaines)

Objectif

Constituer le jeu de données d’entraînement qui permettra au modèle d’acquérir l’expertise de votre domaine.

Ce qui se passe

Cette phase est la plus critique et la plus chronophage. La qualité du modèle Forge dépend directement de la qualité des données d’entraînement.

• Collecte — extraction des documents, des exemples et des cas d’usage depuis vos systèmes internes
• Nettoyage — suppression des doublons, des documents obsolètes, des données corrompues
• Structuration — transformation des données brutes en paires instruction-réponse exploitables par le processus d’entraînement
• Annotation (si nécessaire) — ajout de labels, de catégories ou de métadonnées par des experts métiers
• Validation — revue par des experts pour s’assurer que les données reflètent les pratiques et le niveau de qualité attendus

Rôles et responsabilités

• Votre équipe data — collecte, nettoyage, structuration
• Vos experts métiers — annotation, validation
• Le FDE Mistral — accompagnement méthodologique, validation du format, recommandations sur le volume et la qualité

Les pièges à éviter

• Données biaisées — si votre corpus surreprésente certains cas, le modèle sera biaisé
• Données obsolètes — un modèle entraîné sur des procédures périmées produira des réponses fausses
• Volume insuffisant — quelques centaines d’exemples ne suffisent pas pour un fine-tuning de qualité
• Qualité inégale — mieux vaut un corpus plus petit mais de haute qualité qu’un corpus massif de qualité médiocre

Phase 3 : Entraînement et itération (4-6 semaines)

Objectif

Entraîner le modèle sur vos données et itérer jusqu’à atteindre les KPIs définis en phase 1.

Ce qui se passe

• Entraînement initial — le modèle de base est fine-tuné sur votre jeu de données
• Évaluation — le modèle entraîné est testé sur un jeu de validation (données non utilisées pendant l’entraînement)
• Comparaison — les résultats sont comparés à la baseline et aux KPIs cibles
• Itération — ajustement des hyperparamètres, enrichissement du jeu de données, correction des erreurs identifiées
• Validation métier — vos experts vérifient la qualité des réponses sur des cas réels

Nombre d’itérations

En pratique, 2 à 4 itérations sont nécessaires pour atteindre le niveau de performance cible. Chaque itération dure 1 à 2 semaines.

Le rôle du FDE

Le Field Deployment Engineer de Mistral gère l’ensemble du processus technique :

• Configuration de l’entraînement
• Optimisation des hyperparamètres
• Diagnostic des problèmes de performance
• Recommandations pour améliorer les données

Votre équipe n’a pas besoin de compétences en machine learning. Le FDE est votre interface technique avec la plateforme Forge.

Phase 4 : Déploiement et monitoring (2-4 semaines)

Objectif

Mettre le modèle en production et établir le suivi de performance.

Ce qui se passe

• Déploiement — le modèle personnalisé est déployé sur l’infrastructure cible (cloud Mistral, VPC dédié ou on-premise)
• Intégration — connexion avec Le Chat Enterprise, Enterprise Search ou vos applications internes via API
• Tests de charge — validation des performances sous charge de production
• Formation des utilisateurs — les utilisateurs finaux apprennent à interagir avec le modèle personnalisé
• Mise en place du monitoring — tableaux de bord de suivi de la performance, des volumes et de la satisfaction

Monitoring continu

Après le déploiement, le monitoring permet de détecter :

• Une dégradation de la performance (drift)
• Des cas d’usage non anticipés
• Des besoins de réentraînement (nouvelles données, nouvelles procédures)

Réentraînement

Un modèle Forge n’est pas figé pour toujours. Prévoyez un cycle de réentraînement :

• Trimestriel pour les domaines qui évoluent régulièrement
• Semestriel pour les domaines stables
• À la demande lors de changements majeurs (nouvelle réglementation, fusion, nouveau produit)

Budget et ressources

Côté Mistral

• FDE dédié pendant toute la durée du projet
• Infrastructure d’entraînement (GPU)
• Support technique et méthodologique

Côté votre organisation

• Sponsor métier (10-20 % de son temps)
• Équipe data (1-2 personnes à temps partiel pendant la phase 2)
• Experts métiers pour la validation (quelques heures par semaine)
• Budget projet (variable selon la complexité — à discuter lors de la phase d’évaluation)

Points clés à retenir

• Le processus Forge dure 3 à 6 mois en quatre phases : évaluation, données, entraînement, déploiement
• La phase de préparation des données est la plus critique — la qualité des données détermine la qualité du modèle
• Un FDE Mistral vous accompagne de bout en bout — votre équipe n’a pas besoin de compétences en machine learning
• Prévoyez un cycle de réentraînement pour maintenir la performance dans le temps