Aller au contenu principal

Prochaines Étapes : Au-delà de la Transcription

Ce que vous avez appris

Au cours de cette formation, vous avez maîtrisé les deux modes de transcription de Voxtral :

  • Mode offline : transcription de fichiers audio avec diarisation, timestamps et context biasing via Voxtral Mini Transcribe V2
  • Mode realtime : transcription en streaming avec latence configurable via Voxtral Realtime, capture microphone et pattern dual delay

Vous disposez de code Python complet et fonctionnel pour chaque fonctionnalité, et vous savez optimiser vos systèmes pour la production.

Mais la transcription n’est que le début. L’écosystème audio de Mistral AI ouvre la voie à des applications bien plus riches.

Voxtral TTS : la synthèse vocale

Voxtral TTS est le pendant de la transcription : il transforme du texte en parole naturelle.

Caractéristiques principales :

  • Clonage vocal zero-shot : à partir de 2 à 3 secondes d’audio, le modèle reproduit une voix
  • Voice-as-an-instruction : le modèle suit l’intonation, le rythme et l’émotion du prompt vocal, sans balises de prosodie
  • Multilingual : anglais, français, espagnol, portugais, italien, néerlandais, allemand, hindi, arabe
  • Streaming : latence modèle d’environ 90 ms, temps jusqu’au premier audio d’environ 0.8 seconde en PCM

Avec Voxtral TTS, vous pouvez donner une voix à vos applications : assistants vocaux, narration automatique, accessibilité, doublage.

Le pipeline complet STT puis LLM puis TTS

La combinaison la plus puissante est le pipeline vocal complet :

Audio utilisateur → Voxtral STT → Texte
                                     ↓
                              Mistral LLM (raisonnement)
                                     ↓
                         Réponse texte → Voxtral TTS → Audio réponse

Ce pipeline permet de construire un assistant vocal complet :

import asyncio
import os
from mistralai import Mistral
from mistralai.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)


async def pipeline_vocal_complet(source_audio_utilisateur):
    """Pipeline complet : écouter, comprendre, répondre."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Étape 1 : Transcrire la parole de l'utilisateur (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Écoute en cours...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-2602",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question : {question}")

    # Étape 2 : Générer une réponse intelligente (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "Vous êtes un assistant vocal. "
                           "Répondez de manière concise et naturelle, "
                           "comme dans une conversation orale."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Réponse : {reponse_texte}")

    # Étape 3 : Synthétiser la réponse en audio (TTS)
    # Note : l'API TTS sera couverte dans une formation dédiée
    # Voici le pattern d'appel :
    #
    # audio_response = client.audio.speech.create(
    #     model="voxtral-tts-latest",
    #     input=reponse_texte,
    #     voice="voix_choisie"
    # )
    #
    # Lire l'audio via un lecteur (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Applications vocales avancées

Avec le pipeline STT, LLM et TTS, vous pouvez construire :

Assistant vocal d’entreprise

Un assistant qui comprend les questions des employés et répond en utilisant la base de connaissances interne. La transcription en temps réel capture la question, le LLM interroge une base vectorielle (RAG), et le TTS synthétise la réponse.

Agent de centre d’appels

Un agent automatique qui :

  1. Transcrit l’appel en direct (Voxtral Realtime)
  2. Analyse l’intention du client (Mistral LLM)
  3. Répond vocalement (Voxtral TTS)
  4. Produit un compte-rendu structuré après l’appel (Voxtral offline avec diarisation)

Outil de traduction vocale

Un pipeline qui :

  1. Transcrit la parole source (Voxtral STT, 13 langues)
  2. Traduit le texte (Mistral LLM)
  3. Synthétise dans la langue cible (Voxtral TTS, 9 langues)

Narration automatique

Transformer des articles, des rapports ou des emails en audio pour une écoute mobile. Le LLM adapte le texte pour une lecture orale naturelle, et le TTS le synthétise avec la voix choisie.

Déploiement souverain

Un avantage clé de Voxtral est la possibilité de tout déployer en interne :

  • Voxtral Realtime : open weights Apache 2.0, déployable sur vos serveurs
  • Mistral Large : disponible via des partenaires cloud européens ou en on-premise
  • Voxtral TTS : déploiement privé possible

Cela signifie que l’intégralité du pipeline vocal peut tourner sans qu’aucune donnée ne quitte votre infrastructure — un point essentiel pour les secteurs réglementés (santé, défense, finance, administration publique).

Ressources pour aller plus loin

Pour approfondir votre maîtrise de l’écosystème audio Mistral AI :

  • Documentation officielle Mistral : les pages dédiées à l’audio couvrent les dernières mises à jour des modèles et de l’API
  • Hugging Face Hub : les modèles open weights Voxtral sont disponibles avec documentation et exemples
  • Forum Mistral : la communauté partage des retours d’expérience et des cas d’usage avancés
  • Formations Corsen Academy : retrouvez nos autres cours sur l’écosystème Mistral AI

Récapitulatif de la formation

Vous maîtrisez désormais :

  1. Les modèles Voxtral : Mini Transcribe V2 (offline), Realtime (streaming), Small (chat audio)
  2. La transcription offline : API, timestamps, diarisation, context biasing
  3. La transcription temps réel : streaming, microphone PyAudio, contrôle de latence, dual delay
  4. Les cas d’usage : sous-titrage, comptes-rendus, dictée, assistants vocaux, conférences
  5. La production : retry, batching, formats optimaux, monitoring

Vous avez les bases pour construire des applications vocales complètes en exploitant tout l’écosystème Mistral AI.

Points clés à retenir

  • Voxtral TTS complète la boucle : STT (transcription) puis LLM (raisonnement) puis TTS (synthèse)
  • Le pipeline vocal complet permet des assistants vocaux, agents de centres d’appels et traducteurs
  • Le déploiement souverain est possible grâce aux modèles open weights (Apache 2.0)
  • La transcription est la brique fondamentale sur laquelle se construisent les applications vocales
  • Continuez votre apprentissage avec les formations dédiées au TTS et aux pipelines vocaux avancés
← Lecon precedenteOptimisation pour la Production
← DashboardPasser la certification officielle →