Fondamentaux de l'IA générative

Objectifs

À l’issue de cette leçon, vous serez capable de :

• Définir l’IA générative et en quoi elle diffère des autres types d’IA
• Reconnaître les caractéristiques clés et les fondements technologiques de l’IA générative

Qu’est-ce que l’IA générative ?

L’IA générative est capable de créer du nouveau contenu — texte, images, code — plutôt que de simplement analyser ce qui existe déjà. C’est une distinction fondamentale avec les systèmes d’IA précédents, centrés sur la classification ou la prédiction.

La différence se saisit mieux à travers un cas concret. Un système de classification à qui l’on soumet mille réclamations clients répond en les rangeant dans des catégories définies à l’avance : livraison, facturation, produit défectueux. Un système génératif à qui l’on soumet les mêmes mille réclamations peut rédiger la note de synthèse qui les résume, proposer une réponse type pour chaque catégorie, ou reformuler une réclamation agressive en un compte rendu neutre. Le premier choisit parmi des options connues, le second produit un objet qui n’existait pas.

Cette capacité de production est aussi la source des précautions que nous verrons plus loin : un système qui ne peut que classer se trompe de case, tandis qu’un système qui produit peut produire quelque chose de faux avec la même fluidité que quelque chose de juste.

Comment fonctionnent les grands modèles de langage

Les grands modèles de langage (LLM) comme Claude sont devenus possibles grâce à la conjonction de trois avancées majeures, qu’aucune des trois n’aurait suffi à provoquer seule. La première est d’ordre algorithmique et architectural : l’architecture Transformer, publiée en 2017, a révolutionné le traitement du langage naturel en changeant la manière dont un modèle met en relation les éléments d’un texte, quelle que soit leur distance dans la phrase ou le document.

La deuxième est la disponibilité de volumes massifs de données d’entraînement — des milliards de textes provenant d’internet, de livres, de code source et d’autres sources numériques. C’est de cette diversité que vient la polyvalence apparente de ces systèmes : un modèle qui a vu du code, des articles scientifiques et de la correspondance ordinaire peut passer de l’un à l’autre sans qu’on le lui ait explicitement enseigné.

La troisième est l’augmentation spectaculaire de la puissance de calcul. Les GPU et TPU modernes permettent d’entraîner des modèles comportant des centaines de milliards de paramètres, ce qui était hors de portée quelques années plus tôt. Retenez surtout l’articulation : une bonne architecture sans données ne mène nulle part, et des données sans capacité de calcul restent inexploitables.

Les étapes d’apprentissage

Un LLM apprend en deux phases successives, et confondre les deux conduit à mal interpréter le comportement du modèle en usage courant.

Pré-entraînement

Pendant le pré-entraînement, le modèle analyse des milliards d’exemples pour détecter des patterns dans le langage. Il y apprend la grammaire, les faits, le raisonnement et les styles d’écriture. À ce stade, le modèle est un « compléteur de texte » brut : présentez-lui un début de phrase, il produira une suite plausible, sans se soucier de savoir si vous attendiez une réponse, une question ou un conseil.

Ajustement fin (fine-tuning)

L’ajustement fin transforme ce compléteur en interlocuteur. Le modèle y apprend à suivre des instructions et à fournir des réponses utiles. Cette phase inclut l’entraînement par renforcement avec retour humain (RLHF), où des évaluateurs humains notent la qualité des réponses. Autrement dit, une part de ce que vous percevez comme le « caractère » d’un assistant — sa façon de structurer, de nuancer, de refuser — provient de cette étape et non de la précédente.

Concepts importants

Deux notions reviendront constamment dans la suite du cours. La fenêtre de contexte désigne la quantité de texte qu’un modèle peut traiter en une seule interaction. Plus la fenêtre est grande, plus le modèle peut gérer de documents longs ou de conversations étendues. C’est ce qui détermine, très concrètement, si vous pouvez soumettre un rapport entier ou si vous devrez le découper avant de commencer.

Les capacités émergentes, elles, désignent les aptitudes qui apparaissent spontanément quand le modèle atteint une taille suffisante, sans avoir été explicitement programmées. Ce phénomène explique pourquoi ces systèmes surprennent dans les deux sens : ils réussissent parfois des tâches que personne n’avait prévues, et échouent parfois là où l’on croyait le terrain acquis. C’est une bonne raison de tester ce que vous supposez plutôt que de le postuler.