Fondamentaux de l'IA generative

Objectifs

A l’issue de cette lecon, vous serez capable de :

• Definir l’IA generative et en quoi elle differe des autres types d’IA
• Reconnaitre les caracteristiques cles et les fondements technologiques de l’IA generative

Qu’est-ce que l’IA generative ?

L’IA generative est capable de creer du nouveau contenu (texte, images, code) plutot que de simplement analyser ce qui existe deja. C’est une distinction fondamentale avec les systemes d’IA precedents, centres sur la classification ou la prediction.

Comment fonctionnent les grands modeles de langage

Les grands modeles de langage (LLM) comme Claude sont devenus possibles grace a trois avancees majeures :

1. Percees algorithmiques et architecturales : notamment l’architecture Transformer, publiee en 2017, qui a revolutionne le traitement du langage naturel
2. Volumes massifs de donnees d’entrainement : des milliards de textes provenant d’internet, de livres, de code source et d’autres sources numeriques
3. Augmentation spectaculaire de la puissance de calcul : les GPU et TPU modernes permettent d’entrainer des modeles avec des centaines de milliards de parametres

Les etapes d’apprentissage

Un LLM apprend en deux phases :

Pre-entrainement

Le modele analyse des milliards d’exemples pour detecter des patterns dans le langage. Il apprend la grammaire, les faits, le raisonnement et les styles d’ecriture. A ce stade, le modele est un “completeur de texte” brut.

Ajustement fin (fine-tuning)

Le modele apprend a suivre des instructions et a fournir des reponses utiles. Cette phase inclut l’entrainement par renforcement avec retour humain (RLHF), ou des evaluateurs humains notent la qualite des reponses.

Concepts importants

• Fenetre de contexte : la quantite de texte qu’un modele peut traiter en une seule interaction. Plus la fenetre est grande, plus le modele peut gerer de documents longs ou de conversations etendues.
• Capacites emergentes : certaines aptitudes apparaissent spontanement quand le modele atteint une taille suffisante, sans avoir ete explicitement programmees.