Introduction à la Génération Augmentée par Récupération (RAG)

La RAG (Retrieval Augmented Generation) est une technique qui permet de travailler avec des documents volumineux, trop grands pour tenir dans un seul prompt. Au lieu de tout envoyer d’un coup, on découpe les documents en morceaux et on ne fournit au modèle que les passages les plus pertinents pour répondre à une question.

Le problème des documents volumineux

Imaginons un rapport financier de 800 pages. Vous voulez poser des questions précises à Claude, par exemple : “Quels sont les facteurs de risque de cette entreprise ?” Il faut transmettre l’information pertinente au modèle, mais la quantité de texte utilisable dans un prompt est limitée.

Option 1 : tout mettre dans le prompt

L’approche la plus naïve consiste à extraire tout le texte du document et à l’insérer dans le prompt avec la question :

Reponds a la question de l'utilisateur sur le document financier.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

Cette approche pose plusieurs problèmes :

• Il existe une limite stricte sur la longueur du prompt — le document peut être trop long
• Claude devient moins performant avec des prompts très longs
• Les prompts volumineux coûtent plus cher à traiter
• Les prompts volumineux sont plus lents à traiter

Option 2 : découper le document en morceaux (RAG)

La RAG adopte une approche plus intelligente. D’abord, on découpe le document en chunks (morceaux) lors d’une étape de preprocessing. Ensuite, quand un utilisateur pose une question, on cherche les chunks les plus pertinents et on n’insère que ceux-la dans le prompt.

Par exemple, si quelqu’un demande “Quels risques cette entreprise encourt-elle ?”, on parcourt les chunks, on identifie la section “Facteurs de risque”, et on ne fournit que ce passage dans le prompt.

Avantages de la RAG

• Claude peut se concentrer uniquement sur le contenu pertinent
• Fonctionne avec des documents très volumineux
• S’adapte à des collections de documents multiples
• Des prompts plus courts = moins cher et plus rapide

Défis de la RAG

• Nécessite une étape de preprocessing pour découper les documents
• Il faut un mécanisme de recherche pour trouver les chunks pertinents
• Les chunks inclus peuvent ne pas contenir tout le contexte dont Claude a besoin
• Il existe de nombreuses stratégies de découpage — laquelle choisir ?

Par exemple, on peut découper les documents en portions de taille egale, ou bien créer des chunks basés sur la structure du document (titres, sections). Chaque approche a ses compromis selon le cas d’usage.

Quand utiliser la RAG ?

La RAG implique de nombreuses décisions techniques et demande plus de travail que de simplement tout mettre dans le prompt. Il faut évaluer si les bénéfices justifient la complexité pour votre application. Elle est particulièrement utile dans ces cas :

• Travail avec des documents très volumineux
• Interrogation de plusieurs documents simultanément
• Besoin d’optimiser les coûts et les performances

L’idée clé est que la RAG échange de la simplicité contre de la scalabilité et de l’efficacité. Bien qu’elle demande plus de travail en amont, elle permet de gérer des collections de documents qui seraient impossibles à traiter en bourrant tout dans un seul prompt.

Quiz : Quand choisir la RAG ?

Question : Vous avez un document de 5 pages et des utilisateurs qui posent des questions dessus. Faut-il utiliser la RAG ?

Réponse : Probablement pas. Pour un document court, le “prompt stuffing” (tout mettre dans le prompt) est plus simple et suffisant. La RAG se justifie quand les documents sont trop grands pour le prompt, quand vous avez plusieurs documents, ou quand vous devez optimiser les coûts sur un grand volume de requêtes.