Mise en cache des prompts : accelerer et reduire les couts

Le prompt caching (mise en cache des prompts) est une fonctionnalite qui accelere les reponses de Claude et reduit les couts de generation en reutilisant le travail de calcul des requetes precedentes. Au lieu de tout recalculer a chaque fois, Claude peut sauvegarder et reutiliser son travail quand vous envoyez un contenu similaire.

Comment Claude traite normalement une requete

Pour bien comprendre le caching, voyons d’abord ce qui se passe lors d’une requete classique sans cache.

Quand vous envoyez un message a Claude, il ne genere pas immediatement sa reponse. Il effectue d’abord un travail de pretraitement considerable sur votre input :

1. Tokenisation du prompt en petits morceaux
2. Creation d’embeddings pour chaque token
3. Ajout de contexte base sur le texte environnant
4. Et seulement ensuite, generation du texte de sortie

Apres vous avoir envoye la reponse, Claude jette tout ce travail : tokenisation, embeddings, analyse contextuelle… tout est perdu.

Le probleme : recalculer sans cesse

Cette approche devient inefficace quand vous faites des requetes successives qui contiennent le meme contenu. Par exemple, dans une conversation ou vous demandez a Claude d’affiner un resume d’un meme long texte :

A chaque echange, Claude doit repeter integralement le meme pretraitement sur un contenu qu’il vient d’analyser quelques instants plus tot. C’est du gaspillage de calcul pur.

La solution : le prompt caching

Le prompt caching modifie ce workflow en sauvegardant le travail de pretraitement au lieu de le jeter :

Lors de la premiere requete, Claude effectue tout le pretraitement habituel mais stocke les resultats dans un cache au lieu de les supprimer. Ce cache fonctionne comme une table de correspondance : “Si je revois ce message, je reutilise le travail deja fait.”

Avantages et limites

Avantages

• Reponses plus rapides : les requetes utilisant du contenu en cache s’executent plus vite
• Couts reduits : vous payez moins pour les portions en cache
• Optimisation automatique : la premiere requete ecrit dans le cache, les suivantes le lisent

Limites importantes

• Duree du cache : le contenu en cache ne vit que 1 heure
• Cas d’usage restreints : utile uniquement quand vous envoyez repetivement le meme contenu
• Frequence elevee necessaire : le plus efficace quand le meme contenu apparait tres souvent dans vos requetes

Cas d’usage ideaux

Le prompt caching est particulierement adapte pour :

• L’analyse de documents : poser plusieurs questions sur un meme long document
• L’edition iterative : raffiner des aspects specifiques d’un contenu de base qui reste constant
• Les assistants specialises : meme prompt systeme et memes outils envoyes a chaque requete