Regles du prompt caching

Le prompt caching n’est pas active automatiquement. Vous devez ajouter manuellement des points de cache (cache points) pour controler ce qui est mis en cache.

Points de cache

Les points de cache indiquent a Claude de mettre en cache tout le travail effectue pour tout ce qui precede ce point dans votre message :

user_message = {
    "role": "user",
    "content": [
        {"text": "votre contenu ici"},
        {"cachePoint": {"type": "default"}}
    ]
}

Regle cle : le travail pour tout ce qui precede le point de cache sera mis en cache. Tout ce qui suit ne sera pas stocke.

Fonctionnement

Lors de la requete initiale, Claude traite tout le contenu et stocke le travail jusqu’au point de cache. Lors des requetes de suivi, si le contenu avant le point de cache est identique, Claude lit le travail depuis le cache.

Le cache ne sera utilise que si le contenu avant le point de cache est strictement identique. Meme un petit changement comme ajouter “S’il vous plait” au debut empechera l’utilisation du cache.

Cache entre les messages

Les points de cache peuvent s’etendre sur plusieurs messages, y compris les messages assistant. Vous pouvez mettre en cache des historiques de conversation entiers jusqu’a un certain point.

Longueur minimale

Le contenu doit faire au moins 1024 tokens pour etre mis en cache. C’est la somme de tous les messages et parties que vous tentez de cacher avant le point de cache.

Emplacements des points de cache

Les points de cache ne sont pas limites aux messages utilisateur. Vous pouvez les ajouter aux prompts systeme et aux definitions d’outils, qui sont en fait les opportunites de caching les plus courantes :

Definitions d’outils :

tools = [
    {"toolSpec": add_duration_to_datetime_schema},
    {"toolSpec": get_current_datetime_schema},
    {"cachePoint": {"type": "default"}}
]

Prompts systeme :

system = [
    {"text": "Vous etes un ingenieur logiciel senior..."},
    {"cachePoint": {"type": "default"}}
]

Ce sont les meilleures opportunites de caching car les prompts systeme et les listes d’outils changent rarement entre les requetes.