Prompt caveman pour IA : 65 % annoncés, 8,5 % vraiment mesurés

Ce 6 juillet 2026, un chiffre qui circule depuis des mois dans l'écosystème des agents IA vient de prendre un sacré coup. La skill « Caveman », censée faire parler les agents de code comme des hommes des cavernes pour économiser 65 % de tokens, n'en économise en réalité que 8,5 % sur des tâches agentiques réelles. C'est la conclusion d'un benchmark chiffré publié par l'équipe JetBrains AI, qui a testé la skill en conditions de travail réelles plutôt que sur de simples réponses de chat.

Un point pour ceux qui découvrent le sujet : « Caveman » est une skill installable dans des agents de code comme Claude Code. Son argumentaire tient en une phrase : faire parler l'agent dans un français (ou un anglais) volontairement appauvri, sans mots de liaison ni formules de politesse, pour réduire le nombre de tokens générés à chaque réponse. La promesse affichée est une économie de 65 % de tokens de sortie, à chaque réponse, avec le code et les commandes laissés parfaitement intacts.

Comment JetBrains a testé le chiffre

Plutôt que de prendre l'argumentaire pour argent comptant, JetBrains a construit un protocole de test A/B apparié. Le harnais utilisé est Harbor 0.17, qui exécute les essais dans des conteneurs Docker isolés avec des vérificateurs au niveau de la tâche. L'agent testé est Claude Code 2.1.200, en mode headless avec les permissions automatiquement accordées (bypassPermissions), sur le modèle claude-sonnet-5 avec un effort de raisonnement réglé sur bas (--effort low).

Le benchmark utilisé est SkillsBench (dépôt benchflow/skillsbench), soit 86 des 87 tâches disponibles, chacune notée automatiquement de 0 à 1 par ses propres tests, avec crédit partiel possible. Deux bras ont été comparés : un bras « sans skill » avec Claude Code standard, et un bras « avec skill forcée », où l'activation était imposée à chaque réponse via une ligne d'instruction du type :

Use caveman mode for the rest of this session.

Ce forçage est important à comprendre : en usage normal, la skill s'active seulement si l'utilisateur le demande explicitement (« caveman mode », « be brief »...). En la forçant sur chaque réponse, JetBrains mesure donc le meilleur cas possible pour la skill, pas son usage réel. Trois runs ont été menés, pour environ 240 essais facturés et environ 106 dollars de dépense totale.

8,5 % d'économie de tokens, pas 65 %

Premier résultat : les 65 % annoncés viennent de réponses de type conversationnel, dominées par de la prose. Or la sortie d'un agent de code est très différente : elle est saturée de code, de diffs, d'appels d'outils et de messages d'erreur exacts, que la skill laisse volontairement intacts. Seule la narration entre deux appels d'outils est compressée, et elle ne représente pas grand-chose du volume total.

Les chiffres mesurés le confirment, et ils bougent beaucoup avec la taille de l'échantillon. Sur un premier run rapide (10 tâches, une seule répétition), l'économie affichait 29,5 %, un chiffre spectaculaire mais obtenu sur un tout petit échantillon. Sur un second run (les mêmes 10 tâches, répétées trois fois), l'économie retombe à 6,7 %. Sur le run complet (86 tâches, une répétition), l'économie converge vers 8,5 %, soit une baisse de 592 000 à 542 000 tokens de sortie sur 82 paires de tâches exploitables. On est loin, très loin, des 65 % de la promesse marketing.

Aucune dégradation mesurable de la qualité

La vraie question posée par JetBrains n'était pas seulement « combien ça économise », mais « est-ce que rendre l'agent plus laconique dégrade son travail ». Réponse : non, pas de façon détectable. Sur les 82 tâches appariées du run complet, les deux bras sont statistiquement indiscernables : 64 tâches obtiennent un score identique dans les deux bras, 8 sont meilleures avec la skill, 10 sont moins bonnes. Un test de signe sur les 18 tâches non à égalité donne une valeur p de 0,82, loin de tout seuil de signification.

Le score moyen de tâche est de 0,326 sans skill contre 0,311 avec skill, sur une échelle de 0 à 1, soit un écart de seulement 0,015. Intéressant à noter : l'écart semblait bien plus inquiétant sur le tout premier run rapide (0,38 contre 0,25), avant de se resserrer progressivement à mesure que l'échantillon grandissait. C'est la signature classique du bruit statistique, pas celle d'un effet réel.

Le coût, un gain réel mais fragile

Sur le papier, 8,5 % de tokens en moins devrait se traduire par environ 10 % de coût en moins, et c'est bien ce qui se vérifie tâche par tâche. Mais sur les totaux bruts du run complet, le bras avec skill est ressorti 11,6 % plus cher : 40,60 dollars contre 36,39 dollars. L'explication tient en une seule tâche : un audit de dépendances a dépassé le palier de tarification à contexte long (200 000 tokens), facturé 8,29 dollars dans le bras avec skill contre 0,33 dollar dans l'autre. Un run antérieur avait déjà vu la même tâche produire un pic à 3,25 dollars, cette fois dans le bras sans skill. C'est une propriété de la tâche, pas de la skill.

Notre lecture chez CZSyn

Ce benchmark est un bon rappel pour toute PME ou équipe dev qui évalue un outil IA sur la base d'un README accrocheur plutôt que d'une mesure indépendante. Un pourcentage d'économie de tokens annoncé sans préciser le contexte (chat conversationnel ou agent qui manipule du code) n'a quasiment aucune valeur prédictive pour votre usage réel. Ici, l'écart entre 65 % annoncés et 8,5 % mesurés vient uniquement du fait que la majorité des tokens d'un agent de code sont du code, pas du bavardage : compresser la narration ne touche donc qu'une fraction marginale de la facture.

Le point rassurant, c'est l'absence de dégradation de qualité : si vous aimez le ton « caveman », l'essayer ne coûte rien de mesurable. Mais si votre objectif réel est de réduire la facture de vos agents IA en production, ce n'est clairement pas le levier le plus rentable. Le choix du modèle, l'usage du prompt cache et la réduction du contexte inutile pèsent nettement plus lourd qu'un style d'écriture compressé. Autre enseignement, plus méthodologique celui-là : le premier run de JetBrains, sur seulement 10 tâches, affichait une économie de 29,5 % et un écart de qualité qui semblait inquiétant. Les deux se sont effondrés à mesure que l'échantillon grandissait. C'est une leçon utile si vous évaluez vous-même un outil IA en interne : ne tirez jamais de conclusion d'un seul passage sur un petit échantillon de tâches.

Sources primaires

• JetBrains AI Blog, « Does Speaking to Agents Like Cavemen Really Save 65% of Tokens? We Test », Denis Shiryaev.
• Dépôt du benchmark utilisé, benchflow/skillsbench.
• Documentation officielle, Claude Code.