L'IA rend vos réponses 3 fois moins fiables (mais 2 fois plus confiantes)

Une étude menée par des chercheurs de l'université de Milano-Bicocca, de l'École normale supérieure et de la Sapienza de Rome vient de chiffrer un phénomène que beaucoup pressentaient sans preuve solide : face à une IA qui répond avec assurance, la capacité des utilisateurs à reconnaître leurs propres limites s'effondre. Sans assistance, 44% des participants acceptaient de répondre « je ne sais pas ». Avec un assistant IA à disposition, ce chiffre tombe à 3%.

Ce travail s'inscrit dans une tendance que l'on observe partout où l'IA générative s'invite dans la prise de décision, du moteur de recherche à l'assistant de code. Google a récemment remplacé une partie de ses résultats de recherche par des résumés générés automatiquement, livrés avec la même assurance quelle que soit leur exactitude. L'association Common Sense Media a qualifié ce choix de design de « risque inacceptable » pour les élèves. Le point commun entre ces deux cas : des produits conçus pour toujours répondre, jamais pour dire qu'ils ne savent pas.

Une méthodologie pensée pour piéger la confiance

Pour isoler l'effet psychologique de la simple présence d'une IA, plutôt que la qualité réelle de ses réponses, les chercheurs Valerio Capraro (Milano-Bicocca), Chiara Marcoccia (École normale supérieure) et Walter Quattrociocchi (Sapienza) ont choisi un terrain volontairement défavorable à l'IA. Les questions posées portaient sur des détails visuels tirés de films, comme la couleur du maillot d'une équipe dans Joue-la comme Beckham : le genre de détail que les modèles de langage restituent mal. Le modèle utilisé pour l'expérience, Step 3.5 Flash, se trompait effectivement sur la majorité de ces questions. Ce choix n'est pas anodin, il empêche d'expliquer la baisse de jugement des participants par une délégation raisonnable à un outil fiable. L'IA se trompait, et les utilisateurs l'ont suivie quand même.

Les chiffres qui posent problème

Le résumé de Valerio Capraro est sans détour : « les gens sont devenus beaucoup moins bons, la précision n'était plus qu'un tiers de ce qu'elle était, mais ils étaient deux fois plus confiants ». Trois chiffres à retenir de l'étude :

• La volonté de dire « je ne sais pas » chute de 44% à 3% dès qu'une IA est disponible pour répondre à la place du participant.
• La précision des réponses tombe de 27% à 9%, alors même que le modèle utilisé se trompait fréquemment sur ces questions.
• La confiance déclarée dans les réponses grimpe, elle, de 30% à 76%, un mouvement inverse à celui de la précision.

Certains participants qui auraient répondu correctement seuls ont consulté l'IA et se sont trompés en la suivant.

Les chercheurs ont aussi testé si une incitation financière changeait la donne. La réponse est oui, mais à la marge seulement. Avec de l'argent en jeu, la volonté d'admettre son ignorance remonte de 3% à 8%, et la précision de 9% à 16%. Deux chiffres qui restent très en dessous des 44% et des 27% mesurés sans IA. Payer les participants pour bien répondre ne suffit donc pas à restaurer leur esprit critique.

Un phénomène déjà documenté sous un autre nom

Ce constat rejoint des travaux menés par des chercheurs de Wharton plus tôt cette année, qui ont proposé le terme de « reddition cognitive » pour décrire un phénomène voisin : des utilisateurs qui acceptent une réponse IA fausse dans 80% des cas, tout en se déclarant plus confiants que ceux qui travaillent sans assistance. Pour Valerio Capraro, l'enjeu dépasse la simple précision d'une réponse isolée : « pour les humains, la capacité à dire je ne sais pas est très importante, car elle représente la reconnaissance des limites de sa propre connaissance ». Le chercheur se dit particulièrement préoccupé par les enfants, qui grandissent avec ces systèmes avant même d'avoir développé leur esprit critique.

Ce que ça change concrètement pour une équipe tech

Le terrain de l'étude est volontairement anecdotique, des questions sur des films, mais le mécanisme qu'elle documente concerne directement les équipes qui travaillent avec des assistants IA au quotidien : revue de code, choix d'architecture, débogage. Trois précautions concrètes s'en dégagent :

• Séparez la tentative et la vérification. Demandez à un développeur de formuler sa propre solution avant de consulter l'IA, pas l'inverse. L'étude montre que consulter l'IA en premier fait perdre des réponses qui auraient été correctes sans elle.
• Traitez une réponse confiante comme un brouillon, jamais comme une validation. Un taux de confiance déclaré, jusqu'à 76% dans l'étude, n'a aucune corrélation garantie avec la justesse de la réponse.
• Réhabilitez le « je ne sais pas » dans la culture d'équipe, en revue de code comme en formation des juniors, plutôt que de le traiter comme un aveu de faiblesse.

Ce sont des réflexes de discipline d'ingénierie, pas des recettes miracles : tests automatisés, revue à deux, documentation des décisions d'architecture. Mais l'étude rappelle pourquoi ces garde-fous existent : la confiance affichée par une IA n'est pas un indicateur de sa justesse, et le cerveau humain a tendance à confondre les deux.

Notre lecture chez CZSyn

Chez CZSyn, nous utilisons des assistants IA tous les jours sur les projets clients, du code au contenu. Cette étude confirme une intuition que nous appliquons déjà en interne : un assistant IA doit rester un collaborateur junior dont on vérifie systématiquement le travail, jamais une autorité qu'on ne questionne plus. Le vrai risque n'est pas que l'IA se trompe, elle se trompera toujours de temps en temps, mais que son ton assuré désactive le réflexe de vérification chez la personne qui l'utilise. Pour une PME qui commence à intégrer l'IA dans ses processus, la vraie question n'est pas quel outil choisir, mais quel garde-fou humain reste en place quand l'outil se trompe avec assurance.

C'est particulièrement vrai pour les équipes qui forment des juniors ou des stagiaires : le réflexe de vérification s'apprend, et il s'apprend d'autant mieux qu'on ne le remplace pas trop tôt par une réponse toute faite.

Sources primaires

• The Next Web, « AI advice made people three times less accurate but twice as confident, researchers found ».
• Common Sense Media, commonsensemedia.org.