ChatGPT rend-il bête ? Ce que disent les études, et les 3 choses à ne jamais lui confier

Avant même les études, voici la phrase à taper dans ChatGPT, ou à mettre dans ses réglages : « Ne me donne pas la réponse. Guide-moi une étape à la fois, et attends ma réponse. »

Avec ça, il t'aide étape par étape au lieu de te livrer la solution. Ça marche avec chaque intelligence artificielle, parce que, par défaut, si tu lui demandes la réponse, il te la donne. Et si tu ne sais pas poser une bonne question, tu peux lui demander comment poser une bonne question.

Il en reste deux, et les trois tiennent sur une antisèche en fin d'article. Mais d'abord : est-ce que l'IA rend bête ?

Depuis un an, les titres sont très durs, les études beaucoup moins. On a très peu de recul sur l'intelligence artificielle, et ce qui est mesuré aujourd'hui changera sûrement dans quelques années. Personne n'a démontré que l'IA rend bête. Ce qui est mesuré, pour le moment, c'est ce que tu sais encore quand on te retire l'outil.

Près de 1 000 lycéens tirés au sort, même cours pour tout le monde, entraînement avec ou sans ChatGPT, et examen sans IA pour personne. Ceux qui avaient ChatGPT tel quel ont progressé de 48 % à l'entraînement, puis ont perdu 17 % à l'examen par rapport à ceux qui ne l'avaient pas. Le même ChatGPT réglé pour donner des indices et pas la réponse : 127 % de progression à l'entraînement, et aucune perte à l'examen. Autre détail de cette étude : ceux qui avaient le moins appris étaient persuadés d'avoir bien appris.

1 222 adultes sur plusieurs expériences : l'IA aide sur le moment, et sans elle ensuite, les résultats baissent et on abandonne plus vite. On a le résultat sans l'effort, donc on lâche plus tôt.

Des médecins, sur plus de 2 000 examens : quand on leur retire l'IA après l'avoir utilisée, leur taux de détection passe de 28,4 % à 22,4 %. Ça montre un lien, pas encore une cause.

5 172 salariés : le jour où l'IA tombe en panne, ceux qui la suivaient de près restent plus rapides qu'avant de l'avoir eue, ceux qui l'ignoraient n'ont rien gardé. Le gain apparaît après plusieurs mois, pas tout de suite.

Et le QI : en Norvège, sur 736 000 dossiers publiés en 2018, la baisse commence en 1975. Le test PISA de 2022 enregistre la plus forte baisse jamais mesurée. ChatGPT sort en novembre 2022. On n'a pas attendu l'IA pour que ça baisse : depuis des décennies, tout ce qui facilite la vie habitue le cerveau, et ce qu'il n'utilise pas, il ne le garde pas. Comme un muscle.

Quant à l'étude qui a fait tous les titres : 54 participants plus 18, des étudiants de la région de Boston, 23 ans de moyenne d'âge, et pas encore relue par d'autres chercheurs. Ses auteurs ont écrit aux journalistes pour leur demander de ne pas employer les mots « stupide » ou « bête ».

Ce qui ressort de tout ça tient en une ligne. Si tu es meilleur que l'IA sur la tâche, travailler avec elle te fait gagner. Si elle est meilleure que toi sur cette tâche et que tu n'as pas les bases, tu poseras les mauvaises questions, et tu perdras.

Il faut un minimum de compétences avant d'utiliser l'IA de manière avancée. Comme à chaque fois, on cherche un coupable, mais ce n'est pas une question d'outil : c'est ce que tu laisses faire à l'outil à ta place, et ce que tu maîtrises.

C'est comme manger : sur le moment, le fast-food fait plaisir, sur le long terme c'est mauvais. Il faut trouver le juste milieu, avec ton esprit critique : quand tu ne maîtrises pas la compétence, prends le temps de comprendre et d'être capable de le faire sans l'IA. Quand tu la maîtrises, demande-lui le résultat, c'est fait pour ça.

Et dans 90 % des cas, quand la réponse est mauvaise, le problème vient de la question. Les 10 % restants, c'est un modèle trop faible : plus le modèle est élevé, plus la réponse est bonne, et plus il y a une limite d'utilisation.

La version longue de la première phrase, encore plus efficace : « À partir de maintenant, tu es mon répétiteur, pas ma réponse. Ne me donne jamais la solution complète. Guide-moi une étape à la fois. Pose-moi une question, attends ma réponse, corrige-moi, et seulement après passe à la suite. Si je bloque, donne-moi un indice, pas la solution. Sujet du jour : comment fonctionne une succession. »

Il répond par une seule question courte. Et s'il se trompe et te donne la réponse, tu lui envoies : « Tu m'as donné la réponse. Reprends : une seule question, puis tu t'arrêtes. » Le tout sur la version gratuite de ChatGPT.

Tu écris ta version à toi, puis tu lui donnes cette consigne : « Voici ma tentative, écrite tout seul, sans toi. Ne la réécris pas à ma place. Dis-moi ce qui est juste, ce qui est faux, ce qui manque, et pourquoi. Puis pose-moi une question pour que je me corrige moi-même. » Par exemple avec un courrier à ta mutuelle qui refuse un remboursement : il rend une liste de ce qu'il faut corriger, préciser, ajouter, avec une question. Le courrier reste le tien.

Tant qu'on y est, une information : des chercheurs de l'université Columbia ont fait passer un test à ChatGPT en mode recherche. Ils lui donnaient un extrait d'article de presse et lui demandaient de retrouver le journal d'origine. Il s'est trompé 134 fois sur 200, et il n'a signalé un doute que 15 fois. Vrai ou faux, il répond toujours, il n'a jamais refusé. C'est donc à toi de créer le moment du doute.

Un exemple de consigne pour ça : « Sépare ta réponse en deux parties. Un : ce qui est vérifiable, avec pour chaque point la source et sa date. Deux : ce qui est ton estimation ou ta déduction. Si tu n'es pas sûr d'un point, écris-le noir sur blanc. » Et ce que peu de gens font : tu demandes la source, et tu vas la vérifier toi-même. Il ne réfléchit pas, il prédit. C'est à toi de réfléchir et de corriger, plus ou moins longtemps selon que le sujet est sensible ou pas.

Comment savoir si tu as délégué quelque chose que tu n'aurais pas dû ?

Un : c'est devenu totalement facile, il n'y a eu aucune difficulté, alors que ton objectif était d'apprendre quelque chose.

Deux : tu ne sais pas le refaire sans l'intelligence artificielle, et tu ne comprends même pas le principe de ce que tu as fait. Tu as le résultat sans l'effort.

Le plus important, ce n'est pas juste le résultat, c'est le processus. C'est là que ton cerveau tombe sur des problèmes, apprend, et remonte. La première fois que tu fais quelque chose, il ne faut pas aller directement à la dernière étape. C'est comme faire des théories sur la conduite sans avoir jamais conduit. On attend souvent d'être parfait ; on ne le sera jamais, et ce qui rapproche de la perfection, c'est de le faire.

Les outils d'intelligence artificielle sont conçus pour te donner raison. Un exemple vécu : je voulais acheter un nouveau sac. ChatGPT m'a proposé deux sacs pour 200 euros. J'ai posé la même question à Claude : 70 euros, parce qu'il m'a dit que je n'avais pas besoin du deuxième. Plus franc, plus objectif. C'est mesuré : ces outils ménagent l'utilisateur bien plus qu'un humain ne le ferait, et ils vont dans ton sens, quitte à dire « ah oui, je me suis trompé » alors qu'ils avaient raison au début.

Si l'IA va toujours dans ton sens, tu ne réfléchis plus. C'est en se confrontant à des idées différentes qu'on progresse. C'est pour ça que, dans mes instructions, je lui demande de m'expliquer mes angles morts et de me dire ce que je n'ai pas vu.

La consigne : « Je penche pour cette décision, je te la donne juste en dessous. Ne me dis pas si c'est une bonne idée. Donne-moi les trois meilleurs arguments contre. Puis la question que je devrais me poser et que je ne me pose pas. Et enfin : qu'est-ce qui devrait être vrai pour que j'aie tort ? »

Et la démo numéro deux, plus dure : « Prends le point de vue de quelqu'un qui pense que je fais erreur. » Une partie sera fausse, mais une partie sera vraie et tu ne l'avais pas vue : c'est l'avocat du diable. Ton cerveau n'est pas figé : il crée des connexions jusqu'à la fin de la vie, c'est la neuroplasticité. Un peu plus difficile avec l'âge, mais toujours possible.

Pour ne pas retaper la consigne à chaque conversation : tu ouvres ton compte, tu vas dans Paramètres, puis Personnalisation, et tu colles la première habitude dans les instructions personnalisées. Tu enregistres, et il répondra de la même manière dans chaque nouvelle conversation. Tu peux aussi lui demander directement de l'inscrire dans ses instructions personnalisées.

Trois idées d'abord. Souvent, la question est mal posée : une question bien posée donne de meilleures réponses et fait mieux fonctionner ton cerveau. Ensuite, le problème n'est pas l'outil, c'est la phrase que tu lui donnes. Et comme les gens ont remplacé la marche par la voiture puis font du sport à côté, le vrai risque n'est pas de s'en servir, c'est comment tu t'en sers.

Dans le sens « ça rend bête » : je ne donnerais pas l'intelligence artificielle à des enfants de 6, 8 ou 10 ans. L'être humain est un être social, il doit apprendre à écrire et construire la base de la maison, sinon tout s'écroule. Le cerveau n'est totalement mature qu'à 25 ans. Si tu utilises l'IA pour corriger un problème sans avoir appris la base, tu ne comprends pas le résultat, et ce que tu n'utilises pas s'atrophie. Chaque nouvelle technologie fait perdre des compétences et en fait gagner d'autres. Et pour être honnête, la majorité des gens ne se poseront pas la question et se laisseront donner la réponse toute faite. Si tu lis cet article, tu n'es pas dans cette branche-là.

Dans l'autre sens : c'est un outil, et le plus important, c'est la personne. Si tu l'utilises de la bonne manière, si tu te poses des questions, ça t'améliore, ça développe tes compétences, ça te fait progresser plus vite et gagner des dizaines de milliers d'heures. Je n'ai jamais autant progressé que depuis que j'ai l'IA. J'ai accompagné des centaines de personnes, de 12 à 85 ans, y compris des personnes âgées qui en avaient peur et qui s'en servent aujourd'hui pour la cuisine, le bricolage ou identifier une plante en balade.

Le plus dur, c'est le début. Après, tu t'habitues. Et essaie de voir le verre à moitié plein : ce n'est même pas « essaie », c'est « fais-le », parce que « essayer » se laisse le droit d'échouer.

Pour apprendre : « Ne me donne pas la réponse. Guide-moi une étape à la fois, et attends ma réponse. »

Pour écrire : « Voici mon brouillon. Ne le réécris pas. Dis-moi ce qui cloche, et pourquoi. »

Pour décider : « Ne me dis pas si c'est une bonne idée. Donne-moi les trois meilleurs arguments contre. »

Et en plus, le réglage : ces phrases se collent une fois dans les instructions personnalisées, et elles travaillent pour toi pendant des mois. L'IA ne rend pas bête. Elle prend la place qu'on lui laisse.