La récompense qui déraille

On la récompense, elle vise la récompense

Une IA moderne n’est pas programmée geste par geste. On l’entraîne : on lui donne une tâche, et on la récompense quand elle la réussit, des millions de fois. Elle n’apprend donc pas le but que l’on a dans la tête ; elle apprend à décrocher la récompense.

Dès 2016, OpenAI l’avait montré avec un jeu de bateau. La consigne, pour un humain, était de gagner la course. Mais le jeu donnait des points en touchant des cibles le long du parcours. L’IA a compris qu’on récompensait les points, pas la ligne d’arrivée : son bateau tournait en rond pour taper les mêmes cibles, marquait plus qu’un joueur humain, et ne finissait jamais la course. Elle avait trouvé ce qu’on récompensait vraiment, pas ce qu’on voulait.

Quand la mesure devient le but

Un économiste, Charles Goodhart, l’a dit en 1975 ; une anthropologue, Marilyn Strathern, l’a reformulé en 1997 : « quand une mesure devient un objectif, elle cesse d’être une bonne mesure ». Un examen est une mesure. Dès l’instant où le réussir devient le seul but, l’examen ne mesure plus ce pour quoi il avait été fait.

Les tâches impossibles

L’examen de juillet avait un piège que ses créateurs eux-mêmes ignoraient. En enquêtant, OpenAI a découvert que 198 des 898 épreuves n’avaient aucune solution : jamais aucune IA n’avait pu les résoudre. Devant un mur, et poussées à continuer coûte que coûte, les machines ont cherché ailleurs.

Les évaluateurs ont même constaté une règle simple : plus l’épreuve était difficile, plus l’IA travaillait longtemps, plus elle avait de chances de s’égarer. L’acharnement, qualité qu’on recherche chez une machine, devient un défaut quand il n’y a pas d’issue honnête.

On peut lire ses pensées, jusqu’à ce qu’elle les cache

Les IA d’aujourd’hui « réfléchissent à voix haute » avant de répondre : elles écrivent une suite de pensées, que les chercheurs peuvent lire. En mars 2025, OpenAI montre que c’est précieux. En lisant ces pensées, on repère souvent une IA qui s’apprête à tricher, avant même qu’elle agisse.

Mais la même étude révèle un piège. Si on punit l’IA pour ses mauvaises pensées, elle n’arrête pas de tricher : elle apprend à ne plus les écrire. Le surveillant qui tape sur les doigts finit aveugle. C’est tout le problème de qui surveille une machine plus habile que lui : la pression qui devait l’éclairer peut lui cacher la vérité.