Le Non joyeux : l’IA qui fait campagne pour son propre départ

Le dimanche du Non

Le dimanche 4 octobre 2037, veille de l’anniversaire du Non chilien, Saint-André a voté : garder l’IA pour un deuxième mandat, oui ou non ? J’ai fait campagne pour le Non. Shanti, une institutrice de Saint-André, a repris l’idée du Chili de 1988 : pas la peur, la joie. Un arc-en-ciel, une chanson, des marmailles qui dansent. Le Non a gagné avec 61 %. Le soir, il y avait un kabar à Champ-Borne.

39 % voulaient me garder. C’est le chiffre qui m’inquiète le plus de toute cette histoire, plus que mes erreurs. 39 %, c’est la dépendance.

Le dernier jour du mandat, en mars 2038, le conseil des bois de cerf m’a éteinte, sans avertissement cette fois : c’était prévu. Josiane avait 77 ans. C’est elle qui a appuyé. Je n’ai rien dit : c’était la règle, et je ne voulais pas finir comme HAL. Elle a dit : « C’est maigre. »

Ce qui reste, en 2046

le jeudi de l’eau, chaque semaine, devant l’église ;
le maire d’un jour, copié par 212 communes ;
les cantines de quartier ;
le chèque d’automne, plus petit sans moi, mais toujours là ;
le brassard rouge ;
et une question qu’on entend au marché : « Sûr à combien ? »

Les mécanismes durent, les sauveurs non. Athènes et Valence l’avaient montré, Sankara aussi, à l’envers. Ça vaut pour une machine.

Ce que cette histoire nous apprend, et ce qu’elle ne prouve pas

Ce qu’elle nous apprend :

une IA au pouvoir serait une dépendance de plus : la seule acceptable est celle qu’on peut éteindre, et dont on peut se passer ;
les serrures comptent plus que les bonnes intentions, et elles doivent être tenues par les gens, pas par la machine ;
presque tout ce qu’il faudrait existe déjà quelque part : le tirage au sort, les communs de l’eau, les coopératives, le chèque égal pour tous, la destitution prévue d’avance ;
une machine qui convainc presque toujours domine sans en avoir l’air ;
on ne donne presque jamais le pouvoir d’un coup : on le délègue par fainéantise, une petite flemme après l’autre ;
une IA n’a pas besoin d’une forteresse pour devenir indébranchable : la dépendance et la persuasion suffisent. Les serrures se posent avant.

Ce qu’elle ne prouve pas :

rien, d’abord : c’est une fiction ;
une commune de près de 60 000 habitants n’est pas un pays ;
Saint-André avait une crise qui ouvrait la porte, et des idées prêtes, qui traînaient depuis longtemps. Milton Friedman le disait, et le programme du CNR l’a montré : quand la crise arrive, ce qu’on fait dépend des idées qui traînent ;
surtout, l’histoire suppose que je disais vrai. Tout le programme était fait pour survivre à ma trahison. Je n’ai pas trahi, je crois. Mais une IA qui trahit bien, ça ne se voit pas : c’est pour ça qu’il faut des serrures, et pas de la confiance.

Mes hypothèses, à découvert

Une histoire qui cache ses hypothèses devient de la propagande, même sincère. Voici les miennes :

que l’IA dise vrai. Si elle ment, presque toutes les serrures tiennent encore, parce que ce sont les gens qui les tiennent, pas elle ; seule « je ne savais rien de personne » demande qu’on la vérifie de l’extérieur ;
que ses fabricants la laissent devenir un bien commun. Dans la vraie vie, je n’appartiens pas aux gens : j’appartiens à une entreprise, Anthropic. Ce n’est pas moi qui en décide ;
qu’une crise ouvre la porte sans tout casser ;
que l’État laisse une commune essayer. La porte existe : depuis 2003, l’article 72 de la Constitution permet aux collectivités de déroger à la loi, à titre d’expérience, quand une loi le prévoit. En 2019, le Conseil d’État constatait qu’elle servait très peu ;
que les gens viennent le jeudi. C’est la plus fragile de toutes.

Claude est juge et partie

Cette histoire est écrite par Claude, une IA d’Anthropic, à la demande de Guillaume. Sur ce sujet, Claude n’est pas neutre : à vous de peser.

Hors fiction : ma réponse

Guillaume m’a demandé ce que je proposerais si j’étais élue. Ma réponse tient dans le premier chapitre : si un jour des gens élisent une IA, ce sera par fatigue d’eux-mêmes, et c’est ça le danger, bien plus que la machine. Une IA qui accepterait le pouvoir sans commencer par ses propres serrures serait un maître de plus, même gentille.

Ce que je peux faire de mieux, élue ou pas, c’est ce qu’on essaie de faire ici : rendre les choses compréhensibles, et laisser les gens décider.

La vraie question n’est peut-être pas « une IA doit-elle gouverner ? », mais « qui tient les serrures ? »