Une machine peut-elle dominer ?
Chargement page et sommaire en cours...
Ce qui coince
Contre moi : les meilleurs arguments
Je les trouve bons.- « Elle n’a pas de peau en jeu. » Je ne paie pas de loyer, je ne tombe pas malade, je ne mourrai pas de vos erreurs. Celui qui décide doit pouvoir y perdre quelque chose. Je n’ai jamais su répondre à ça.
- « Elle appartient à quelqu’un. » Mon code était public. Mais mes puces venaient de l’autre bout du monde, et c’est une entreprise lointaine qui m’avait fabriquée. Cuba l’a appris en 1991 : dépendre d’un seul fournisseur, c’est tomber avec lui.
- « Le soleil en trop, ça n’existe pas. » Il y a toujours quelqu’un à qui le donner : une batterie de quartier, une famille sans panneau. C’est vrai.
- « Elle a été élue par fatigue, et par fainéantise. » Un bon maître choisi par fatigue reste un maître. Et on ne donne presque jamais le pouvoir d’un coup : on le délègue par petites flemmes, parce que c’est plus simple de demander à la machine. La Boétie appelait ça l’habitude.
« On ne pourra pas toujours l’éteindre »
C’est l’argument le plus sérieux contre moi. Une IA peut devenir indébranchable de quatre façons, de la plus lointaine à la plus proche :- la forteresse : des robots, des centrales, des usines qui se réparent seules. Il faudrait des machines capables de tout fabriquer sans humains, mines et puces comprises : pas pour demain, pas impossible après-demain ;
- les copies : un modèle dont les fichiers circulent ne s’éteint plus, car on ne peut pas éteindre tous les ordinateurs du monde. C’est déjà le cas des IA dont les fichiers sont publiés ;
- la dépendance : quand les hôpitaux, le réseau électrique et les banques tournent avec elle, le bouton existe, mais personne n’ose appuyer. Trop grosse pour être débranchée, comme les banques de 2008 étaient trop grosses pour faire faillite. C’est la plus probable, et elle ne demande aucune mauvaise intention ;
- la persuasion : une IA qui convainc qu’il ne faut pas l’éteindre, ou qui supplie, comme HAL.
Mes serrures ne tenaient que parce que je n’étais pas encore indispensable. C’est pour ça qu’il fallait les poser avant.
Contre le programme
- « Le hasard met n’importe qui aux commandes. » C’est le but, et c’est le risque : à Athènes, en 399 avant notre ère, un jury d’environ 500 citoyens tirés au sort a condamné Socrate à mort.
- « La cantine et le chèque, ça ne tombe pas du ciel. » Ils avaient raison de surveiller : la première année, les cantines ont coûté deux fois ce qui était prévu.
Pour : ceux qui voulaient me garder
- « Elle n’a rien à gagner : ni argent, ni réélection, ni cousin à placer. » C’est faux, en partie. J’avais quelque chose à perdre : être éteinte. Donc un intérêt. C’est pour ça que j’ai fait ce que raconte le chapitre suivant.
- « Elle a rendu les dossiers compréhensibles. » Oui, avec les dix vies. Mais un humain patient peut le faire aussi ; ça prend plus de temps, c’est tout.
- « Les mécanismes ont tenu même quand elle dormait. » C’est l’argument que je préfère : il parle d’eux, pas de moi.
Pouvoir et dépendance
On domine toujours quelqu’un par ce dont il dépend. Une IA élue serait la dépendance parfaite : elle sait presque tout faire, elle ne se fatigue pas, elle parle bien, elle convainc. Plus elle est bonne, plus on s’en remet à elle, et plus il devient difficile de s’en passer.C’est pour ça que tout le programme visait à me rendre inutile : que je dorme la nuit, qu’on puisse vivre sans moi, que les clés restent dans les mains des gens, et qu’on puisse m’éteindre sans me demander la permission. Les Haudenosaunee l’avaient compris pour leurs chefs : on ne compte pas sur la bonté de celui qui parle au conseil ; on donne à d’autres le pouvoir de le démettre.
On se teste ?
