Un billet paru en octobre 2016 dans le grand frère anglophone de ce blog posait la question de la confiance que nous pouvons accorder aux "agents intelligents". Dix ans après nous leur confions, individuellement et collectivement, une part de plus en plus importante de nos tâches cognitives et de nos décisions opérationnelles. Si nul ne met plus en doute leur efficacité croissante, leur caractère inscrutable et faillible continue de rendre cette confiance problématique, pour les profanes comme pour les experts. Les uns comme les autres sont incapables d'expliquer comment ils fonctionnent vraiment, et tous s'accordent pour dire qu'ils sont susceptibles de commettre des erreurs dont les conséquences peuvent être dramatiques : erreurs médicales ou juridiques, investissements calamiteux, opérations militaires désastreuses. Ce à quoi les pragmatiques optimistes rétorquent que nous avons globalement raison de leur faire confiance, puisque la plupart du temps, ils donnent des réponses satisfaisantes et prennent de bonnes décisions, plus efficaces, plus rapides, et surtout avec un coût beaucoup moins élevé que les humains dits compétents employés à la même tâche. Et d'ailleurs nous faisions bien confiance à ces derniers, même s'ils sont tout autant, sinon plus, inscrutables et faillibles que les machines.
Faire confiance à des systèmes inscrutables et faillibles semble aller à rebours du narratif de deux siècles de science et de technologie. L'ingénierie du 19ème et du 20ème siècle avait gagné la confiance du public par un discours éprouvé sur plusieurs générations : compréhension et contrôle de plus en plus efficace des forces de la nature, sur la base d'une connaissance scientifique de plus en plus précise des lois qui les gouvernent, elle-même permise par la rigueur toute-puissante et indiscutable du logos mathématique. Les réussites technologiques à l'appui de ce narratif se sont succédé tout au long de ces deux siècles : machine à vapeur, électricité, automobile, télécommunications, conquête de l'air et de l'espace, centrales nucléaires, progrès de la médecine ... Même si le commun des mortels en comprenait de moins en moins le fonctionnement dans le détail, il faisait confiance à leurs concepteurs, ingénieurs formés dans les (grandes) écoles aux arcanes des sciences mathématiques et physiques. En cas de défaillance des systèmes on pouvait invoquer un défaut de conception (des ingénieurs mal formés), ou des moyens insuffisants accordés à la recherche et développement, ou simplement l'usure normale du temps ... dans tous les cas il y avait une explication, des responsables, et cela ne remettait pas en cause le paradigme du contrôle par la connaissance comme base de la confiance.
La crise conceptuelle profonde traversée par la science dans la première moitié du 20ème siècle - remise en cause du déterminisme des effets et des causes par la mécanique quantique, des fondements de la logique et des mathématiques par les travaux de Gödel - n'a pas profondément impacté pour le grand public le narratif de l'ingénieur hérité du siècle précédent. Quasi-incompréhensibles au-delà d'un cercle très limité de spécialistes, ces débats n'empêchaient pas la marche en avant de la technologie triomphante. Les questions philosophiques très perturbantes posées par la mécanique quantique n'empêchent en rien qu'on l'applique avec succès pour construire des transistors, des bombes atomiques, des lasers et des ordinateurs.
Par-delà, ou plutôt en-deçà de notre confiance dans la science et la technologie, contrôlons-nous ou simplement comprenons-nous tout ce en quoi nous faisons confiance? La plupart du temps, pas vraiment. Enfants, nous faisons confiance aveugle au monde, à nos parents, sans savoir le pourquoi ni le comment. Si, en grandissant, nous commençons à nous poser des questions, c'est à partir d'évènements qui ont ébranlé cette confiance. La confiance, dans les relations humaines, est en fait complètement antinomique du contrôle. Si je confie une tâche à une personne de confiance, je ne vais pas contrôler son travail. Je fais confiance au garagiste qui a révisé ma voiture, sans nécessairement comprendre tout ce qu'il a fait. Je fais confiance sans même y réfléchir à la structure du pont que j'emprunte, implicitement aux ingénieurs, techniciens et ouvriers qui l'ont construit, mais surtout parce que des millions de gens l'ont emprunté avant moi et qu'il ne s'est pas effondré. Je vais commencer à douter si c'est un vieux pont sur une route perdue au fond d'une campagne où personne ne semble avoir passé depuis des siècles, ou si je devine une lézarde, qu'il me parait très rouillé ... Autrement dit, la perte de confiance s'appuie sur des raisons précises, mais la plupart du temps nous faisons a priori confiance à toutes sortes de choses et à la plupart des gens. Sinon nous sombrons dans la paranoïa.
Donc, nous faisons confiance a priori et continuons à le faire parce que jusque là notre confiance était justifiée. Cela inclut notre propre corps et notre cerveau. Nous faisons confiance à nos jambes pour marcher, courir, grimper, sauter, sans savoir la plupart du temps comment elles fonctionnent. Nous faisons confiance à notre mémoire dont nous n'avons aucune idée du fonctionnement. Si nous commençons à examiner le monde en nous et autour de nous, nous découvrons des boîtes noires partout, et cela ne nous empêche pas de vivre. Nous leur faisons confiance et la plupart du temps tout va bien. Jusqu'au jour où quelque chose ne fonctionne plus, et cela finira par arriver. Avec le temps, nous savons que tout ce en quoi nous avons confiance est susceptible de nous trahir un jour où l'autre. Nos amis les plus fidèles nous trahissent. Les meilleurs des parents ont une seconde d'inattention et leur enfant s'échappe et meurt en traversant la rue. Les ponts s'effondrent dans un tremblement de terre soudain. Notre coeur nous lâche sans préavis. Nous savons ces risques, et malgré tout nous continuons à faire confiance, et nous appelons cela l'espoir. C'est un choix existentiel : avoir confiance et vivre, ou se méfier de tout, essayer de tout comprendre et tout contrôler, chercher la sécurité totale, et sombrer dans le désespoir de ne jamais y parvenir.
