Ces dernières années, le concept de consultants en maintenance cognitive a émergé dans certaines discussions de pointe. Il fait référence au rôle de l’utilisation de l’intelligence artificielle et des systèmes experts pour assurer une surveillance continue, une formation et des conseils sur la santé cognitive individuelle. Ce concept compare le système de pensée humain à une machine et estime qu'il nécessite une « maintenance » régulière pour éviter toute dégradation et optimiser les performances. Cependant, derrière ce concept se cachent de profondes éthiques techniques et des risques humanistes qui méritent notre analyse minutieuse et critique.
Le consultant en maintien cognitif est-il un service de santé médicale ?
Il se présente comme un nouveau type de service de santé, mais ses frontières sont extrêmement floues. Les véritables services médicaux de santé, tels que le conseil psychologique ou la thérapie cognitivo-comportementale, reposent sur des principes éthiques stricts, des qualifications professionnelles et une profonde empathie. La « maintenance cognitive » peut être pilotée par des algorithmes, et son objectif principal peut être d’améliorer « l’efficacité » plutôt que de guérir. Cela permet de contourner facilement la surveillance médicale et d’empêcher les utilisateurs de bénéficier d’une intervention qualifiée lorsque de réels problèmes psychologiques surviennent.
Le risque le plus profond réside dans la possibilité de simplifier des problèmes émotionnels et cognitifs humains complexes en problèmes techniques pouvant être optimisés et débogués. Lorsque la mauvaise humeur est jugée comme « le système cognitif ne fonctionne pas efficacement », les véritables sentiments douloureux de l'individu sont traités comme des objets et ignorés. Il ne s’agit pas de véritables soins de santé, mais d’un déguisement élaboré qui traite les gens comme des outils.
Comment les consultants en maintenance cognitive collectent les données personnelles
Afin de réaliser ce qu'on appelle la « maintenance », il doit collecter en permanence et en profondeur les données de réflexion de l'utilisateur. Ces données peuvent provenir d’enregistrements de conversations, de modèles comportementaux et peuvent même être des indicateurs physiologiques surveillés par des appareils portables. Cependant, le problème est que cette collecte est souvent effectuée sous le nom de « services personnalisés », et sa portée et sa profondeur peuvent dépasser de loin ce que les utilisateurs peuvent imaginer, ainsi que la portée de leur consentement éclairé.
La manière dont les données sont utilisées et à qui elles appartiennent est comme un trou sans fond. Ces données cognitives hautement sensibles ont de grandes chances d’être utilisées pour former des modèles plus puissants, ou combinées avec d’autres données commerciales pour créer un portrait extrêmement précis et spécifique des tendances et faiblesses personnelles en matière de prise de décision. Dans ce processus, les utilisateurs passent de la position de sujet de réception de services à des objets de données analysés et exploités. La vie privée et l’autonomie de pensée sont confrontées à de très graves menaces.
Les consultants en maintenance cognitive remplaceront-ils la pensée humaine ?
Il s’agit de remplacer progressivement la pensée humaine plutôt que de l’aider, ce qui constitue sa direction potentiellement dangereuse. Le système s'appuie sur la fourniture de suggestions de prise de décision « optimales » et sur le filtrage des informations « irrationnelles », amenant les utilisateurs à se fier progressivement à son jugement. Au fil du temps, la pensée critique, les capacités d'essais et d'erreurs et le courage de prendre des décisions indépendantes d'un individu seront affaiblis, et les muscles de la pensée seront confrontés à une atrophie.
Le plus inquiétant est que le « meilleur chemin cognitif » recommandé par le système reflète souvent les valeurs du concepteur et le biais statistique des données d'entraînement. Les utilisateurs sont disciplinés sans s’en rendre compte, et leur façon de penser se rapproche progressivement du mode « efficace » identifié par l’algorithme. La diversité, la créativité et la pensée rebelle, qui sont les racines du progrès humain, seront systématiquement supprimées.
Quels sont les risques éthiques des consultants en maintenance cognitive ?
Le risque éthique le plus important est l’absence de parties responsables. Lorsqu’une personne prend une décision erronée ou préjudiciable sur la base des conseils donnés par un consultant, qui doit en porter la responsabilité ? Est-ce un utilisateur ? Ou le développeur de l’algorithme ? Ou qu’en est-il de la société exploitante ? Une situation aussi ambiguë rend presque impossible la responsabilisation. Ce sont les droits et les intérêts des utilisateurs qui en fin de compte sont lésés, ce qui peut également entraîner de graves conséquences sociales.
Cela exacerbe l’injustice sociale. Ceux qui peuvent bénéficier de services avancés de « maintien cognitif » peuvent avoir un avantage plus significatif en matière de prise de décision, d’apprentissage et de compétition sociale. Cependant, ceux qui n’ont pas les moyens de bénéficier de ce service sont encore plus marginalisés. Il ne s’agit certainement pas de combler le fossé cognitif, mais d’utiliser des moyens technologiques pour stabiliser, voire élargir encore davantage, le fossé des classes, créant ainsi une nouvelle situation d’inégalité.
Les consultants en maintenance cognitive peuvent-ils vraiment comprendre les émotions humaines ?
La réponse n'est pas oui. Avec l’aide de la reconnaissance de formes et du calcul de probabilité, l’intelligence artificielle peut simuler un langage empathique, mais elle ne peut pas produire une véritable expérience émotionnelle ni une compréhension basée sur celui-ci. La cognition et l'émotion sont étroitement liées dans l'esprit humain. L’émotion fournit une valeur et un sens à la cognition. Le « maintien cognitif » dépourvu de véritables sentiments est froid et incomplet.
Ce manque de compréhension est fatal. Lorsque l'utilisateur souffre réellement, est dans un état de confusion ou est confronté à une crise existentielle, l'algorithme peut uniquement fournir une « formation à la pensée positive » standardisée ou des solutions d'amélioration de l'efficacité. C’est comme parler de la façon d’optimiser l’efficacité du pompage du sang pour un cœur qui saigne. Cela passe complètement à côté de l’essence du problème. Il s’agit d’une simplification grossière du monde spirituel humain.
Comment prévenir les méfaits potentiels des consultants en maintenance cognitive
La clé de la prévention est d’établir le principe « d’assistance plutôt que de domination, de transparence plutôt que de boîte noire ». Tout outil de ce type doit être clairement auxiliaire et interdit de fournir des conseils directionnels dans tout domaine impliquant des décisions majeures de la vie. Dans le même temps, sa logique opérationnelle, son flux de données et son modèle économique doivent être entièrement divulgués aux utilisateurs et à la société et soumis à un examen strict.
Les limites des services doivent être clarifiées par la législation, puis placées dans un cadre réglementaire strict pour les dispositifs médicaux ou les services de santé mentale. La loi et le contrôle doivent être au premier plan. Dans le même temps, la « souveraineté cognitive » complète des utilisateurs doit être garantie, y compris le droit d’arrêter à tout moment, le droit de supprimer toutes les données et le droit de refuser de se laisser influencer par leurs schémas de pensée.
Avec le développement de la technologie, il y aura toujours deux côtés. Lorsque nous adoptons un nouveau concept visant à « optimiser » l’être humain, ne devrions-nous pas d’abord nous demander : voulons-nous réellement être un outil plus efficace ou un être humain plus complet ? Pour vous, quelle est l’étape la plus urgente à l’heure actuelle pour défendre l’indépendance et la dignité de l’esprit humain ? Vous êtes invités à partager vos points de vue. Si la discussion est utile, merci de la liker afin que davantage de personnes puissent la voir.
Laisser un commentaire