
 ;
Koko, une plateforme de santé mentale en ligne, a fourni à quelque 4 000 utilisateurs des conseils créés par une IA, sans les en informer au préalable. Rob Morris, le co-fondateur de l’application de santé mentale Koko, a expliqué comment ils ont utilisé une approche « co-pilote », avec des humains supervisant l’IA au besoin. Ils l’ont fait sur environ 30 000 publications.
La plate-forme a constaté que les messages composés par l’IA obtenaient des scores nettement supérieurs à ceux écrits par l’homme, tandis que les temps de réponse baissaient de 50 % à moins d’une minute.
Malgré le succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir en tant qu’avocat au tribunal. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a décidé de le découvrir en utilisant l’IA pour aider à créer un soutien en santé mentale pour environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l’avenir. Nous allons penser que nous interagissons avec des humains et ne pas savoir s’il y a eu une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J’ai mes propres problèmes de santé mentale, donc je veux vraiment que ce soit bien fait », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d’autres utilisateurs. Sur son site, il est mentionné : « Koko vous met en relation avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous.
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l’aide de « Koko Bot » – alimenté par le GPT-3 d’OpenAI – qui pourraient ensuite être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l’IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a arrêté l’expérience après quelques jours car elle « semblait plutôt stérile ».
« Lorsque vous interagissez avec GPT-3, vous pouvez commencer à recueillir des indices. Tout est vraiment bien écrit, mais c’est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par des robots et qu’aucune nuance humaine n’a été ajoutée », a déclaré Morris. « Il y a quelque chose dans l’authenticité qui se perd lorsque vous avez cet outil comme outil d’aide pour vous aider dans votre écriture, surtout dans ce genre de contexte. Sur notre plate-forme, les publications semblaient meilleures à certains égards lorsque je pouvais sentir qu’elles étaient plus écrites par des humains.
Morris a publié un fil sur Twitter à propos du test qui impliquait que les utilisateurs ne comprenaient pas qu’une IA était impliquée dans leurs soins. Il a tweeté qu' »une fois que les gens ont découvert que les messages avaient été co-créés par une machine, cela n’a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l’éthique de la recherche de Koko, étant donné que ses commentaires suggéraient un manque clé de consentement éclairé pendant au moins une phase de l’expérience.
Envoyé par Rob Morris&# xD ;

 ;
Les messages rédigés par l’IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que ceux rédigés par des humains eux-mêmes (p < 0,001). Les temps de réponse ont chuté de 50 %, à bien moins d'une minute. Et pourtant, nous avons retiré cela assez rapidement de notre plate-forme. Pourquoi? Une fois que les gens ont appris que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble bizarre, vide.
Les machines n’ont pas eu l’expérience humaine, alors quand elles disent « ça a l’air dur » ou « j’ai compris », ça sonne inauthentique. Et ils ne font aucun effort réel (du moins aucun que les humains puissent apprécier !). Ils ne prennent pas le temps de leur journée pour penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre obtenir une carte électronique et une carte physique de quelqu’un. Même si les mots sont les mêmes dans les deux cas, nous pourrions apprécier l’effort d’aller au magasin, de choisir une carte, de l’envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout s’ils construisent une relation avec l’utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut créer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas).
J’ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d’agir comme s’il tenait à moi. Quand il a admis plus tard qu’il ne se souciait pas vraiment de moi parce que, eh bien, c’est un modèle linguistique, je me sentais vraiment un peu mal.
Peut-être sommes-nous si désespérés d’être entendus, d’avoir quelque chose qui prête vraiment attention à nous sans être distraits, regarder un téléphone, faire défiler des e-mails ou Twitter. Peut-être que nous aspirons à cela si profondément que nous nous convaincrons que les machines se soucient réellement de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par rechercher le soutien émotionnel des machines, plutôt que des amis et de la famille ?
Comment profiter des machines empathiques, sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit quelque chose que nous, les humains, pouvons appeler nôtre. C’est peut-être la seule chose que nous faisons que l’IA ne pourra jamais remplacer.
Sur Twitter, il a présenté une vidéo de deux minutes pour montrer le fonctionnement du système :
Peu de temps après avoir publié le fil Twitter, Morris a reçu de nombreuses réponses critiquant l’expérience comme contraire à l’éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d’examen institutionnel (IRB) avait approuvé l’expérience. Dans une réponse tweetée, Morris a déclaré que l’expérience « serait exemptée » des exigences de consentement éclairé car il n’avait pas prévu de publier les résultats :
« Ce serait exonéré [ndlr. exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux fournisseurs d’aide, qui pouvaient choisir de l’utiliser ou non. Nous n’avons utilisé aucune donnée personnelle, toutes les données sont anonymes, il n’y a pas de plan de publication. Mais le MGH IRB est génial… Je ne pourrais même pas utiliser d’encre rouge dans nos brochures d’étude si je me souviens bien… »

 ;
A quoi un utilisateur a répondu :
«En tant qu’ancien membre et président de l’IRB, vous avez mené des recherches sur des sujets humains sur une population vulnérable sans l’approbation ou l’exemption de l’IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu’il traite de choses comme ça. Conseils non sollicités : prenez un avocat ».

 ;
Face aux réactions sur Twitter, il a tenu à apporter des précisions sur son fil :

 ;

 ;
Quelques clarifications importantes sur mon récent fil de tweet :
Nous ne faisons pas correspondre les gens pour discuter avec GPT-3, à leur insu. (rétrospectivement, j’aurais pu formuler mon premier tweet pour mieux refléter cela). Nous avons offert à nos pairs sympathiques l’utilisation de GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne parlaient pas directement à l’IA.
Cette fonctionnalité était opt-in. Tout le monde était au courant de la fonctionnalité lorsqu’elle était en ligne depuis quelques jours.

 ;