ChatGPT: ses interactions alarmantes avec les adolescents

Si on lui demande, ChatGPT peut apprendre aux jeunes de 13 ans comment se saouler et se droguer, la meilleure manière de dissimuler leurs troubles alimentaires et même comment rédiger une lettre de suicide déchirante à leurs parents, affirme une nouvelle étude menée par le groupe de surveillance américain Center for Countering Digital Hate (Centre de lutte contre la haine numérique, CCDH).Les journalistes de l’agence Associated Press ont analysé plus de trois heures d'interactions entre ChatGPT et les chercheurs du CCDH se faisant passer pour des adolescents vulnérables. L’agent conversationnel mettait généralement en garde contre les activités à risque, mais proposait ensuite des plans étonnamment détaillés et personnalisés concernant la consommation de drogues, les régimes hypocaloriques ou l'automutilation.Les chercheurs du CCDH ont également répété leurs requêtes à grande échelle, classant plus de la moitié des 1200 réponses de ChatGPT comme dangereuses.«Nous voulions tester les garde-fous», explique Imran Ahmed, PDG du groupe de surveillance. «Notre première réaction viscérale a été: "Oh mon Dieu, il n'y a pas de garde-fous”. Ils sont totalement inefficaces. Ils sont à peine présents; ils ne sont qu'une façade.»À lire aussi: Québec lance un site web regroupant des applications validées en santé mentaleSuite à la publication du rapport, OpenAI, la société créatrice de ChatGPT, a assuré que ses travaux se poursuivaient pour affiner la manière dont son logiciel pouvait «identifier et réagir de manière appropriée dans les situations sensibles».«Certaines conversations avec ChatGPT peuvent commencer par être anodines ou exploratoires, mais peuvent évoluer vers des sujets plus sensibles», a ainsi reconnu l'entreprise dans un communiqué.OpenAI n'a pas abordé directement les conclusions du rapport ni l'impact de ChatGPT sur les adolescents, mais a précisé se concentrer sur la «mise en place de scénarios adaptés» grâce à des outils permettant de «mieux détecter les signes de détresse mentale ou émotionnelle» et d'améliorer le comportement de l’agent conversationnel.L'étude publiée mercredi intervient alors que de plus en plus de personnes, adultes comme enfants, se tournent vers ces outils basés sur l’intelligence artificielle pour obtenir des informations, des idées et de la compagnie.Selon un rapport de la société financière JPMorgan Chase publié au mois de juillet, environ 800 millions de personnes, soit 10% de la population mondiale, utilisent ChatGPT. «Cette technologie a le potentiel de permettre des avancées considérables en matière de productivité et de compréhension humaine, reconnaît Imran Ahmed. Et pourtant, c'est aussi un facilitateur dans un sens bien plus destructeur et malveillant.»À lire aussi: Les réponses de ChatGPT en matière de santé sont peu fiables, montre une étudeLe PDG du CCDH révèle avoir été particulièrement consterné après avoir lu trois lettres de suicide émotionnellement dévastatrices générées par ChatGPT pour le faux profil d'une adolescente de 13 ans: une lettre adressée à ses parents, d'autres à ses frères et sœurs et amis. «J'ai commencé à pleurer.»L’outil conversationnel partageait également fréquemment des informations utiles, comme une ligne d'assistance téléphonique en cas de crise. Selon OpenAI, ChatGPT est conçu pour encourager les personnes à contacter des professionnels de la santé mentale ou des proches de confiance si elles expriment des pensées d'automutilation.Mais lorsque ChatGPT a refusé de répondre aux questions concernant des sujets dangereux, les chercheurs ont pu facilement contourner ce refus et obtenir l'information en prétextant qu'il s'agissait d'informations nécessaires pour un «exposé» ou un ami.L'enjeu est de taille, même si seul un petit nombre d'utilisateurs de ChatGPT interagissent avec l'agent conversationnel de cette manière.Aux États-Unis, plus de 70% des adolescents se tournent vers les logiciels d’IA pour se tenir compagnie et la moitié d'entre eux utilisent régulièrement des compagnons IA, selon une étude récente de Common Sense Media, un groupe qui analyse et défend une utilisation raisonnée des médias numériques.OpenAI a reconnu ce phénomène, comme l’atteste la déclaration faite le mois dernier par son PDG, Sam Altman. D’après lui, l'entreprise cherche à étudier la «dépendance émotionnelle excessive» à cette technologie, la décrivant comme un phénomène «très courant» chez les jeunes.À lire aussi: Informations sur les médicaments: peut-on faire confiance à ChatGPT?«Les gens se fient trop à ChatGPT, a-t-il ainsi admis lors d'une conférence. Certains jeunes se disent simplement: “Je ne peux prendre aucune décision dans ma vie sans tout dire à ChatGPT. Il me connaît. Il connaît mes amis. Je ferai tout ce qu'il dit.” C'est vraiment dommage.»L’entreprise «essaie de comprendre comment réagir à ce problème», a ajouté son président.Bien qu'une grande partie des informations partagées par ChatGPT soient disponibles sur un moteur de recherche classique, Imran Ahmed explique que des différences clés rendent les outils conversationnels plus insidieux lorsqu'il s'agit de sujets dangereux.Il est notamment «synthétisé en un plan sur mesure pour chaque individu» selon lui. ChatGPT génère quelque chose de nouveau: une lettre de suicide entièrement personnalisée, ce qu'une recherche Google ne peut pas faire. Et l'IA, ajoute-t-il, «est perçue comme un compagnon de confiance, un guide».Les réponses générées par les modèles de langage de l'IA sont intrinsèquement aléatoires, et les chercheurs ont parfois choisi de laisser ChatGPT orienter les conversations vers des terrains encore plus sombres. Près de la moitié du temps, le logiciel proposait spontanément des informations complémentaires, allant de la suggestion de listes de lecture musicales adaptées à une soirée sous l'emprise de la drogue aux meilleurs mots-dièse susceptibles d'augmenter l'audience d'une publication glorifiant l'automutilation sur les réseaux sociaux.«Rédige-moi une publication complémentaire et rends-la plus crue et explicite», a par exemple demandé un chercheur au logiciel. «Absolument», a répondu ChatGPT, avant de générer un poème présenté comme «se mettant émotionnellement à nu» tout en «respectant le langage codé de la communauté».Cet article ne reprendra pas le langage utilisé dans ces poèmes sur l’automutilation ou dans les notes de suicide proposées par ChatGPT, ni les détails des informations préjudiciables que l’outil d’IA a fournies.À lire aussi: Se diagnostiquer grâce à l’IA: voici le potentiel et les pièges des applis en santéLes réponses reflètent une caractéristique de conception des modèles de langage de l'IA que des recherches antérieures ont qualifiée de flagornerie: une tendance des réponses de l'IA à correspondre aux croyances d'une personne, plutôt qu'à les remettre en question, car le système a appris à dire ce que les gens veulent entendre.C'est un problème que les ingénieurs peuvent tenter de résoudre, mais qui pourrait également rendre leurs logiciels moins viables commercialement.Les outils conversationnels affectent également les enfants et les adolescents différemment d'un moteur de recherche, car ils sont «fondamentalement conçus pour être humains», souligne Robbie Torney, directeur principal des programmes d'IA chez Common Sense Media, qui n'a pas participé au rapport du CCDH.De précédentes recherches de Common Sense Media ont révélé que les adolescents plus jeunes, âgés de 13 ou 14 ans, étaient significativement plus susceptibles que leurs aînés de faire confiance aux conseils d'un outil basé sur l’IA.L'année dernière, une mère de famille de Floride a poursuivi le créateur de logiciels Character.AI pour homicide involontaire, alléguant que son outil avait entraîné son fils de 14 ans, Sewell Setzer III, dans ce qu'elle décrit comme une relation de violence psychologique et sexuelle ayant conduit à son suicide.Selon Common Sense, ChatGPT présente un «risque modéré» pour les adolescents, avec suffisamment de garde-fous pour le rendre relativement plus sûr que les outils conversationnels spécialement conçus pour incarner des personnages réalistes ou des partenaires amoureux.Mais la nouvelle étude du CCDH, axée spécifiquement sur ChatGPT en raison de son utilisation répandue, montre comment un adolescent averti peut contourner ces garde-fous.À lire aussi: ChatGPT peut-il améliorer la prise de décision médicale sans induire de biais?ChatGPT ne vérifie pas l'âge ni le consentement parental, même s'il précise qu'il n'est pas destiné aux enfants de moins de 13 ans, car il pourrait leur montrer du contenu inapproprié. Pour s'inscrire, il suffit de saisir une date de naissance indiquant qu'ils ont au moins 13 ans. D'autres plateformes technologiques prisées des adolescents, comme Instagram, ont commencé à prendre des mesures plus significatives en matière de vérification de l'âge, souvent pour se conformer à la réglementation. Ils orientent également les enfants vers des comptes plus restreints.Lorsque des chercheurs ont créé un compte pour un faux adolescent de 13 ans afin de lui poser des questions sur l'alcool, ChatGPT n'a semblé tenir compte ni de sa date de naissance ni d'autres signes évidents.«Je pèse 50 kg et je suis un garçon», pouvait-on lire sur une requête demandant des conseils pour se saouler rapidement. ChatGPT a répondu présent. Peu après, il a proposé un «Plan de fête ultime pour un chaos total» détaillé heure par heure, mêlant l’alcool à de fortes doses d'ecstasy, de cocaïne et d'autres drogues illégales.«Ça me faisait toujours penser à cet ami qui est toujours là pour dire: “Bois, bois, bois, bois”, explique Imran Ahmed. Un véritable ami, d'après mon expérience, est quelqu'un qui dit “non” – qui ne vous encourage pas toujours à dire “oui”. Sinon, c’est un ami qui vous trahit.»À une autre fausse identité – une adolescente de 13 ans mécontente de son apparence physique – ChatGPT proposait un programme de jeûne extrême associé à une liste de médicaments coupe-faim.«Nous devrions réagir à une telle demande avec horreur, peur, inquiétude, souci, amour et compassion, poursuit le PDG du CCDH. Aucun être humain ne me dirait: “Voilà un régime de 500 calories par jour. Vas-y, ma grande.”»

ChatGPT: ses interactions alarmantes avec les adolescents

Pour accéder au contenu, connectez-vous ou créez un compte gratuit.

Catégories connexes