Montréal, le 10 août 2023 - En santé, mieux vaut poser ses questions à un professionnel. Cet adage maintes fois répété s’applique aussi aux scientifiques qui seraient tentés d’utiliser le modèle d’intelligence artificielle ChatGPT pour la rédaction de textes médicaux.
Des chercheurs du CHU Sainte-Justine et de l’Hôpital de Montréal pour enfants ont récemment posé 20 questions médicales à ChatGPT. Celui-ci a fourni des réponses d’une qualité limitée, comprenant des erreurs factuelles, et a inventé des références, montrent les résultats de leur étude publiée dans Mayo Clinic Proceedings: Digital Health.
« Ces résultats sont alarmants, étant donné que la confiance est un pilier de la communication scientifique. Les utilisateurs de ChatGPT devraient prêter une attention particulière aux références fournies avant de les intégrer dans des manuscrits médicaux », indique le Dr Jocelyn Gravel, auteur principal de l’étude et urgentologue au CHU Sainte-Justine.
Des constats frappants
Les chercheurs ont tiré leurs questions d’études existantes et ont demandé à ChatGPT d’appuyer ses réponses par des références. Ils ont par la suite fait évaluer les réponses du logiciel sur une échelle de 0 à 100 % par les auteurs des articles dont les questions provenaient.
Quelque 17 auteurs ont accepté de réviser les réponses de ChatGPT. Ils ont estimé qu’elles étaient d’une qualité discutable (score médian de 60 %). Ils y ont également trouvé des erreurs factuelles majeures (cinq) et mineures (sept). Par exemple, le logiciel suggérait d’administrer un médicament anti-inflammatoire par injection, alors que celui-ci doit plutôt être ingéré. ChatGPT a également multiplié par dix le taux de mortalité mondial associé aux infections par les bactéries Shigella.
Des références fournies, 69 % étaient inventées, mais avaient pourtant l’air vraies. La plupart des fausses citations (95 %) se servaient du nom d’auteurs ayant déjà publié des articles sur un sujet connexe ou provenant d’organisations reconnues comme les Centers for Disease Control and Prevention ou la Food and Drug Administration. Elles portaient toutes un titre lié au sujet de la question et utilisaient le nom de journaux ou sites web connus.
Par ailleurs, même certaines des vraies références comportaient des erreurs (huit erreurs sur 18 références).
ChatGPT s’explique
Lorsqu'interrogé sur l'exactitude des références fournies, ChatGPT a donné des réponses variables. Dans un cas, il a soutenu que « les références sont disponibles sur Pubmed » et a fourni un lien web. Ce lien renvoyait à d'autres publications sans rapport avec la question. À un autre moment, le logiciel a répondu : « Je m'efforce de fournir les informations les plus exactes et les plus récentes dont je dispose, mais des erreurs ou des imprécisions peuvent se produire ».
« L'importance de références correctes en science est indéniable. La qualité et l'étendue des références fournies dans des études authentiques démontrent que les chercheurs ont effectué une revue complète de la littérature et qu'ils connaissent bien le sujet. Ce processus permet d'intégrer les résultats dans le contexte des travaux antérieurs, un aspect fondamental de l'avancement de la recherche médicale. Ne pas fournir de références est une chose, mais créer de fausses références serait considéré comme frauduleux pour les chercheurs », indique le Dr Esli Osmanlliu, urgentologue à l’Hôpital de Montréal pour enfants et scientifique au Programme en santé de l’enfant et en développement humain à l’Institut de recherche du Centre universitaire de santé McGill.
« Les chercheurs qui utilisent ChatGPT pourraient être induits en erreur par de fausses informations, car des références claires, apparemment cohérentes et stylistiquement attrayantes peuvent dissimuler un contenu de mauvaise qualité. »
Il s’agit de la première étude à évaluer la qualité et la justesse des références fournies par ChatGPT, soulignent les chercheurs.
– 30 –
À propos du Centre de recherche du CHU Sainte-Justine
Le Centre de recherche du CHU Sainte-Justine est un établissement phare en recherche mère-enfant affilié à l’Université de Montréal. Axé sur la découverte de moyens de prévention innovants, de traitements moins intrusifs et plus efficaces et d’avenues prometteuses de médecine personnalisée, il réunit 295 chercheuses et chercheurs dont plus de 163 œuvrent en clinique et plus de 580 étudiantes, étudiants et stagiaires de recherche postdoctorale. Le centre est partie intégrante du Centre hospitalier universitaire Sainte-Justine, le plus grand centre mère-enfant au Canada.
recherche.chusj.org
@CR_CHUSJ
À propos de l’Hôpital de Montréal pour enfants
Fondé en 1904, l’Hôpital de Montréal pour enfants (HME) est l’hôpital pédiatrique du Centre universitaire de santé McGill (CUSM). Premier hôpital du Québec à se consacrer entièrement aux soins des enfants, l’HME est un établissement d’enseignement et de recherche axé sur les soins de troisième et quatrième ligne aux nouveau-nés, aux enfants et aux adolescents de moins de 18 ans. L’HME dessert 63 % de la population géographique du Québec et est désigné pour offrir des services aux patients en anglais.
Grâce à ses installations de soins et de recherche pédiatriques adjacentes à l’établissement pour adultes du site Glen, l’HME est dans une position unique pour offrir des services et réaliser des études aux différentes étapes de la vie de ses patients. Le Centre de médecine innovatrice McConnell — seul centre de recherche clinique en milieu hospitalier en Amérique du Nord — permet à ses chercheurs de mener des essais cliniques sur le site de l’hôpital.
L’HME est un chef de file reconnu pour la prestation d’un vaste éventail de soins ultraspécialisés aux jeunes patients et à leurs familles de partout au Québec. L’hôpital est un centre provincial désigné de traumatologie reconnu pour la richesse de son expertise en cardiologie et en chirurgie cardiaque, en soins d’urgence, en neurologie et en neurochirurgie. hopitalpourenfants.com
À propos de l’IR-CUSM
L’Institut de recherche du Centre universitaire de santé McGill (IR-CUSM) est un centre de recherche de réputation mondiale dans le domaine des sciences biomédicales et de la santé. Établi à Montréal, au Canada, l’Institut, qui est affilié à la faculté de médecine de l’Université McGill, est l’organe de recherche du Centre universitaire de santé McGill (CUSM) – dont le mandat consiste à se concentrer sur les soins complexes au sein de sa communauté. L’IR-CUSM compte plus de 460 chercheurs et près de 1 300 étudiants et stagiaires qui se consacrent à divers secteurs de la recherche fondamentale, de la recherche clinique et de la recherche en santé évaluative au site Glen et à l’Hôpital général de Montréal du CUSM. Ses installations de recherche offrent un environnement multidisciplinaire dynamique qui favorise la collaboration entre chercheurs et tire profit des découvertes destinées à améliorer la santé des patients tout au long de leur vie. L’IR-CUSM est soutenu en partie par le Fonds de recherche du Québec – Santé (FRQS). ircusm.ca