Le contrôle accru de la recherche en politique publique s’intensifie après la découverte d’erreurs dans un rapport de Deloitte lors d’une revue très médiatisée du système de santé canadien.
Summary
Comment les problèmes liés à l’IA ont-ils émergé dans l’examen des soins de santé de Terre-Neuve-et-Labrador ?
Une analyse du secteur de la santé commandée par le gouvernement canadien et réalisée par Deloitte, coûtant près de 1,6 million de dollars, contient des inexactitudes apparemment générées par l’IA, selon une enquête de The Independent. Le document de 526 pages, publié par le gouvernement de Terre-Neuve-et-Labrador en mai, représente l’un des contrats de conseil les plus coûteux récemment attribués dans le secteur de la santé de la province.
Le rapport a été préparé pour le ministère de la Santé et des Services communautaires alors dirigé par les libéraux. Il a examiné les soins virtuels, les incitations à la rétention et l’impact de la pandémie de COVID-19 sur les travailleurs de la santé, à un moment où Terre-Neuve-et-Labrador fait face à de graves pénuries d’infirmières et de médecins. Cependant, l’examen médiatique ultérieur a soulevé des questions sur la fiabilité des preuves sous-tendant ces recommandations.
The Independent, un média progressiste axé sur la province la plus à l’est du Canada, a découvert de multiples inexactitudes et anomalies potentielles. De plus, son enquête suggère que certaines des citations de recherche sous-jacentes pourraient avoir été produites ou déformées avec l’aide d’outils d’intelligence artificielle, bien que le récit principal n’ait pas été rédigé par une machine.
Quels types d’erreurs dans les rapports sur la santé au Canada les enquêteurs ont-ils découvert ?
Selon The Independent, le rapport de Deloitte comprenait des citations académiques fausses qui faisaient référence à des articles scientifiques inventés. Ces sources fictives ont été utilisées pour soutenir des analyses de rentabilité, un élément crucial dans la prise de décisions concernant les dépenses de santé. Le rapport a également attribué à tort des chercheurs réels à des études sur lesquelles ils n’avaient jamais travaillé, créant ainsi l’apparence de preuves solides là où il n’en existait aucune.
Certaines citations allaient plus loin, décrivant des articles prétendument coécrits par des chercheurs qui ont affirmé n’avoir jamais collaboré. Cela dit, l’examen n’a pas affirmé que chaque référence était erronée. Au contraire, la préoccupation se concentre sur un schéma de problèmes de citation qui pourrait saper la confiance dans les conclusions du rapport concernant le personnel, les soins virtuels et la réforme du système.
Le rapport a également cité un article supposément publié dans le Canadian Journal of Respiratory Therapy. Cependant, les enquêteurs n’ont pas pu localiser le document dans la base de données du journal, ce qui renforce les craintes que des outils génératifs aient pu inventer des sources plausibles mais inexistantes.
Comment Deloitte a-t-il répondu aux allégations de citations générées par l’IA ?
Dans une déclaration à Fortune, un porte-parole de Deloitte Canada a défendu le contenu du travail. « Deloitte Canada soutient fermement les recommandations présentées dans notre rapport », a déclaré le porte-parole. « Nous révisons le rapport pour apporter un petit nombre de corrections de citations, qui n’affectent pas les conclusions du rapport. »
Le porte-parole a ajouté que l’intelligence artificielle n’a pas produit le rapport écrit lui-même. Au lieu de cela, ont-ils précisé, l’IA a été « utilisée de manière sélective pour soutenir un petit nombre de citations de recherche. » Cependant, compte tenu de l’ampleur de l’étude sur la santé et des enjeux financiers, les critiques soutiennent que même une dépendance limitée aux références générées par machine exige une vérification et une transparence beaucoup plus strictes.
De plus, la position de l’entreprise selon laquelle les corrections de citations n’affectent pas les conclusions du rapport a suscité des critiques. Certains universitaires et décideurs politiques se demandent comment des recherches fabriquées ou mal attribuées peuvent être corrigées sans réévaluer les modèles de rentabilité en aval ou les projections de main-d’œuvre.
Que disent les chercheurs concernés à propos du processus de vérification des faits de la société de conseil ?
Gail Tomblin Murphy, professeure adjointe à l’École des sciences infirmières de l’Université Dalhousie en Nouvelle-Écosse, faisait partie de ceux qui ont été cités incorrectement. Elle a déclaré à The Independent que Deloitte l’avait référencée dans un article académique qui « n’existe pas ». Elle a précisé qu’elle n’avait travaillé qu’avec trois des six autres auteurs attribués dans la fausse citation, et non avec l’ensemble du groupe décrit.
« On dirait que si vous proposez des choses comme ça, ils utilisent peut-être fortement l’IA pour générer du travail, » a déclaré Tomblin Murphy. Ses commentaires soulignent l’inquiétude croissante dans la communauté académique concernant la manière dont les outils génératifs peuvent fabriquer des bibliographies convaincantes mais inexactes, surtout lorsque les consultants ne vérifient pas rigoureusement chaque référence. »
Elle a en outre averti que les rapports orientant la politique publique doivent être soutenus par des preuves validées et de haute qualité. De plus, Tomblin Murphy a souligné que les gouvernements et le public paient des sommes importantes pour ce type de travail, il doit donc être « précis, fondé sur des preuves et utile pour faire avancer les choses. » Sa critique souligne une rupture perçue dans la diligence raisonnable plutôt qu’une simple erreur technique.
Combien a coûté le rapport commandé par le gouvernement, et quelles sont les répercussions politiques ?
Selon une demande d’accès à l’information publiée dans un article de blog mercredi dernier, le gouvernement canadien a payé un peu moins de 1,6 million de dollars pour l’étude de Deloitte, émise en huit versements. Lundi, le rapport était toujours disponible sur le site web du gouvernement de Terre-Neuve-et-Labrador, malgré la controverse croissante concernant ses références et sa méthodologie.
La direction politique de la province a changé depuis la remise du rapport. Tony Wakeham, chef du Parti progressiste-conservateur de Terre-Neuve-et-Labrador, a été assermenté en tant que nouveau premier ministre de la province fin octobre. Cependant, ni le bureau du premier ministre ni le ministère de la Santé et des Services communautaires n’ont répondu immédiatement aux questions de Fortune concernant le rapport de mai, et ils n’ont pas abordé publiquement les préoccupations à ce jour.
Ce silence laisse des questions ouvertes quant à savoir si les recommandations du rapport continueront à orienter la politique de santé. Il soulève également la perspective d’un examen plus approfondi par les législateurs provinciaux ou les organismes de surveillance fédéraux sur la manière dont les recherches des cabinets de conseil sont évaluées avant d’influencer les services publics essentiels.
Comment ces erreurs du rapport Deloitte se comparent-elles avec le cas de l’aide sociale australienne ?
Les révélations canadiennes font suite à des problèmes similaires en Australie. En juillet, Deloitte a produit un rapport de 290 000 $ pour aider le gouvernement australien à renforcer la conformité en matière de bien-être social. L’étude de 237 pages s’appuyait également sur la technologie générative et a ensuite été découverte comme contenant des « hallucinations« , y compris des références à des recherches académiques inexistantes et une citation fabriquée d’un jugement de la cour fédérale.
Après qu’un chercheur a signalé les problèmes, Deloitte a publié une version révisée de l’étude australienne. Le rapport mis à jour, discrètement téléchargé le mois dernier sur le site web du gouvernement, a reconnu que la société avait utilisé le système de langage génératif Azure OpenAI pour aider à créer le document initial. Cette admission n’est venue qu’après que des examens externes ont révélé les citations erronées.
Dans le rapport australien mis à jour, Deloitte a écrit que « les mises à jour effectuées n’ont en aucun cas d’impact ou d’effet sur le contenu substantiel, les conclusions et les recommandations du rapport. » Cependant, les critiques ont soutenu que des sources fabriquées jettent intrinsèquement le doute sur l’intégrité de toute recommandation fondée sur des preuves, et pas seulement sur des détails cosmétiques. De plus, ce deuxième épisode a intensifié le débat sur les hallucinations de l’IA de Deloitte et la robustesse de la vérification interne des faits par la firme.
Quelles conséquences financières Deloitte a-t-elle rencontrées, et que reste-t-il à résoudre pour le Canada ?
Dans le cadre de l’affaire australienne, le cabinet membre local de Deloitte a été contraint de fournir au gouvernement fédéral un remboursement partiel pour le rapport sur le bien-être défectueux. Cette sanction financière a indiqué que les responsables considéraient les inexactitudes liées à l’IA suffisamment graves pour justifier une compensation.
En revanche, aucune information n’a encore été rendue publique concernant un éventuel remboursement ou recours contractuel lié au rapport sur la santé au Canada. Cela dit, la pression pourrait augmenter à mesure que les décideurs politiques, les professionnels de la santé et les contribuables se demandent s’ils ont obtenu la pleine valeur d’une étude qui nécessite désormais des corrections post-publication de sa base de preuves.
Plus largement, les deux épisodes mettent en lumière les risques croissants lorsque les gouvernements s’appuient sur de grands cabinets de conseil utilisant des technologies génératives sans mesures de protection strictes. Ils suggèrent également que les institutions publiques auront besoin de normes plus rigoureuses pour vérifier les sources, en particulier dans les rapports politiques longs et complexes qui peuvent façonner des services essentiels pendant des années.
En résumé, l’examen minutieux en cours de l’évaluation du système de santé canadien par Deloitte et de l’étude sur le bien-être en Australie souligne l’urgence d’obtenir des preuves fiables, une méthodologie transparente et une supervision rigoureuse chaque fois que la recherche assistée par l’IA informe les décisions de politique publique.
