Par GIDEON MEYEROWITZ-KATZ*

Une étude frauduleuse ou du moins imparfaite a soutenu le traitement d'un grand nombre de personnes avec de l'invermectine

L'ivermectine est un médicament antiparasitaire utilisé pour traiter de nombreux types de vers et de maladies similaires. Il est très sûr, largement utilisé dans le monde et, sous la plupart des formes, un médicament utile à avoir sous la main si vous pensez avoir été exposé à des matières fécales humaines contaminées ou si vous avez simplement besoin de désinfecter vos moutons.

Cependant, il y a eu beaucoup de buzz autour de l'ivermectine pour une autre raison. Selon plusieurs groupes ad hoc dans le monde, ainsi que dans quelques études scientifiques, l'ivermectine est une balle en argent contre le COVID-19. Et bien qu'il puisse y avoir un doute quant à l'efficacité de l'ivermectine, l'Organisation mondiale de la santé recommande qu'elle soit utilisée pour traiter le COVID-19 uniquement dans le cadre d'un essai clinique, il y a aussi beaucoup d'optimisme quant à son utilisation comme traitement. Une demi-douzaine de pays ont officiellement promu l'ivermectine en tant que médicament COVID-19, et elle a probablement déjà été administrée à des dizaines de millions de personnes dans le monde, avec le les prix montent en flèche comme résultat.

Tout cela est un peu inquiétant si l'on considère que nous ne savons pas vraiment si l'ivermectine fonctionne pour traiter le COVID-19, mais c'est compréhensible étant donné que les traitements les plus chers ne sont pas toujours disponibles et que les gens ont besoin de quelque chose de bon marché qu'ils peuvent au moins essayer. .dans le cas de personnes mourant d'infection. Ce n'est pas idéal, mais il y a des signes que l'ivermectine fonctionne et c'est très sûr, alors pourquoi ne pas l'essayer ?

Sauf pour une chose. Il semble que l'un des principaux essais humains de l'ivermectine puisse être un travail sophistiqué de fraude scientifique. Il est difficile de savoir même si l'étude a réellement eu lieu. Si cela est vrai, cela pourrait signifier que l'ivermectine n'a absolument aucun avantage pour le COVID-19, et des dizaines de millions de personnes dans le monde ont été induites en erreur.

Bouclez votre ceinture, c'est une route cahoteuse.

Méta-recherche

Avant d'en venir à l'étude elle-même, il y a quelque chose d'important à comprendre ici : une seule étude change rarement tout en médecine. Le fait est que les études individuelles ont tendance à être relativement petites et nous laissent donc avec un degré d'incertitude qui est problématique si nous parlons des médicaments que vous prenez pour vous sauver la vie d'une maladie mortelle.

Pour résoudre le problème de nombreux petits essais, nous effectuons des choses appelées revues systématiques et méta-analyses. Ce sont des agrégations de recherche scientifique qui regroupent toutes les études connues sur un sujet en un seul endroit, puis les combinent dans un modèle statistique afin que nous puissions voir quel pourrait être l'effet global d'un médicament. Au lieu d'une douzaine de petites études, nous obtenons une grande estimation globale, qui en théorie est le dernier mot sur l'efficacité ou non d'un traitement.

Le seul problème avec ces analyses est que si une seule étude a un grand nombre de participants ou un effet énorme, elle peut transformer la tendance générale en quelque chose de positif, même si les études n'ont généralement trouvé aucun résultat. Maintenant, ce n'est généralement pas un gros problème, mais cela signifie que parfois vous avez tout un corpus de littérature disant que quelque chose fonctionne en utilisant l'agrégation de référence de nombreuses études qui est en fait basée sur les résultats d'une seule enquête.

Et de temps en temps, cette étude s'avère terriblement erronée.

L'étude

Dans cet esprit, voyons notre étude troublée. En fait, j'ai déjà écrit à ce sujet - c'est une prépublication, pas encore acceptée dans une revue scientifique, publiée dans Place de la recherche par un groupe de médecins égyptiens. L'étude s'intitule "Efficacité et innocuité de l'ivermectine pour le traitement et la prophylaxie de la pandémie de COVID-19" et est assez impressionnante dans sa valeur brute, les auteurs recrutant 400 personnes atteintes de COVID-19 et 200 contacts étroits et les répartissant au hasard pour recevoir l'ivermectine ou un placebo. Étonnamment, l'étude a révélé que les personnes traitées à l'ivermectine avaient 90% moins de risques de mourir que les personnes recevant le placebo, ce qui, si cela était vrai, ferait de l'ivermectine le traitement le plus incroyablement efficace jamais découvert dans la médecine moderne.

De plus, comme il sied au plus grand essai randomisé unique à ce jour sur l'ivermectine pour le COVID-19, son impact est disproportionné dans la littérature. Comme je t'ai montré avant, l'exclusion de ce seul élément de recherche de plusieurs modèles méta-analytiques inverse presque complètement leurs résultats. Il n'est pas exagéré de dire que cette seule recherche suscite la quasi-totalité de la croyance dans les avantages que les gens attribuent actuellement à l'ivermectine.

Cependant, même à première vue, il y a quelques problèmes. Les auteurs ont utilisé les mauvais tests statistiques pour certains de leurs résultats – pour les esprits techniques, ils rapportent des valeurs de chi carré pour des données numériques continues – et leur méthodologie est pleine de failles. Ils ne signalent aucune dissimulation d'attribution, il y a des questions quant à savoir s'il y avait un protocole d'intention de traiter ou si les personnes ont été commutées entre les groupes, et les informations de randomisation sont terriblement inadéquates. En tant qu'étude, il semble très probable qu'elle soit biaisée, ce qui rend les résultats assez difficiles à faire confiance.

Mais ce n'est peut-être pas surprenant, étant donné la possibilité que l'étude n'ait jamais eu lieu.

divergences de données

Les problèmes avec papier ils commencent par le protocole, mais ils ne s'arrêtent certainement pas là. Dans une histoire vraiment spectaculaire, un étudiant à la maîtrise britannique nommé Jack Lawrence lisait cet article et a remarqué quelque chose d'étrange - toute l'introduction semble avoir été plagiée. Il est en fait assez facile de le confirmer - j'ai copié et collé quelques phrases de différents paragraphes dans Google et il est immédiatement évident que la majeure partie de l'intro a été extraite d'ailleurs en ligne sans attribution ni reconnaissance.

C'est un mauvais signe, mais cela effleure à peine la surface des problèmes ici. On pourrait peut-être pardonner un plagiat dans une pré-impression s'il a effectivement trouvé un remède miracle, mais il y a des problèmes pires dans le texte.

Par exemple, il y a des nombres incroyablement improbables, presque impossibles. Dans le tableau 4, l'étude montre la moyenne, l'écart type et les intervalles de temps de récupération chez les patients de l'étude. Le problème est qu'avec une plage rapportée de 9 à 25 jours, une moyenne de 18 et un écart type de 8, il y a très peu de paramètres de nombre qui correspondraient à ce résultat. Vous pouvez même calculer cela en utilisant l'outil sprite développé par des détectives de fraude intelligents James Heathers, Nick Brown, Jordan Anaya et Tim Van Der Zee – pour une moyenne de 18 jours cohérente avec les autres valeurs. La plupart des patients de ce groupe auraient dû rester à l'hôpital pendant 9 ou 25 jours exactement. Eh bien, ce n'est peut-être pas tout à fait impossible, mais c'est tellement bizarre que cela soulève de très sérieuses questions sur les résultats du test lui-même.

D'une manière ou d'une autre, c'est encore pire. Il s'avère que les auteurs ont téléchargé les données réelles qu'ils ont utilisées pour l'étude dans un référentiel en ligne. Bien que les données soient verrouillées, notre héros Jack Lawrence a pu deviner le mot de passe du fichier - 1234 - et accéder aux informations anonymes au niveau du patient que les auteurs ont utilisées pour assembler cet article.

le fichier de données est toujours en ligne (et vous pouvez le télécharger pour 9 $ + taxes) et l'examiner par vous-même. J'en ai une copie et c'est incroyable de voir à quel point les défauts sont évidents, même à première vue. Par exemple, l'étude rapporte qu'elle a obtenu une approbation éthique et a commencé le 8 juin 2020, mais dans le fichier de données téléchargé par les auteurs sur le site Web des prépublications, 1/3 des personnes décédées du COVID-19 étaient déjà mortes lorsque le les chercheurs ont commencé à recruter leurs patients. À moins qu'ils n'obtiennent des personnes décédées qu'elles consentent à participer au procès, ce n'est pas vraiment possible.

De plus, environ 25 % de l'ensemble du groupe de patients qui ont été recrutés pour cet essai prétendument prospectif randomisé semblent avoir été hospitalisés avant même le début de l'étude. commencer, ce qui est soit un manquement époustouflant à l'éthique, soit un très mauvais signe de fraude potentielle. Pire encore, si vous regardez les valeurs pour différents patients, il apparaît que la plupart du groupe 4 sont simplement clones entre eux, avec des initiales identiques ou très similaires, des comorbidités, un nombre de lymphocytes, etc.

Tous ce sont des signes classiques et caractéristiques de la fraude scientifique – des segments répétés (avec des modifications mineures) dans les données se trouvent dans divers articles scientifiques qui se sont révélés frauduleux par la suite. Même s'il ne s'agit pas d'une fraude pure et simple, les préoccupations éthiques liées à la randomisation de personnes dans un essai clinique avant l'apparition de l'approbation éthique sont énormes.

Je n'entrerai pas dans toutes les divergences que ces données montrent. Tellement Jack Lawrence quanto Nick Brown ont examiné attentivement les questions, et je vous recommande fortement de lire les deux articles avant de continuer. Ils expliquent, dans les moindres détails, toutes les raisons pour lesquelles il semble peu probable que cette étude ait pu se dérouler telle que décrite.

Je vous laisse une seconde pour lire ceci. Croyez-moi, ça vaut le coup.

Bon, nous sommes de retour. Les auteurs ont donc mis en ligne un jeu de données brutes très similaire aux résultats de l'étude qu'ils ont mis en ligne, mais aussi manifestement faux. Qu'est-ce que cela signifie?

Eh bien, il est possible que ce soit une grosse erreur. Les auteurs ont peut-être créé une feuille de calcul qui correspondait trop à l'étude, qui était également composée d'informations simulées pour une raison inconnue, puis les a accidentellement téléchargées au lieu des informations réelles. Peut-être que lorsqu'ils ont mis le fichier en ligne, ils ont réussi à copier et coller une douzaine de patients 5 fois, en écrasant les valeurs réelles dans la précipitation pour démarrer leur étude.

Peut-être. Cela semble hautement improbable, surtout compte tenu de la proximité de la plupart des informations de cette feuille de calcul avec les résultats de l'étude, mais il est possible que ce soit une erreur commise par des chercheurs par ailleurs crédibles.

D'un autre côté, il y a la possibilité très réelle que des parties ou même la totalité de l'étude soient fabriquées. Nous ne savons pas - peut-être que nous ne le saurons jamais avec certitude - mais cela ne semble pas exagéré étant donné les chiffres impossibles même dans le manuscrit lui-même.

Conséquences

Pris au pied de la lettre, c'est très mauvais. Cette étude a été vue et téléchargée plus de 100.000 30 fois et, selon Google Scholar, a accumulé 2020 citations depuis novembre XNUMX, date de sa première publication. Cela signifie que cette recherche potentiellement frauduleuse a été utilisée pour cibler le traitement des patients, probablement de nombreuses personnes à ce stade.

Mais ça empire. Bien pire, en fait.

Vous voyez, une grande partie du battage médiatique autour de l'ivermectine n'est pas due à cette seule étude mais, comme je l'ai dit plus tôt, aux méta-analyses. deux études récent, en particulier, ont beaucoup attiré l'attention, tous deux prétendant montrer, avec des preuves de la plus haute qualité, que l'ivermectine sauve des vies.

Le problème est que si vous regardez ces grands modèles agrégés et que vous supprimez uniquement cette étude, l'ivermectine perd presque tous ses avantages revendiqués. Voir la méta-analyse récente de Bryant et al.. cela a fait la une des journaux - ils ont trouvé une réduction de 62% du risque à vie pour les personnes traitées à l'ivermectine, par rapport aux témoins, lorsqu'ils ont combiné des essais contrôlés randomisés.

Cependant, si vous supprimez l'article d'Elgazzar de votre modèle et que vous l'exécutez à nouveau, le bénéfice passe de 62 % à 52 % et perd largement sa signification statistique. Il n'y a aucun avantage observé chez les personnes atteintes de COVID-19 sévère, et les intervalles de confiance pour les personnes atteintes d'une maladie légère et modérée deviennent extrêmement larges.

Aussi, si vous incluez une autre étude qui a été publié après la publication de la méta-analyse de Bryant, qui n'a trouvé aucun avantage pour l'ivermectine pour la mort, les avantages observés dans le modèle disparaissent complètement. à un autre méta-analyse récente, il suffit de supprimer Elgazzar pour supprimer entièrement le buff.

C'est important. Cela signifie que si cette étude est frauduleuse, elle aura d'énormes implications non seulement pour les personnes qui lui ont fait confiance, mais pour toutes les recherches qui l'ont incluse dans leur analyse. Jusqu'à ce qu'il y ait une explication raisonnable pour les nombreuses divergences dans les données, sans parler des chiffres invraisemblables rapportés dans l'étude, toute analyse qui inclut ces résultats doit être considérée comme suspecte. Étant donné qu'il s'agit actuellement du plus grand essai clinique randomisé sur l'ivermectine pour le COVID-19, et que la plupart des analyses l'ont jusqu'à présent inclus, il s'agit d'une situation vraiment préoccupante pour l'ensemble de la littérature.

De toute façon

La réalité quelque peu effroyable est qu'il y a eu un nombre énorme de personnes traitées à l'ivermectine en grande partie sur la base d'un essai qui, s'il n'est pas carrément frauduleux, est si défectueux qu'il n'aurait jamais dû être utilisé pour une décision médicale de toute façon. . Même si nous ignorons les fausses données chargées de l'étude, il est difficile d'ignorer la myriade d'autres problèmes que la recherche démontre.

Où cela nous laisse-t-il avec la question de savoir si l'ivermectine fonctionne pour COVID-19 ? Eh bien, tout d'abord, une fois que vous avez exclu Elgazzar du pool de recherche, les meilleures preuves actuelles montrent un manque d'avantages assez constant. Il existe encore une ou deux petites études très positives, mais dans l'ensemble, l'ivermectine ne semble pas réduire le risque de mourir du COVID-19.

maintenant il y a répétitions beaucoup plus importantes en cours pour répondre à cette question avec certitude, et j'attends avec impatience vos résultats - comme je l'ai déjà dit, le principal problème en ce moment est que les preuves ne sont tout simplement pas assez bonnes pour être sûr de toute façon. Cependant, si le plus grand essai jamais réalisé sur un médicament a été frauduleux, ce n'est pas un signe prometteur.

Nous nous retrouvons également avec un bilan monumental. Il ne faut pas qu'un étudiant à la maîtrise/journaliste d'investigation consulte une étude pour se rendre compte qu'il s'agit potentiellement d'une fraude. Cette étude a été examinée par des dizaines de scientifiques, moi y compris, et même si j'ai dit qu'il était de très mauvaise qualité, je n'ai pas remarqué les problèmes avec les données.

Cela fait plus de six mois que cette étude a été mise en ligne. Selon toutes les indications, les résultats de cette recherche ont été utilisés pour traiter des milliers, voire des millions, de personnes dans le monde. Et pourtant, jusqu'ici personne n'a remarqué que l'essentiel de l'introduction [de l'article] est plagié ?

La communauté scientifique et nous, nobles défenseurs de la vérité, avons merdé.

Il n'y a pas de fin agréable et facile pour moi de conclure ici. L'enquête sur cette étude est en cours et un jour nous aurons peut-être l'histoire dans son intégralité, mais entre-temps, le mal a été fait.

L'entreprise scientifique aime être excitée par l'idée que la science « s'auto-corrige » - que les défauts et les erreurs sont découverts par le processus même de la science. Mais ce n'était pas une erreur. Des experts accrédités ont lu cet essai et l'ont évalué à FAIBLE risque de biais. Pas une fois, mais à plusieurs reprises. Les médecins l'ont regardé et ont vu un remède miracle, malgré les problèmes de la recherche, même après une analyse superficielle.

Je ne suis pas sûr que cette étude soit frauduleuse, et nous ne le saurons peut-être jamais. Mais nous savons que personne n'aurait jamais dû l'utiliser comme preuve de quoi que ce soit. Nous devrons reconnaître le fait qu'une enquête vraiment honteuse, qui peut s'avérer être un canular, a été mise en ligne et utilisée pour orienter le traitement de millions de personnes à travers le monde.

Et personne ne l'a remarqué jusqu'à ce qu'il soit trop tard.

*Gédéon Meyerowitz-Katz, épidémiologiste, est doctorante à l'Université de Wollongong, en Australie.

Traduction: Sean Purdy e Léandro Tessler pour la revue question scientifique.