ANALYSE D'ARTICLE

Comment améliorer la qualité scientifique des méta-analyses ? Application à la relation des maladies neurodégénératives avec les principales expositions professionnelles

L’objectif des auteurs de cette étude méthodologique est de reprendre leurs trois méta-analyses intégrées et stratifiées, récemment publiées, portant sur la relation des maladies neurodégénératives avec les principales expositions professionnelles, pour investiguer statistiquement la possibilité d’un biais de publication dû à la sélection ou à l’hétérogénéité de précision dans l’estimation des risques relatifs.

Les publications analysées ici sont donc les mêmes que celles des études précédentes, avec l’ajout de trois publications de 2017. Dans toutes leurs études, la sélection des publications a constamment obéi aux lignes directrices MOOSE et GRADE. La qualité des publications a ensuite été évaluée selon la classification d’Armon [1] en utilisant des protocoles standardisés. Seules les études classées II et III dans le score global d’Armon ont été retenues comme présentant une bonne qualité scientifique. Les études rejetées avaient de graves faiblesses (score d’Armon IV) ou devaient être ignorées (score d’Armon V).

Les estimations des risques tirées des publications sélectionnées sont exprimées en risques relatifs (RR), car l’effet des expositions étudiées en termes de morbidité est rare. Les auteurs ont considéré les ratios de cotes (odds ratio) et les ratios de risques (hazard ratio) comme équivalents aux risques relatifs. Quand l’exposition était catégorisée en plusieurs niveaux, l’estimation de risque retenue était celle du plus fort niveau d’exposition. Les résultats sont rapportés uniquement avec des estimations d’effets aléatoires. Les pondérations utilisées pour la mise en commun des estimations de risques sont égales à la pondération inverse-variance. Les estimations de risques regroupées sont présentées avec des intervalles de confiance de 95 %.

Le biais de publication a été détecté avec le schéma de l’entonnoir, dans lequel les estimations de RR doivent être distribuées symétriquement autour du RR pondéré. L’estimation de RR qui provient d’une publication affectée par un biais s’écarte de cette distribution (dont les limites ont la forme d’un entonnoir renversé). Le test de corrélation de rang proposé par Begg et Mazumdar [2] a été utilisé pour compléter l’interprétation du schéma de l’entonnoir. Les auteurs ont cherché à savoir si le biais de publication pouvait provenir soit de l’année de publication – car les premières études à caractère plus exploratoire sont plus susceptibles d’être publiées si elles montrent une augmentation des RR –, soit de la précision statistique de l’estimation du RR – car les études moins précises avec des intervalles de confiance pour RR plus larges sont plus susceptibles d’être publiées si elles indiquent une augmentation de RR. Cette révision méthodologique a permis aux auteurs d’établir plus solidement trois résultats.

L’exposition professionnelle aux pesticides entraîne une augmentation d’au moins 50 % du risque de contracter la maladie de Parkinson, la maladie d’Alzheimer ou la sclérose latérale amyotrophique (SLA), rangées dans l’ordre décroissant de risque. Ils ont utilisé 24 publications pour la maladie de Parkinson. L’étude la plus grosse basée sur le registre de mortalité américain a un fort impact sur le RR pondéré de la maladie de Parkinson. Sa force vient à la fois du nombre de données et du mode d’évaluation de l’exposition des personnes basé sur une grille d’exposition aux postes de travail, qui a été validée et appliquée à l’occupation principale de chaque personne malade selon les données du recensement. Dans les 23 autres études, l’information sur l’exposition aux pesticides a été obtenue par questionnaire ou entretien. Les neuf études qui répondent au plus haut niveau de qualité scientifique (classe II d’Armon) se répartissent moitié-moitié dans les groupes des grandes études et des petites études. Les 12 études avec la précision la plus basse donnent un RR pondéré de 2,14 au lieu de 1,39 pour les 12 autres avec la précision la plus haute. Enfin, les études publiées avant 2005 donnent un RR pondéré plus grand que les études plus récentes (1,98 comparé à 1,57). Les auteurs n’ont cependant pu exploiter que six publications pour la SLA et quatre publications pour la maladie d’Alzheimer, ce qui les empêche de discuter la validité des RR pondérés qu’ils obtiennent. La comparaison avec les huit autres revues systématiques et méta-analyses publiées sur le même sujet, les a conduits à examiner la qualité scientifique des publications utilisées. Il apparaît qu’une minorité seulement répond au standard de qualité d’Armon, ce qui amène à penser que les estimations de risques pondérés produites doivent être interprétées prudemment. Néanmoins, comme elles sont du même ordre de grandeur que les leurs, les auteurs en concluent que leurs résultats sont sûrs.

L’exposition professionnelle au plomb semble entraîner au moins 50 % d’augmentation du risque de contracter la SLA ou la maladie de Parkinson (RR pondéré de 1,57 obtenu à partir de cinq publications seulement). Ce résultat est confirmé par deux revues systématiques et méta-analyses sur la SLA, et par une autre sur la maladie de Parkinson. L’effet du plomb sur la maladie d’Alzheimer n’a pas pu être étudié, en l’absence de données épidémiologiques.

L’exposition professionnelle aux champs électromagnétiques (CEM) de basse fréquence semble entraîner une augmentation de l’ordre de 10 % seulement du risque de SLA et de maladie d’Alzheimer. Les publications de 2005 et plus tard ne présentent aucun biais et donnent un RR pondéré de 1,12 (IC 95 % : 1,04-1,20). Aucune augmentation de risque n’a été trouvée pour la maladie de Parkinson. Ces résultats pour la maladie d’Alzheimer et la SLA ne concordent pas avec ceux de plusieurs revues systématiques et méta-analyses précédemment publiées, qui concluent à des effets plus importants soit sur les maladies neurodégénératives (quatre études), soit sur la maladie d’Alzheimer (deux études), soit sur la SLA (trois études). Pour expliquer ces différences, les auteurs font remarquer que les estimations de risques pondérés dans ces méta-analyses sont basées sur des études qui sont de haute qualité scientifique selon les standards d’Armon, mais qui n’en sont pas moins entachées de différents types de biais et de faiblesses méthodologiques, spécialement apparents dans les études antérieures à 2005.

Commentaire

Cette étude est l’occasion d’une réflexion élargie sur la nécessité de l’assurance qualité scientifique, tant au stade de la production du savoir (la recherche), de sa synthèse (revue systématique et méta-analyse), du savoir-faire (la référence), que de l’utilisation (la veille documentaire, l’expertise, l’enseignement). Cette nécessité, maintes fois affirmée, n’a toujours pas trouvé les voies consensuelles de sa mise en œuvre.

L’industrialisation mondialisée de la production du savoir scientifique a un effet accélérateur positif, mais aussi délètère. Ainsi, en Europe, on peut déplorer la raréfaction des budgets publics récurrents et la généralisation de la compétition pour les crédits réservés à l’excellence au détriment de la coopération entre équipes. Certains dénonceront aussi l’extension de la précarisation des travailleurs scientifiques au détriment de la sécurité de l’emploi catégoriel qui autorise indépendance et liberté d’esprit. Mais ce qui fait consensus, c’est le constat de l’inflation galopante du nombre des publications scientifiques, encore accélérée par la révolution numérique de l’édition scientifique.

Des résultats partiels ou non vérifiés sont mis précipitamment sur le marché du savoir (« publish or perrish ! ») où il revient à chaque « client » d’être capable de distinguer dans le flux continu le bon grain de l’ivraie, sur la base de critères réputationnels aussi flous qu’incertains, en y perdant beaucoup de temps. Par un effet mécanique, en effet, la qualité scientifique des publications devient plus hétérogène à mesure que le processus académique vertueux d’évaluation scrupuleuse impartiale et bénévole par les pairs, hérité du stade artisanal, se trouve submergé, alors qu’il est toujours le seul verrou en place.

Quel autre secteur industriel et marchand pourrait se permettre aujourd’hui de vivre hors système d’assurance qualité ?

  • [1] Armon C. An evidence-based medicine approach to the evaluation of the role of exogenous risk factors in sporadic amyotrophic lateral sclerosis. Neuroepidemiology. 2003;22:217-228.
  • [2] Begg C.B., Mazumdar M. Operating characteristics of a rank correlation test for publication bias. Biometrics. 1994;50:1088-1101.

Publication analysée :

* Gunnarsson LG, Bodin L. Occupational exposures and neurodegenerative diseases – A systematic literature review and meta-analyses. Int J Environ Res Public Health 2019 ; 16 : 337-354. doi : 10.3390/ijerph16030337