Accueil / Science & conscience / À la recherche de statisticiens complaisants

À la recherche de statisticiens complaisants

Publié en ligne le 23 juillet 2019 - Intégrité scientifique - Médecine

Les chercheurs en médecine ont souvent recours, pour terminer une étude, à l’assistance de statisticiens pour réaliser le traitement mathématique des résultats obtenus. Cependant, il arrive que des études médicales fassent montre d’une rigueur insuffisante, voire d’erreurs manifestes dans l’interprétation des données. Se pourrait-il que certaines de ces situations résultent de demandes explicites de la part de chercheurs ? Pour évaluer l’ampleur du phénomène, des chercheurs américains ont eu l’idée de soumettre un questionnaire à un échantillon de 800 biostatisticiens américains tirés au sort afin de déterminer la fréquence de requêtes inadéquates reçues lors de demandes d’analyse de données [1]. Au total, 522 statisticiens ont lu le questionnaire (envoyé par e-mail via un système permettant de savoir si le destinataire avait bien ouvert le courrier), 400 réponses ont été reçues parmi lesquelles 390 étaient suffisamment complètes pour être exploitables. Ce taux de réponse de 74 % est largement supérieur à la moyenne observée dans d’autres études du même type et permet de supposer que les résultats ne souffrent pas d’un fort biais de réponse.
Le questionnaire énumérait 18 catégories de pratiques délétères en matière d’interprétation ou de présentation des résultats et les statisticiens contactés étaient invités à comptabiliser le nombre de fois, au cours des cinq dernières années, où ils avaient reçu de telles requêtes. Il leur était également demandé d’indiquer leur opinion personnelle sur le degré de gravité (sur une échelle de 0 à 5) de chaque catégorie de mauvaises pratiques. Afin de maximiser le taux de réponse, il n’a pas été demandé aux statisticiens s’ils avaient répondu à ces demandes (la crainte de s’auto-inculper aurait dissuadé certains de répondre). Les résultats sont surprenants, révélant soit une ignorance méthodologique des chercheurs, soit un manque d’intégrité visant à embellir des résultats. Certes, les deux types de violations considérées comme les plus graves (falsifier la significativité statistique d’un résultat ou bien modifier purement et simplement des données pour aboutir à la conclusion désirée) n’ont été rencontrés respectivement que par 2 % et 7 % des biostatisticiens. Mais toutes les autres violations, souvent considérées comme de la plus grande gravité, ont été rencontrées par 15 % à 55 % des statisticiens interrogés.


Le top 8 des 18 demandes délétères

Toutes ces demandes ont été classées « très graves » par au moins 50 % des statisticiens et ont été soumises au moins une fois à au moins 20 % d’entre eux au cours des cinq dernières années.

1. Supprimer ou modifier certaines observations pour mieux appuyer l’hypothèse testée.

2. Interpréter les résultats statistiques sur la base des attentes et non des résultats réels.

3. Ne pas signaler l’existence de données clés manquantes qui pourraient biaiser les résultats.

4. Ignorer la violation d’hypothèses car les résultats pourraient devenir négatifs.

5. Modifier une échelle de mesure pour obtenir certains résultats souhaités plutôt que de s’en tenir à l’échelle originale validée.

6. Analyser sur la base d’un calcul a posteriori, ce qui est une mauvaise pratique, en faisant en sorte que le lecteur pense que le calcul avait été fait a priori.

7. Effectuer trop de tests statistiques choisis après avoir eu connaissance des résultats.

8. Remplacer le critère principal a priori par un critère secondaire a posteriori (demande de ne pas s’ajuster correctement pour les tests multiples).

Rédaction Médicale et Scientifique

Ces observations montrent qu’une meilleure formation méthodologique des chercheurs est indispensable. L’éditorial accompagnant l’article dans les Annals of Internal Medicine remarque que ces pratiques contribuent à la mauvaise reproductibilité des recherches et qu’elles ne sont pas détectables a posteriori [2]. Il insiste également sur la nécessité d’une meilleure formation des chercheurs et, surtout, sur l’implication de statisticiens dès le début d’une étude, et non pas seulement à la fin, pour l’analyse des données. En effet, selon les mots du statisticien Donald Rubin cité dans l’éditorial :  « pour une inférence causale objective, la conception l’emporte sur l’analyse ». Une bonne conception du dispositif de l’étude n’améliore pas seulement la puissance statistique (c’est-à-dire le degré de certitude avec lequel les données recueillies peuvent soutenir une hypothèse), mais elle minimise les biais et simplifie souvent l’analyse des résultats.

Références


- 1 Wang MQ, Yan AF, Katz RW, “Researcher requests for inappropriate analysis and reporting : AUS survey of consulting biostatisticians”, Annals of Internal Medicine, 2018, 169 :554-558.

- 2 Localio AR, Stack CB, Meibohm AR et al., “Inappropriate statistical analysis and reporting in medical research : perverse incentives and institutional solutions”, Annals of Internal Medicine, 2018, 169 :577-578.


Retrouvez plus d’informations sur le thème de l’intégrité scientifique sur le blog :
https://www.redactionmedicale.fr/


Publié dans le n° 327 de la revue


Partager cet article


L' auteur

Hervé Maisonneuve

Médecin de santé publique, il est consultant en rédaction scientifique et anime le blog Rédaction Médicale et (...)

Plus d'informations