Une première : la   statistique médicale  sur la sellette dans la grande presse
    Sous le titre "Quand la médecine confond statistiques et stéthoscope", et le sous-titre: "Faute d'utiliser des méthodes statistiques correctes, une multitude de travaux de recherche médicale sont biaisés." un article du Courrier International en date du 8 Mars 2007 présente la traduction d'un article récemment paru dans The Economist (Londres) ("Why so much medical research is rot": voir texte plus loin). Cette mise  en cause, dans la grande presse, de la statistique médicale  institutionnelle (les essais thérapeutiques), constitue, à ma connaissance, une grande première, du moins avec un tel retentissement (une étude en ligne intitulée "Why most published research findings are false" aurait été téléchargée plus de 100000 fois!). Entendons-nous bien. Il ne s'agit pas ici des tripatouillages de données (graphiques tendancieux, redressements abusifs, etc.), qui font la joie du Canard enchaîné et la fortune des ouvrages  du genre "How to lie with statistics", et qui  peuvent être expliqués et démasqués à l'intention des non-spécialistes. Ce qui est nouveau, ce qui est maintenant  en cause, c'est bel et bien ce savoir d'expert "sophistiqué", prétendument scientifique, pratiqué dans  les laboratoires de recherche, qui permet  à la grande presse d'annoncer, sans autre forme de justification, les nouvelles "découvertes scientifiques": "Une étude de l'INSERM vient de montrer que, etc."
     Il s'agit donc là de la révélation publique d'un énorme scandale, dont les retombées peuvent être imprévisibles. Les patients actuels ou potentiels, les médecins praticiens, les citoyens, les contribuables vont-ils simplement s'esclaffer ("les statistiques, on savait bien que c'est de la rigolade!"); ou vont-ils demander des comptes (évaluation des coûts humains et financiers), et exiger des explications de la part des scientifiques:  "Qu'est-ce que c'est que ces revues à comité de lecture, avec des referees qui peuvent laisser passer 80% de résultats non valables?"
    Le chiffre de 80% de conclusions erronées est sans aucun doute une exagération journalistique (Accordons tout de même un peu de prudence aux scientifiques!); mais hélas on ne peut que souscrire avec le sous-titre du
Courrier International: "Faute d'utiliser des méthodes statistiques correctes, une multitude de travaux de recherche médicale sont biaisés." On peut même affirmer preuves à l'appui que le "biais de sélection" sur lequel est concentré l'article est loin d'être la seule aberration statistique qu'on constate dans la pratique courante des recherches biomédicales.
Mais comment  rendre  opératoire le bon conseil donné par l'article de The Economist: "La prochaine  fois que votre journal vous mettra en garde contre les méfaits de tel ou tel produit pour votre santé, relisez l'article avec attention". Comment diable reconnaître (à moins d'être expert soi-même) si  l'expert a utilisé la "bonne" ou la "mauvaise" méthode statistique?  En réalité, il n'y a pas de méthode correcte ou incorrecte en Statistique, mais une panoplie de méthodes, à utiliser avec discernement dans le  cadre d'une problématique de recherche claire, avec des interprétations motivées. Affirmer "L'effet du médicament est statistiquement significatif", c'est un résultat technique, ce n'est pas une interprétation médicale. Cf. notre texte La preuve en statistique : examen critique de la régression.
Formulons en tout cas le voeu que les professionnels de la statistique b
iomédicale prennent conscience de leurs responsabilités scientifiques et éthiques! 

Texte de l'article de "The Economist", February 24, 2007 

Why so much medical research is rot

People born under the astrological sign of Leo are 15% more likely to be admitted to hospital with gastric bleeding than those born under the other 11 signs. Sagittarians are 38% more likely than others to land up there because of a broken arm. Those are the conclusions that many medical researchers would be forced to make from a set of data presented to the American Association for the Advancement of Science by Peter Austin of the Institute for Clinical Evaluative Sciences in Toronto. At least, they would be forced to draw them if they applied the lax statistical methods of their own work to the records of hospital admissions in Ontario, Canada, used by Dr Austin.

Dr Austin, of course, does not draw those conclusions. His point was to shock medical researchers into using better statistics, because the ones they routinely employ today run the risk of identifying relationships when, in fact, there are none. He also wanted to explain why so many health claims that look important when they are first made are not substantiated in later studies.

The confusion arises because each result is tested separately to see how likely, in statistical terms, it was to have happened by chance. If that likelihood is below a certain threshold, typically 5%, then the convention is that an effect is "real". And that is fine if only one hypothesis is being tested. But if, say, 20 are being tested at the same time, then on average one of them will be accepted as provisionally true, even though it is not.

In his own study, Dr Austin tested 24 hypotheses, two for each astrological sign. He was looking for instances in which a certain sign "caused" an increased risk of a particular ailment. The hypotheses about Leos' intestines and Sagittarians' arms were less than 5% likely to have come about by chance, satisfying the usual standards of proof of a relationship. However, when he modified his statistical methods to take into account the fact that he was testing 24 hypotheses, not one, the boundary of significance dropped dramatically. At that point, none of the astrological associations remained.

Unfortunately, many researchers looking for risk factors for diseases are not aware that they need to modify their statistics when they test multiple hypotheses. The consequence of that mistake, as John Ioannidis of the University of Ioannina School of Medicine, in Greece, explained to the meeting, is that a lot of observational health studies--those that go trawling through databases, rather than relying on controlled experiments--cannot be reproduced by other researchers. Previous work by Dr Ioannidis, on six highly cited observational studies, showed that conclusions from five of them were later refuted. In the new work he presented to the meeting, he looked systematically at the causes of bias in such research and confirmed that the results of observational studies are likely to be completely correct only 20% of the time. If such a study tests many hypotheses, the likelihood its conclusions are correct may drop as low as one in 1,000--and studies that appear to find larger effects are likely, in fact, simply to have more bias.

So, the next time a newspaper headline declares that something is bad for you, read the small print. If the scientists used the wrong statistical method, you may do just as well believing your horoscope.

"The Economist", February 24, 2007 (Vol 382, Iss 8517, p. 114)

Retour à statistique et Statistique

Retour à la page d'accueil

Début de page