Ep11 – Preuves en science : grimpons l’échelle ! Les preuves ! Enfin…

Laboratoire de science

Nous allons voir ensemble ce qui constitue enfin des preuves scientifiques. Et nous allons voir que même dans ce qui est admis comme preuve … tout n’a pas la même valeur. Ainsi, vous saurez vous méfier des discours « scientifiques » s’appuyant sur des faibles preuves. Votre inventaire : Un tamis et une balance. C’est bon ? Vous êtes équipés ? Alors allons trier et peser les preuves scientifiques…

Cet article fait partie d’une série

Je me suis lancé le défi de publier 31 articles en mars 2021 pour faire un tour d’horizon de la science. Celui-ci est le onzième publié (le premier est le sommaire du défi visible ici)

La science veut des preuves… des vraies et voici ce qui n’en est pas !

Nous étions aux avis d’expert, pas encore une preuve. Mais on entend, lit souvent « Une étude démontre que blablabla ! » et ça y compris dans des revues de science grand public… Moi, je vous invite à la plus grande méfiance.

Une étude est le premier niveau de preuve. C’est à dire à n’utiliser si rien d’autre n’a été produit sur le sujet. Et même, il faut trier étude et étude…

Bonne étude VS mauvaise étude

QUOI ? Il y a des mauvaises études ??? Oui, oui et oui. Toute étude ne se vaut pas.

La méthodologie à respecter pour produire une étude est contraignante : elle doit éviter tous les biais possibles, ne tester qu’une seule variable… bref, les études produites sont plus ou moins conformes aux standard d’exigence attendu. Ce n’est pas grave en soi si on le sait. Une expérience un peu limite sur sa méthodologie aura l’intérêt de montrer les biais à éviter dans des études suivantes, produits des résultats quand même, ils seront utilisés avec prudence. N’est-ce pas chers journalistes ?

D’autant que de bonnes études peuvent statistiquement apporter un faux résultat – gardez cette idée en tête !

Repérer la fiabilité d’une étude

On va voir les critères qui nous mettent en confiance :

La revue dans laquelle est publié l’étude

Il y a revue et revue en sciences. Les « bonnes revues » ont un comité de relecture par les pairs.

Le prestige de la revue est aussi un bon indice : Les excellentes revues sont exigeantes et refusent les études mal construites, leurs pairs relecteurs sont réputés dans leur domaine et elles appliquent l’auto correction scientifique, c’est à dire corrigent ou retirent les études qui se montrent imparfaites après publication. On parle d’ « impact factor » de la revue

Des noms de revues de haut impact factor : Nature, Science, The Lancet…

La réputation des auteurs

En effet, un laboratoire habitué à publier des travaux de haute qualité aura plus de chances de continuer dans la même exigence. Un article de CEA, d’une équipe travaillant au LHC, contribution internationale est certainement écrit selon un certain standard de qualité. Ce n’est toutefois qu’un indice…

N’oublions pas qu’en 1905, c’est un ingénieur contrôleur de brevets sans poste universitaire qui écrivit 5 articles (dont un Nobel) qui révolutionnèrent la physique. Un certain Albert Einstein, sans équipe, sans labo…

Le contenu de l’article lui même

Alors, je vous l’accorde, prétendre juger une étude par soi même semble prétentieux. Pourtant certains indices peuvent aider :

  • la question initiale est elle claire ?
  • est-ce qu’un seul paramètre est testé ?
  • est-ce que les auteurs donnent d’eux même les limites de l’étude ?
  • est-ce que la bibliographie est conséquente ?
  • les sources sont-elles, elles-mêmes, de qualité ?

Laissons le processus scientifique se faire…

Un article seul n’est donc qu’une faible preuve, laissons les experts du domaine tester, évaluer, reproduire l’étude. La science prend son temps…

Un consensus d’experts

Les experts d’un domaine peuvent mettre leurs avis en commun. C’est donc plus qu’un avis d’expert. Les études du domaine servent de base et les experts font le point sur les connaissances du moment. En médecine, par exemple, chaque société savante d’une spécialité rédige ses « recommandations » sur les meilleures pratiques à appliquer.

C’est donc mieux qu’une étude.

Par contre c’est une combinaison d’avis devant encore être confortés par des études ciblées.

L’autre défaut, c’est le rythme de publications… en effet, ces conférences de consensus ne sont pas super fréquentes. Leur contenu peut être un peu « passé ». C’est parfait dans l’application dans les hôpitaux, par exemple, pas pour être aux frontières de la connaissance… La science prend son temps, mais ça j’l’ai déjà dit !

Publications qui ont plus de poids en terme de preuve scientifique : Les méta-analyses

Qu’estcequec’est que cette bête là encore !

Une méta analyse est une étude scientifique d’un grand nombre d’études sur un sujet précis.

J’ai dit que quelques études, par des biais statistiques, peuvent avoir un résultat inverse de la réalité factuelle. Dans une méta-analyse, de telles études sont lissées, intégrées dans des résultats plus larges et sont donc réévaluées correctement.

C’est ainsi que se construisent les connaissances. Et c’est là ou il faut avoir un point de vigilance.

Une personne peut vous sortir une étude montrant qu’il n’y a pas de réchauffement climatique, on peut en trouver…

Exemple : F. Gervais (2020). L’urgence climatique est un leurre [Texte imprimé] : prévenir un gâchis économique gigantesque – L’artilleur (1 point preuve – très proche de l’avis d’expert) [découvrez un peu plus loin mon invention : le « point preuve »]

Par contre un climatologue basera son discours sur les méta-analyses combinant parfois plusieurs centaines d’études issues d’équipes indépendantes, de plusieurs pays… qui contredisent l’étude en question. La force de preuve d’une méta-analyse suffit à refuser les conclusions de l’étude sans autre forme de procès.

Exemples : Challinor, A., Watson, J., Lobell, D. et al. A meta-analysis of crop yield under climate change and adaptation. Nature Clim Change 4, 287–291 (2014). https://doi.org/10.1038/nclimate2153 (3500 points preuves – cité dans 1200 autres articles)

Mike S. Schäfer & Inga Schlichting (2014) Media Representations of Climate Change: A Meta-Analysis of the Research Field, Environmental Communication, 8:2, 142-160, DOI: 10.1080/17524032.2014.914050 (1500 points preuves – cité dans 211 autres articles)

En plus sur des sujets très débattus, on fait des méta-analyses de… méta-analyses…

La force des preuves

Tout ce qui est en dessous de l’étude est considéré au mieux comme indices, plus ou moins importants.

Il n’existe pas d’échelle véritable mais je vais vous imager la comparaison du niveau de preuve :

Une étude, une thèse

C’est un niveau 1 à 10 en fonction de la qualité et l’importance de l’étude.

Un consensus d’expert

On passe tout de suite à un niveau 100

Une méta analyse

C’est niveau 1 000

Une méta-analyse de méta-analyse

On a un niveau facilement de 10 000

Une étude montre que…

Les journalistes, les complotistes, les détracteurs vont vous sortir ces études là pour vous influencer. Mais rappelez-vous, une seule méta-analyse met tout à plat ! En tout cas, ce seront les seules références des experts.

Exemple du climatosepticisme : 1 point contre 5000 points – Game Over !

Alors méfiez-vous de ces études qu’on tourne vers le public, dont on fait un livre… c’est un moyen de peser par l’opinion, pas par la preuve !

Sources

Mon défi : Tour d’horizon de la science en 30 jours

Les règles que je me suis fixées :

  • Je publie un article par jour pendant le mois de mars 2021
  • Je traite de la méta question de LA science
  • Je fournis mes sources principales
  • Je suis faillible et peux faire des erreurs, je les reconnaitrai publiquement lors de la correction d’articles (et créditerai celui ou celle qui me le fera savoir) – pas pour des fautes d’orthographe non plus 😉 il n’y a pas d’intérêt.

J’aimerais votre avis sur mon défi :

  • est-ce une bonne idée ?
  • que souhaitez-vous que je traite ?
  • est-ce utile, avez-vous appris de mes articles ?

J’attends vos commentaires.

Partagez si vous aimez ;-)

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.