Ep28 – Protocole expérimental, les bases

Protocole expérimental

Les sciences ont besoin de conforter les théories scientifiques dans le réel empirique. On a vu que c’est la partie recherche et doute. On construit donc ces expériences pour mettre en lumière la capacité d’une théorie à prédire ce qui va se passer. Moins la théorie se trompe, plus elle est crédible…

Mais comment concevoir ces expériences ?

Cet article fait partie d’une série

Je me suis lancé le défi de publier 31 articles en mars 2021 pour faire un tour d’horizon de la science. Celui-ci est le vingt-huitième publié (le premier est le sommaire du défi visible ici)

Commencer par le début !

Des expériences testent une hypothèse d’explication du réel.

Mais il ne faut pas admettre les théories qui n’ont pas de faits observables. On risquerait de monter des expériences en mode panglossien !

Lorsqu’on veut tester une hypothèse, on regarde déjà les faits qui existent et que cette hypothèse tente d’expliquer. Ensuite, on regarde si l’hypothèse testée est conforme aux théories admises. En effet, l’hypothèse doit être liée aux connaissances scientifiques déjà validées.

Donc avant même d’imaginer expérimenter, il faut contextualiser !

L’épreuve de la licorne rose invisible

Si mon hypothèse est l’existence de cette licorne rose invisible, il faut déjà que des faits établissent son existence potentielle. Sinon, on peut rejeter l’hypothèse : Elle n’existe pas jusqu’à preuve du contraire.

C’est exactement le même raisonnement que pour la théière de Russel : Le fait qu’il soit impossible de prouver qu’elle n’existe pas, n’implique pas qu’elle existe mais, par le rasoir d’Occam et la charge de la preuve, au contraire qu’on a aucune raison de penser qu’elle existe sauf si on nous en fournit la preuve.

Une affirmation sans preuve peut être rejeté sans preuves.

Désolé Licorne rose, tu resteras un animal fabuleux onirique… en même temps, ceci te préserve de l’extinction d’espèces qu’on est en train d’accomplir brillamment…

Et si on a des preuves de notre hypothèse ?

Alors là, oui, on entre dans le champ de l’investigation scientifique.

Par exemple, la kinésiologie. Ça marche sur de nombreux sujets, c’est preuve d’existence du phénomène.

Alors, il est possible de concevoir une expérience scientifiquement valide pour tester la véracité des effets kinésiologiques.

Mais pourquoi, puisque ça fonctionne !

Non, pas nécessairement, il faut faire une expérience soit qualitative (qui va décrire au mieux le phénomène) soit quantitative (qui va estimer à quel point « ça marche ») ou mieux, les 2.

Rappelons-nous que les témoignages (et ici, nous n’avons que des témoignages) ne sont pas des preuves, mais des indices. Pour l’instant, je n’ai aucune preuve de l’existence de la kinésiologie.

Monter un protocole de recherche

Là, ça se complique. Il ne suffit pas de faire une séance de kinésiologie en présence d’un scientifique en blouse blanche pour en faire une expérience valide.

Il faut éliminer toutes les perturbations possibles de l’expérience et définir le critère qui détermine si le résultat est concluant ou pas.

Chaque science doit établir ses propres critères. Il est évident qu’une observation astronomique n’est pas construite sur les mêmes variables qu’une expérience de sociologie.

Vous sentez la complexité ? Non ?

Les contraintes liées à la science elle-même

En astrophysique, les expériences sont impossibles à cause des distances entre les phénomènes et nous, l’énergie à reproduire pour étudier une supernovae… C’est donc une science d’observations. Mais les contraintes sur les hypothèses sont « lisibles » dans les photons collectés sur Terre. Il faut des télescopes de tous types pour chaque gamme énergétique des photons – visible, infra-rouge, microonde, radio ou ultraviolet, rayons X ou Gamma – , croiser les observations, chercher d’autres « messagers » comme les neutrinos, les ondes gravitationnelles, des particules cosmiques…

En physique, les expériences sont ancrées dans la précision, de plus en plus. Les limites sont souvent technologiques : il faut construire un anneau de 27km de long, donner l’énergie d’un moustique en vol à un seul proton. Il faut des paquets de protons accélérés à 99,99% de la vitesse de la lumière qui doivent se collisionner dans des capteurs de plusieurs milliers de tonnes (C’est ça, en gros, le CERN à Genève) pour découvrir le Boson de Higgs.

En médecine, on a des freins liés à l’éthique. C’est une science appliquée à la santé humaine et ça pose pas mal de problèmes d’expérimentations.

En sciences humaines, c’est aussi le cas, et la complexité des réactions humaines nécessite de s’intéresser à de grands échantillons pour apprécier un effet ou pas.

Les biais liés au sujet de l’expérience

Le sujet de l’expérience peut compliquer celle-ci.

La détection des exoplanètes par exemple, c’est hyper compliqué. Il est impossible d’observer une planète directement en orbite autour d’une étoile, celle-ci étant de l’ordre d’un milliard de fois plus lumineuse que sa planète. C’est comme voir une luciole posée sur un phare de marine à 1 km de nous ! Et pourtant, on en trouve des exoplanète. Les protocoles d’observations sont très techniques, ingénieux, coûteux…

En médecine et sciences humaines, un sujet d’expérience peut modifier son comportement s’il sait qu’il est « testé », de base plusieurs sujets auront des réponses différentes à l’expérience. Il faudra donc faire la part des réponses en situation « normale » et en situation « test ». C’est pour ça qu’on expérimente en aveugle : le sujet ne sait pas s’il est testé ou pas. En médecine, c’est souvent un protocole en « aveugle » : le sujet ne sait pas s’il a le médicament testé ou un placébo.

Les biais de l’observateur

L’expérimentateur lui-même est un humain, sujet aux biais. Le protocole expérimental doit en tenir compte et abolir au mieux ces biais possibles.

En astronomie, on capture des données brutes et on les fait interpréter par plusieurs équipes différentes. On reproduit les observations avec d’autres instruments…

En sciences humaines, médecine, etc., on rend l’observateur « aveugle » aussi, il ne sait pas s’il donne le placébo ou le médicament. Un expérimentateur prépare donc en amont les lots de traitements et placébos que ni le sujet testé, ni l’observateur ne peuvent identifier. On parle de double-aveugle.

Un observateur peut induire une réaction du sujet par des actions montrant à son insu s’il donne le traitement ou le placébo : intonation de voix, posture, mimiques… Il faut se prémunir de ces effets.

Les failles du protocole d’expérimentation

En abolissant les biais, on pourrait se dire que c’est bon, mais non, du type de données collectées à leur interprétation, il est possible de faire des erreurs : quelle est la sensibilité de l’expérience ? Les données montrent-elles un seuil significatif d’effet ?

Lors de la détection des ondes gravitationnelles, il faut savoir que la taille de l’onde captée était inférieure au « bruit » des chocs des vagues sur la côte et captée par l’appareil hyper sensible. Le signal à observer était donc noyé dans un bruit de fond. Un véhicule passant à proximité, un séisme un peu lointain auraient pu faire un signal plus fort que l’onde gravitationnelle elle-même.

Ce qui a permis de confirmer la détection, c’est que 2 détecteurs éloignés de 3000 km ont relevé le même signal dans leur bruit de fond respectif. Ce n’était donc pas du bruit.

L’efficacité d’un traitement médical s’évalue par rapport à un niveau de base : l’effet placébo ou par rapport à un traitement équivalent déjà bien documenté.

Mais alors, à partir de quel seuil va-t-on décider que le traitement est efficace ?

Quelle sensibilité donner pour accepter l’existence d’un effet ?

Le cadre de l’expérience

Une fois établies les règles de base de l’expérience pour abolir les biais cités ci-dessus, on prépare l’expérience proprement dite :

Quelle est l’hypothèse à tester ?

Et est-elle réfutable ?

En effet, l’expérience peut confirmer l’hypothèse qui sera confortée mais pas prouvée. Par contre, si l’expérience montre un résultat contraire à l’hypothèse, elle peut être réfutée. Je parle au conditionnel car en sciences, une seule expérience ne réfute pas forcément une théorie. On peut refaire l’expérience car le protocole peut contenir l’origine de l’erreur, on peut modifier l’hypothèse sans la réfuter, il faudra alors réexpérimenter pour valider les modifications d’hypothèses. On peut invoquer un nouveau phénomène pour expliquer l’écart entre la prédiction de l’hypothèse et le résultat de l’expérience… C’est long, ça nécessite de l’ingéniosité…

Que cherche-t-on exactement ?

Une expérience ne doit tester qu’une seule variable. En effet, si on teste plusieurs paramètres variables en même temps, on ne saura jamais qui est responsable de quel effet… Une expérience teste une seule variable, toutes choses étant égales par ailleurs.

Le choix de cette variable est crucial.

A quelle précision, à quels seuils souhaitons nous valider ou invalider l’hypothèse ?

L’expérience porte en elle cette précision. Il est important de valider par avance la gamme de mesures à réaliser et s’y tenir lors de l’expérience.

Quelles données seront inclues ou exclues à la conclusion ?

Ah, sujet sensible… En médecine notamment, il est primordial d’avoir des critères à l’inclusion des patients dans le protocole de recherche mais aussi des critères d’exclusion le plus exhaustifs possibles avant de débuter l’expérience.

Si une étude est prévue sur 4 mois (cas des vaccins COVID, 1 injection puis une autre 4 semaines après, puis test de l’immunité sur au moins 2 mois) et qu’un sujet décède dans l’intervalle, il faut savoir si on le garde comme sujet de l’expérience ou si on le sort des données à examiner.

C’est pas simple, il faut déterminer d’avance dans quels cas il sera exclu (mort incontestablement externe à la recherche comme accident de voiture…) ou inclus (choc anaphylactique, c’est à dire crise d’allergie pouvant entrainer le décès, suite à l’injection). Et que faire des « cas intermédiaires » ? Tout doit être décidé d’avance. Si le cas se présente, le sujet sera exclu ou non à postériori selon ces critères à priori. Ceci évite les manipulations de chiffres en cours d’expérience, volontaires ou non.

On a vu les bases d’un protocole de recherche

Et demain, on va franchir le pas et s’intéresser au protocole lui-même.

Sources

  • R. Monvoisin, (2017). Protocoles expérimentaux, Cours à l’Université Grenoble Alpes

Mon défi : Tour d’horizon de la science en 30 jours

Les règles que je me suis fixées :

  • Je publie un article par jour pendant le mois de mars 2021
  • Je traite de la méta question de LA science
  • Je fournis mes sources principales
  • Je suis faillible et peux faire des erreurs, je les reconnaitrai publiquement lors de la correction d’articles (et créditerai celui ou celle qui me le fera savoir) – pas pour des fautes d’orthographe non plus 😉 il n’y a pas d’intérêt.

J’aimerais votre avis sur mon défi :

  • est-ce une bonne idée ?
  • que souhaitez-vous que je traite ?
  • est-ce utile, avez-vous appris de mes articles ?

J’attends vos commentaires.

Partagez si vous aimez ;-)

Laisser un commentaire

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.