Aller au contenu

Transparence de la recherche

Ajouter des liens
Un article de Wikipédia, l'encyclopédie libre.

La transparence de la recherche est un aspect majeur du travail des chercheurs. Elle recouvre un certain nombre de principes et de pratiques scientifiques : reproductibilité, partage de données et de code, normes de citation et vérifiabilité.

La définition et les normes de transparence de la recherche varient considérablement selon les domaines et les disciplines. Faute de terminologie cohérente, la transparence de la recherche a souvent été définie en négatif par la mise en avant des usages non transparents qui font partie des pratiques de recherche douteuses (Questionable Research Practices)

Après 2010, de plus en plus les problèmes méthodologiques récurrents ont été regardés comme des crises structurelles induisant des changements profonds à tous les stades du processus de recherche. La transparence est devenue une valeur clé du mouvement de la science ouverte, initialement concentré sur l’édition avant d’englober une grande diversité de productions de la recherche. De nouvelles normes communes pour la transparence de la recherche, telles que les lignes directrices TOP (Transparency and Openness Promotion — Promotion de la Transparence et de l’Ouverture), visent à bâtir et à renforcer une philosophie de la recherche ouverte à travers les disciplines et les cultures épistémiques.

Définitions

[modifier | modifier le code]

Terminologies confuses

[modifier | modifier le code]

Il n’existe pas de consensus général pour définir la transparence de la recherche.

Les différentes acceptions s’expliquent en grande partie par les disparités entre les disciplines et les cultures épistémiques. La reproduction de recherches antérieures est l’une des principales sources de désaccord. Dans le cadre expérimental, la reproduction nécessite l’usage d’installations et d’appareils identiques, alors que la réplication requiert seulement l’emploi de la même méthodologie. De leur côté, les disciplines informatiques utilisent des définitions inverses des termes réplicabilité et reproductibilité[1]. Des taxonomies alternatives ont été proposées pour s’accommoder de l’ambiguïté entre reproductibilité, réplicabilité et répétabilité. Goodman, Fanelli et Ioannidis recommandent plutôt une distinction entre la reproductibilité des méthodes (même dispositif d’expérimentation et de calcul) et la reproductibilité des résultats (dispositif différent mais principes généraux identiques)[2].

Les grands acteurs institutionnels ne s’accordent toujours pas sur la signification et l’utilisation des concepts clés. En 2019, les Académies nationales des sciences des États-Unis ont retenu la définition expérimentale de la réplication et de la reproduction, qui demeure « contradictoire avec la plus grande souplesse d’utilisation que s’autorisent [d’autres] organisations majeures[3]. » En 2016, l’Association for Computing Machinery a choisi une définition plus orientée informatique et ajouté une notion intermédiaire de répétabilité, selon laquelle une autre équipe de recherche utilise un système et une procédure de mesure strictement identiques[4].

Le débat sur la transparence de la recherche a également créé de nouvelles convergences entre disciplines et cercles académiques. Dans The Problem of science (2021), Rufus Barker Bausell affirme que toutes les disciplines, y compris les sciences sociales, rencontrent actuellement les mêmes problèmes que la médecine et les sciences physiques : « Le problème, aujourd’hui connu sous le nom de crise de la reproductibilité, affecte la quasi-totalité de la science, pas juste une ou deux disciplines[5]. »

Définitions négatives

[modifier | modifier le code]

Faute de terminologie cohérente sur la transparence de la recherche, les scientifiques, les décideurs politiques et d’autres acteurs importants utilisent de plus en plus des définitions négatives : quelles sont les pratiques et formes d’action qui perturbent ou nuisent à l’idéal commun de transparence de la recherche ?

La taxonomie des fraudes scientifiques a été progressivement élargie depuis les années 1980. Le concept de pratiques de recherche douteuses (PRD) fut introduit pour la première fois dans un rapport de 1992 du Comité des sciences, de l’ingénierie et des politiques publiques (COSEPUP) afin de remédier aux échecs potentiellement involontaires de la recherche (tels que les manquements au processus de gestion des données de recherche)[6].

Les pratiques de recherche douteuses couvrent une vaste zone grise d’agissements problématiques souvent associés à une transparence de la recherche lacunaire. Une étude de 2016 a identifié pas moins de 34 pratiques de recherche douteuses ou degrés de liberté qui peuvent survenir à toutes les étapes d’un projet (l’hypothèse initiale, la méthodologie de l’étude, la collecte des données, l’analyse et la création de rapports)[7].

Les enquêtes sur les pratiques disciplinaires ont montré de grandes différences dans l’admissibilité et la diffusion des pratiques de recherche douteuses. Si la fabrication de données et, dans une moindre mesure, l’arrondi des indicateurs statistiques tels que la valeur p sont largement rejetés, la non-publication des résultats négatifs ou l’ajout de données supplémentaires ne sont pas considérés comme des problèmes majeurs[8][9].

En 2009, une méta-analyse de 18 enquêtes estimait que moins de 2 % des scientifiques « admettaient avoir au moins une fois fabriqué, falsifié ou modifié des données ou des résultats. » La prévalence réelle pourrait être sous-estimée du fait de l’autodéclaration par les chercheurs : concernant « le comportement des collègues, le taux d’admission était de 14,12 %[10]. » Plus d’un tiers des personnes interrogées ayant admis les avoir utilisées au moins une fois, les pratiques de recherche douteuses sont davantage répandues[10]. Une vaste enquête menée en 2021 aux Pays-Bas auprès de 6 813 personnes a révélé des estimations nettement plus élevées, 4 % des répondants s’étant livrés à la fabrication de données et plus de la moitié à des pratiques de recherche douteuses[11]. Les taux plus élevés peuvent être attribués soit à une détérioration des normes déontologiques, soit à « une meilleure sensibilisation à l’intégrité de la recherche au cours des dernières années[12]. »

Une nouvelle dimension de la science ouverte ?

[modifier | modifier le code]

La transparence est de plus en plus reconnue comme un élément clé de la science ouverte. Jusqu’aux années 2010, les définitions de la science ouverte portaient essentiellement sur l’accès technique et sur la participation et la collaboration accrues entre les universitaires et les non-universitaires. En 2016, Liz Lyon identifiait la transparence comme une « troisième dimension » de la science ouverte, car « le concept de transparence et le terme associé de "reproductibilité" sont toujours plus importants dans l’environnement actuel de la recherche interdisciplinaire[13]. » Selon Kevin Elliott, le mouvement de la science ouverte « englobe un certain nombre d’initiatives visant des formes de transparence quelque peu différentes[14]. »

Initialement rédigées en 2014, les lignes directrices TOP ont largement contribué à ancrer la transparence dans les mouvements de la science ouverte[15]. Elles visent à promouvoir une « culture de la recherche ouverte » et à mettre en place de « fortes incitations à la transparence[16]. » Elles s’appuient sur huit normes, avec différents niveaux de conformité. En dépit de leur modularité, les normes ont aussi pour but la mise en place d’un éthos de la science cohérent, car « elles se complètent mutuellement, puisque l’engagement en faveur d’une norme peut faciliter l’adoption des autres[15]. »

Ce cadre normatif fut ensuite adopté par des contributeurs et des institutions de premier plan attentifs à la transparence de la recherche. Après 2015, les historiens des sciences n’ont pas observé de détérioration significative de la qualité de la recherche. En effet, la méthodologie de la recherche et les expériences passées n’étaient pas significativement mieux conçues auparavant, et le taux de faux ou de faux partiels est probablement resté quasi-constant au cours des dernières décennies[17],[18]. Les partisans de la transparence de la recherche en sont ainsi venus à adopter plus explicitement le discours de la science ouverte : la culture de la transparence scientifique devient un nouvel idéal à atteindre plutôt qu’un principe fondamental à rétablir.

Le concept de transparence a contribué à créer des convergences entre la science ouverte et d’autres mouvements apparentés tels que les données ouvertes et le gouvernement ouvert. En 2015, l’OCDE a décrit la transparence comme une « raison d’être de la science et des données ouvertes[19]. »

Historique

[modifier | modifier le code]

Discours et pratiques de transparence de la recherche (avant 1945)

[modifier | modifier le code]

Depuis des siècles, la transparence est un pilier fondamental de la recherche expérimentale[20].Dès le XVIIe siècle, la réplication s'est intégrée au cœur du discours institutionnel des sciences naturelles, alors appelées philosophie naturelle[21]. En 1657, l’Accademia del Cimento, l'une des premières sociétés scientifiques de Florence, adopta la devise Provando e riprovando ("Essayer et essayer à nouveau"), comme un appel à la « réalisation répétée d’essais expérimentaux (en public)[22]. ». Francesco Redi, un naturalise et membre important de l’Accademia, a décrit en détail les formes et avantages de l’expérimentation procédurale, qui permettait de contrôler les effets aléatoires, la solidité méthodologique de l’expérience et les relations de cause à effet au moyen d’essais répétés[23]. La réplication et la documentation ouverte des expériences scientifiques sont rapidement devenues des éléments clés et essentielle de la diffusion des connaissances scientifiques dans la société : lorsque le taux de réussite est satisfaisant, les expériences peuvent être reproduites au sein de différents espaces sociaux tels que les tribunaux, les places de marché ou les salons d’érudits[24].

Bien que la transparence ait été reconnue très tôt comme un élément clé de la science, elle n’a pas fait l’objet de définitions cohérentes. La plupart des concepts actuellement liés à la transparence de la recherche sont apparus dans un jargon disciplinaire sans définition claire ou généralisée. La notion de reproductibilité est citée pour la première fois en 1902 dans un article sur les méthodes d’éclairage : l’une des techniques examinées était considérée comme limitée du point de vue de « la reproductibilité et la constance[25]. » En 2019, les Académies nationales ont souligné que la distinction entre reproduction, répétition et réplication est restée très floue et disparate entre les disciplines : « Ce qu’un groupe désigne par un mot, l’autre groupe le désigne par l’autre mot. Ces termes et d’autres, comme répétabilité sont depuis longtemps utilisés pour caractériser le concept général d’une expérience ou d’une étude venant confirmer les résultats d’une autre[26]. »

Au-delà de ce manque de formalisation, jusqu’au XXIe siècle un décalage important a perduré entre les discours institutionnels et disciplinaires sur la transparence et la réalité du travail de recherche. En raison du coût élevé des équipements et du manque d’incitations, la plupart des expériences n’étaient pas reproduites par les chercheurs contemporains : même un partisan convaincu de l’expérimentalisme comme Robert Doyle dut se rabattre sur une forme de virtualité en décrivant en détail une méthodologie de recherche qui ne fut mise en œuvre qu’une seule fois[27]. Pour Friedrich Steinle, le fossé entre la vertu postulée de la transparence et les conditions matérielles de la science n’a jamais été comblé : « Les rares tentatives concrètes de réplication sont celles indispensables au développement de la théorie (par exemple, pour réfuter une hypothèse communément admise) ou dont les perspectives économiques majeures suscitent une grande attention. La réplicabilité a beau être un idéal formel, nous ne vivons pas dans une culture de la réplication[28]. »

Conditions préalables à la crise de la reproductibilité (1945-2000)

[modifier | modifier le code]

Le développement de la Big Science après la Seconde Guerre mondiale a soulevé des questions sans précédent en matière de transparence de la recherche. La généralisation des méthodes statistiques dans un grand nombre de domaines, ainsi que l’ampleur et la complexité croissantes des projets de recherche, ont suscité des inquiétudes sur l’absence de documentation adéquate du processus scientifique.

Avec la publication accrue des productions de la recherche, de nouvelles méthodes quantitatives d’étude de la littérature ont été développées sous les appellations méta-analyse et méta-science. Cette approche présume que les résultats quantitatifs sont fiables, tout comme les détails du cadre expérimental ou observationnel (tels que la taille ou la composition de l’échantillon). En 1966, Stanley Schor et Irving Karten publièrent l’une des premières évaluations génériques des méthodes statistiques dans 67 revues médicales de premier plan. Si peu d’articles résolument fallacieux ont été relevés, « dans près de 73 % des rapports lus (ceux nécessitant une évaluation et ceux qui auraient dû être rejetés), des conclusions étaient établies sans justification valable[29]. »

Dans les années 1970 et 1980, les fraudes scientifiques ont progressivement cessé d’être présentées comme des fautes individuelles pour être qualifiées de problèmes collectifs dont le traitement incomberait aux institutions et communautés scientifiques. Aux États-Unis entre 1979 et 1981, plusieurs cas majeurs de fraude scientifique et de plagiat ont attiré l’attention des chercheurs et des décideurs politiques[30]. Dans une enquête très médiatisée, Betrayers of Science, deux journalistes scientifiques ont décrit la fraude scientifique comme un problème structurel : « Alors que de plus en plus de cas de fraude ont été révélés au grand public (...) nous nous sommes demandé s’il s’agissait vraiment d’un fait anecdotique plus ou moins régulier dans le paysage scientifique (...) La logique, la réplication, l’évaluation par les pairs, tout cela a été contourné avec succès par les faussaires, souvent pendant de longues périodes[31]. » La principale réponse institutionnelle à cette vigilance accrue du public fut de réglementer l’intégrité de la recherche, avec « de nombreux codes de conduite spécifiques du domaine d’étude, mais aussi nationaux et internationaux[32]. »

Intensification du débat sur la reproductibilité/transparence (2000-2015)

[modifier | modifier le code]
Graphic of results and barriers. 193 experiments were designed, 87 were initiated, and 50 were completed.
Résultats du Reproducibility Project: Cancer Biology

Dans les années 2000, les problèmes de longue date en lien avec la normalisation des méthodologies de recherche étaient de plus en plus présentés comme une crise structurelle qui, « si elle n’est pas résolue, conduira inévitablement le grand public à perdre confiance dans la science[33]. » Le début des années 2010 est généralement considéré comme un tournant : « Ce n’est que vers 2011-2012 que la conscience de la communauté scientifique commença à être submergée de signaux d’alerte concernant l’irreproductibilité[34]. »

En 2005, John Ioannidis avait déjà apporté une contribution significative au débat avec une célèbre affirmation controversée : « La majorité des résultats de recherche scientifique publiés sont faux[35]. » Son argument principal était le laxisme excessif des normes d’expérimentation en vigueur, de nombreux résultats aléatoires étant présentés comme solides : « La plupart des recherches biomédicales modernes sont menées dans des domaines où la probabilité est très faible d’obtenir des résultats authentiques avant et après l’étude[36]. »

Publié dans PLOS Medicine, l’article de John Ioannidis a connu un retentissement considérable en psychologie, en médecine et en biologie. Au cours des décennies suivantes, des projets de grande envergure ont tenté d’évaluer la reproductibilité expérimentale. En 2015, le Reproducibility Project a tenté de reproduire 100 études provenant de trois grandes revues de psychologie (Journal of Personality & Social Psychology, Journal of Experimental Psychology : Learning, Memory, & Cognition et Psychological Science) : presque tous les articles permettaient de reproduire les résultats publiés, mais seulement 36 % des réplications étaient suffisamment significatives (valeur p supérieure au seuil courant de 0,05)[37]. En 2021, un autre travail du Reproducibility Project a analysé 53 articles de premier plan sur le cancer publiés entre 2010 et 2012. Il en a conclu que l’effet était en moyenne 85 % inférieur aux résultats originaux[38].

Au cours des années 2010, la crise de la reproductibilité a gagné bien d’autres disciplines. Le volume annuel des citations de l’article fondateur de John Ioannidis Why Most Published Research Findings Are False (Pourquoi la plupart des résultats de recherche scientifique publiés sont faux) dans les principaux domaines scientifiques selon les métadonnées enregistrées par le moteur de recherche académique Semantic Scholar (6 349 entrées en juin 2022) montre combien la démonstration s’est particulièrement étendue aux sciences informatiques. En économie, une réplication de 18 études expérimentales de deux grandes revues a révélé un taux d’échec comparable à ceux de la psychologie ou de la médecine (39 %).[39].

Évolution de la réception de l'article de John Ioannidis

Plusieurs enquêtes internationales ont révélé un malaise croissant des communautés scientifiques envers plusieurs aspects de la transparence de la recherche, dont la reproductibilité. En 2016, Nature a signalé que « plus de 70 % des chercheurs ont essayé en vain de reproduire les expériences d’autres scientifiques, et plus de la moitié n’ont pas réussi à reproduire leurs propres expériences[40]. » L’enquête a également révélé « l’absence de consensus sur ce qu’est ou devrait être la reproductibilité », en partie à cause des différences entre les disciplines, ce qui rend plus délicate l’évaluation des mesures nécessaires pour résoudre le problème.[40] L’enquête de Nature fut également critiquée pour son manque paradoxal de transparence de la recherche, puisqu’elle ne se fondait pas sur un échantillon représentatif mais sur un sondage en ligne : elle s’est « appuyée sur des échantillons de convenance et d’autres choix méthodologiques qui limitent les conclusions possibles à propos des attitudes au sein de la communauté scientifique dans son ensemble[41]. » En dépit de résultats mitigés, l’enquête de Nature fut largement diffusée et intégra les données de base de toutes les études sur la transparence de la recherche[42].

La crise de la reproductibilité et d’autres questions liées à la transparence de la recherche sont devenues un sujet public abordé dans la presse généraliste : « Les débats sur la reproductibilité sont également uniques par rapport à d’autres discussions sur la méthodologie, car ils ont fait l’objet d’une attention soutenue dans la littérature scientifique et la presse conventionnelle[43]. »

Transparence de la recherche et science ouverte (2015-)

[modifier | modifier le code]

Depuis 2000, le mouvement de la science ouverte dépasse le cadre de l’accès aux extrants (publications, données ou logiciels) pour englober tout le processus de production scientifique. En 2018, Vicente-Saez et Martinez-Fuentes ont tenté de cartographier la littérature scientifique anglophone indexée dans Scopus et Web of Science pour identifier les valeurs communes aux définitions standard de la science ouverte.[44] L’accessibilité n’est plus la principale dimension de la science ouverte, car elle s’est assortie d’engagements plus récents en faveur de la transparence, du travail collaboratif et de l’impact social[45]. Ce processus a permis à la science ouverte de se structurer de plus en plus autour d’un ensemble de principes déontologiques : « De nouvelles pratiques de science ouverte se sont développées parallèlement à des formes inédites d’organisation pour la conduite et le partage de la recherche au moyen de référentiels ouverts, de laboratoires physiques ouverts et de plateformes de recherche transdisciplinaires. Cet ensemble de pratiques et de formes d’organisation nouvelles vient enrichir l’éthos de la science dans les universités[46]. »

L’ampleur mondiale du mouvement de la science ouverte et son intégration à de nombreux outils techniques, normes et réglementations permettent de surmonter le « problème classique de l’action collective » incarné par la transparence de la recherche : il existe un décalage structurel entre les objectifs déclarés des institutions scientifiques et le manque d’incitations à les mettre en œuvre au niveau individuel[47].

Dans un premier temps, la formalisation de la science ouverte en tant que cadre permettant d’assurer la transparence de la recherche fut l’œuvre d’initiatives institutionnelles et communautaires. Les lignes directrices TOP élaborées en 2014 sont l’œuvre d’un comité pour la promotion de la transparence et de l’ouverture composé de « responsables disciplinaires, rédacteurs en chef de revues, représentants d’organismes de financement et experts principalement issus des sciences sociales et comportementales[15]. » Elles s’appuient sur huit normes, avec différents niveaux de conformité. En dépit de leur modularité, les normes ont aussi pour but la mise en place d’un éthos de la science cohérent, car « elles se complètent mutuellement, puisque l’engagement en faveur d’une norme peut faciliter l’adoption des autres[15]. »

Après 2015, ces initiatives ont en partie influencé les nouvelles réglementations et les codes déontologiques. Le Code de conduite européen pour l’intégrité de la recherche de 2017 s’articule en grande partie autour des concepts de science ouverte et de données ouvertes : il « accorde presque autant d’intérêt à la gestion des données qu’à la publication. En ce sens, il est le plus avancé des quatre CdC[48]. » Adoptés en juillet 2020, les principes de Hong Kong pour l’évaluation des chercheurs reconnaissent la science ouverte comme l’un des cinq piliers de l’intégrité scientifique : « Il semble évident que les différentes modalités de la science ouverte doivent être récompensées dans l’évaluation des chercheurs, car ces comportements augmentent fortement la transparence, qui est un principe fondamental de l’intégrité de la recherche[49]. »

Formes et typologies de la transparence en recherche

[modifier | modifier le code]

La transparence de la recherche revêt de multiples formes selon la culture disciplinaire, les conditions matérielles et l’interaction entre les scientifiques et les autres cercles sociaux (décideurs politiques, professionnels non universitaires, grand public). Pour Lyon, Jeng et Mattern, « le terme "transparence" a été appliqué dans plusieurs contextes par divers acteurs de la recherche, qui ont formulé et bordé le concept de différentes manières.[19]. » En 2020, Kevin Elliott a introduit une taxonomie de transparence de la recherche à huit dimensions : objectif, public, contenu, calendrier, acteurs, mécanisme, lieux et dangers.[50] Pour K. Elliott, toutes les formes de transparence ne sont pas réalisables et souhaitables, de sorte qu’une terminologie adéquate peut aider à faire les meilleurs choix : « Bien qu’il s’agisse d’objections importantes, la taxonomie de la transparence examinée ici laisse à penser que la meilleure réponse n’est généralement pas un abandon total de l’objectif de transparence, mais l’examen des formes de transparence qui sont les plus susceptibles de minimiser les problèmes[51]. »

Reproductibilité des méthodes

[modifier | modifier le code]

Goodman, Fanelli et Ioannidis définissent la reproductibilité des méthodes comme « la communication de suffisamment de détails sur les procédures et les données de l’étude afin que ces mêmes procédures puissent être répétées point à point à l’échelle théorique ou pratique[2]. » Cette acception est largement synonyme de réplicabilité en science informatique et de reproductibilité en science expérimentale. Dans le rapport des Académies nationales des sciences, qui ont opté pour la terminologie de la science expérimentale, la contrepartie de la reproductibilité des méthodes est décrite comme « l’obtention d’une cohérence des résultats de calcul utilisant les mêmes données d’entrée, les mêmes étapes de calcul, les mêmes méthodes et les mêmes codes et conditions d’analyse[26]. »

La reproductibilité des méthodes est plus accessible dans les sciences informatiques : tant qu’il se comporte comme prévu, un même code devrait produire le même résultat. L’usage de code open source, de données ouvertes et, plus récemment, d’un carnet de recherche est généralement recommandé pour améliorer la reproductibilité des méthodes. En principe, la disponibilité de toutes les productions de la recherche permet d’évaluer et d’auditer l’ensemble du processus d’analyse. En pratique, comme le soulignait déjà Roger Peng en 2011, nombre de projets nécessitent « une puissance de calcul qui n’est pas forcément à la disposition de tous les chercheurs[52]. » Ce problème s’est aggravé dans certains domaines tels que l’intelligence artificielle ou la vision par ordinateur, car le développement de très grands modèles d’apprentissage profond rend leur reproduction quasiment impossible (ou à un coût prohibitif), même lorsque le code et les données d’origine sont de nature ouverte. La reproductibilité des méthodes peut aussi être affectée par un phénomène de dépendance logicielle, car le code ouvert peut s’appuyer sur des programmes externes qui ne sont pas toujours disponibles ou compatibles. Deux études menées en 2018 et 2019 ont montré qu’une grande partie des carnets de recherche hébergés sur GitHub ne sont plus exploitables en raison soit de l’indisponibilité des extensions requises, soit de problèmes de code[53],[54]

Dans les sciences expérimentales, il n’existe pas de critère communément admis de reproductibilité des méthodes : « En pratique, il n’y a aucun consensus sur le niveau de détail des procédures qui permettrait de qualifier une étude de "méthodologiquement reproductible"[2]. »

Reproductibilité des résultats

[modifier | modifier le code]

Goodman, Fanelli et Ioannidis définissent la reproductibilité des résultats comme « l’obtention de résultats identiques à partir d’une étude indépendante dont les procédures sont aussi proches que possible[55]. » La reproductibilité des résultats est comparable à la réplication en science expérimentale et à la reproductibilité en science informatique. En grande partie, ce concept reprend la définition de la réplicabilité retenue par les Académies nationales des sciences : « Obtention de résultats cohérents dans l’ensemble des études visant à répondre à la même question scientifique, chacune ayant obtenu ses propres données[26]. » La crise de la reproductibilité rencontrée dans les disciplines expérimentales telles que la psychologie ou la médecine est avant tout une crise de reproductibilité des résultats, puisqu’elle concerne des recherches impossibles à dupliquer lors de procédures simples qui obligeraient à reproduire la méthodologie expérimentale dans un cadre indépendant[26]. En l’occurrence, elle est probablement la forme de transparence de la recherche la plus discutée de ces dernières années[14].

La reproductibilité des résultats est la formes de transparence de la recherche la plus difficilement atteignable. Elle recouvre des aspects variés, par exemple la reproductibilité informatique, la précision des mesures scientifiques[26] et la diversité des approches méthodologiques[56]. Il n’existe pas de norme universelle pour établir la similitude avec les procédures originales, et les critères peuvent varier en fonction de la discipline voire du domaine de recherche. Par conséquent, les méta-analyses sur la reproductibilité sont particulièrement complexes. Une étude menée en 2015 par Open Science Collaboration sur 100 articles de psychologie s’est heurtée à « la non-adoption d’une définition unique » ayant « ouvert la porte à une controverse sur l’approche méthodologique et les conclusions » et rendu nécessaire une « appréciation subjective » de la reproductibilité des résultats[57]. »

Reproductibilité et vérifiabilité des observations

[modifier | modifier le code]

En 2018, Sabina Leonelli définit la reproductibilité des observations comme « la présomption que tout chercheur compétent placé dans les mêmes conditions de lieu et de temps obtiendra sinon les mêmes données, du moins des schémas similaires[58]. » Cette perspective recouvre un large éventail de pratiques scientifiques et universitaires dans des disciplines non expérimentales[59] : « Une part considérable de la recherche en médecine, en histoire et en sciences sociales ne repose pas sur l’expérimentation, mais sur des techniques d’observation telles que les enquêtes, les descriptions et les rapports de cas documentant des circonstances uniques[58]. »

Le développement d’infrastructures scientifiques ouvertes a radicalement transformé le statut ainsi que la disponibilité des données scientifiques et d’autres sources primaires. L’accès à ces ressources fut profondément transformé par la numérisation et l’attribution d’identifiants uniques. Les identifiants d’objets numériques (ou DOI, de l’anglais Digital Object Identifier) permanents ont commencé à être attribués aux jeux de données au début des années 2000,[60] ce qui a permis de résoudre un débat de longue date sur la citabilité des données scientifiques[61].

Pour Andrew Moravcsik, la transparence accrue des citations de sources primaires ou de matériels de recherche est une « révolution dans la recherche qualitative[62]. »

Transparence des valeurs

[modifier | modifier le code]

Dans les disciplines très impliquées dans l’élaboration de politiques, comme les études environnementales ou les sciences sociales, la transparence des valeurs de recherche est une préoccupation majeure. En 2009, Heather Douglas soulignait que le discours public sur la science était largement dominé par des idéaux normatifs de recherche objective : avec des procédures correctement suivies, les résultats scientifiques devraient être « indépendants des valeurs[63]. » Selon elle, cet idéal reste largement compromis par le processus effectif de recherche et de consultation scientifique, car les valeurs en place peuvent largement influencer le choix des concepts, des protocoles et des données à exploiter.[64] Heather Douglas plaide plutôt pour la divulgation des valeurs défendues par les chercheurs : « Les valeurs, du fait de leur rôle indirect, devraient être rendues aussi explicites que possible, que ce soit dans les documents politiques ou dans les articles de recherche des scientifiques[65]. »

Dans les années 2010, plusieurs philosophes des sciences ont tenté de systématiser la transparence des valeurs dans le contexte de la science ouverte. En 2017, Kevin Elliott a mis l’accent sur trois conditions pour la transparence des valeurs dans la recherche, la première consistant à « être aussi transparents que possible sur (...) les données, les méthodes, les modèles et les hypothèses afin que l’influence des valeurs puisse être examinée de près[66]. »

Transparence des évaluations et éditoriale

[modifier | modifier le code]

Jusqu’aux années 2010, les pratiques éditoriales de l’édition scientifique étaient très informelles et peu étudiées : « Malgré 350 années d’édition scientifique (...), les recherches sur les instructions aux auteurs et sur leur évolution sont rares[67]. »

La transparence éditoriale a récemment été reconnue comme une extension naturelle du débat sur la reproductibilité de la recherche[68],[69]. Plusieurs principes énoncés dans les lignes directrices TOP de 2015 impliquaient déjà l’existence de normes éditoriales explicites[70]. Cet intérêt sans précédent pour la transparence éditoriale est également motivé par la diversification et la complexification du paysage de l’édition scientifique ouverte : « Face aux nombreuses attentes concernant les processus éditoriaux des revues, ces dernières ont commencé à expérimenter de nouvelles façons d’organiser leurs systèmes d’évaluation éditoriale et par les pairs (...) Avec l’arrivée de ces innovations dans un ensemble déjà diversifié de pratiques d’évaluation par les pairs et de choix éditoriaux, nous ne pouvons plus supposer que les auteurs, les lecteurs et les évaluateurs maîtrisent le fonctionnement de l’évaluation éditoriale[71]. »

Transparence dès la conception : le tournant de la science ouverte

[modifier | modifier le code]

Les lignes directrices TOP ont fixé une norme transdisciplinaire de référence pour assurer la reproductibilité des résultats dans le contexte de la science ouverte. Essentiellement focalisées sur les disciplines expérimentales et informatiques, les normes s’efforcent d’intégrer des préoccupations et des formats plus spécifiques d’autres pratiques disciplinaires (comme les matériels de recherche).

Dans un premier temps, des incitations informelles (badges, index) étaient proposées pour faire adopter des politiques harmonisées de transparence de la recherche. Avec le développement de la science ouverte, la réglementation et les infrastructures ou processus normalisés sont de plus en plus privilégiés.

Partage des productions de la recherche

[modifier | modifier le code]

Assez tôt, le partage des données fut identifié comme une importante solution potentielle à la crise de la reproductibilité et à l’absence de lignes directrices solides pour les indicateurs statistiques. D’après le postulat de John Ioannidis en 2005, « une forme d’enregistrement ou de mise en réseau des collections de données ou des investigateurs au sein de chaque domaine pourrait être plus réalisable que l’enregistrement de toutes les expériences génératrices d’hypothèses[72]. »

Le partage des productions de la recherche est traité dans trois normes des lignes directrices TOP : Transparence des données (2), Transparence des méthodes d’analyse et du code (3) et Transparence du matériel de recherche (4). La totalité des données, du code et du matériel de recherche pertinents doit être conservée dans un « site de confiance », et toutes les analyses sont à reproduire de manière indépendante avant la publication.[73]

Extension des normes de citation

[modifier | modifier le code]

Alors que les normes de citation sont communément appliquées aux références universitaires, la formalisation est bien moins importante pour toutes les autres productions de la recherche, comme les données, le code, les sources primaires ou les évaluations qualitatives.

En 2012, l’American Political Science Association a adopté de nouvelles politiques en matière de recherche qualitative ouverte[74] axées sur trois dimensions de la transparence : la transparence des données (pour les données bibliographiques précises sur les sources originales), la transparence analytique (pour les affirmations extrapolées à partir des sources citées) et la transparence de la production (pour les choix éditoriaux ayant présidé à la sélection des sources)[75]. En 2014, Andrew Moravcsik recommandait l’instauration d’une « annexe de la transparence » qui présenterait les citations détaillées des sources originales ainsi que des annotations « expliquant comment la source corrobore l’affirmation énoncée ».[76]

Selon les lignes directrices TOP, une « citation appropriée des données et du matériel » doit être fournie avec chaque publication[77]. » Les productions scientifiques telles que le code ou les jeux de données sont ainsi pleinement reconnues comme des contributions citables : « La citation régulière et rigoureuse de ces éléments les fait reconnaître comme des contributions intellectuelles originales[77]. »

Pré-enregistrement

[modifier | modifier le code]

Le pré-enregistrement est traité dans deux normes des lignes directrices TOP : Pré-enregistrement des études (6) et Pré-enregistrement des plans d’analyse (7). Dans les deux cas, pour un niveau de conformité maximal, la revue doit insérer un « lien et un badge dans l’article sur le respect des exigences[73]. »

Le pré-enregistrement a pour but de prévenir toute une série de pratiques de recherche douteuses. Il prend généralement la forme d’un « plan de recherche horodaté et non modifiable, destiné à des archives publiques [qui] énonce les hypothèses à tester et la taille des échantillons ciblés[78]. » Le pré-enregistrement sert de contrat éthique puisqu’il limite théoriquement « le degré de liberté du chercheur qui rend possibles les PRD et le p-hacking[78]. »

Le pré-enregistrement ne résout pas tous les problèmes liés aux pratiques de recherche douteuses. En particulier, un plan de recherche prédéfini n’empêcherait pas la divulgation sélective des résultats : « Le pré-enregistrement n’éradique pas totalement le biais de publication, puisqu’il ne garantit pas la communication des valeurs obtenues[79]. » En outre, certains avancent que le pré-enregistrement peut, dans certains cas, nuire à la qualité des productions de la recherche en imposant des contraintes artificielles non conformes à la réalité du domaine étudié : « Le pré-enregistrement peut dénaturer la validité des déductions, car rien n’empêche un chercheur de pré-enregistrer un plan d’analyse inexact[80]. »

Présenté comme une solution relativement peu onéreuse, le pré-enregistrement peut néanmoins s’avérer plus difficile à mettre en œuvre puisqu’il exige des chercheurs un engagement important. Une étude empirique sur le recours aux expériences de science ouverte dans une revue de psychologie a montré qu’« entre 2015 et 2020, l’adoption du pré-enregistrement [était] en retard par rapport à d’autres pratiques de science ouverte[81]. » Par conséquent, « même parmi les chercheurs qui voient les bienfaits du pré-enregistrement à l’échelle de leur domaine, il reste des incertitudes quant aux coûts et aux avantages au niveau individuel[81]. »

Études de réplication

[modifier | modifier le code]

Les études de réplication ou « évaluations de la réplicabilité » visent à reproduire une ou plusieurs études originales. Bien que le concept ne soit apparu que dans les années 2010, les études de réplication existent depuis des décennies sans bénéficier d’une reconnaissance explicite[82]. Le rapport 2019 des Académies nationales comprenait une méta-analyse de 25 réplications publiées entre 1986 et 2019. Il observait que la majorité des réplications concernent les sciences médicales et sociales (en particulier la psychologie et l’économie comportementale) et qu’à cette époque il n’existait pas de critères d’évaluation normalisés : « Les méthodes d’évaluation de la réplicabilité ne sont pas uniformes et les pourcentages exprimés dépendent fortement de la méthode employée[82]. » Par conséquent, au moins en 2019, les études de réplication ne pouvaient pas être agrégées pour extrapoler un taux de réplicabilité : elles « n’indiqu[ai]ent pas nécessairement le taux réel de non-réplicabilité dans la science »[82]. »

Les lignes directrices TOP ont appelé à une reconnaissance et une valorisation accrues des études de réplication. La huitième norme stipule que les revues conformes doivent utiliser les « rapports enregistrés comme option de soumission pour les études de réplication avec évaluation par les pairs[77]. »

Politiques éditoriales ouvertes

[modifier | modifier le code]

En juillet 2018, plusieurs éditeurs, bibliothécaires, rédacteurs en chef de revues et chercheurs ont rédigé la Déclaration de Leyde pour des politiques éditoriales transparentes.[83] Le texte souligne que les revues « ne contiennent souvent aucune information sur le choix des évaluateurs, les critères d’évaluation, le degré d’insu, l’usage d’outils numériques tels que les vérificateurs de similitude de texte, ainsi que les politiques de correction et de rétractation », ce qui nuit à la transparence.[83] La déclaration identifie quatre grandes phases de publication et d’évaluation par les pairs qui mériteraient d’être mieux documentées :

  • À la soumission : détails sur la gouvernance de la revue, sa portée, son comité de rédaction et ses taux de rejet.[83]
  • À l’évaluation : critères de sélection, calendrier d’évaluation et modèle d’évaluation par les pairs (double insu, simple insu, ouvert).[83]
  • À la publication : divulgation des « rôles dans le processus d’évaluation[83]. »
  • Après la publication : « critères et procédures de correction, d’expression des préoccupations et de rétractation » et autres changements[83]. »

En 2020, la Déclaration de Leyde fut élargie et complétée par la PREP (Platform for Responsible Editorial Policies ou Plateforme de politiques éditoriales responsables).[84] Cette initiative entend également remédier à la pénurie structurelle de données et d’informations empiriques sur les politiques éditoriales et les pratiques d’évaluation par les pairs.[68],[85] En 2022, la PREP contenait des informations partiellement issues de la production participative sur les procédures éditoriales de 490 revues[86]. à partir d’une base initiale de 353 revues.[87] Les procédures évaluées comprenaient « le degré d’anonymat accordé aux auteurs et évaluateurs, l’usage d’outils numériques tels que les vérificateurs de plagiat et le calendrier de l’évaluation par les pairs dans les processus de recherche et de publication[88]. » En dépit de ces évolutions, la recherche sur les politiques éditoriales continue de rappeler la nécessité d’une « base de données exhaustive qui permettrait aux auteurs ou à d’autres parties prenantes de comparer les revues en fonction de leurs (...) exigences ou recommandations[89]. »

Références

[modifier | modifier le code]
  1. ↑ Plesser 2018, p. 1-2.
  2. ↑ a b et c Goodman, Fanelli et Ioannidis 2016, p. 2.
  3. ↑ Nelson et al. 2021, p. 45.
  4. ↑ Plesser 2018, p. 2.
  5. ↑ Bausell 2021, p. 1.
  6. ↑ Pimple 2002, p. 202.
  7. ↑ Wicherts et et al. 2016.
  8. ↑ John, Loewenstein et Prelec 2012.
  9. ↑ Fraser et et al. 2018.
  10. ↑ a et b Fanelli 2009.
  11. ↑ Gopalakrishna et et al. 2021.
  12. ↑ Gopalakrishna et et al. 2021, p. 5.
  13. ↑ Lyon 2016, p. 160.
  14. ↑ a et b Elliott 2020, p. 2.
  15. ↑ a b c et d Nosek et et al. 2015, p. 1423.
  16. ↑ Nosek et et al. 2015, p. 1422-1423.
  17. ↑ Steinle 2016.
  18. ↑ Fanelli 2018.
  19. ↑ a et b Lyon, Jeng et Mattern 2017, p. 47.
  20. ↑ Steinle 2016, p. 44.
  21. ↑ Schickore 2011.
  22. ↑ Schickore 2011, p. 330.
  23. ↑ Schickore 2011, p. 332.
  24. ↑ Steinle 2016, p. 45.
  25. ↑ Bell 1902, p. 15.
  26. ↑ a b c d et e National Academies 2019, p. 46.
  27. ↑ Shapin et Schaffer 2011, p. 60.
  28. ↑ Steinle 2016, p. 56.
  29. ↑ Schor & Karten 1966, p. 148.
  30. ↑ Löppönen & Vuorio 2013, p. 3.
  31. ↑ Broad & Wade 1983, p. 8.
  32. ↑ Laine 2018, p. 49.
  33. ↑ Drummond 2018, p. 2.
  34. ↑ Bausell 2021, p. 10.
  35. ↑ Ioannidis 2005.
  36. ↑ Ioannidis 2005, p. 700.
  37. ↑ Open Science Collaboration 2015.
  38. ↑ Reproducibility Project: Cancer Biology. www.cos.io. Center for Open Science. Consultation le 19 janvier 2022
  39. ↑ Camerer et et al. 2016.
  40. ↑ a et b Baker 2016.
  41. ↑ National Academies 2019, p. 83.
  42. ↑ Bausell 2021, p. 128.
  43. ↑ Nelson et et al. 2021, p. 1-2.
  44. ↑ Vicente-Saez et Martinez-Fuentes 2018.
  45. ↑ Vicente-Saez et Martinez-Fuentes 2018, p. 2.
  46. ↑ Vicente-Saez, Gustafsson et Van den Brande 2020, p. 1.
  47. ↑ Nosek et al. 2015, p. 1423.
  48. ↑ Laine 2018, p. 65.
  49. ↑ Moher et et al. 2020, p. 6.
  50. ↑ Elliott 2020, p. 6.
  51. ↑ Elliott 2020, p. 8-9.
  52. ↑ Peng 2011.
  53. ↑ Rule, Tabard et Hollan 2018.
  54. ↑ Pimentel et et al. 2019.
  55. ↑ Goodman, Fanelli & Ioannidis 2016, p. 2.
  56. ↑ National Academies 2019, p. 51.
  57. ↑ Goodman, Fanelli et Ioannidis 2016, p. 4.
  58. ↑ a et b Leonelli 2018, p. 137.
  59. ↑ Devezer et al. 2021.
  60. ↑ Brase 2004.
  61. ↑ Crosas 2014, p. 63.
  62. ↑ Moravcsik 2014, p. 48.
  63. ↑ Douglas 2009, p. 175.
  64. ↑ Douglas 2009, p. 87.
  65. ↑ Douglas 2009, p. 176.
  66. ↑ Elliott 2017.
  67. ↑ Malički et et al. 2021, p. 2.
  68. ↑ a et b Horbach, Hepkema et Halffman 2020, p. 2.
  69. ↑ Justman 2019.
  70. ↑ Nosek et al. 2015.
  71. ↑ Horbach, Hepkema & Halffman 2020, p. 2.
  72. ↑ Ioannidis 2005, p. 701.
  73. ↑ a et b Nosek et et al. 2015, p. 1424.
  74. ↑ Lupia & Elman 2014.
  75. ↑ Moravcsik 2014, p. 48-49.
  76. ↑ Moravcsik 2014, p. 50.
  77. ↑ a b et c Nosek et al. 2015, p. 1424.
  78. ↑ a et b Romero 2019, p. 8.
  79. ↑ Romero 2019, p. 9.
  80. ↑ Devezer et al. 2021, p. 16.
  81. ↑ a et b Logg & Dorison 2021, p. 26.
  82. ↑ a b et c National Academies 2019, p. 77.
  83. ↑ a b c d e et f Radboud and Leiden transparency declaration 2019.
  84. ↑ Horbach, Hepkema et Halffman 2020, p. 1.
  85. ↑ Squazzoni et et al. 2020.
  86. ↑ ResponsibleJournals.org
  87. ↑ Horbach, Hepkema et Halffman 2020, p. 4.
  88. ↑ Horbach, Hepkema et Halffman 2020.
  89. ↑ Malički et al. 2021, p. 9.

Bibliographie

[modifier | modifier le code]

Définitions et déclarations

[modifier | modifier le code]
  • B. A. Nosek, G. Alter, G. C. Banks, D. Borsboom, S. D. Bowman, S. J. Breckler, S. Buck, C. D. Chambers, G. Chin, G. Christensen, M. Contestabile, A. Dafoe, E. Eich, J. Freese, R. Glennerster, D. Goroff, D. P. Green, B. Hesse, M. Humphreys, J. Ishiyama, D. Karlanflup, A. Kraut, A. Lupia, P. Mabry, T. Madon, N. Malhotra, E. Mayo-Wilson, M. McNutt, E. Miguel, E. Levy Paluck, U. Simonsohn, C. Soderberg, B. A. Spellman, J. Turitto, G. VandenBos, S. Vazire, E. J. Wagenmakers, R. Wilson et T. Yarkoni, « Promoting an open research culture [TOP Guidelines] », Science, vol. 348, no 6242,‎ , p. 1422–1425 (ISSN 0036-8075, PMID 26113702, PMCID 4550299, DOI 10.1126/science.aab2374, Bibcode 2015Sci...348.1422N)
  • Radboud and Leiden transparency declaration, Leiden University, (lire en ligne)

Rapport

[modifier | modifier le code]

Ouvrages

[modifier | modifier le code]
  • William J. Broad et Nicholas Wade, Betrayers of the Truth, Simon and Schuster, (ISBN 978-0-671-44769-4)
  • Heather Douglas, Science, Policy, and the Value-Free Ideal, University of Pittsburgh Pre, (ISBN 978-0-8229-7357-7)
  • Steven Shapin et Simon Schaffer, Leviathan and the Air-Pump: Hobbes, Boyle, and the Experimental Life, Princeton University Press, (ISBN 978-1-4008-3849-3)
  • Kevin C. Elliott et Daniel Steel, Current Controversies in Values and Science, Taylor & Francis, (ISBN 978-1-317-27399-8)
  • Kevin Christopher Elliott, A Tapestry of Values: An Introduction to Values in Science, Oxford University Press, (ISBN 978-0-19-026081-1)
  • Kenneth D. Pimple, Research Ethics, Routledge, (ISBN 978-1-351-90400-1)
  • R. Barker Bausell, The Problem with Science: The Reproducibility Crisis and What to do About It, Oxford University Press, (ISBN 978-0-19-753654-4)
  • Jon Grahe, A Journey into Open Science and Research Transparency in Psychology, Routledge, (ISBN 978-1-00-043049-3)

Articles

[modifier | modifier le code]

Chapitres

[modifier | modifier le code]
  • Friedrich Steinle, Reproducibility, John Wiley & Sons, Ltd, , 39–63 p. (ISBN 978-1-118-86506-4, DOI 10.1002/9781118865064.ch3), « Stability and Replication of Experimental Results: A Historical Perspective »
  • Sabina Leonelli et Scott Scheall, Research in the History of Economic Thought and Methodology, vol. 36, Emerald Publishing Limited, , 129–146 p. (ISBN 978-1-78756-424-4, DOI 10.1108/S0743-41542018000036B009, hdl 10871/31336, S2CID 55353995), « Rethinking Reproducibility as a Criterion for Research Quality »
  • Fiona Fidler et John Wilcox, The Stanford Encyclopedia of Philosophy, Metaphysics Research Lab, Stanford University, , Winter 2018 éd., « Reproducibility of Scientific Results »

Conférences

[modifier | modifier le code]
  • Omar S. Gómez, Natalia Juristo et Sira Vegas « Replications types in experimental disciplines » () (DOI 10.1145/1852786.1852790, lire en ligne)
    — (Bolzano-Bozen, Italy)
    — « (ibid.) », dans Proceedings of the 2010 ACM-IEEE International Symposium on Empirical Software Engineering and Measurement, Association for Computing Machinery, coll. « ESEM '10 » (ISBN 978-1-4503-0039-1), p. 1–10
  • Adam Rule, Aurélien Tabard et James D. Hollan « Exploration and Explanation in Computational Notebooks » () (DOI 10.1145/3173574.3173606, lire en ligne)
    — (Montreal QC, Canada)
    — « (ibid.) », dans Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, Association for Computing Machinery, coll. « CHI '18 » (ISBN 978-1-4503-5620-6), p. 1–12
  • João Felipe Pimentel, Leonardo Murta, Vanessa Braganholo et Juliana Freire « A large-scale study about quality and reproducibility of jupyter notebooks » () (DOI 10.1109/MSR.2019.00077, lire en ligne)
    — (Montreal, Quebec, Canada)
    — « (ibid.) », dans Proceedings of the 16th International Conference on Mining Software Repositories, coll. « MSR '19 », p. 507–517
  • OECD, Making Open Science a Reality, (lire en ligne)
  • Edo D. Pellizzari, Kathleen N. Lohr, Alan Blatecky et Darryl V. Creel « Reproducibility: A Primer on Semantics and Implications for Research » ()

Autres sources

[modifier | modifier le code]
  • Monya Baker, « Dutch agency launches first grants programme dedicated to replication », Nature News,‎ (DOI 10.1038/nature.2016.20287, S2CID 114978507, lire en ligne, consulté le )
  • Fotis E. Psomopoulos, Reproducible analysis and Research Transparency — Reproducible Research workshop 1.0 documentation (lire en ligne)
Ce document provient de « https://fr.wikipedia.org/w/index.php?title=Transparence_de_la_recherche&oldid=220752994 ».