Système d'interrogation, de gestion et d'analyse des publications scientifiques
Le Système d’interrogation, de gestion et d’analyse des publications scientifiques (Sigaps) est un outil français de bibliométrie, qui permet d'évaluer quantitativement la recherche des CHU pour en déterminer les dotations financières, selon des modalités qui encouragent les chercheurs à publier beaucoup, y compris dans des revues médiocres.
Genèse
[modifier | modifier le code]Avant 2007, les activités de recherche des CHU étaient rémunérées de manière forfaitaire, en proportion du budget du CHU[1].
À partir de 2007 le modèle « MERRI » (missions d’enseignement, de recherche, de référence et d’innovation) permet de calculer un financement comprenant une part fixe (salaires), une part modulable (activités de recherche et d'enseignement) et une part variable (liée à des projets de recherche par projet)[2]. La part modulable déterminée sur la base de quatre indicateurs : publications scientifiques, essais cliniques, étudiants et brevets. Le logiciel Sigaps, élaboré par le CHU de Lille en 2001 est choisi pour calculer l’indicateur « Publications »[1],[2],[3], est déployé en 2008 au sein de l’ensemble des établissements hospitalo-universitaires[4].
Principe
[modifier | modifier le code]Sigaps automatise l’analyse de la production scientifique d'une unité en interrogeant la base de données bibliographiques Medline, via le serveur Pubmed. Le logiciel attribue annuellement des scores pour l’établissement, le service, le chercheur, basés sur le nombre et l'impact des publications, et la position de l’auteur sur chaque publication[1], en s'appuyant sur une classification des journaux basé sur leur le positionnement de leur facteur d'impact (IF) par rapport à celui des autres journaux de sa ou de ses discipline(s)[4]. Chaque publication, indépendamment de son contenu[5], rapporte de 1 à 32 points en fonction du résultat du calcul, chaque point valant près de 600 euros par an pendant quatre ans[6].
Les résultats sont publics; d'après le statisticien qui a conçu l'outil, cela permet une meilleure information des patients sur le « degré d'implication des différents établissements en matière de recherche » [7].
Critiques
[modifier | modifier le code]Un article « en premier auteur »[a] dans le très prestigieux journal médical The Lancet rapporte environ 16 000 € à l'hôpital[2] par an et pendant 4 ans[8],[5]. Cependant, paradoxalement, le système de calcul encourage plutôt les chercheurs à publier beaucoup dans des journaux à faible impact[4],[1],[8]. Le Point explique que chacun des quarante articles « signés par Didier Raoult dans le « International Journal of Antimicrobial Agents », dont l'éditeur en chef travaille au sein de son IHU, a ainsi rapporté de 3 600 euros à 14 400 euros par an à l'AP-HM »[6]. Ce système très rentable a permis à Didier Raoult de faire pression sur sa tutelle : celui-ci explique avoir « menacé de faire la grève des signatures » des articles pour obtenir son institut quand il ne disposait que d'un pôle dédié aux maladies infectieuses[6]. Sur le problème du conflit d'intérêts, un statisticien qui a contribué à mettre en place Sigaps reconnait que « les questions qui circulent sur le bien-fondé de ces pratiques sont légitimes » et s'interroge sur la possibilité d'une « manière détournée de booster son score »[6]. La Cour des comptes demandait en , de « modifier sans délai les modalités d'affectation des recettes » liées à la recherche, le système de points apparaissant insuffisamment discriminants selon la qualité des recherches, et ne faisant pas l'objet de contrôles suffisants[6].
Le partage de l’enveloppe budgétaire MERRI selon le score SIGAPS met les chercheurs d'établissements différents en compétition, alors qu'on peut estimer que la recherche clinique devrait être collaborative pour rester compétitive[4].
Le système a particulièrement réussi à Didier Raoult, dont la production scientifique très abondante mais de qualité inégale lui permet de rapporter 20 % des points Sigaps à l'AP-HM, ce qu'il utilise comme argument pour influer sur la direction de l'hôpital[9],[10].
Selon les chercheurs Yves Gingras et Mahdi Khelfaoui, le système Sigaps a dérivé vers un outil d’évaluation des chercheurs et des institutions : « plusieurs CHU utilisent désormais les données de publication individuelles compilées par SIGAPS dans les processus d’embauche ou de promotion des chercheurs »[11],[12].
En mars 2024, un colloque sur le SIGAPS organisé par le Haut Conseil de l'évaluation de la recherche et de l'enseignement supérieur et l'Office français de l'intégrité scientifique met de nouveau en évidence son dévoiement d'outil de bibliométrie à outil de financement, ainsi que les méconduites scientifiques qu'il produit (saucissonnage des articles, multiplication des auteurs)[13]. Les participants au colloque appellent au développement d'autres modes d'évaluation et de financement de la recherche scientifique en santé[14].
Notes et références
[modifier | modifier le code]Notes
[modifier | modifier le code]- En biologie, quand un article scientifique est publié par plusieurs auteurs, la position de chacun d'entre eux dans la liste des auteurs indique leur contribution relative (voir l'article Publication scientifique#Listes d'auteurs pour plus de détails).
Bibliographie
[modifier | modifier le code]- Yves Gingras et Mahdi Khelfaoui, « SIGAPS : l’intégrité scientifique au péril de l’évaluation comptable de la recherche » [PDF], sur sncs.fr, Vie de la Recherche Scientifique, janvier/février/mars 2022, p. 22-25
Références
[modifier | modifier le code]- C. Derancourt, P. Devos, N. Moore et J.-L. Rouvillain, « Modèle de valorisation des publications médicales scientifiques : le logiciel SIGAPS », Annales de Dermatologie et de Vénéréologie, vol. 141, nos 8-9, , p. 531–535 (DOI 10.1016/j.annder.2014.06.025, lire en ligne, consulté le ) :
« Dans un objectif purement comptable, il pourrait être plus efficace pour les auteurs de viser directement un journal facile d’accès, en français, indexé dans la base Medline, avec un article de format court (cas clinique), ce qui est en contradiction avec un objectif d’excellence de la recherche. »
- David Larousserie, « Dis-moi combien tu publies, je saurai ce que tu rapportes », Le Monde, (lire en ligne, consulté le )
- « A qui appartient le savoir ? », Le Monde, (lire en ligne, consulté le )
- Julien Mancini, Stefan Darmoni, Hervé Chaudet et Marius Fieschi, « Le paradoxe de la « T2A bibliométrique » SIGAPS : un risque d’effet délétère sur la recherche française ? », La Presse Médicale, risques infectieux au cours des maladies systémiques, vol. 38, no 2, , p. 174–176 (ISSN 0755-4982, DOI 10.1016/j.lpm.2008.10.005, lire en ligne, consulté le ) :
« En effet, la publication en 1er auteur d’un éditorial dans un journal qui, quelle que soit sa qualité, est peu cité à l’échelle internationale (IF2006 = 0,3) peut rapporter 5 points SIGAPS tout comme la publication en 4ème auteur d’un article original dans le New England Journal of Medicine (IF2006 = 51,3). »
- [vidéo] Politique Des Sciences, « Penser la pandémie (partie IV) : L'université, l'expert et la chloroquine », sur YouTube, (consulté le )
- « Didier Raoult, une frénésie de publications et des pratiques en question », sur leparisien.fr, (consulté le ).
- « Palmarès des hôpitaux: les as de la recherche sur l'AVC », sur LExpress.fr, (consulté le ).
- Jean-Christophe Sabourin et Stéfan Darmoni, « Avec le score SIGAPS : c’est le moment de publier dans les Annales de pathologie ! », Annales de Pathologie, vol. 28, no 2, , p. 77–78 (DOI 10.1016/j.annpat.2008.05.001, lire en ligne, consulté le )
- Par Robin Korda et Cyril SimonLe 12 juin 2020 à 15h19, « Didier Raoult, une frénésie de publications et des pratiques en question », sur leparisien.fr, (consulté le ).
- « « Lancetgate » : publier beaucoup dans des revues scientifiques peut rapporter gros », Le Monde.fr, (lire en ligne, consulté le )
- Yves Gingras et Mahdi Khelfaoui, « L’effet Sigaps : la recherche médicale française sous l’emprise de l’évaluation comptable », sur Club de Mediapart (consulté le ).
- Yves Gingras et Mahdi Khelfaoui, « L’effet SIGAPS : la recherche médicale française sous l’emprise de l’évaluation comptable », Zilsel, vol. N°8, no 1, , p. 144 (ISSN 2551-8313 et 2553-6133, DOI 10.3917/zil.008.0144, lire en ligne, consulté le )
- « Sigaps : quel avenir pour ce système créé il y a 25 ans pour évaluer... », sur AEF info (consulté le )
- « Colloque 2024 : Quel avenir pour le score SIGAPS ? Enjeux pour l’évaluation et le financement de la recherche biomédicale en France », sur OFIS (consulté le )
