Évaluation par les pairs: les chercheurs font plier les IRSC

Le 13 juillet dernier, les Instituts de recherche en santé du Canada (IRSC) ont fini par accepter – très fortement encouragée en ce sens par la ministre fédérale de la Santé Jane Philpott – de discuter de leur nouveau processus d’évaluation en ligne avec 47 représentants des chercheurs canadiens. Vassilios Papadopoulos, chercheur senior à l’Université McGill, a participé à la réunion de travail des IRSC pour améliorer le nouveau processus d’évaluation imposé par les IRSC.Les chercheurs réclamaient depuis des mois l’abolition de l’évaluation en ligne imposée par les IRSC et notamment les discussions virtuelles. Ils ont obtenu « un processus hybride, assez correct », estime Vassilios Papadopoulos¹, titulaire de la Chaire de recherche du Canada en pharmacologie biochimique et chercheur senior, qui a participé à la réunion de travail.Pour le prochain concours, le processus d’évaluation se déroulera donc en deux temps, avec un premier tri effectué en ligne et une seconde étape où les experts pourront discuter face à face des demandes qui auront obtenu les meilleurs scores (40 % des demandes totales). Il y avait urgence. Le cycle de demandes suivant des chercheurs en santé commençait un peu après la mi-juillet.Or, depuis des mois, ces derniers crient famine au Canada. La réforme des IRSC, entreprise il y a maintenant quatre ans, a conduit à une diminution significative des concours dans les deux dernières années avec pour conséquence un afflux important des demandes de subventions pour chaque opportunité restante. Il y a eu ainsi plus de 3 800 candidatures pour le concours dont les résultats sont tombés le 15 juillet dernier. Et avec seulement 13 % de demandes acceptées, plusieurs laboratoires sont inquiets pour leurs recherches à venir. En d’autres termes cela veut dire 87 % d’insatisfaits qui devront trouver des fonds ailleurs ou abandonner leur projet.Principal bailleur de fonds de la recherche canadienne en santé, les IRSC ont un budget d’un milliard $ par année et tout hiatus dans la distribution de cette manne a un impact conséquent sur le milieu de la recherche. Pour éviter toute interruption dans le financement ou dans les concours à venir, les chercheurs réunis avec les IRSC à Ottawa avaient donc pour mission de trouver un compromis très vite – en une journée.Une solution hybride, faute de mieux« Nous devions essayer de réparer un avion en plein vol », explique le professeur Papadopoulos, ce qui a forcé les chercheurs à travailler sur un « processus acceptable » mais surtout « faisable », et ce, avec un horizon de six mois, car la prochaine vague de subventions est déjà en marche. Les chercheurs avaient jusqu’à la fin juin pour déposer leurs demandes, lesquelles sont évaluées au cours de l’été.Pour la première fois depuis des mois, ils ont senti que les IRSC étaient de leur côté. « On ne parle même pas d’un esprit ouverture, mais d’une porte ouverte. C’était vraiment différent de tout ce qu’on a vécu jusqu’à maintenant », souligne le professeur Papadopoulos, qui rappelle cependant, à la défense des IRSC, que l’organisme a toujours dit que son nouveau processus d’évaluation était un projet pilote.Un projet avec des ratésUn projet pilote malheureusement non fonctionnel et au sujet duquel les chercheurs tirent la sonnette d’alarme en vain depuis des mois. Tout s’est cependant accéléré quelques jours avant l’annonce des résultats du dernier concours en date. Le 27 juin, Jim Woodgett, un chercheur torontois, directeur de l’Institut de recherche Lunenfeld-Tanenbaum, a mis en ligne une lettre – signée dans les jours suivants par plus de 1 300 de ses collègues – pour remettre en question « les changements radicaux à ses principaux programmes de financement de la recherche scientifique et à sa méthodologie d’examen par les pairs ». Dre Francine M. Ducharme, du centre de recherche du CHU Sainte-Justine, une des chercheures qui a cosigné la lettre envoyée à la ministre fédérale de la santé Jane Philpott pour lui demander son soutien face aux IRSC.Les plus grandes institutions de financement dans le monde distribuent leurs subventions aux chercheurs à la suite de concours, lors desquels des pairs réunis en comités thématiques évaluent les dossiers en session plénière pour choisir ceux qui recevront leurs subventions. Une façon de faire qui coûte cher, puisqu’il faut réunir pendant plusieurs jours des experts qui travaillent à des kilomètres les uns des autres, mais qui est jugée équitable par les chercheurs en quête de subventions. Les IRSC, dans le cadre de leur vaste réforme, ont cependant décidé d’innover et d’opter pour un processus d’évaluation en ligne. Chaque demande était, depuis, assignée à cinq évaluateurs avant de se retrouver mise en concurrence dans un bassin central sous la surveillance de 140 présidents virtuels. Une nouvelle façon de faire qui a engendré son lot de problèmes (voir encadré).Autre situation décriée par les chercheurs, le choix d’un forum en ligne, qui ne permet pas aux chercheurs de discuter en direct. « Pour le réviseur, c’est totalement inefficace, car on peut ressortir une demande quatre fois de façon asynchrone et on ne peut jamais boucler le dossier puisque la personne n’est jamais en ligne en même temps que nous », déplore la Dre Francine Ducharme2. Cette chercheure soumet des demandes et en évalue depuis des années. D’autres dossiers ne sont tout simplement pas discutés. Allonger le temps accordé au processus virtuel n’a rien changé. « La partie communication ne fonctionne pas et c’est ce qui a soulevé l’ire de tout le monde, car c’est l’échange qui fait la valeur du processus par pair », souligne-t-elle.Ce qui a fait déborder le vaseConfirmé dans ses fonctions pour un deuxième mandat de cinq ans par le premier ministre du Canada Stephen Harper en 2013, le Dr Alain Beaudet a entrepris en 2012 une véritable révolution au sein des IRSC. Outre le changement dans le contenu des demandes de subventions des chercheurs, les IRSC ont remplacé leurs dizaines de programmes thématiques par deux axes de financement. Le volet « fondation », destiné à fournir un soutien à long terme à des chefs de file en recherche, offre des subventions annuelles de 50 000 $ à 1,5 million $ sur cinq ou sept ans. Le volet « projets » cible plutôt des idées de recherche avec des subventions allant de 50 000 $ à 750 000 $ sur une durée d’un à cinq ans.« Ce principe est très bon », soutient la Dre Ducharme, puisqu’on sait que les chercheurs consacrent beaucoup de temps à essayer de décrocher des subventions tous les deux ou trois ans. Mais le temps que les IRSC mettent en place ce nouveau volet, ils ont dû annuler les concours qui concernaient les projets cliniques. Résultat : un nombre particulièrement élevé de chercheurs ont demandé des subventions lors du premier concours portant sur les « projets » alors que les IRSC n’ont pu compter sur un groupe suffisant d’évaluateurs pour mener à bien la tâche de titan que représentait l’évaluation de ces multiples demandes.À la suite de la réunion de travail à Ottawa, les chercheurs ont obtenu qu’on crée un comité, auquel ils siégeront, destiné à évaluer le processus hybride. Le professeur Papadopoulos rappelle que les chercheurs et les IRSC se sont mis d’accord sur « le principe » mais qu’il faudra décider des détails et voir comment cela fonctionnera lors des prochains cycles de demandes de subventions.Principaux ajustements au processus d’évaluation des demandes de subventions à la suite de la réunion des chercheurs avec l’IRSC en juilletRétablissement des discussions en personne et élimination des discussions virtuellesSurveillance des groupes de demandes assurée par des duos formés d’un président virtuel et d’un agent scientifiqueMise en place d’un processus itératif complémentaire pour les propositions d’intérêt autochtoneCréation d’un groupe de travail pour peaufiner les recommandations.Chronique d’une catastrophe annoncéeAux IRSC, jusqu’à tout récemment, il existait une cinquantaine de comités, tous portant sur différentes thématiques cliniques (cardiovasculaire, respiratoire, essais cliniques randomisés, etc.), auxquels les chercheurs pouvaient soumettre leurs demandes. Depuis deux concours, les IRSC ont cependant décidé de passer à une évaluation virtuelle.La Dre Francine M. Ducharme, directrice adjointe de recherche clinique au centre de recherche du CHU Sainte-Justine et cosignataire de la lettre publiée le 27 juin (voir texte principal), a participé comme évaluatrice au premier concours du genre. Chercheure depuis plus de 25 ans, cette pédiatre a fait partie de nombreux comités à titre de présidente, de réviseure ou de réviseure ad hoc. Lors de son dernier concours « traditionnel », une trentaine d’experts devaient évaluer une soixantaine de demandes, dont seulement 17 sont ressorties gagnantes. « Cela dure souvent deux jours au cours desquels chaque demande, critiquée par deux ou trois réviseurs est discutée en comité afin d'atteindre une côte consensuelle. Cette rencontre en comité permet, quand c’est nécessaire, de remettre en rang les différentes propositions », souligne la chercheure. Une demande peut ainsi voir sa cote monter ou descendre une fois que tous les autres projets ont été discutés au cours de la rencontre.Un premier concours à l’automne 2015 a permis aux évaluateurs de relever plusieurs problèmes, mais le second pour lequel ils ont postulé en mars dernier leur a confirmé un nivellement vers le bas de tout le processus. Les évaluateurs reçoivent chacun plusieurs demandes, mais pas forcément les mêmes. Ils ne peuvent donc pas avoir une vue d’ensemble des projets en lice ni se baser sur les mêmes critères pour établir leur rang. « Si par hasard j’ai les 10 moins bonnes demandes, ma meilleure demande peut être votre pire, mais je l’aurai placée en premier. Avec cette mathématique, on perd la pondération selon la qualité des projets. Et comme tout le monde ne voit pas tout, c’est un mystère total. » Un mystère que les officiels des IRSC sont incapables d’éclaircir pour les chercheurs, y compris ceux qui travaillent en biostatistique comme la Dre Ducharme.Rien pour rassurer les chercheurs qui n’ont plus « aucune confiance dans le système ». La Dre Ducharme ne sait d’ailleurs pas si un de ses projets de recherche, qui a obtenu 4,5 sur 5 l’an dernier et qu’on lui suggère de représenter à nouveau », a la moindre chance d’obtenir une note similaire par le truchement de ce nouveau processus d’évaluation.1. Vassilios Papadopoulos est professeur titulaire à la Faculté de médecine de l’Université McGill, ainsi que titulaire de la Chaire de recherche du Canada en pharmacologie biochimique et de la Chaire de médecine Dr Phil Gold.2. La Dre Francine M. Ducharme est professeur au département de pédiatrie et de médecine sociale et préventive de l’Université de Montréal et directrice adjointe en recherche clinique et transfert des connaissances au centre de recherche du CHU Sainte-Justine. Ce texte a été modifié après publication.

Évaluation par les pairs: les chercheurs font plier les IRSC

Pour accéder au contenu, connectez-vous ou créez un compte gratuit.

Catégories connexes