EVALUATION 

Depuis 2010 et la réforme de ses procédures d’évaluation, le F.R.S.-FNRS a acquis une expertise reconnue internationalement en matière de peer reviewing (évaluation par les pairs qui permet à des chercheurs d'évaluer les demandes de financement d’autres chercheurs sur base de différents critères : qualité du candidat, qualité du projet, environnement de recherche,…) et d’organisation de procédures d’évaluation qui répondent aux standards internationaux en la matière. 

Comme la plupart des agences de financement de la recherche, le F.R.S.-FNRS n’est pas en mesure de financer l’ensemble des demandes qu’il reçoit chaque année. Il organise donc des procédures d’évaluation qui lui permettent d’identifier les meilleures demandes parmi celles qu’il reçoit, en fonction des critères établis pour chaque type d’instrument de financement. Cette procédure se déroule généralement en deux étapes : dans un premier temps, à distance par des experts internationaux (sauf pour les instruments de niveau doctoral) via la plateforme web E-Space du F.R.S.-FNRS et, ensuite, par des Commissions Scientifiques (CS) ou jurys qui se réunissent pour discuter des propositions reçues et des évaluations à distance collectées afin d’établir un classement consolidé. 

Le service « Analyse, Evaluation & Prospective » du Fonds prend en charge ses missions d’identification et de recrutement d’experts à distance. L’objectif est de faire en sorte que chaque demande de financement puisse être évaluée par un nombre adéquat (ni trop faible, ni trop élevé) d’experts légitimes. La légitimité d’un expert pour évaluer une demande de financement s’apprécie d’une part au regard de  son expérience et expertise scientifique (expérience et connaissance suffisante du domaine que pour être en mesure de fournir un avis pertinent), d'autre part en fonction de son son absence de conflit d’intérêts potentiel par rapport au(x) proposant(s) de la demande en question (capacité d’évaluer la demande en toute objectivité et impartialité). Les experts sont identifiés via différentes canaux : auteurs de publications scientifiques en adéquation avec le domaine de recherche spécifique d’une demande de financement ou d’un domaine pour lequel il manque des experts dans la base, listes d’évaluateurs reconnus d’instances d’évaluation européennes ou internationales, suggestions des membres de CS, suggestions d’autres experts, etc. 

Pour atteindre ses objectifs, le service « Analyse, Evaluation & Prospective » du Fonds a constitué depuis 2010 une base de données d’experts qui compte aujourd’hui plus de 14 000 experts issus du monde entier, répertoriés en fonction de leur domaine d’expertise et de leur niveau : type de poste occupé, ancienneté scientifique, indices bibliométriques, expérience en évaluation et en encadrement, prix scientifiques obtenus, etc. Des contacts sont assurés de manière permanente avec les experts qui sont invités à rejoindre la base de données du F.R.S.-FNRS. Ceux-ci sont également accompagnés dans les différentes démarches qui se rapportent à l’enregistrement en tant qu’expert et à l’évaluation de propositions pour le Fonds (il est par exemple rappelé à chaque expert l’importance de fournir une argumentation solide lors de l’évaluation d’une demande de financement). 

Le F.R.S.-FNRS, via son service « Analyse, Evaluation et Prospective » a le souci d’alimenter de manière permanente la base de données de sorte à améliorer, d’une part, le niveau scientifique global des experts sélectionnés ainsi que le caractère pointu de ceux-ci par rapport aux dossiers qu’ils évaluent et, d’autre part, assurer un certain turnover parmi les experts de la première étape. En moyenne, pour chacun des deux principaux appels à projets organisés par le F.R.S.-FNRS chaque année (appels « Bourses & Mandats » et « Crédits & Projets »), environ 30% des experts à distance n’ont jamais effectué d’évaluation pour le F.R.S.-FNRS auparavant. Près de 60% des évaluations réalisées à distance sont effectuées par un expert s’auto-déclarant « pointu » par rapport à la demande. Pour atteindre ces résultats, pour chacun de ces appels, plus de 3000 invitations à évaluer une proposition sont envoyées à des experts enregistrés dans la base de données des experts du F.R.S.-FNRS pour les dossiers concernés. Le taux de refus s’élève à environ 30%, le plus souvent justifiés par un manque de disponibilité de la part des experts sollicités. Outre ces deux appels, d’autres sont gérés par le service dans le cadre d’appels à projets organisés par le Fonds comme GEQ, WELBIO, EOS, PDR-THEMA ou encore le Fonds Generet.

En plus de l’identification d’experts à distance intervenant dans le cadre des différents appels à projets gérés par le Fonds, le service propose aussi des experts pour les jurys de Prix gérés par le Fonds, pour les différents autres jurys (FRIA, FRESH) ainsi que pour les CS du Fonds. Ces propositions sont discutées avec le Comité d’Accompagnement du F.R.S.-FNRS (COMA) lors des réunions de celui-ci et une proposition finale est établie suite aux discussions, qui est ensuite transmise au Conseil d’Administration du Fonds (CA) pour décision. 

L’administration du Fonds n’a depuis 2010 eu de cesse d’améliorer constamment les procédures d’évaluation proposées, prenant en compte les commentaires pertinents transmis par les membres de CS (les membres des CS sont invités à communiquer à l’administration du Fonds le nom des évaluateurs ayant effectué un travail insatisfaisant : évaluations contenant des erreurs factuelles, évaluations peu argumentées, notes pas justifiées, etc afin que ceux-ci ne soient plus sollicités), les experts à distance ainsi que leurs propres observations et analyses concernant la procédure en vigueur. 

La satisfaction des experts à distance par rapport à la procédure d’évaluation en vigueur au F.R.S.-FNRS se reflète dans les chiffres clés suivants[1] :

• 91,8% des experts estiment que les demandes de financement qu’ils évaluent pour le F.R.S.-FNRS sont de qualité similaireou supérieure à celles qu’ils peuvent évaluer pour d’autres agences de financement, seuls 2,9% estiment qu’elles sont de qualité moindre.

• Note globale moyenne attribuée à la procédure d’évaluation : 17,3/20 (+ 0,5 point par rapport à 2017).

• 94,7% des experts estiment disposer de toutes les informations nécessaires (par exemple relatives aux différents instruments de financement) à la réalisation de leurs évaluations.

• 95,6% des experts estiment le système de notation du F.R.S.-FNRS adéquat.

• 83,1% des répondants considèrent les critères d’évaluation en vigueur au F.R.S.-FNRS comme étant adaptés ou tout à fait adaptés pour évaluer l’ensemble des instruments de financement.

• 90,6% des répondants se déclarent (tout à fait) satisfaits de la plateforme en ligne (e-space) et aucun expert n’a déclaré n’être pas satisfait (du tout) par rapport à l’accompagnement des experts par le personnel du F.R.S.-FNRS.

Concernant l’impact de la pandémie de Covid-19 sur le temps que les experts à distance ont pu consacrer à l’évaluation des demandes de financement, 15,6% des répondants ont déclaré que la pandémie de Covid-19 leur avait permis de disposer de plus de temps qu’habituellement pour effectuer des évaluations de demandes de financement, 47,2% ont déclaré disposer d’autant de temps et 37,3% de moins de temps (dont 6,8% ont déclaré disposer de beaucoup moins de temps). Par ailleurs, lapandémie de Covid-19 semble avoir eu un impact plus important sur les femmes que sur les hommes[2] concernant le temps habituellement à disposition pour effectuer des évaluations de demandes de financement.

[1] Ces résultats sont issus d’une enquête de satisfaction (anonyme) lancée le 8 décembre 2020 auprès des experts ayant réalisé au minimum une évaluation à distance pour le Fonds au cours des deux appels à projets principaux organisés en 2020 (i.e. Bourses et Mandats 2020 et Crédits et Projets 2020). Au total 3366 experts ont été invités à répondre à l’enquête. Celle-ci avait pour but principal d’évaluer le niveau de satisfaction des experts par rapport à la procédure d’évaluation en vigueur au F.R.S.-FNRS, d’évaluer l’impact de la pandémie de Covid-19 sur le temps qu’ils ont pu consacrer à l’évaluation des demandes de financement, et de réfléchir à des pistes d’amélioration de nos procédures. 41,3% des experts interrogés ont répondu à cette enquête (1389 réponses complètes ont été récoltées). Ce taux de réponse jugé comme suffisamment élevé permet de considérer que les réponses récoltées sont représentatives de la population interrogée. 

[2] 45,7% des répondantes ont déclaré avoir moins de temps (dont 10,7% ont déclaré avoir beaucoup moins de temps) qu’habituellement pour effectuer des évaluations de demandes de financement en raison de la pandémie de Covid-19, contre 34,0% pour les répondants (dont 5,3% ont déclaré avoir beaucoup moins de temps). 

ANALYSE ET PROSPECTIVE

A côté de ses activités liées à l’évaluation de la recherche, le service réalise une série d’études dont les objectifs sont principalement de vérifier que les différentes procédures ayant cours au F.R.S.-FNRS fonctionnent de manière optimale et sont exemptes de biais. A titre d’exemple, à la suite de chaque appel, un rapport est rédigé reprenant des analyses essentiellement statistiques, dont l’objectif est de tenter de répondre à différentes questions que l’administration du Fonds ou d’autres acteurs du milieu académique pourraient se poser quant à l’appel en question.

En outre, différentes analyses ponctuelles sont réalisées en fonction des sollicitations reçues, mais également en réaction à des points d’actualité en matière de politique scientifique, qui peuvent couvrir différents domaines (répartition des financements, mobilité internationale, genre, open science, etc.). Des données issues d’autres agences de financement doivent parfois être mobilisées, afin de pouvoir également confronter les procédures en vigueur au F.R.S.-FNRS à celles d’autres pays. Des analyses bibliométriques sont par exemple régulièrement réalisées, permettant notamment de comparer le volume de publications produites en FWB à celui d’autres pays. Le service réalise également annuellement des enquêtes auprès des anciens doctorants et Chargés de recherches ayant bénéficié d’un financement du F.R.S.-FNRS ou de ses fonds associés afin de disposer d’un aperçu du devenir de ceux-ci, d’étudier dans quelle mesure leur intégration professionnelle a été rapide suite à l’achèvement du financement, ou encore de collecter leurs commentaires par rapport au financement dont ils ont bénéficié ainsi que de l’impact du F.R.S.-FNRS au niveau de leur carrière.

Outre la vérification de la qualité des procédures et l’assurance de l’adéquation des instruments de financements avec les besoins du monde académique, les études réalisées au sein du service permettent d’identifier des leviers possibles d’amélioration des processus lorsque ceci est estimé nécessaire. L’objectif du service est également d’adopter une démarche prospective afin d’aider le Fonds à anticiper le futur du paysage du monde académique, en FWB ou dans le monde, et d’éclairer au mieux le Conseil d’Administration lors de prises de décisions.

En sus des activités directement liées au Fonds, le service effectue une veille de la littérature internationale concernant la politique scientifique, et tâche de publier régulièrement des études scientifiques dans des revues internationales à comité de lecture issues des bases de données du Fonds. Le service participe également à différentes initiatives internationales comme Science Europe, l’association européenne des agences de financement et organismes de recherche, ou encore à certains groupes de travail de l’Organisation de Coopération et de Développement Economiques (OCDE). A ce titre, il est impliqué dans l’élaboration de documents ou de rapports en collaboration avec différents acteurs de différents pays.

TEMPS FORTS 

• Juin 2020 : Publication du rapport « Addressing Societal Challenges using Transdisciplinary Research » auquel le F.R.S.-FNRS a participé  : https://www.oecd-ilibrary.org/science-and-technology/addressing-societal-challenges-using-transdisciplinary-research_0ca0ca45-en

• Décembre 2020 : Publication du rapport sur l’état de l’égalité de genre 2019 : https://www.frs-fnrs.be/docs/FRS-FNRS_Rapport_etat_egalite_genre_2019.pdf