J'ai récement participé à une visite d'évaluation organisée par l'
AERES, une agence récement créée pour dégraisser le mammouth supérieur.
L'AERES est une autorité administrative indépendante installée le 21 mars 2007. Elle conduit l’évaluation des établissements, des unités de recherdisons che et des formations et des diplômes de l’enseignement supérieur, dans une approche intégrée qui fait son originalité. Il s'agissait d'évaluer un laboratoire interdisciplinaire regroupant des sociologues, des économistes, des historiens, anthropologues etc.L'invitation s'est faite à la sauvette: on ne m'a rien envoyé pour préparer la visite, jusqu'à mon coup de téléphone la veille au soir, et à ce moment là pas tous les documents ! J'ai protesté officiellement auprès des organisateurs.
Pendant les discussions l'ambiance n'était pas très amicale. J'ai fait trop clairement remarquer qu'on est toujours à la rue pour la caractérisation quantitative (=compter les publications), que cela devrait être le travail du secrétariat de l'AERES, et que le comité d'experts devrait discuter d'évaluation qualitative (ce que nous n'avons pas fait !). En réponse le comité national du CNRS (que je représentais) s'est fait taxer de nul par une autre membre du jury (la directrice d'un autre labo, manifestement insatisfaite de son évaluation par le comité national).
Le comité s'est beaucoup interrogé sur sa mission: faut il juger la pertinence du projet de fusion proposé entre les deux laboratoires évalués, y compris managériale et institutionnelle, ou seulement la qualité scientifique des travaux ? Discussions usuelles sur les publications d'excellence et la recherche interdisciplinaire appliquée. Aucune publication en A++ (Nature/Science) ni en A+ (Lancet/New England/AER et compagnie).
Pour l'évaluation quantitative en théorie, le directeur d'unité a rempli un bilan récapitulatif des publis et des personnes, et le rôle du président du comité d'expert est de le valider. Sauf que je n'ai pas vu ledit bilan, peut être que le directeur n'avait pas été prévenu à temps qu'il devait le remplir (c'est arrivé dans un autre labo que je connais bien). J'ai l'impression que l'AERES compte sur les experts pour élaborer des outils conceptuels et des logiciels d'évaluation. Donc je termine ce compte rendu par mes idées en la matière.
1/ C'est obsolète de travailler avec des liste de publications papier. Exiger un ficher de données structuré (XML), ce n'est pas la mer à boire. Sous-traiter la saisie ne coûte que quelques milliers euros pour un labo moyen. Il n'est pas possible de faire de l'évaluation quantitativesérieuse sans, et c'est aussi intéressant pour la gestion interne d'un labo de savoir ce qu'on fait.
2/ Pour évaluer l'output le jury devrait disposer de:
- règles du jeu définies: on compte qui, quand, quoi, où ...
- la liste de publi consolidée pour les 2 labos !
- la matrice du compte des publis par rang A/B/C et par discipline,
- profils temporels de l'activité de publication (rang, discipline, langue...)
- des statistiques comparatives par champ et par pays,
- le graphe du réseau social des copublications.
- les tirés à part de 5 publications choisies et 5 tirées au hasard
3/ Pour évaluer les inputs
- les statistiques démographiques à T-4, T, T+4 ans par genre, âge, ancienneté ds le grade et au labo, organisme, section/BAP. Pour les doctorants, basé sur une requête dans le fichier national des inscriptions en thèse afin de corroborer les dires des labos.
- les comptes complets, sincères, fidèles, historiques et prévisionnels.
- les rapports d'Assemblée Générale Annuelle
J'ai posé quelques questions de beotien "Qu'est-ce que vous avez trouvé qui a le plus contribué à améliorer *** ?" et "Vous travaillez sur la santé mentale et la sociologie, je suis surpris que vous ne parliez pas des réseaux famille/travaille/amis ?" qui n'ont pas reçu de réponse. Trop éloigné du sérail visiblement.
Bref, il reste du progrès à faire dans l'évaluation.