Évaluation par les pairs : du milieu universitaire aux organisations

Crédit: Elisa Calvet B.

Dans le cadre de notre série de blogues sur l’Expérimentation à l’œuvre (EO) nous présentons certaines voix des plus de 30 experts qui soutiennent notre deuxième cohorte. Ces experts écriront des blogues sur une variété de thèmes liés à la recherche et à l’expérimentation dans le gouvernement.

Ce premier blogue, rédigé par James Wiley, considère la valeur d’adopter plus largement la pratique scientifique de l’évaluation par les pairs.

James Wiley travaille comme analyste quantitatif pour le laboratoire de recherche et d’innovation de l’Agence du revenu du Canada. Son travail consiste à aider d’autres divisions qui manquent de ressources statistiques à se lancer dans des projets axés sur les données. James soutient également notre projet EO2 “Estimer la valeur des services en ligne gratuits” mené par Statistique Canada. Ce projet, dirigé par David Wavrock, vise à mesurer la valeur monétaire que les consommateurs accordent aux services en ligne gratuits comme Facebook, Instagram et Reddit.

* * *

Évaluation par les pairs : du milieu universitaire aux organisations

Lorsque vous entendez l’expression « évaluation par les pairs », il est probable que l’idée de revues spécialisées vous vienne automatiquement à l’esprit.

Et c’est tout à fait logique. L’évaluation par les pairs est un processus typique de la publication scientifique. Le rédacteur en chef d’une revue envoie un article à quelques examinateurs anonymes, qui indiquent s’ils pensent que le document mérite d’être publié.

Même si le processus peut être controversé parmi les universitaires — l’évaluation par les pairs peut prendre des mois et est décevante lorsqu’elle donne lieu à un rejet — , il vaut la peine d’examiner comment cette pratique peut être appliquée au sein de nos propres organisations.

Le bien-fondé de l’évaluation par les pairs au-delà du milieu universitaire

Malgré certains des pièges inhérents à l’évaluation par les pairs, sa pratique peut être avantageuse. Même si votre travail n’est pas de nature « scientifique », le fait de demander à d’autres d’y jeter un coup d’œil et de fournir des commentaires constructifs produira habituellement un meilleur produit final.

Voici quelques points à prendre en considération au moment d’adopter un processus d’évaluation par les pairs :

• Est-ce qu’une tierce personne devrait servir de médiateur entre les examinateurs et les auteurs? Ou est-ce que les personnes désireuses de faire examiner leur travail par des pairs devraient pouvoir contacter officieusement d’autres personnes qu’elles jugent appropriées? Dans quelle mesure ce processus devrait-il être officiel?
• Les examinateurs devraient-ils être anonymes? Beaucoup de brillants analystes subalternes n’osent pas donner leur avis par crainte de répercussions. Si le fait de fournir un examen sincère peut nuire à la carrière de quelqu’un, personne ne sera sincère.
• Les examinateurs sont-ils récompensés ou reconnus? Voilà une question qui pose problème chez les universitaires, mais au bout du compte, les examens seront de meilleure qualité si les examinateurs obtiennent une forme d’incitatif.
• Combien de temps les examens devraient-ils prendre? Il est toujours important d’assurer un équilibre entre la rigueur et la rapidité dans un contexte précis.
• Les gens vont-ils utiliser ce système pour améliorer leur travail? Ou le système va-t-il plutôt créer des tracasseries administratives indésirables qu’ils tenteront de contourner en fournissant un minimum d’efforts? Choisissez judicieusement vos batailles lorsque vous mettez en œuvre un processus d’évaluation par les pairs.

Voici quelques exemples de processus d’évaluation par les pairs que j’ai connus depuis que je travaille au gouvernement :

• À l’ARC, un groupe d’analystes se réunit une fois par mois pour discuter des problèmes liés aux données qu’ils ont rencontrés. Les échanges portent entre autres sur le partage de conseils concernant la programmation statistique, la connaissance des données extraites de nos systèmes et les plaintes (pour voir où les frustrations se recoupent). Aucun gestionnaire n’est autorisé à participer aux réunions. De plus, tout renseignement communiqué en dehors de ces réunions est rendu anonyme; des noms de code sont utilisés pour que les membres puissent savoir qui a dit quoi, mais ces noms ne veulent rien dire pour les gens de l’extérieur. Il ne s’agit pas d’un processus traditionnel d’évaluation par les pairs, mais l’objectif est similaire. Ces réunions permettent d’obtenir de l’information et des commentaires que les membres peuvent utiliser pour améliorer leur travail. De plus, l’anonymat sert à protéger les membres du groupe. L’organisateur a travaillé extrêmement fort pour mettre en œuvre cette mesure de protection. Il en résulte que les analystes apprennent plus rapidement, réduisent la répétition du travail (en se partageant des ressources adaptées) et peuvent communiquer de façon cohérente sur les problèmes auxquels ils font face.
• Statistique Canada a mis en place un processus d’évaluation par les pairs plus traditionnel. Certains de nos analystes ont rédigé un document sur les résultats relatifs au marché du travail selon différents niveaux de scolarité. Comme notre domaine de travail était l’éducation, nous avons dû demander à quelqu’un qui connaissait les tendances du marché du travail d’examiner notre document. L’anonymat n’a pas été utilisé, mais tous les intervenants avaient à cœur d’améliorer la qualité du produit final, alors la critique a été bien accueillie.
• Mon superviseur à Statistique Canada nous a fait travailler sur le même résultat statistique sans que l’on se consulte. Une fois le travail terminé, nous avons comparé les résultats. Si nos résultats étaient différents, nous essayions de déterminer lequel d’entre nous avait fait fausse route et quel élément était erroné. L’objectif de cet exercice était d’obtenir le bon résultat, et non de déterminer qui était le meilleur programmeur. Si l’un d’entre nous avait eu trop d’ego, il aurait été impossible d’appliquer cette méthode. Ce processus s’est révélé tellement efficace pour déceler les erreurs que je me sens maintenant nerveux chaque fois qu’il n’est pas appliqué.

L’évaluation par les pairs peut prendre de nombreuses formes, et il vous sera avantageux de soumettre votre travail à une vérification croisée ou au regard d’une autre personne afin d’obtenir le meilleur résultat. Toutefois, soyez conscient que si vos intentions sont tout autres, le processus risque de s’en trouver faussé.

Lecture suggérée : Note supplémentaire sur l’évaluation par les pairs

Albert Einstein s’est rendu célèbre en tentant de publier un article dans lequel il prétendait que les ondes gravitationnelles « n’existaient pas ». Il a été outré lorsqu’un examinateur anonyme a laissé entendre que sa preuve était erronée. Cependant, après un examen et une discussion avec ses collègues, il a réécrit son article pour suggérer que les ondes gravitationnelles « existaient bel et bien ». C’est cette dernière version qui a finalement été publiée. (Ce récit vous intéresse? Vous en trouverez les détails dans cet article [en anglais] de Physics Today.)

Imaginez maintenant la situation si l’examinateur n’avait pas été protégé par l’anonymat. Le fait de contrarier un scientifique aussi réputé qu’Einstein aurait pu mettre un terme à la carrière de n’importe qui.

(L’envers de la médaille, c’est que l’anonymat qui aide les examinateurs à être honnêtes sans subir de répercussions négatives est aussi le même anonymat qui leur permet d’être excessivement cruels et injustes. Il faut donc agir avec intégrité.)

En fin de compte, si une évaluation par les pairs a fait en sorte qu’Einstein révise entièrement l’une de ses conclusions scientifiques, imaginez ce qui pourrait en être pour les décideurs…

* * *

Article also available in English here: Peer Review: From academia to organizations| by Experimentation Works (EW) | Feb, 2021 | Medium