Félicitations! Vous avez réalisé une expérience! Et maintenant?
Indice : L’application de connaissances est difficile.
Lorsqu’on travaille à la promotion et à l’intégration de l’expérimentation dans le contexte de la fonction publique — et L’expérimentation à l’œuvre en est un exemple — il faut accorder une certaine priorité à accroître la capacité et à s’assurer que les ministères possèdent une combinaison adéquate de talents et disposent de savoir-faire nécessaire à concevoir et mettre en œuvre les expériences. Bien qu’il s’agisse là d’un aspect louable et fondamental du processus d’expérimentation, il ne couvre qu’une partie des éléments qui permettent aux données expérimentales de s’implanter et de mûrir au sein d’une organisation.
Une expérience n’est pas une fin en soi, mais plutôt une approche technique qui permet de produire des preuves, pour ensuite les utiliser afin d’éclairer le processus décisionnel d’une façon ou d’une autre. En termes simples, la production de preuves valides, solides et pertinentes est une condition préalable à l’élaboration de politiques fondées sur les données probantes. La prochaine étape logique consiste à s’assurer que les données probantes sont utilisées à bon escient pour informer les décisions.
Je dirais que ce dernier point n’est pas moins difficile que la conception et la mise en œuvre de l’expérience elle-même, et qu’il faut consacrer beaucoup de temps à la façon dont les données probantes seront intégrées dès le début au processus. En bref, si vous êtes en train de concevoir une expérience, vous devriez y réfléchir dès maintenant. Permettez-moi de m’expliquer.
1. Les expériences sont difficiles, l’application de connaissances encore plus
La mise en œuvre d’une expérience dans le contexte de la fonction publique présente certains défis. Premièrement, comme c’est le cas pour la recherche scientifique, les expériences décrivent des effets hypothétiques (c.-à-d. ce qu’on pense qui se produira) et les testent sur le terrain ou en laboratoire. Bien souvent, nos attentes théoriques sont erronées et les expériences ne donnent aucun résultat (c.-à-d. que l’intervention était censée avoir un effet, mais n’a pas généré de changement observable et statistiquement significatif à cet égard). Ce n’est pas nécessairement mauvais. Les expérimentateurs, les décideurs et les scientifiques aussi, d’ailleurs, devraient être prêts à obtenir des résultats nuls et à permettre que ces preuves alimentent un processus d’apprentissage. Accepter cela et suivre ce qu’indique la preuve est parfois plus facile à dire qu’à faire; les résultats peuvent être insatisfaisants et carrément décevants (c.-à-d. qu’il ne s’est rien passé!), mais cela ne devrait pas décourager. L’apprentissage véritable ne devrait jamais se limiter à des résultats positifs.
2. L’impartialité n’existe pas
Deuxièmement, on aime souvent se croire parfaitement neutre en ce qui concerne nos attentes. Toutefois, il arrive fréquemment que l’on espère un résultat précis, ouvertement ou non. En tant qu’être humain, on a tendance à avoir des préférences établies pour des résultats spécifiques.
Même si l’expérimentateur n’a pas de préférence ou d’intérêt particulier, ce préjugé peut se manifester dans l’organisation où se déroule l’expérience. Cela est indiqué, par exemple, par le niveau de ressources ou la valeur des investissements liés au service, au programme ou à la politique mis à l’essai.
Ce deuxième défi concerne le fait que les résultats expérimentaux ne s’harmonisent pas toujours avec les croyances et les opinions existantes. Les résultats expérimentaux peuvent être contre-intuitifs (c.-à-d. produire exactement l’effet opposé à l’hypothèse), difficiles à expliquer, ou simplement difficiles à concilier avec les options existantes sur le programme, le service ou la politique. En fin de compte, les données expérimentales peuvent être inconvenantes, surtout si elles semblent discréditer une option privilégiée.
3. La preuve n’est jamais facile à interpréter
Troisièmement, il se peut que les résultats de l’expérience ne soient pas très faciles à interpréter, ce qui complique les deux défis précédents. Une expérience typique met habituellement en contraste deux résultats observés (c.-à-d. l’un mesuré dans le groupe de traitement et l’autre dans le groupe témoin) à l’aide de statistiques conventionnelles (p. ex., l’utilisation de différences dans les tests des moyennes ou de régressions de base). Bien sûr, il est possible de concevoir les expériences pour permettre des analyses plus complexes, mais même dans un cas simple, les preuves expérimentales peuvent s’avérer difficiles à interpréter, surtout lorsqu’on ajoute l’étape supplémentaire consistant à préciser les répercussions des résultats aux fins de prise de décisions.
Les expériences — et il en va de même pour tous les types de données probantes qui peuvent éclairer le processus décisionnel — risquent toujours d’être mal interprétées. L’interprétation technique et statistique est souvent une tâche simple. Cependant, les données sont rarement éloquentes lorsqu’il s’agit de choix stratégiques. Par exemple, une expérience peut démontrer une différence statistiquement significative (c.-à-d. que la différence entre les deux groupes n’est pas nulle) et indiquer, par exemple, une différence de 5 % dans les résultats. Cette différence pourrait être statistiquement significative, mais est-elle importante, d’un point de vue pratique, pour votre organisation? Qu’en est-il d’une différence de 10 %? Ou d’une différence de 12,7 %? Quel serait le seuil pour que vous indiquiez que les résultats exigent un plan d’action précis en ce qui a trait à votre programme, service ou politique? La signification statistique des résultats est plutôt facile à calculer; ce qui n’est pas le cas de l’interprétation substantielle de la magnitude de l’effet (bien que certaines lignes directrices sont utiles à cet égard).
Dans un contexte où il est possible de comparer les données expérimentales à d’autres données d’une intervention semblable, l’interprétation est encore délicate. Disons qu’une expérience démontre que l’intervention x est efficace dans le contexte particulier étudié, mais que quelqu’un soulève qu’une expérience semblable a été menée dans un autre pays et qu’elle prouve exactement le contraire de ce qu’on croyait vrai.
Un bon exemple de ce phénomène est l’expérience de recrutement anonyme au Canada et l’expérience de candidature dépersonnalisée menée en Australie. La première expérience démontre que l’anonymat n’a pas eu d’effet sur la présélection des candidatures des membres des minorités visibles. Quant à l’expérience australienne, elle démontre que les candidatures dépersonnalisées ont limité les mesures d’actions affirmatives des examinateurs, ce qui peut indiquer que les fonctionnaires passant en revue les demandes d’emploi ont légèrement favorisé les femmes par rapport aux hommes.
Comment concilier les deux expériences ci-dessus? On peut se pencher sur les différences dans les modèles expérimentaux, mais ces exercices comparatifs sont difficiles. Quel poids faut-il accorder à sa propre expérience et à l’autre? Ces questions de premier plan portent sur l’évaluation de la fiabilité générale du protocole expérimental mis en œuvre et de la probabilité d’erreur de l’expérience.
Il est très difficile de déterminer dans quelle mesure les résultats justifient vraiment la politique qu’ils semblent appuyer. Les études en métascience (p. ex., les études qui portent sur d’autres études) suggèrent que la souplesse des modèles, l’hétérogénéité des résultats et les risques de biais sont tous des défis importants qui ont une incidence sur la fiabilité des résultats. De meilleures données expérimentales permettent de les atténuer, mais il faut aussi être conscient de ces questions et de ces mises en garde au moment de mettre en œuvre des expériences et d’analyser les données probantes.
Préciser ce qu’on ferait selon ce que les preuves démontreraient
Bien sûr, les processus stratégiques permettant l’expérimentation devraient être ouverts et prêts à faire face à ces situations, mais dans la pratique, cela peut être ardu. Une solution pratique consiste à décrire clairement, au début du processus expérimental, ce que les résultats signifieront en fonction de différents scénarios.
Dans le contexte de la recherche scientifique, les chercheurs détaillent habituellement leur théorie et leurs hypothèses, et comprennent ce que les différents tests menés signifieront pour la véracité de la théorie et la plausibilité de l’hypothèse. Dans une expérience scientifique, un test d’hypothèse aurait des implications claires pour la théorie en jeu (p. ex., rejeter l’hypothèse nulle signifie que x est efficace; un effet observé de taille z signifie que l’intervention x1 a donné de meilleurs résultats que x2, etc.).
Une approche semblable pourrait être élaborée pour les expériences qui se déroulent dans le contexte de la fonction publique. Ce genre de transparence dans le processus d’élaboration des politiques est important pour bien prendre en considération les données probantes et pour éviter de choisir uniquement ce qui convient. Lorsqu’on conçoit et met en œuvre une expérience, on doit clarifier dès le début les questions suivantes : qu’est-ce que les résultats (positifs, négatifs ou nuls) signifieront pour l’organisation? Et pour votre programme? Serait-on prêt à corriger le tir en fonction de ces résultats possibles? L’organisation serait-elle prête à augmenter le financement et à développer davantage le programme (ou, à l’inverse, à se désengager et à le réduire) en fonction des résultats? Ce sont toutes des questions importantes et difficiles dont il faut discuter avant d’obtenir les résultats expérimentaux. Sans réponse claire, il est probable que l’expérience ne soit pas aussi pertinente ou importante qu’elle pourrait l’être.
Je proposerais une liste non exhaustive d’éléments clés auxquels on devrait porter une attention particulière au moment de concevoir et de mettre en œuvre une expérience :
1. Utilisation des données probantes : Réfléchissez à la raison pour laquelle vos données expérimentales seront utilisées. Elle doit être claire, sans quoi vous passerez à côté d’opportunités d’apprentissage et d’action.
2. Scénarios : Obtenez rapidement des commentaires de votre direction, non seulement sur la conception et l’essai, mais aussi sur les répercussions pratiques des divers scénarios de résultats que vous pourriez obtenir (p. ex., des résultats négatifs ou positifs, significatifs ou non, des effets mineurs ou importants, prévus ou imprévus). Un bilan préliminaire est toujours une excellente pratique.
3. Public cible : Déterminez vos publics cibles et adaptez votre stratégie de diffusion des connaissances à leurs besoins et à leurs particularités. Cela peut signifier d’utiliser différents formats de présentation, styles et niveaux de complexité, toujours adaptés au public.
4. Application des connaissances : Préparez à l’avance un plan d’application et de diffusion des connaissances. Cela ne doit pas être préparé après coup, autrement votre expérience risque de ne pas être mise en lumière comme elle le mérite et sera rapidement oubliée ou ignorée.
5. Interprétation des résultats : Alors que les données ne parlent jamais d’elles-mêmes, évitez l’extrapolation et les allégations exagérées. Assurez-vous que votre message correspond au modèle décrit par les données. Gardez les choses simples et allez à l’essentiel lorsque vous présentez vos résultats.
6. Résultats contradictoires : Soyez prêt à expliquer vos résultats à la lumière d’expériences potentiellement contradictoires menées ailleurs. Cela peut ajouter du bruit à l’interprétation globale, mais n’ignorez pas les résultats divergents. N’hésitez pas à demander l’avis d’un expert à ce stade.
7. Échec et apprentissage : Les expériences qui ne fonctionnent pas peuvent quand même procurer des renseignements et des leçons sur l’expérimentation au sein de la fonction publique. Les défis doivent être clairs et communiqués afin de pouvoir les relever adéquatement lors des prochaines séries d’expériences. Même dans le cas d’expériences réussies, un bilan rétrospectif est extrêmement pertinent.
Les défis que j’ai soulignés ci-dessus montrent la nécessité de s’engager sur ces questions dès le début afin d’être prêt à relever les défis lorsqu’ils se présenteront (et ils se présenteront probablement). Des experts sont requis pour clarifier les subtilités et les détails techniques présentés par les données, mais ces questions doivent être traitées conjointement avec des experts des programmes et des politiques puisque ceux-ci détiennent une compréhension approfondie du secteur des programmes, des services et des politiques, ainsi que de leur contexte vital. Bien que la promotion des expériences dans la fonction publique constitue un important pas en avant pour appuyer une culture organisationnelle efficace fondée sur l’apprentissage continu et les données probantes, cet exercice devrait toujours être mené en soupesant soigneusement certains des défis méthodologiques et interprétatifs importants propres à l’utilisation des données expérimentales dans la fonction publique.
Billet rédigé par un des experts de l’Expérimentation à l’œuvre, Pierre-Olivier Bédard, du Conseil national de recherches du Canada
This post is also available in English here: https://medium.com/@exp_works
