Leçons tirées de l’examen de l’initiative d’expérimentation à l’œuvre
Nous sommes heureux que l’initiative d’expérimentation à l’œuvre (EO) ait fait l’objet d’un examen par le Bureau de la vérification interne et de l’évaluation (BVIE) du Secrétariat du Conseil du Trésor (SCT). Sachant que l’EO était une initiative trop petite pour faire l’objet d’une évaluation officielle, nous voulions tout de même savoir s’il valait la peine de tenter à nouveau l’expérience, alors nous avons demandé à nos collègues du BVIE de procéder à un examen indépendant. Après tout, l’EO est expérimentale, ce qui signifie qu’il faut évaluer ce qui fonctionne! (N.B. : Nous ne pouvons pas appeler ce type d’examen une évaluation dans la mesure où, au gouvernement du Canada, les évaluations doivent respecter la Politique sur les résultats du SCT.)
Nous avons jugé bon de prendre un peu de temps pour présenter dans ce billet de blogue quelques impressions de notre équipe à la lecture du rapport d’examen (vous pouvez lire le rapport d’examen complet en cliquant ici). Pour nous, il s’agit d’une occasion de vous faire part de nos premières réflexions quant aux leçons tirées et aux mesures à prendre dans l’avenir, même si, bien sûr, nos réflexions continueront d’évoluer au fil du temps.
Il ne s’agit pas non plus de commentaires exhaustifs sur tous les aspects de l’examen — nous ne faisons que souligner certains des éléments qui ont attiré notre attention et qui méritent qu’on s’y attarde selon nous.
Nous allons commencer par ce qui a bien fonctionné selon le rapport d’examen :
● Situer l’EO au sein du SCT. Nous sommes heureux de l’entendre. Lorsque nous avons commencé l’EO, de nombreuses personnes au sein du SCT nous ont dit que ce n’était pas la façon habituelle dont un organisme central pouvait accroître sa capacité ou stimuler les mesures souhaitées. Le modèle le plus traditionnel était celui selon lequel une directive ou une politique est publiée, les ministères l’appliquent et sont ensuite évalués sur la façon dont ils l’ont appliquée. Dans notre cas, nous avons effectivement publié une directive, et nous essayons de relever progressivement la barre en ce qui concerne le succès dans ce domaine. Cependant, nous avons aussi appris que les ministères éprouvaient des difficultés avec la directive pour ce qui est du point de départ, de la capacité et de l’expertise, etc. L’EO constituait l’une des (nombreuses!) solutions à ces difficultés et une nouvelle façon de mobiliser, rejoignant ainsi les ministères dans un modèle d’apprentissage par la pratique qui mettait l’accent sur la collaboration horizontale. Nous savions qu’il fallait trouver des experts, élaborer des outils et des documents à l’appui et bâtir une communauté de pratique; alors nous nous sommes demandé pourquoi ne pas tout regrouper dans une seule initiative.
● Jumelage de projets avec des experts. Nous pensions que cet élément serait essentiel, et lorsque nous avons commencé, nous savions que cette expertise abondait au sein du gouvernement du Canada (particulièrement dans les ministères à vocation scientifique). Le jumelage des experts a été bénéfique pour les groupes de soutien qui, autrement, n’auraient peut-être pas eu accès à ce niveau d’expertise, et a aussi aidé à mobiliser les experts qui, autrement, ne travailleraient peut-être pas dans un contexte de politique ou d’innovation.
Vous trouverez ci-dessous nos commentaires sur certains des éléments qui pourraient être améliorés selon le rapport d’examen :
● Confusion entourant les définitions de l’expérimentation et de l’innovation. L’EO a modifié la définition de l’expérimentation fournie dans la directive de 2016. Comme l’indique le rapport d’examen, l’utilisation d’une définition modifiée a contribué à accroître la confusion dans le système. Nous avons modifié la définition parce que nous avons estimé que celle fournie dans la directive de 2016 donnait une orientation assez large pour montrer les liens entre l’expérimentation et divers domaines complémentaires comme l’innovation, mais qu’en fin de compte, il était utile de concentrer l’attention sur le volet expérimental de la pratique en s’appuyant sur une définition plus concrète. Il est important de reconnaître que la modification de la définition comporte aussi des inconvénients et que nous devrions peut-être faire plus d’efforts pour communiquer cette définition révisée. Leçon tirée : Nous devrions prendre conscience des conséquences que peut entraîner la modification d’une définition et les évaluer attentivement si nous décidons de modifier à nouveau une définition.
● Intégration de la souplesse et coordination des échéanciers entre les initiatives. Comme il a été mentionné dans le rapport d’examen, les échéanciers ne convenaient pas à toutes les équipes participantes. Le modèle n’était pas suffisamment souple pour permettre aux équipes de changer de cap ou de prendre tout le temps dont elles avaient besoin pour réaliser leur projet. Nous nous en sommes rendu compte au fur et à mesure, mais, dans un sens, c’était trop tard. Les échéanciers relatifs aux engagements des experts, des équipes, etc., étaient déjà arrêtés. La « période de repos » prévue après la phase de l’expérimentation et avant l’annonce des résultats avait pour but de permettre l’achèvement des projets qui auraient accusé du retard, mais nous ne sommes pas certains que ce message a été bien transmis ou que cette stratégie à elle seule aurait réglé le problème. Leçon tirée : Pour notre prochaine itération de l’EO, nous examinerons la possibilité d’avoir de multiples volets en fonction de la capacité et de l’état de préparation générale à l’expérimentation. Nous tiendrons également compte du temps mis par la première cohorte en fonction de la difficulté de l’expérimentation (complexité, défis liés à la conception, lacunes dans les données, etc.) et nous établirons les échéanciers en conséquence.
● Intégration des résultats dans les ministères à la fin de l’expérimentation. Nous n’y avions pas pensé, et nous le prenons très à cœur. Lors de la conception de l’EO, nous n’avons pas insisté auprès des équipes pour qu’elles intègrent les résultats dans les ministères, car nous ne connaissions pas les contextes de chaque ministère. Cela signifie que les équipes n’avaient pas toujours un plan en place pour intégrer leurs constatations dans les ministères. Leçon tirée : Les futures cohortes devraient comprendre une attente claire quant à la stratégie de diffusion et de traduction des connaissances afin que la boucle de rétroaction (entre trouver ce qui fonctionne et habiliter les décideurs à prendre les mesures nécessaires) soit bouclée.
L’examen nous a aussi permis de nous poser d’autres questions intéressantes :
● Que faire à propos des délais? Peut-on accélérer les choses? Dans un sens, l’EO a été une force d’action qui ne se serait pas nécessairement produite autrement. Lors de la mise en œuvre de l’une des expérimentations de l’EO, les délais étaient souvent causés par l’absence d’un lien clair entre les fonctions. Lorsqu’il n’y avait pas de progrès, les ministères pouvaient désigner la participation à l’EO comme moyen de faire respecter les échéances. Nous ignorons le temps qu’il aurait fallu pour réaliser les projets si les équipes de projet avaient essayé d’effectuer les mêmes interventions en dehors de l’EO, mais nous supposons qu’il aurait fallu plus de temps, ou que les interventions n’auraient même pas eu lieu.
Cela dit, la mise en place d’une pratique d’expérimentation à long terme a clairement une plus grande portée que la participation à l’EO. À notre avis, l’EO devrait être considérée comme un point de départ pour une culture d’expérimentation dans un contexte particulier. Les participants, stimulés par l’expérience, on l’espère, pourraient finir par acquérir suffisamment de confiance pour la reproduire. Il reste à voir si la participation d’un projet à une initiative comme l’EO est suffisante pour lancer une culture d’expérimentation à l’échelle du ministère, ou s’il faudra la limiter à une échelle beaucoup plus petite (p. ex., juste au sein d’une petite équipe directement concernée). Nous pensons que les effets d’entraînement dans certains ministères pourraient être plus importants que dans d’autres, puisque cela dépend aussi de l’état de préparation et des conditions habilitantes.
● Développer l’expertise expérimentale au sein d’une équipe ou la réserver à une fonction spécialisée. Nous débattons ce sujet depuis que nous avons commencé à travailler sur ce dossier. Nous ne pensons pas que la participation à un exercice d’un an comme l’EO fera d’un généraliste des politiques un expert en expérimentation. L’expérimentation est un domaine rigoureux; il faut du temps pour l’apprendre. Par conséquent, nous ne nous opposerons jamais à ce que l’expertise en matière de conception expérimentale soit intégrée dans autant d’équipes que nécessaire. Cela dit, nous sommes d’avis qu’il est extrêmement utile de soumettre les équipes (y compris la direction) à l’exercice d’expérimentation sur le terrain. Tous les généralistes doivent être en mesure de comprendre le rôle de l’expérimentation, de poser les bonnes questions et de reconnaître quand ils ont besoin de plus d’expertise. Lorsque nous avons commencé, le niveau minimal de connaissances de base était très faible; l’EO était une tentative d’exposer plus de personnes, en plus de « quelques convertis », à la pratique de l’expérimentation, pour compléter le travail en cours dans l’ensemble de la fonction publique afin d’appuyer la collectivité des politiques.
Nous remercions les évaluateurs de leur soutien et du temps qu’ils ont consacré à l’examen de la première cohorte de l’EO. L’EO est la première initiative pour laquelle le SCT a recouru à ce style de cohorte, l’apprentissage par la pratique, le projet ouvert par défaut, et nous tenons donc à nous assurer que nous avons tiré des leçons de l’expérience afin de pouvoir faire mieux la prochaine fois.
Publié par l’équipe de l’expérimentation à l’œuvre à SCT: Dan Monafu, Terhas Ghebretecle, Pierre-Olivier Bedard
This post is also available in English here: https://medium.com/@exp_works
