L’expérimentation à l’œuvre rapport d’impact (2018–2019)
Le but d’un rapport d’impact est de faire le point, tant sur le point analytique qu’introspectif, de tout ce qu’une certaine initiative a réalisé. Nous avons déjà des billets de blogue qui documentent le parcours, un examen indépendant qui a examiné divers éléments, alors pourquoi un autre article? Le rapport d’impact devrait être lu comme un complément à notre rapport d’échec. Dans ce rapport, en plus de colliger des statistiques (qui racontent une certaine histoire), nous essayons d’être aussi introspectifs que possible sur ce qui s’est bien passé selon nous et de raconter des histoires qui nous ont marqués (qui pourraient être représentatives ou symboliques de thèmes plus vastes).
Tout d’abord, les statistiques :
Voici, sans ordre particulier, quelques-unes de nos histoires les plus percutantes sur l’expérimentation à l’œuvre (EO) :
Apprendre comment les ministères travaillent (Pierre-Olivier Bédard). L’idée initiale du jumelage d’experts devait profiter aux ministères qui avaient besoin d’expertise en expérimentation. Ce jumelage a très bien fonctionné et a été souligné ailleurs. Je pense qu’il y a eu un impact clair à cet égard, car cela a vraiment comblé une lacune de capacité dans les ministères. L’un des avantages indirects de ce processus a été les connaissances que j’ai acquises en travaillant avec les ministères pour comprendre leur voie d’expérimentation. Il est assez facile de concevoir une expérience sur papier (du moins pour un expert), mais la mise en œuvre est toujours plus difficile, surtout dans le contexte de l’administration publique.
Ma participation à l’EO m’a essentiellement permis d’être aux premières loges pour observer comment les plans de l’équipe de projet se sont déroulés, les obstacles qui ont été rencontrés, les considérations pratiques qui ont fait surface et la façon dont les problèmes ont été résolus. Ces observations m’ont été extrêmement utiles pour voir et comprendre, non seulement la façon dont les projets particuliers fonctionnent, mais aussi pour avoir une vue de plus haut niveau de la façon dont les ministères, en tant qu’ensembles institutionnels de règles, de procédures, de pratiques et de normes, soutiennent ou entravent l’expérimentation. Il est particulièrement utile d’illustrer le fonctionnement des organisations, les voies par lesquelles les expériences peuvent être opérationnalisées et de réfléchir à la façon dont une dynamique au niveau du système peut être modifiée. L’EO, à part entière, a démontré que les expériences sont possibles, mais pas toujours de la façon la plus directe. Certains projets ont viré dans de multiples directions, d’autres ont fait des montagnes russes de la répartition aléatoire (c.‑à‑d. qu’on nous a dit une semaine que la randomisation n’était pas possible, ce qui pourrait faire dérailler le projet, pour ensuite entendre plus tard qu’une solution de rechange était effectivement possible…), mais on a néanmoins réussi à arriver au stade final. En fin de compte, les équipes de projet avaient non seulement des preuves de leur projet, mais aussi une foule de renseignements sur la façon dont elles y sont parvenues. En tant que fonctionnaires, nous aimons penser que nous savons comment fonctionne la fonction publique, mais nous apprenons vraiment en nous aventurant dans des espaces non évidents comme des projets expérimentaux.
Il n’y a pas vraiment de formation sur les considérations de mise en œuvre pour les expériences en contexte d’administration publique (peut-être qu’il devrait y en avoir? Je pense que oui!) Ce que nous avons, c’est une collection d’expériences personnelles, de perspectives, de billets de blogue et de rapports documentant toutes ces idées, obstacles, enjeux et solutions. C’est une chose à laquelle nous devrions prêter attention la prochaine fois que nous commencerons à examiner à quoi pourrait ressembler une expérience. Aucun manuel technique sur l’expérimentation ne peut remplacer tout cela, et c’est certainement quelque chose que je garderai à l’esprit lorsque je donnerai des conseils sur la conception et la mise en œuvre de l’expérimentation.
Travailler de façon ouverte n’est plus remis en question, mais est même célébré (@danutfm).
Le mouvement vers un gouvernement ouvert a vraiment fait des progrès incroyables au sein du gouvernement du Canada au cours des dernières années. L’expérimentation est aussi une mentalité qui normalise l’échec, mais pas d’une façon où nous célébrons l’incompétence et ne réfléchissons pas à fond, mais laissant de la place aux hypothèses qui ne sont pas validées, comme une partie essentielle pour apprendre et faire avancer un domaine quelconque. Pour cette raison, nous voulions que l’EO crée un espace où une hypothèse nulle serait considérée comme une chose tout à fait normale qui se produirait, et en fait, si l’on en arrivait à utiliser des méthodes rigoureuses, elle devrait être considérée comme très utile pour le domaine, puisqu’elle permettrait d’envisager d’autres solutions possibles par la suite. Personnellement, j’ai été très heureux de constater que personne n’a remis en question notre conception initiale, qui était très audacieuse dès le début au sujet du fait que toute la cohorte de l’EO devrait se dérouler complètement de façon ouverte, de l’identification des hypothèses à la réalisation des analyses. J’ai été complètement ravi de constater que cette façon de travailler n’est jamais devenue un point de discorde au sein des équipes de projet, c’est-à-dire qu’il s’agissait d’une pratique normalisée à l’échelle du gouvernement. Si nos homologues d’autres gouvernements à l’étranger avaient une question au sujet de notre travail, ils pourraient tout simplement vérifier eux-mêmes. Pour moi, le succès s’est produit lorsque l’organisation de coopération et de développement économiques a rédigé un article sur nous et nous n’avons pas eu à bouger un doigt. Cette organisation a été capable de trouver suffisamment de documents par elle-même et a fait un excellent travail en résumant les détails les plus nuancés.
Travailler de façon créative et efficace exige habituellement de quitter les cubicules et les salles de conférence (@schancase). L’EO a clairement eu un impact positif en présentant différentes façons dont nous pourrions commencer à intégrer des pratiques plus novatrices et plus efficaces au gouvernement. Cet impact positif a été démontré non seulement par l’accent mis par l’EO sur l’intégration d’expériences délibérées (lorsque c’est possible et approprié) dans la façon dont nous travaillons à l’échelle du gouvernement, mais aussi par la présentation de nouvelles façons de travailler, peu importe le contexte. Ces façons de travailler comprennent de nombreux éléments déjà mis en évidence dans le présent rapport d’impact, soit le travail de façon ouverte, le partage de talents internes à l’échelle du gouvernement, le jumelage de divers ensembles de compétences par l’entremise d’équipes interfonctionnelles et un modèle de cohorte qui a créé un sentiment d’appartenance au sein de sept ministères et d’un organisme central. Pour moi, tout cela n’a été possible que parce que ces manières de travailler ont commencé avec un petit groupe de fonctionnaires aux vues similaires qui étaient passionnées par l’idée de construire quelque chose pour répondre à un besoin en utilisant toute méthode possible et nécessaire. Un petit exemple, mais non négligeable est celui de la façon dont nous avons travaillé et de l’endroit où nous avons travaillé. Bien que le 90, rue Elgin soit l’un des édifices gouvernementaux les plus distingués à Ottawa, il n’avait pas de WiFi en 2018. Par conséquent, nous devions (régulièrement) prendre nos tablettes et aller dans un café (ou le salon de quelqu’un) où nous pouvions mettre en place un espace physique et numérique (y compris des plateformes de collaboration en temps réel) qui nous permettrait de travailler ensemble en temps réel. Je ne pense pas que nous aurions pu le faire de la même façon sans la liberté et l’automobilisme nécessaires pour travailler de cette façon.
Obtenir une vue d’ensemble unique des différents projets à l’échelle du gouvernement (@terhas_). Par mon implication à cette initiative, j’ai eu l’occasion d’en apprendre davantage sur une variété de projets et de contextes ministériels. Peut-être même plus utile encore, j’ai pu apprendre des équipes de projet, des experts et de la collectivité de l’EO pendant qu’ils travaillaient sur leurs expériences.
Par exemple, j’ai beaucoup appris sur ce qu’il faut pour faire quelque chose pour la première fois dans différents contextes. J’ai une meilleure compréhension des types de personnes et d’expertise nécessaires pour faire un essai A/B dans un contexte gouvernemental où un tel essai n’a jamais été fait auparavant. Comme je participe au processus et que je documente les apprentissages, je peux vous dire qu’il faut beaucoup de collaboration pour le faire. De même, j’ai une meilleure idée de ce qu’il faut pour offrir l’une des premières microsubventions pour les jeunes au gouvernement du Canada ou pour tirer parti d’une demande présentée par une tierce partie afin de réaliser un essai contrôlé randomisé.
Bon nombre des leçons avaient des points communs, mais les divers contextes ont rendu les aperçus particulièrement uniques. En fin de compte, j’ai eu un point de vue très intéressant que peu de personnes obtiennent, et encore moins de nouveaux fonctionnaires.
La puissance du modèle de cohorte (@kailiml). Ayant participé à la première cohorte de l’EO dans le cadre de mes fonctions à l’Office de l’efficacité énergétique de Ressources naturelles Canada et en tant que directrice exécutive du secrétariat du Conseil du Trésor du Canada (SCT) responsable de l’EO, j’ai pu constater directement le pouvoir du modèle de cohorte. En rassemblant des personnes qui travaillent toutes ensemble sur les questions de l’expérimentation ou qui essaient des expériences à petite échelle par leurs propres moyens, l’EO nous a aidés à tracer une voie claire pour l’avenir et nous a fait comprendre clairement que nous n’étions pas les seuls à essayer et à apprendre en cours de route. Le sentiment d’appartenance à la collectivité que nous avons créé et que nous espérons continuer à croître est un élément important de la proposition de valeur de l’EO.
L’exécution de l’EO à partir du SCT a donné aux ministères une ligne directe vers les organismes centraux et les décideurs (@sean2pt0). Dans certains cas, l’exécution à partir du SCT a créé une pression au sein du SCT pour changer les règles ou les processus qui étaient des obstacles aux expériences. Le fait d’avoir un rôle actif dans la mise en œuvre de projets ministériels sur place n’est pas quelque chose que le SCT est toujours habitué à faire. Voyant comment les règles du SCT s’appliquent dans la vraie vie, peut constituer une expérience enrichissante pour le Ministère, et il y a plusieurs cas où l’équipe de l’EO du SCT s’est opposée à d’autres parties du SCT d’une manière qui n’était pas toujours confortable (ou traitée). Il pourrait être intéressant pour le SCT, de façon plus générale, même en dehors de l’engagement d’expérimentation, de jouer un rôle plus actif pour aider les ministères à lancer des projets touchés par ses politiques, de sorte que le SCT puisse voir la manifestation réelle des règles et des processus qu’il crée.
En matière d’expérimentation, l’apprentissage par la pratique était un choix inspiré par rapport aux modèles d’apprentissage théoriques (@danutfm). Nous savions que nous devions élaborer des guides sur « la façon d’expérimenter » dans le contexte du gouvernement du Canada, mais nous avons résisté à l’idée de créer un guide complet. Cette élaboration ne nous a jamais semblé correcte, étant donné que les expériences peuvent prendre autant de modèles différents et sont compliquées par les données disponibles, les fenêtres de mise en œuvre, les processus d’approbation favorables, l’éthique, etc. Donc, plutôt que de nous concentrer sur les méthodes possibles, nous avons décidé de nous concentrer sur la mise en œuvre et sur l’apprentissage par la pratique. Ce choix semble avoir été inspiré, et je dirais que je l’utiliserais de nouveau à l’avenir plutôt que des outils d’apprentissage plus traditionnels, comme l’enseignement en classe. Ce n’est pas que nous n’avions pas besoin d’apprendre de véritables experts avec une concrète expertise et de la pratique de la conception et de l’exécution d’expériences. Nous ne voulions pas simplement aller dans une salle de nos pairs pour communiquer nos expériences à ce jour et dire que c’est fait. Cependant, nous savions aussi que l’enseignement abstrait ne permettrait probablement pas de résoudre les véritables complications de l’expérimentation, qui est presque toujours liée à la mise en œuvre. Nous remarquons généralement (et sagement) au gouvernement que les incitations doivent être harmonisées pour que tout soit un succès. Ici, nous avions une occasion en or de tester la méthode expérimentale à petite échelle, sachant que nous pouvions contrôler de nombreuses structures d’incitation pour voir ce qu’il faut exactement pour qu’elle réussisse. Je ne veux pas laisser entendre que c’était facile, mais je considère comme une victoire le fait que, après avoir mobilisé des personnes qui étaient plus que sceptiques lorsqu’elles se sont jointes à l’EO pour la première fois (mais qui s’y sont jointes quand même), ces mêmes personnes sont devenues de véritables défenseurs de la valeur de l’expérimentation dans un contexte de service public.
Le SCT et les cadres supérieurs peuvent être des leviers d’action efficaces (Pierre-Olivier Bédard). En tant qu’expert, j’aurais pu m’impliquer (comme je l’ai fait de temps à autre) à donner des conseils ad hoc sur la conception de projets, sans aucun lien officiel avec l’EO. Cela aurait peut-être bien fonctionné, mais le fait que ma participation faisait partie d’un processus officiel d’échanger de l’expertise entre les ministères a facilité grandement la vente de ma contribution à ma direction. Travaillant d’abord dans un domaine qui n’était pas directement lié à l’expérimentation, j’ai dû argumenter que l’EO n’affecterait pas ma charge de travail actuelle et pourrait également profiter à l’organisation.
Le fait que l’invitation initiale provenait d’un cadre supérieur de ma propre organisation et que le SCT était prêt à signer un protocole d’entente a facilité la présentation du cas. Un vice-président/sous-ministre adjoint a suggéré que je me joigne à une initiative approuvée par le SCT au moyen d’un protocole d’entente au sein des deux ministères — que peut dire un gestionnaire? Certains diront que j’étais désigné volontaire, mais c’était en fait l’occasion que je cherchais et que j’espérais.
Par la suite, et à la suite d’une communication à l’échelle du ministère selon laquelle l’organisation se joignait à cette initiative du SCT avec moi en tant qu’expert, j’ai rapidement été perçu au sein de l’organisation comme ce bollé qui en sait beaucoup sur les expériences et les statistiques. À partir de là, j’ai rapidement été invité à participer à des réunions avec divers groupes d’évaluation et d’élaboration de politiques pour faire un remue-méninges sur les options expérimentales au sein de l’organisation. Bref, l’image du SCT, jumelée à la pression des cadres supérieurs, a ouvert la voie à une collaboration fructueuse, qui a même débordé pour inclure des travaux expérimentaux imprévus dans ma propre organisation.
L’utilisation du nom du SCT en vain fonctionne vraiment! (@kailiml) Il est beaucoup plus facile de préconiser l’utilisation d’approches expérimentales lorsqu’un organisme central vous permet de le faire au moyen de ressources, d’outils et de visites en personne. Bien que nous soyons tous d’accord pour dire que l’expérimentation est un outil efficace pour atténuer les risques liés aux décisions relatives aux politiques et aux programmes, il est parfois difficile d’obtenir l’autorisation de faire des expériences. La signature du protocole d’entente avec un sous-ministre adjoint au SCT nous a donné la permission et le confort nécessaires pour faire avancer notre travail.
La création indirecte de la demande et la mise en évidence des lacunes en matière de capacité (Pierre-Olivier Bédard). Peut-être que cela ne semble pas être une victoire évidente, mais au-delà des projets générant des preuves expérimentales, des leçons apprises et des connaissances partagées, je pense que l’EO a également eu un effet de démonstration pour ce qui est nécessaire à l’expérimentation pour s’implanter.
Au cours du processus, j’ai entendu à maintes reprises des personnes dire : existe-t-il un outil pour cela? Y a-t-il de la formation à ce sujet? Pouvez-vous organiser un atelier à ce sujet? Avez-vous des études de cas à ce sujet? Existe-t-il un inventaire à l’échelle du gouvernement? Y a-t-il une liste d’experts à l’échelle du gouvernement? (Bon nombre de mes réponses ont commencé par : « Ce serait formidable, mais… »)
Pour moi, toutes ces questions démontrent qu’il y a un intérêt et un appétit pour l’expérimentation. Lorsque nous parlons de « manque de demande » pour l’expérimentation, nous entendons généralement le manque de demande de la part des dirigeants, avec un manque d’exigences d’expérimentation dans les processus gouvernementaux et ainsi de suite. Quand on parle aux professionnels de niveau opérationnel, c’est un peu différent, car beaucoup d’entre eux cherchent des ressources pour acquérir des connaissances et des compétences en matière d’expérimentation. En fait, j’estime qu’il y a une assez grande demande à ce niveau.
Le fait de fournir des conseils et des possibilités d’expérimentation, ce qui est en grande partie ce qu’a fait l’EO, a déclenché quelque chose et a servi de précédent qui, je l’espère, justifiera la poursuite de l’élaboration d’outils et de documents d’expérimentation.
Que devons-nous faire maintenant?
Les résultats des équipes de projet ont fourni des éléments probants qui, en fin de compte, peuvent éclairer la prise de décisions. Les données probantes générées et les connaissances acquises par l’entremise de l’expérience de la cohorte de l’EO devraient indiquer clairement aux équipes de projet (et à leur direction) le plan d’action qui pourrait être adopté à l’avenir. Dans certains cas, les résultats indiquent que la mise à l’échelle d’une intervention peut effectivement être une bonne option, tandis que pour d’autres, elle met en évidence des possibilités claires de réplication basées sur des itérations expérimentales futures.
Les parcours suivis par les diverses équipes de projet n’étaient peut-être pas linéaires (et ils ont dû faire face à des contraintes très pratiques), mais ils montrent que l’expérimentation peut se faire au sein du gouvernement avec une grande rigueur méthodologique, même avec un temps et des ressources limités.
Le lien entre tous les projets, et pour nous un facteur clé de réussite est la valeur des partenariats. Les partenariats ont pris de nombreuses formes et comprenaient une grande variété de personnes provenant de nombreux ministères et organismes et de diverses parties de ces ministères et organismes, notamment des chefs de projet, des cadres supérieurs, des experts en conception expérimentale et en statistique, des responsables du soutien en GI/TI, des agents de communication, pour n’en nommer que quelques-uns. Bien que l’on n’ait pas toujours su clairement qui serait requis à chaque étape du processus, c’est ce qu’on appelle l’apprentissage par la pratique. Au fur et à mesure que des défis sont apparus au cours des phases de conception et de mise en œuvre du projet, plus de personnes ont été mobilisées pour résoudre des problèmes particuliers. Idéalement, tous ces problèmes auraient été prévus, mais en pratique, ce n’est pas possible. C’est une autre raison pour laquelle on devrait toujours avoir une collectivité pour aider à régler les problèmes au fur et à mesure qu’ils surviennent.
Le maintien et le développement de la capacité expérimentale au sein du gouvernement devraient signifier la mise à profit de la valeur ajoutée des relations. À mesure que l’expérimentation dans un contexte de service public devient plus institutionnalisée et même routinière, les réseaux d’experts en expérimentation et de chefs de projet doivent être renforcés et considérés comme des caractéristiques permanentes de l’écosystème d’expérimentation.
Pour ce faire, il faut qu’il ait une demande suffisante au sein de la fonction publique. L’expérimentation a toujours lieu dans un système qui a sa propre dynamique, ses propres mesures d’incitation et ses propres structures de responsabilisation. La demande pour avoir plus de données probantes (obtenues par l’entremise de l’expérimentation) devrait provenir des analystes eux-mêmes, mais aussi de la haute direction et de la sphère politique.
Comme nous l’avons mentionné ci-dessus dans nos histoires, l’adhésion des cadres supérieurs a été un facteur de succès. Les signaux forts de la direction sur la valeur de l’expérimentation et de la nécessité de maîtriser sa pratique servent de validation. Ils devraient également se traduire par la création d’un espace approprié (le temps et les ressources) pour l’expérimentation. Il est essentiel que le personnel qui travaille à l’expérimentation ait le type de personnalité défendeur qui milite continuellement en faveur de cette pratique. L’élément de défense des intérêts a souvent un effet de boule de neige, c’est-à-dire voir des exemples pratiques de ce que font les autres, faire preuve de transparence au sujet de défis et d’incertitudes spécifiques, tout en intégrant cette pratique dans des domaines centraux et pas seulement dans des dossiers périphériques, font et continueront de faire partie intégrante de l’expansion de cette fonction au sein de toute fonction publique.
Message de quelques membres de l’équipe du SCT EO, passés et présents: Pierre-Olivier Bédard, Sarah Chan, Terhas Ghebretecle, Kaili Lévesque, Dan Monafu, Sean Turnbull.
This post is also available in English here: https://medium.com/@exp_works
