Examen de l’initiative Expérimentation à l’œuvre

Crédit: Startup Stock Photos (Stocksnap.io)

Remarque: veuillez utiliser ce lien pour télécharger la révision au format .docx ou .pdf. Pour voir la réponse de l’équipe de EO à l’examen, veuillez consulter ce lien.

Introduction

L’examen de l’initiative Expérimentation à l’œuvre (l’initiative) a été mené à la demande de l’équipe des politiques stratégiques du Secteur des priorités et planification. Cet examen rend compte sur :

1. L’efficacité de cette initiative dans le renforcement de la capacité en expérimentation auprès des ministères participants.

2. La contribution et le succès de cette initiative pour soutenir la mise en œuvre des expérimentations.

3. La pertinence de la conception de cette initiative.

Cet examen fait partie du plan d’évaluation quinquennal du Secrétariat du Conseil du Trésor du Canada. La méthode de recherche et les limites de cet examen sont exposées dans l’annexe A.

Contexte de l’expérimentation

L’expérimentation au sein du gouvernement fédéral est une priorité articulée dans la lettre de mandat du président du Conseil du Trésor. En 2015, le Président a été mandaté pour qu’il s’assurer que les ministères et organismes consacrent un pourcentage fixe du financement des programmes pour l’application de nouvelles solutions à des problèmes existants.

En 2016, en réponse à la lettre du mandat, le Secrétariat du Conseil du Trésor du Canada (SCT) et le Bureau du Conseil Privé ont clarifié cet engagement avec la publication de la Directive relative à l’expérimentation à l’intention des administrateurs généraux (la directive). L’objectif de cette directive est d’instaurer un milieu de travail propice à l’expérimentation et la diffusion des résultats positifs, négatifs, neutres ou nuls de leurs expériences. Il est attendu que ces projets expérimentaux règlent des problèmes existants et persistants que les approches traditionnelles n’ont pas su régler, réduisent les risques d’investir dans un programme qui ne fonctionnent pas et qu’ils génèrent des données sur les résultats.

Dans un tel contexte, la directive définit l’expérimentation comme étant « l’essai de nouvelles approches dans le but de déterminer ce qui fonctionne et ne fonctionne pas en s’appuyant sur une méthode rigoureuse » tandis que l’innovation ce définie comme la mise en place de nouvelles idées, approches, solutions, méthodes ou services. Ces projets expérimentaux peuvent prendre la forme de comparaison entre l’intervention et un groupe contrôle, d’évaluations de la causalité des répercussions du programme ou de stratégies d’évaluation d’impacts d’une nouvelle approche.

En mars 2017, le Secrétariat du Conseil du Trésor et le Bureau du Conseil Privé ont créé le comité des sous-ministres adjoints en expérimentation dans le but de faire progresser l’engagement en matière d’expérimentation. Ce comité est un mécanisme horizontal pour soutenir l’apprentissage et la collaboration par l’exploration de cas pratiques en expérimentation et est un mécanisme de liaison avec les administrateurs généraux.

Profil de l’initiative

En 2018, le SCT a mis en œuvre l’initiative Expérimentation à l’œuvre afin de répondre aux exigences de la Directive relative à l’expérimentation à l’intention des administrateurs généraux. Cette initiative a été conçue pour s’échelonner sur une période d’un an et demi. Les résultats et les leçons retenues seront communiqués au public en 2019.

Cette initiative à l’échelle du gouvernement du Canada vise à renforcer la capacité, les compétences et les pratiques en expérimentation des ministères par le truchement d’expériences et par la diffusion des leçons retenues (le modèle logique de cette initiative est disponible à l’annexe B).

Le modèle de cohorte

En avril 2018, l’initiative a constitué sa première cohorte de 5 projets expérimentaux au sein de 4 ministères, dont l’un s’est retiré de l’initiative.

Le modèle de cohorte fut sélectionné afin que les participants tirent profit des expériences de la cohorte. L’initiative mettait à la disposition de cette cohorte un éventail d’outils et de ressources, des documents et ateliers d’apprentissage, un accès à des experts et une exposition aux cadres supérieurs.

Structure de gouvernance

Cette initiative est dirigée par l’équipe de politique stratégique du Secteur des priorités et planification du SCT. L’initiative ne possède pas de budget dédié à l’initiative et le partage des tâches se fait au sein de cette équipe et représente approximativement un équivalent à temps plein.

Le comité des sous-ministres adjoints en expérimentation sert de forum interministériel pour l’initiative. L’initiative utilise ce forum pour mettre à jour les membres sur les projets expérimentaux des participants et partage les besoins de l’initiative aux fins de discussions et d’intervention lorsque nécessaire.

Rôles et responsabilités des intervenants

Des protocoles d’entente ont été signés entre le SCT et chaque intervenant de l’initiative. Les rôles et responsabilités sont définis de la manière suivante :

Secrétariat du Conseil du Trésor

Le SCT est responsable de l’exécution et de la fonction de secrétariat de l’initiative. Il soutient les participants par l’entremise de documents, d’événements d’apprentissage, d’activités de collaboration et l’exposition des projets auprès des cadres supérieurs. Le SCT est également responsable de rendre compte les progrès réalisés et les leçons retenues auprès des intervenants et forums.

Ministères participants

Les participants sont responsables de l’élaboration et de l’exécution de leurs projets expérimentaux en utilisant les ressources du ministère. Ils s’engagent également à communiquer publiquement les résultats et les répercussions de leurs projets auprès des différents forums.

Partenaires experts

Quatre ministères fournissent une expertise en expérimentation aux participants par le biais de suggestions et de vulgarisation, de séances de conseils-experts et de collaboration. Les participants sont également tenus à rédiger au moins un billet sur le blogue décrivant leur expérience dans le cadre de cette initiative.

Les projets expérimentaux sélectionnés

Dans le cadre de cette première cohorte, un processus de sélection fut mis en place par l’initiative afin de sélectionner les projets expérimentaux. La première cohorte est composée des projets suivants :

L’initiative jeunesse Paul Yuzyk pour le multiculturalisme (un projet de Patrimoine canadien)

Ce programme de microsubventions vise à promouvoir la diversité et l’inclusion par l’entremise de subventions à des projets jeunesse. Les renseignements sont recueillis par le biais d’un sondage et d’entrevues téléphoniques auprès des bénéficiaires et permettront au programme d’accroître leur compréhension sur les répercussions de ses subventions et de son potentiel d’extensibilité. Ce projet expérimental permettra de soutenir la prochaine itération du programme.

L’initiative PRODigy (un projet de Santé Canada)

Ce projet expérimental vise à accroître le taux de déclaration d’incident des consommateurs concernant un produit de consommation ou un cosmétique en comparant l’efficacité de deux formulaires de déclaration d’incident présentés aléatoirement aux consommateurs sur le site du ministère. L’augmentation de ce taux générera des renseignements supplémentaires pour Santé Canada et permettra au ministère de cerner les problèmes et les tendances au Canada.

ÉnerGuide (un projet de Ressources naturelles Canada)

Ce projet expérimental vise influencer la compréhension des propriétaires de maisons sur l’efficacité énergétique de leur maison en faisant l’expérimentation de 36 modèles d’étiquettes ÉnerGuide. Les propriétaires ont reçu aléatoirement une étiquette par le biais de l’application Carrot Insights afin de permettre la comparaison des données.

L’efficacité énergétique des maisons (un projet de Ressources naturelles Canada)

Ce projet expérimental vise à inciter les propriétaires de maison à évaluer le rendement énergétique de leurs résidences. Trois différents messages ont été transmis par le biais de l’application Carros Insight afin d’inciter les propriétaires à recourir aux services d’évaluation d’un conseiller en efficacité énergétique.

Constatation sur la conception de l’initiative

L’examen a permis de constater les éléments suivants sur la conception de l’initiative :

- La définition et l’ajout de deux énoncés par l’initiative ont amené une confusion chez les participants. Il existe une perception que la définition adoptée par l’initiative diffère de la définition de la directive.

- L’initiative est bien située au sein d’une agence centrale, compte tenu du leadership du SCT et de son influence auprès des ministères.

- Le jumelage des projets avec des experts est une composante appréciée des intervenants. Cette composante a permis de raffiner l’approche des projets expérimentaux.

- Il n’y a pas eu d’appel à participer à l’initiative à l’ensemble des ministères. Seule une invitation a participé a été transmise aux membres du comité des sous-ministres adjoints en expérimentation.

La définition de l’expérimentation

Les entretiens avec les intervenants ont révélé qu’il existe une confusion entre l’expérimentation et l’innovation. En effet, les participants avaient une perception selon laquelle la définition adoptée par l’initiative différait des académiciens, de la directive et du cadre de responsabilisation de gestion.

Cette perception peut s’expliquer par :

• La mécompréhension des participants entre les concepts de l’innovation et l’expérimentation et de leur utilisation interchangeable dans les documents ;
• L’ajout des deux énoncés de l’initiative sur l’expérimentation (voir ci-bas) ;
• L’absence de critère relatif à la résolution de problèmes persistants et l’essai de nouvelles approches dans le but de déterminer ce qui fonctionne et ne fonctionne pas.
• L’approche préconisée (c’est-à-dire les essais contrôlés randomisés) est plus rigoureuse que celles définies par la directive.

En effet, l’initiative s’est appuyée sur la définition de l’expérimentation de la directive et a adopté deux énoncés supplémentaires :

1. L’expérimentation renvoie aux activités qui cherchent à étudier, mettre à l’essai et comparer les effets et les répercussions (c.-à-d. ce qui fonctionne) des politiques, des interventions et des approches dans le but d’éclairer la prise de décision fondée sur des éléments probants.

2. Pour mieux comprendre ce qui fonctionne, les chercheurs et les décideurs devraient chercher à intégrer et à combiner continuellement les perspectives uniques et les éléments probants générés par deux catégories de recherche générales : la phase exploration (qui permet de déterminer ce qui fonctionne en examinant diverses sources d’information) et la phase expérimentation (qui permet de déterminer ce qui fonctionne en comparant les interventions à l’aide d’expérience).

Ces critères additionnels ont eu l’effet de restreindre la définition de l’expérimentation aux approches les plus rigoureuses et d’exclure les approches qui seraient moins certaines, mais plus accessibles pour les participants qui possèdent peu d’expérience en expérimentation.

Bien que la directive permet l’utilisation de méthodes quasi expérimentales lorsque les stratégies permettent la collecte de faits probants, les participants ont noté que l’initiative avait mis l’accent sur les essais contrôlés randomisés et les tests A/B.

La gouvernance de l’initiative

Selon les intervenants, il est pertinent que l’initiative soit coordonnée par le SCT, car l’influence d’une agence centrale incite la haute gestion à s’engager dans les projets expérimentaux. L’implication d’une agence centrale facilite l’institution d’une culture en expérimentation à l’échelle du gouvernement.

La documentation a révélé que l’initiative a seulement fait l’objet d’une discussion au comité des sous-ministres adjoints en expérimentation dans le cadre de son lancement. Bien que ce comité serve de forum interministériel pour l’initiative, il fut noté par certains intervenants que la discussion avait mis l’accent sur le SCT et l’initiative plutôt que sur les projets expérimentaux des participants.

Le processus de sélection

L’initiative prévoyait que plusieurs ministères participeraient à l’initiative du SCT et un processus de sélection avec des critères a été élaboré. Toutefois, seule une invitation aux membres du comité des sous-ministres adjoints en expérimentation a été lancée et une discussion avec chaque membre ayant démontré un « état de préparation général » a eu lieu afin d’assurer un nombre adéquat de propositions. Le manque de communication dans le cadre du processus de sélection fut souligné et un des ministères a expédié l’avancement de son projet expérimental afin de satisfaire l’invitation. Les entretiens avec ce ministère ont révélé que le ministère s’attendait à être sélectionné étant donné qu’il avait répondu à l’invitation du SCT.

De plus, l’examen des critères essentiels et variables a révélé qu’il n’existait pas de critère relatif à la résolution de problèmes persistants que les approches traditionnelles n’ont pas su régler tel que défini par la directive.

Le modèle de cohorte et le calendrier

L’initiative a introduit un modèle de cohorte afin que les participants tirent profit des apprentissages des difficultés, des pratiques et des leçons retenues. Bien que les participants n’aient pas émis de commentaire sur le modèle de cohorte, les experts ont affirmé que cette approche encourageait le partage de leçons retenues, d’idées et d’éclaircissement sur des enjeux entre les membres de la cohorte.

De plus, l’initiative avait prévu que l’ensemble des participants commencerait leurs projets (phase expérimentale), échangerait sur leurs expériences (phase résultat) et rendrait compte des résultats (phase impact) selon un calendrier déterminé (l’annexe C présente le calendrier de l’initiative). Toutefois, l’ensemble des intervenants ont affirmé que les projets d’expérimentation n’avaient pas le même rythme et qu’une flexibilité du calendrier aurait été souhaitable.

Selon les entretiens, le calendrier de l’initiative complexifiait les projets expérimentaux et pouvait potentiellement avoir des répercussions négatives sur leur utilité. Par exemple, le Service numérique canadien du SCT s’était retiré de l’initiative, car la mise en œuvre du projet expérimental ne pouvait pas être retardée compte tenu du protocole d’entente avec le ministère client.

Le jumelage avec les experts

Le jumelage fut une composante clé de l’initiative, car les experts étaient jumelés avec des participants et fournissaient des conseils en plus de leurs tâches quotidiennes.

La documentation et les entretiens avec les intervenants ont révélé que le jumelage a débuté plut tôt que prévu afin de raffiner les propositions et la conception des projets expérimentaux. En effet, les ministères ne possédaient pas une capacité suffisante pour répondre aux critères de sélection et pour définir leurs projets.

Le partage d’expériences pratiques, la rétroaction et le dialogue ont permis aux participants de mieux comprendre les concepts en expérimentation, de cerner les problématiques à résoudre, de clarifier les questions de recherche, d’améliorer la rigueur de leurs projets et d’adopter de nouvelles solutions lorsqu’un obstacle se présentait.

L’ensemble des intervenants ont grandement apprécié cette approche et les experts, unanimement, referaient cette expérience si l’occasion se présentait. Dans un cas précis, il fut précisé que l’initiative avait permis de mettre en pratique l’apport académique de l’expérimentation dans un contexte fédéral.

L’utilisation des résultats

L’un des objectifs des projets expérimentaux au gouvernement fédéral est d’éclairer la prise de décision afin de réduire les risques d’investir dans un programme, un produit ou un service qui ne fonctionnerait pas.

Les entretiens ont révélé qu’il existe un appétit à l’échelle du gouvernement pour utiliser les résultats découlant des projets expérimentaux pour la prise de décision. Toutefois, selon les entretiens, les ministères semblent ne pas savoir comment mettre à profits les résultats positifs, neutres ou négatifs dans les prochaines étapes d’un programme, produit ou service.

Par exemple, lorsque les résultats d’un projet expérimental sont négatifs ou qu’un projet ne fonctionne pas, les ministères peuvent se questionner sur les éléments suivants :

- Est-il pertinent de mettre en œuvre un second projet expérimental avec une nouvelle approche ?

- Est-il pertinent de redéfinir le programme, le service ou le produit à la suite de ses résultats ?

- Est-il pertinent de partager les résultats à la haute direction ?

De plus, les entretiens ont permis de mettre en lumière l’existence d’une perception selon laquelle les résultats découlant des projets expérimentaux seraient instinctivement utilisés dans la prise de décision. Les entretiens n’ont toutefois pas soulevé d’exemples permettant de confirmer ou non cette hypothèse.

L’examen des protocoles d’entente a révélé la présence de dispositions à l’égard de la diffusion des résultats, des obstacles et des leçons retenues. Toutefois, ils ne comprenaient pas d’exigences quant à l’utilisation des résultats des projets expérimentaux pour la prise de décision d’un programme, produit ou service.

Résultat de l’initiative

L’examen a permis de constater les éléments suivants sur l’atteinte de ses résultats visés :

- Sans l’initiative, deux projets expérimentaux auraient été menés comme prévu compte tenu de la maturité du ministère, et un projet aurait été mené à plus petite échelle. Le quatrième projet fut considéré comme un projet exploratoire, car il visait à recueillir des renseignements sur les répercussions d’un programme de subvention.

- L’initiative a renforcé la capacité, les connaissances et l’expertise en expérimentation, en particulier auprès des fonctionnaires n’ayant pas été exposés aux projets expérimentaux.

- L’initiative a élaboré plusieurs outils, plateformes de collaboration et activités d’apprentissages qui furent appréciés.

Renforcement de la capacité en expérimentation

L’un des résultats visés par l’initiative est le renforcement de la capacité, des compétences et des pratiques en matière d’expérimentation des participants par le biais de la diffusion des résultats et d’un échange entre les membres de la cohorte.

Les experts ont indiqué que l’initiative et le modèle de cohorte ont favorisé le renforcement de la capacité, toutefois certains intervenants ont indiqué que sa valeur ajoutée auprès des participants ayant déjà piloté des projets expérimentaux était partagée.

De sorte, les intervenants ont affirmé que cette première cohorte était mieux positionnée à mener de nouveaux projets expérimentaux en raison de l’apprentissage et de leur compréhension des concepts en expérimentation.

Néanmoins, l’expertise en expérimentation et en recherche est décentralisée au sein des ministères et soulève la question de la pertinence d’avoir des équipes dédiées en expérimentation au sein des ministères afin de mieux tirer profit de cette expertise. La majorité des intervenants ont évoqué la nécessité d’avoir une communauté de pratique en expérimentation à l’échelle du gouvernement dans le but d’échanger, de créer une synergie entre les ressources et de renforcer la pratique en expérimentation.

L’opportunité d’expérimenter au sein des ministères, l’accès à une expertise en expérimentation et la disponibilité d’outils appropriés restent toutefois nécessaires pour que les ministères puissent poursuivre et mener des projets expérimentaux.

Dans le cadre de cet examen, l’ensemble des projets fut examiné afin de répertorier les répercussions de l’initiative sur les projets expérimentaux.

Le cas de Patrimoine canadien

Les experts attitrés à Patrimoine canadien s’entendaient pour dire que l’équipe responsable de l’Initiative jeunesse Paul Yuzyk pour le multiculturalisme était relativement nouvelle dans l’expérimentation.

Les entretiens avec les intervenants ont révélé que ce projet s’approchait plus à un projet exploratoire plutôt qu’à une approche expérimentale en raison de son objectif. Les experts ont travaillé en étroite collaboration avec l’équipe du Patrimoine canadien afin de mieux définir la conception du projet et d’améliorer leur compréhension sur les concepts en expérimentation. Les experts étaient unanimes quant à la dynamique positive et l’ouverture de l’équipe par rapport aux conseils fournis dans le cadre de ce projet. Selon les entretiens avec Patrimoine canadien, l’initiative a accru leur capacité et leur compréhension en expérimentation.

Le cas de Santé Canada

Les experts attitrés à Santé Canada ont affirmé que le projet expérimental de Santé Canada nécessitait un renforcement dans sa conception afin d’assurer la mise en œuvre d’essais contrôlés randomisés. Selon Santé Canada, cet échange avec les experts a accru leur compréhension des concepts en expérimentation et leur capacité à mener à bien de futurs projets expérimentaux.

À cet effet, l’initiative fut un catalyseur auprès de Santé Canada, car elle leur a permis d’échanger avec l’équipe de technologie de l’information du SCT afin d’éliminer les obstacles relatifs à la technologie de l’information pour le succès du projet.

Le cas de Ressources naturelles Canada

Ressources naturelles Canada a mené deux projets expérimentaux dans le cadre de cette initiative. Les entretiens avec les intervenants ont révélé que l’équipe de Ressources naturelles Canada avait déjà une grande maturité en expérimentation et était en mesure de mener leurs projets expérimentaux sans le soutien de l’initiative. Plus précisément, les deux projets avaient déjà été entamés « avec des partenaires du gouvernement et de l’extérieur pour stimuler l’innovation et l’expérimentation en matière de politiques dans le domaine de l’efficacité énergétique » avant leur intégration au sein de l’initiative.

Compte tenu de la maturité du ministère, les experts attitrés aux projets ont été redirigés vers le projet de Santé Canada en raison de son plus grand besoin expérimentation.

Le cas du Service numérique canadien

Le cas de l’équipe du Service numérique canadien est similaire au cas de Ressources naturelles Canada. En effet, les entretiens avec les experts ont révélé que le projet expérimental du Service numérique canadien avait déjà débuté avant son inclusion au sein de l’initiative. Vu la maturité en expérimentation du Service numérique canadien, les experts se sont questionnés de leur valeur ajoutée au projet.

Contribution de l’initiative à la mise en œuvre des projets expérimentaux

L’initiative a développé des outils et des plateformes de collaboration qui furent appréciés par les divers intervenants. Toutefois, il existait peu d’occasions pour les participants et experts de travailler en collaboration pour développer une capacité en expérimentation à l’échelle du gouvernement.

Le caractère approprié des outils de l’initiative

L’initiative a élaboré plusieurs outils, des plateformes de collaboration en personne, par téléconférence ou numériques (Trello et Medium) et des activités d’apprentissages en expérimentation. De plus, des articles, exemples et études de cas ont été diffusés sur le site web de l’initiative.

Ces outils de collaboration, en particulier les blogues sur la plateforme Médium, visaient à partager les leçons retenues des projets expérimentaux. Les entretiens avec les intervenants ont démontré que la plateforme numérique Trello a été très peu utilisée. Ils affirment également qu’il serait nécessaire d’utiliser d’autres plateformes numériques afin de rejoindre un plus large public pour la diffusion des résultats. Dans un cas précis, le pare-feu d’Immigration, Réfugiés et Citoyenneté Canada bloquait l’accès à ces plateformes numériques, toutefois les entretiens n’ont pas permis de soulever d’autres exemples.

Quant au mécanisme de collaboration et d’échange par téléphone ou par téléconférence, certains intervenants ont noté que ce format n’était pas propice à un échange candide et spontané. Ceux-ci suggèrent de les mener en personne afin de renforcer la collaboration entre les intervenants. Cependant, un participant a noté que les outils ne génèrent pas nécessairement la collaboration, mais ce sont les membres de la cohorte qui génèrent la collaboration.

L’ensemble des intervenants ont apprécié les activités d’apprentissage, car elles ont soutenu les projets expérimentaux. L’initiative devrait poursuivre dans cette lancée pour poursuivre leur effort de renforcement de la capacité en expérimentation à l’échelle du gouvernement. Toutefois, il fut suggéré que l’initiative explore l’opportunité d’intégrer des experts à l’extérieur de la fonction publique ou bien des experts ayant une expertise précise afin de mieux répondre aux besoins des participants.

Simulation de l’absence de l’initiative

L’examen a simulé l’absence de l’initiative afin de connaître davantage les répercussions de l’initiative sur les projets expérimentaux.

L’initiative fut un catalyseur pour les projets expérimentaux de Santé Canada et de Patrimoine Canadien, car ces projets n’auraient pas eu lieu ou auraient été à plus petites échelles. Dans les deux cas, les équipes n’auraient pas mené leurs projets sous l’approche expérimentale.

Toutefois, l’absence de l’initiative n’aurait pas changé la mise en œuvre des projets expérimentaux de Ressources naturelles Canada en raison de la maturité du ministère et du soutien du hub en innovation du ministère.

Facteurs de l’expérimentation

Les entretiens avec les intervenants ont permis de dresser plusieurs facteurs qui influencent le renforcement de la capacité en expérimentation.

Les connaissances de base du concept d’expérimentation

Une connaissance de base des approches expérimentales est nécessaire pour bien mener des projets expérimentaux. Les concepts expérimentaux tels que la définition d’une problématique à résoudre, la formulation d’hypothèses, la conception de devis expérimentaux, les méthodes statistiques, les essais contrôlés randomisés ou les tests A/B nécessitent une expertise pointue. Cette expertise vise à assurer la rigueur des projets expérimentaux, d’éviter les biais d’interprétation des données et de pallier aux obstacles techniques qui peuvent survenir.

À l’état actuel, il existe des niches d’expertise en expérimentation à l’échelle du gouvernement, mais cette expertise est décentralisée.

Le soutien de la gestion

Le soutien de la haute direction et des cadres dirigeants sont critiques pour le succès des projets expérimentaux et l’absence d’un tel soutien peut miner la capacité des ministères à mener des projets expérimentaux. Les intervenants ont précisé que ce soutien est nécessaire afin de garantir les ressources, les occasions et le temps qu’exigent les projets expérimentaux. De plus, les ministères doivent accepter le risque d’échouer dans un projet expérimental et rendre compte des échecs afin de tirer profit des apprentissages.

La disponibilité des ressources

La disponibilité des ressources pour les projets expérimentaux est un facteur qui influence la capacité en expérimentation selon les entretiens. Certains intervenants ont évoqué la nécessité d’avoir des ressources supplémentaires dans certains domaines comme la technologie de l’information, la communication et la conception graphique afin d’accroître le succès des projets expérimentaux afin de bien mener leurs projets expérimentaux.

L’écosystème à l’échelle du gouvernement

L’écosystème à l’échelle du gouvernement, par exemple les procédures internes et les systèmes de technologie de l’information, peut complexifier les projets expérimentaux des ministères. Il est nécessaire que les ministères possèdent les leviers adéquats pour faire face à cet écosystème.

Par exemple, la technologie de l’information, plus précisément les exigences web du site Canada.ca fut un obstacle pour le projet de Santé Canada. Le soutien de l’initiative et le rôle du SCT à titre d’agence centrale ont facilité le dialogue entre les fonctions de technologie de l’information du SCT et de Santé Canada afin de concrétiser le projet expérimental.

Ensuite, les formalités administratives des programmes de subventions sont venues complexifier le projet de Patrimoine canadien. Il fut noté que les microsubventions nécessitent les mêmes formalités administratives qu’un programme de subvention à plus grande échelle. Un processus simplifié et adapté aux besoins du projet aurait facilité le versement à temps opportun des subventions aux bénéficiaires.

La disponibilité des données

Il est essentiel que les données et les renseignements sur la problématique à résoudre soient disponibles et recueillis par les ministères. Sans la disponibilité des données, la probabilité qu’il n’existe pas de problème existant et persistant à résoudre augmente.

La documentation et les entretiens avec les intervenants ont révélé que la moitié des participants à l’initiative ne possédaient pas les données nécessaires pour entreprendre un projet expérimental. Par exemple, Santé Canada ne possédait pas les données nécessaires pour comprendre les répercussions du faible taux de déclaration d’incident des consommateurs.

Considérations

Par le truchement de son soutien et du jumelage avec les experts, l’initiative a contribué au renforcement des capacités et des connaissances seulement pour deux participants. La valeur ajoutée de l’initiative auprès des participants ayant déjà mené des projets expérimentation et ayant une plus grande maturité est partagée.

L’approche utilisée par l’initiative

La valeur ajoutée du modèle de cohorte est partagée. Ce modèle exige que les participants possèdent le même rythme d’avancement pour la mise en œuvre des projets expérimentaux, toutefois l’examen a révélé que les projets ne possèdent pas toujours le même rythme d’avancement. De plus, la cohorte regroupait des participants ayant différents degrés de maturité en expérimentation, de sorte que ce modèle ne répondait pas adéquatement au besoin des participants ayant une plus grande expertise dans le domaine.

L’initiative devrait explorer d’autres approches, par exemple un modèle d’appui continu des projets au lieu d’un modèle de cohorte. Celui-ci permettrait à l’initiative de mieux s’adapter aux rythmes variables des projets.

La localisation des projets expérimentaux

Les projets expérimentaux ont été menés au sein des programmes des ministères. Ces programmes ne possèdent pas nécessairement l’expertise en expérimentation et l’initiative, par l’entremise du jumelage avec les experts, a permis d’accroître leur capacité et connaissance dans ce domaine.

Cette expertise en expérimentation est décentralisée au sein des ministères et elle peut se retrouver dans les équipes dédiées à la recherche, en évaluation ou dans les carrefours en expérimentation. Il est nécessaire que cette expertise soit disponible pour les projets expérimentaux et l’initiative pourrait explorer une manière que les ministères puissent tirer profit de cette expertise disponible.

Diffusion des résultats découlant des projets expérimentaux

La diffusion de l’utilisation des résultats dans la prise de décision d’un programme, produit ou service est une composante que l’initiative devrait améliorer. Bien qu’il existe un appétit pour utiliser les résultats découlant de projets expérimentaux, il semble que les ministères ne sont pas certains sur les prochaines étapes à suivre afin de mettre à profit ces résultats. En ce sens, il serait pertinent que l’initiative explore la littérature sur le transfert des connaissances dans sa deuxième phase afin de permettre aux ministères de tirer profit des résultats découlant des projets expérimentaux.

Annexe A — Portée, méthodologie et limite de l’examen

Méthodologie

Dans le cadre de cet examen, le Bureau de l’évaluation et de la vérification interne a utilisé trois méthodes de collecte de données afin de tirer des constatations fondées sur des éléments probants.

Examen de la documentation

L’examen de la documentation permet de fournir des renseignements sur le contexte, le processus, la mise en place et les données administratives de l’initiative. Ce projet a examiné les documents suivants, mais sans s’y restreindre :

- Les présentations de l’initiative et offertes lors d’événements ou d’atelier d’apprentissage ;

- Les protocoles d’entente entre le Secrétariat et les participants ;

- Les documents produits pour le processus de sélection ;

- Les articles rédigés sur la plateforme numérique Medium ;

- Les comptes rendus du comité des sous-ministres adjoints sur l’expérimentation.

Entretiens avec les principaux intervenants

Le Bureau de la vérification interne et de l’évaluation a mené 13 entretiens de groupes auprès de 24 intervenants :

- L’équipe de l’initiative Expérimentation en œuvre (4 participants)

- Les experts (8 participants)

- Les équipes des 4 ministères participant à l’initiative (9 participants)

- Les projets n’ayant pas été réalisés (2 participants)

Ces entretiens ont permis de recueillir leurs rétroactions sur la conception, la pertinence et l’efficacité de l’initiative ainsi que de corroborer ou d’infirmer les données recueillies des autres sources d’information.

Études de cas

Une étude de cas pour chaque projet a été menée afin de mieux comprendre les répercussions de l’initiative sur les projets expérimentaux des ministères participants. L’examen a cherché à savoir davantage sur les éléments suivants :

- le contexte du projet expérimental

- les répercussions de l’initiative sur le renforcement de la capacité en expérimentation et de sa valeur ajoutée

- une description des facteurs à succès et les obstacles.

Limites

L’examen s’est limité aux répercussions de l’initiative depuis sa mise en œuvre jusqu’en novembre 2018, car l’ensemble des ministères n’avaient pas mis en œuvre ou terminé la réalisation de leurs projets expérimentaux lors des entretiens. Compte tenu de cette limite, les constatations sont principalement tirées des entretiens avec les équipes des ministères participants et l’examen de la documentation de l’initiative.

Annexe B — Modèle logique de l’initiative

L’initiative Expérimentation en œuvre a élaboré un modèle logique afin de clarifier les résultats attendus.

Modèle logique de l’initiative Expérimentation en œuvre

Annexe C — Calendrier de l’initiative

L’initiative a été conçue pour s’échelonner sur une période d’environ un an et demi en quatre phases distinctes :

Phase I : Préparation (d’octobre 2017 à mars 2018)

Cette phase met l’accent sur la conception de l’initiative, la présentation au Comité des sous-ministres adjoints sur l’expérimentation, la consultation des ministères et la détermination du soutien des experts et l’élaboration des documents et la sélection et mise au point des expériences de cette initiative.

Phase II : Expérience (d’avril à octobre 2018)

Cette phase met l’accent sur le renforcement de la conception, la mise en œuvre et la réalisation des projets d’expérimentation de la première cohorte avec le soutien du Secrétariat du Conseil du Trésor et des partenaires experts qui sont attitrés à chaque projet.

Phase III : Résultats (de novembre à décembre 2018)

Cette phase met l’accent sur la diffusion des résultats des expériences par le biais de blogues et des résultats sur le processus dans son ensemble de l’initiative expérimentation à l’œuvre.

Phase IV : Impact (mars 2019)

Cette phase met l’accent sur l’analyse rétrospective des expériences réalisées dans le cadre cette initiative. Les résultats et leçons retenues seront communiqués au public ainsi que les changements découlant des résultats.

Publié par l’équipe du bureau de la vérification interne et de l’évaluation à SCT

This post is also available in English here: https://medium.com/@exp_works