Leçons apprises après trois ans d’expérimentation à l’Agence du revenu du Canada (ARC)
L’ARC a fait de l’expérimentation une priorité au cours des dernières années et est devenue un chef de file au sein du gouvernement du Canada en préconisant l’utilisation d’expériences pour l’élaboration de politiques fondées sur des données probantes. Qu’il s’agisse de trouver des moyens d’accroître le recours aux prestations, de réduire le nombre de déclarations de revenus qui arrivent en retard ou d’accroître l’utilisation des services numériques, l’expérimentation est de plus en plus devenue la façon dont l’ARC met à l’essai de nouvelles idées et de nouveaux programmes.
Cela dit, la voie vers l’expérimentation n’a pas toujours été facile, et nous avons tiré des leçons au cours des dernières années. Nous avons eu le plaisir de partager ces leçons avec la cohorte de l’initiative L’expérimentation à l’œuvre lors la dernière activité d’apprentissage, et comme toute équipe qui participe pour la première fois à une expérimentation pourrait en tirer profit, nous avons cru bon de les partager dans ce document également.
Comprendre le problème
Pourquoi voulez-vous faire une expérience? Y a-t-il un problème connu avec une politique ou un programme? Avez-vous identifié un processus qui pourrait fonctionner décemment, mais qui pourrait mieux fonctionner? Comprendre pleinement le problème auquel vous vous attaquez, ainsi que les raisons pour lesquelles ce problème pourrait être présent, est un point de départ important, sinon une condition préalable, pour une expérience réussie.
Que se passe-t-il si vous ne comprenez pas bien le problème? Dans ce cas, vous pourriez envisager de faire d’abord des travaux exploratoires, comme des analyses de données ou des entrevues avec des intervenants. S’il n’y a pas de problème avec le programme, la politique ou le processus que vous examinez, même une intervention expérimentale bien conçue n’aura peut-être pas beaucoup d’effet.
Avoir une métrique claire et mesurable des résultats
Avez-vous un résultat clair que vous voulez mesurer? C’est essentiel pour une expérience. Si vous ne pouvez pas mesurer le résultat, ou si le résultat que vous mesurez n’est qu’indirectement lié à une intervention que vous voulez mettre à l’essai, il sera difficile (au mieux) pour vous de voir votre intervention avoir un effet. Si vous avez une métrique claire et mesurable des résultats, vous aurez peut-être plus de facilité à concevoir votre intervention, car vous saurez exactement quel résultat vous cherchez à influencer.
Commencer à petite échelle
Pour une première expérience, il n’y a rien de mal à mettre en œuvre un simple modèle expérimental. En général, une expérience avec un groupe témoin et un groupe expérimental est la façon la plus simple de concevoir une expérience (et étant donné la taille de l’échantillon, vous serez en fait plus susceptible de déterminer si votre intervention a eu un effet statistiquement significatif sur le résultat). De plus, si vous ne connaissez pas la randomisation ou si vous n’en savez pas beaucoup sur votre population, un échantillonnage aléatoire simple (au lieu d’options de randomisation plus complexes) pourrait suffire à vos besoins.
Commencer tôt
Cela semble évident, mais c’est important. Si vous avez plus de temps pour identifier le problème, penser aux interventions et concevoir l’expérience, vous verrez des résultats positifs dans la qualité de votre expérience, et vous serez moins susceptible de faire des erreurs.
Ne pas sacrifier la rigueur expérimentale
Lors de la réalisation d’une expérience pour la première fois, il y aura probablement de nombreuses étapes peu familières. Comment dois-je procéder à la randomisation? De quelle taille d’échantillon ai-je besoin? Les différences entre mon groupe témoin et le groupe expérimental sont-elles statistiquement significatives? Ce sont des questions importantes, et lorsqu’on conçoit et analyse une expérience, il est essentiel de tenir compte de ces questions (et d’autres) dès le départ. Il y a des experts enthousiastes dans l’ensemble du gouvernement du Canada qui peuvent vous aider à répondre à ces questions, en plus d’une vaste gamme de ressources en ligne.
Obtenir de la rétroaction
Ça ne fait jamais de mal de parler de vos idées pour une expérience avec les autres, surtout d’un large éventail de contextes et de perspectives. Les connaissances que vous obtenez en parlant aux autres vous aideront à affiner votre pensée et pourraient éclairer de nouvelles façons de vous attaquer à un problème ou à une question en particulier.
Parler de vos résultats
Il est difficile pour votre expérience d’avoir une incidence si personne n’est au courant de celle-ci. Parler de votre expérience, que ce soit au sein de votre ministère, à l’échelle du gouvernement du Canada ou auprès d’auditoires externes, est la meilleure façon d’obtenir du soutien pour votre travail et pour que vos résultats fassent une différence.
Et croyez-nous, nous reconnaissons qu’il est toujours plus satisfaisant de parler d’expériences avec des interventions qui ont eu un effet — celles qui ont « fonctionné ». Cependant, il est important de continuer à parler d’expériences où les interventions n’ont pas eu d’effet sur votre résultat. Après tout, savoir ce qui ne fonctionne pas est une preuve précieuse pour les équipes qui mènent des expériences dans des domaines connexes.
David est Analyste quantitatif principal avec L’Agence du revenu du Canada
