Trois choses que vous pouvez faire avant de lancer votre prochaine expérience
En avril 2018, l’initiative L’expérimentation à l’œuvre a été lancée, réunissant des fonctionnaires de l’ensemble du gouvernement du Canada, approfondissant nos connaissances sur l’expérimentation et nous inspirant à apprendre par la pratique, et en partageant les leçons apprises en cours de route les uns avec les autres. Depuis, un certain nombre de ministères ont lancé leurs premières expériences, mettant à l’essai des interventions sous certaines formes, des guides d’information et d’autres moyens. Nous avons beaucoup appris au cours de la dernière année, mais le parcours ne s’arrête pas là. Nous reconnaissons qu’il y a beaucoup plus d’occasions où nous pouvons tirer parti de l’expérimentation pour améliorer efficacement nos politiques, nos programmes et nos services pour les Canadiens. Alors, comment pourrions-nous jeter les bases de nos prochaines expériences alors que nous évoluons davantage dans ce domaine ?
Dans cet article, je vous ferai part de trois stratégies que mes collègues et moi-même avons trouvées utiles aux premières étapes de l’exploration et de la conception de l’expérimentation (en plus de mener des examens de recherches et d’autres recherches documentaires).
1. S’appuyer sur les sources de données existantes
L’infrastructure de données est un facteur clé de l’expérimentation. Avant de concevoir votre prochaine expérience, demandez-vous si vous pouvez utiliser des données que vous avez déjà pour mieux comprendre votre contexte d’expérimentation. Concevez-vous un test A/B sur votre site Web ? Envisagez de vérifier les analyses existantes pour le site Web afin d’en apprendre davantage sur les bases de référence et les tendances existantes. Utilisez-vous des données administratives pour suivre les résultats d’une expérience ? Pensez à vous familiariser avec les données existantes avant de mener votre expérience. De nombreux ministères disposent d’une foule de sources de données qui peuvent être explorées à un stade précoce pour vous aider à préciser vos questions de recherche et à éclairer vos initiatives d’expérimentation.
2. Utiliser des méthodes de recherche qualitative et de pensée conceptuelle pour mieux comprendre les points de vue des clients
Avant de concevoir votre prochaine expérience, envisagez d’effectuer des recherches qualitatives (comme des entrevues) pour comprendre le parcours des clients et déterminer les irritants. Si vous avez l’expertise nécessaire dans votre ministère, vous pouvez tirer parti de méthodes novatrices de pensée conceptuelle, comme la schématisation de parcours, pour mieux saisir les expériences des clients et comprendre leurs points de vue. Cette compréhension approfondie pourrait vous aider à concevoir de meilleures interventions qui s’attaquent aux principaux obstacles et irritants qui créent des goulots d’étranglement pour les clients qui naviguent dans un système ou un processus donné. L’utilisation d’une telle approche mixte (combinant des méthodes de recherche qualitatives et quantitatives) peut augmenter les chances que votre intervention soit efficace. Pour un exemple concret, lisez ici l’expérience d’Emploi et Développement social Canada avec cette approche (en anglais).
Vous pouvez aussi envisager d’obtenir des commentaires d’un petit groupe de clients sur les interventions que vous concevez (p. ex., le nouveau formulaire ou guide que vous prévoyez utiliser dans votre expérience) avant de mener votre expérience. À Immigration, Réfugiés et Citoyenneté Canada (IRCC), nous avons créé un espace utilisable dans notre bureau d’immigration local (où les clients viennent pour avoir accès à une gamme de services, comme passer leur examen de citoyenneté ou terminer leur établissement de résidence permanente), où nous pouvons parler aux clients et les inviter à mettre à l’essai de nouveaux produits et d’autres changements possibles aux services offerts. C’est comme ouvrir une fenêtre sur l’expérience de nos clients, et cela nous rappelle constamment que nous ne sommes pas l’utilisateur final ; le point de vue des clients peut être très différent du nôtre, et le fait de tenir compte de leur point de vue aux premières étapes de la conception peut être inestimable. Si vous n’êtes pas en mesure de parler directement aux clients, envisagez d’intégrer les points de vue de ceux qui travaillent en étroite collaboration avec les clients, comme les employés des services de première ligne et les agents des centres d’appels qui répondent directement aux demandes de renseignements des clients.
3. Effectuer une analyse prospective pour maximiser le potentiel d’apprentissage.
Chaque expérience est une occasion d’apprentissage, que les effets des interventions testées soient positifs, négatifs ou nuls. Toutefois, vous pouvez concevoir vos expériences de manière à maximiser le potentiel d’apprentissage, surtout si vous travaillez avec des interventions plus coûteuses et plus exigeantes en ressources. Songez à faire une analyse prospective (en anglais) avec l’équipe avant de mener votre expérience. Pour ce faire, l’équipe imagine un ou plusieurs des scénarios suivants et fait un remue-méninges sur toutes les raisons possibles pour lesquelles ce scénario pourrait se produire :
- Que se passe-t-il si la mise en œuvre de votre expérience ne donne pas suite ou n’est pas effectuée correctement (c.-à-d. selon le protocole d’expérimentation que vous avez conçu) ?
- Que se passe-t-il si l’expérience est mise en œuvre avec succès, mais que vous apprenez que les effets des interventions testées sont négatifs ou nuls ?[i]
Une analyse prospective vous permet de décortiquer et d’approfondir les raisons pour lesquelles votre initiative d’expérimentation pourrait ne pas fonctionner comme prévu. Ce type de raisonnement — bien qu’il soit contre-intuitif pour la plupart d’entre nous — peut vous aider à surmonter certaines des limites de votre conception expérimentale afin de réduire les risques d’échec. Il peut aussi vous aider à découvrir des stratégies qui pourraient vous permettre d’apprendre des résultats négatifs ou inattendus potentiels. Par exemple, ce raisonnement peut aider à faire la lumière sur des données supplémentaires que vous pourriez vouloir recueillir dans le cadre de votre expérience pour en maximiser la valeur, quel que soit le résultat. Il peut également mettre en évidence certaines questions clés sur votre environnement opérationnel que vous devrez peut-être poser avant de passer à la mise en œuvre.
En utilisant certaines de ces stratégies pour jeter les bases de l’expérimentation, cela peut nous permettre d’aller de l’avant avec des étapes constantes et de maximiser notre apprentissage à partir de l’expérimentation. Nous avons hâte de vivre encore de nombreuses années d’expérimentation ! Il y a des possibilités passionnantes à saisir et beaucoup d’autres leçons à tirer alors que nous continuons à bâtir ensemble une solide base de données probantes sur ce qui fonctionne et ce qui ne fonctionne pas.
Avez-vous déjà utilisé certaines de ces stratégies dans vos projets d’expérimentation ? Avez-vous d’autres stratégies dont vous aimeriez nous faire part ?
Nous serions ravis de vous entendre !
Article par Monica Soliman, Ph.D., Spécialiste en sciences du comportement chez Immigration, des Réfugiés et de la Citoyenneté ,(experte d’expérimentation à l’oeuvre)
monica.soliman@cic.gc.ca
[i]Personnellement, je ne considère pas ce deuxième scénario comme un « échec ». En ce qui concerne l’expérimentation, découvrir ce qui ne fonctionne pas est une caractéristique et non un bogue dans le processus, tant que nous avons fait preuve de diligence raisonnable aux étapes de l’exploration et de la conception de l’expérience.
This post is also available in English here: https://medium.com/@exp_works
