Expérience PRODigy de Santé Canada — Une expérience de l’apprentissage par la pratique

Dans notre dernier blogue, nous avons présenté notre problème, notre question de recherche et notre approche générale. Depuis lors, nous avons conceptualisé et développé notre expérience.

Concevoir l’expérience

Notre processus de signalement des incidents se fait principalement au moyen d’un formulaire de signalement en ligne, de sorte qu’il était le plus logique de le tester dans cet environnement. Notre objectif était de nous concentrer sur une petite partie du processus, mais faisable, que nous pourrions tester et à partir de laquelle nous pourrions obtenir des résultats significatifs.

Nous nous sommes concentrés sur notre page d’accueil — de simples changements ici pourraient-ils avoir une incidence sur les taux de déclaration des consommateurs? Une page d’accueil est souvent la première interaction d’un consommateur avec notre programme et la première impression est essentielle. Si la page ne répond pas à leurs besoins en quelques secondes, ils ne seront pas intéressés à y consacrer davantage de temps. Une pratique courante dans le secteur privé pour améliorer ce « taux de conversion » (c’est‑à‑dire pour inciter les gens à rester) consiste à expérimenter avec quelque chose appelé « test A/B ». Ce type de test utilise deux ou plusieurs versions d’une page associées à l’analyse Web pour comprendre le comportement des utilisateurs lorsqu’ils naviguent dans différentes versions. L’idée est de tester quelle version a l’effet le plus important sur l’amélioration du résultat souhaité. Dans le cadre de cette expérience, nous avons choisi de réutiliser le même contenu de la page d’accueil originale et de tester en comparaison une page dont le contenu, l’ordre du contenu et la mise en page ont été modifiés.

“Ce type de test utilise deux ou plusieurs versions d’une page associées à l’analyse Web pour comprendre le comportement des utilisateurs”

Il n’est pas courant au gouvernement fédéral d’effectuer des tests A/B aléatoires en temps réel. Les membres de l’équipe du Secrétariat du Conseil du Trésor du Canada (SCT) ont joué un rôle déterminant dans la concrétisation de cette idée en facilitant des discussions de faisabilité avec leurs collègues et spécialistes.

Maintenant que la porte était ouverte aux tests A/B, l’étape suivante consistait à décrire la conception expérimentale qui comprenait des éléments tels une hypothèse, une méthodologie, des résultats mesurables, des considérations d’éthique et de protection de la vie privée, et la façon dont les résultats seraient utilisés. Il était important pour nous de concevoir une expérience qui pourrait être reproduite dans d’autres lieux. Pour ce faire, nous avons constitué une équipe composée des membres suivants :

• les experts en la matière de notre programme;
• les spécialistes en GI/TI de notre programme ainsi que de notre Direction des services ministériels de GI/TI;
• les conseillers en communications numériques de la Direction générale des communications de notre ministère;
• des experts affiliés à l’Expérimentation à l’Œuvre (EO).

Les experts affiliés à EO nous ont apporté un soutien important en nous conseillant sur des points tels que l’importance d’avoir une expérience simple et à petite échelle, la clarté et la mesurabilité des variables et l’importance d’un échantillon de taille suffisante.

Alors que nous planifiions l’expérience, y compris la conception d’une intervention d’importance du point de vue comportementale, nous avons rapidement fait face à quelques défis:

• Taille de l’échantillon : notre équipe d’analyse Web nous a fourni des données de base à utiliser dans le calcul de la taille de l’échantillon. Nos calculs ont montré que l’expérience devait durer plus longtemps que prévu. Cela n’impliquait pas un changement majeur à notre planification, simplement quelque chose qui a nécessité une révision de l’échéancier proposé. Lorsque nous avons demandé à nos cadres supérieurs de décrire le scénario, ils nous ont dit qu’ils étaient en faveur de la prolongation des échéanciers si nous voulions obtenir des résultats significatifs.
• Deux plateformes : notre page d’accueil actuelle et notre page d’accueil modifiée et notre formulaire de rapport d’incident sont sur deux plateformes différentes (Adobe Experience Manager et Healthy Canadians), ce qui signifie qu’elles ont différentes fonctionnalités et capacités de suivi des données. Compte tenu de cette distinction, nous avons mis au point une solution de GI/TI créative pour nous assurer que nous pouvions exécuter des fonctions particulières et recueillir les données nécessaires.

Développer l’expérience

Le plan du projet expérimental a été achevé et l’intervention a été rédigée en fonction des pratiques exemplaires pour le Web et le Guide de rédaction du contenu du site Canada.ca. La page d’accueil de l’intervention a ensuite été approuvée et traduite. Nous avons ensuite passé le relais à nos collègues techniques pour la mettre en œuvre.

Tout projet comportant une dimension de technologies de l’information comporte de multiples étapes et interdépendances, ainsi que des défis bureaucratiques internes. De plus, le langage nécessaire pour communiquer avec nos collègues de la TI (programmeurs) était nouveau pour certains d’entre nous, ce qui signifiait que l’information était parfois perdue dans la traduction entre les experts en la matière et les programmeurs.

Nous avons dû faire face à de multiples défis techniques en cours de route, certains attendus et d’autres non, mais tous exigeaient des solutions créatives.

• Bien que nous ayons eu beaucoup de chance d’avoir des employés qualifiés et expérimentés pour nous aider à naviguer ce territoire inconnu, ces experts étaient situés dans différentes directions ou directions générales — tous travaillant sur leur pièce respective du casse-tête, mais parfois sans avoir une vue d’ensemble de l’expérience.
• De plus, avec la centralisation de certains services numériques, il nous a été difficile de nous positionner en tant que priorité compte tenu des autres travaux en cours en même temps. Il était difficile de prévoir si nous étions en mesure de respecter nos échéanciers si nous devions faire face à de multiples problèmes à chacune des étapes de l’expérience.

Premières leçons à tirer

Pour qu’un projet novateur réussisse, il doit survivre au transfert d’une équipe d’innovation ou d’un expert en la matière à une équipe d’exécution, particulièrement dans le monde de la GI/TI. Nous n’avions pas prévu le nombre d’étapes nécessaires pour mettre sur pied cette expérience, ni certaines des questions qui se sont posées et, avec le recul, nous ne sommes pas certains si tout cela aurait pu être prévu.

Toutes les recherches antérieures que nous avons effectuées nous ont amenés à penser qu’il était possible de le procéder rapidement, mais avec autant de variables en main (différents serveurs, divers services, etc.), il était difficile de prévoir.

Suggestions et points à retenir

• Dans un monde idéal, vous sauriez dès le départ quelles compétences sont essentielles pour votre équipe. Mais en réalité, il se peut que vous ne découvriez pas ce dont vous avez besoin et de qui vous avez besoin tant que vous n’avez pas approfondi le projet, ce qui est normal. L’innovation, c’est apprendre par la pratique et s’adapter au fur et à mesure.
• Des réunions régulières de l’équipe pendant toute la durée du projet peuvent aider non seulement à clarifier les rôles, mais aussi à identifier les défis avant qu’ils ne deviennent des problèmes. Ils encouragent également le travail d’équipe, la collaboration, l’optimisme et la concentration!
• Le recours à l’aide d’un concepteur de l’expérience utilisateur (UX) peut avoir une valeur ajoutée en comblant l’écart entre les experts en la matière, les programmeurs et les communications. Avec plusieurs ministères, spécialités et langages techniques parlés tout au long du cycle du projet, un concepteur d’UX aurait pu être un soutien précieux dans ce type de projet.
• Continuer de bâtir la culture de l’expérimentation au sein du gouvernement. Après tout, « les meilleures entreprises axées sur les données ne se contentent pas de stocker et d’analyser passivement des données; elles génèrent activement des données exploitables en faisant des expériences » (Jenkins, W, 2014). Pour s’améliorer dans quelque chose, il faut s’entraîner.
• Gérer les attentes et se préparer à faire preuve de souplesse. C’est une expérience et non une panacée. Heureusement, nous avons obtenu l’appui et le support de la haute direction, ce qui nous a donné la latitude nécessaire pour prendre diverses décisions en matière de gestion de projet, notamment en ce qui concerne les échéanciers.

Il n’y a pas de succès ou d’échec dans ce cheminement qui ne vaille la peine d’en tirer des leçons. Nous espérons qu’à la fin de ce processus, nous saurons avec confiance si de simples changements à notre page d’accueil peuvent avoir une incidence sur les taux de déclaration des consommateurs. À la fin de cette expérience, nous pourrons étayer nos conseils avec des données plutôt qu’avec des hypothèses. Notre expérience peut aussi éclairer les innovations futures qui pourront être testées avec d’autres auditoires, et finalement découvrir d’autres idées pour expérimenter afin d’évaluer notre impact.

Références

Jenkins, W (2014). A/B Testing and Benefits of Experimentation Culture. Harvard Business Review. Récupéré le 21 novembre 2018 de https://hbr.org/2014/02/ab-testing-and-the-benefits-of-an-experimentation-culture

Publié par l’équipe de L’expérimentation à l’œuvre à Santé Canada

This post is also available in English here: https://medium.com/@exp_works