Résultats d’un essai

Leçons apprises de l’essai de microsubventions du ministère du Patrimoine canadien

Cette publication est la deuxième d’une série décrivant en détail les résultats de l’essai de microsubventions du ministère du Patrimoine canadien. Bien que ce blogue décrive nos résultats finaux, pour la première série de résultats, veuillez consulter cette page Web.

Au cours de 2017 et 2018, le ministère du Patrimoine canadien a décidé d’essayer quelque chose de différent : que se passerait-il si nous adaptions le Prix Paul Yuzyk pour le multiculturalisme en une microsubvention pour la jeunesse? Serions-nous en mesure d’obtenir de meilleurs résultats que la première microsubvention pour la jeunesse du gouvernement fédéral, qui avait reçu sept (7) soumissions en tout? Nous ne possédions aucun budget de promotion, mais avec une utilisation créative de nos listes d’intervenants et un simple, mais efficace, effort de sensibilisation, nous nous retrouvés avec 70 soumissions! À compter de celles-ci, nous avons financé trente-trois projets distincts dirigés par des jeunes totalisant 30 000 $.

Essai — Historique et contexte

Le Prix Paul Yuzyk pour le multiculturalisme a été lancé en 2009 en tant que prix pour les contributions à vie et a été réadapté sous forme d’un « essai » de microsubventions pour la jeunesse en 2018 pour appuyer les efforts de mobilisation de la jeunesse du gouvernement du Canada. Les jeunes Canadiens ont été invités à présenter une demande pour des subventions de 250 $, 500 $ ou 1 000 $ à l’appui de projets communautaires pour promouvoir la diversité et l’inclusion.

En juillet et en août, nous avons recueilli des commentaires sur les effets de l’initiative et le potentiel d’échelonnabilité grâce à un sondage en ligne auprès des candidats retenus et de suivis effectués par téléphone afin de recueillir des données qualitatives approfondies. Nous avons également tenté de retracer l’empreinte dans les médias sociaux de l’initiative de cette année en effectuant le suivi des mots-clics « #YouthandDiversity » et « #JeunesEtDiversite » dont les participants étaient tenus d’utiliser.

Leçons apprises

Il est difficile de déterminer les effets des initiatives financées

Nous avons décidé de concentrer nos efforts sur la mesure du niveau de participation des jeunes à l’initiative. Notre niveau de référence était la version traditionnelle du Prix Paul Yuzyk pour le multiculturalisme, qui offrait à trois (habituellement) membres des collectivités en milieu ou en fin de carrière 10 000 $ chacun. Notre vision pour l’essai était que le format de microsubventions mobiliserait les jeunes. Si on le construit, viendront-ils? Comment pourrions-nous valider une telle hypothèse?

Malgré les difficultés de la comparaison des deux (2) versions différentes de l’initiative, nous avons prouvé notre hypothèse comme étant correcte. Notre microsubvention a reçu 70 soumissions provenant de jeunes de toutes les provinces et d’un territoire. Ce nombre était bien au-delà de nos attentes initiales en ce qui concerne l’intérêt et la couverture géographique. La diversité des projets était également au-delà de ce à quoi nous nous attendions, tout comme le nombre de participants : les 33 projets financés ont atteint des centaines de jeunes dans le cadre d’un éventail d’activités; 16 projets n’ont reçu aucune autre source de financement (c.-à-d. qu’ils n’auraient pas existé autrement). Pour ce qui est de la participation des jeunes, le format de microsubventions a naturellement convenu pour mobiliser les jeunes de partout au Canada.

Cependant, lorsqu’il est venu à mesurer l’impact, nous n’avons pas été en mesure d’évaluer les effets de ces projets et leur contribution précise à la lutte contre le racisme et la discrimination. Des problèmes complexes exigent des données complexes afin de prouver les relations de cause à effet. Cela nécessiterait au moins des données de base et les interactions longitudinales pour montrer le changement au fil du temps, qui étaient de toute évidence impossibles avec un petit projet ponctuel avec une quantité limitée de détails de rapports.

Les discussions avec nos bénéficiaires ont valu la pleine valeur de l’investissement

Nos sondages après la participation au Programme et les entrevues de suivi ont été essentiels à la compréhension de l’expérience des utilisateurs finaux. À titre d’exemple, 95 % des répondants à notre sondage après la participation au programme (21 sur 22) étaient tout à fait d’accord qu’ils recommanderaient l’initiative à un ami et 86 % des répondants (20 de 22) étaient très satisfaits de l’initiative dans son ensemble. Donc, pour ce qui est de la satisfaction des clients, la microsubvention s’est avérée un succès incontestable. Toutefois, les commentaires de nos bénéficiaires ont également mis en évidence les facteurs à améliorer.

Analyse du comportement : la clé pour de bonnes exigences en matière de rapports

Comme condition de financement, nous avons demandé à nos candidats de remplir le sondage après la participation au programme et d’afficher une photo sur les médias sociaux. Nous avons été surpris que le fait d’imposer une approche « obligatoire » n’ait pas entraîné un taux de conformité de 100 %.

• Pour le sondage, notre taux de retour était de 25 sur 33, donc 76 %. Cela est presque 3 fois plus élevé que le taux d’achèvement normal pour ce type de sondage (qui a tendance à se trouver entre 0 et 30 %), mais est tout de même plus faible que ce qui était prévu, étant donné que nous avons versé 100 % des fonds.
• Pour les affiches sur les médias sociaux, notre taux de retour était d’environ 45 %. Cela indique les difficultés dans la vérification de l’achèvement des projets lorsque nous utilisons les médias sociaux comme plateforme unique de rapports.

De toute évidence, rendre un élément obligatoire n’est pas suffisant. Il existe également des occasions d’étudier des méthodes d’amélioration de la conformité aux exigences en matière de rapports après la participation au programme, y compris l’augmentation du nombre de méthodes de déclaration de rapports. Ces deux secteurs doivent également être abordés avant l’adaptation à plus grande échelle de cet essai avec de plus grands budgets.

Conclusion

En prenant en compte des leçons apprises et des secteurs à améliorer, plusieurs solutions pour les essais se présentent pour les prochaines versions de l’enquête :

• Des plus de 200 individus qui ont téléchargé notre formulaire de demande, seulement 70 l’ont rempli. Pourrions-nous réduire le taux d’abandon à l’aide d’un formulaire de demande plus adapté aux jeunes? Attribuer au hasard deux versions différentes du formulaire (version actuelle et version améliorée) et mesurer la comparaison de leur taux de retour produirait des données pour démontrer l’étendue dans laquelle le processus de demande est attirant ou déplaisant.
• Comment pouvons-nous accroître la conformité aux exigences en matière de rapports, par l’affichage en ligne ou autrement? Une approche pourrait être d’offrir aux demandeurs le choix du rapport soit en envoyant par courriel une photo ou d’en afficher une sur les médias sociaux, puis comparer les taux de réponse comparativement à la version de l’initiative de cette année.

En conclusion, l’essai des microsubventions pour la jeunesse nous a montré que les jeunes sont prêts à collaborer avec le gouvernement sur des questions importantes et complexes, même sur des projets à petite échelle. Cependant, nous devons nous attaquer à plusieurs obstacles administratifs afin de rendre ces engagements plus adaptés aux jeunes, plus rentables et plus transparents en matière de résultats.

Publié par l’équipe de L’expérimentation à l’œuvre du ministère du Patrimoine canadien : Chantelle Komm, Maria Belen, Sai Prithvi Mynampati, Johnny El-Alam

This post is also available in English here: https://medium.com/@exp_works