Atténuation des biais : Intégrer l’ACS+ au processus de recherche
Quand une équipe de projet devrait-elle réfléchir aux répercussions des différents types de biais dans un projet de recherche? En tant qu’experts de l’Expérimentation à l’œuvre 2 (EO2), nous avons posé cette question à nos équipes de projet lors d’une récente séance d’apprentissage où nous avons discuté de la façon d’atténuer les biais dans la recherche.
Les biais peuvent avoir une incidence sur n’importe quelle étape du processus de recherche; par exemple, omettre de tenir compte des expériences uniques et des inégalités auxquelles font face les sous-groupes de la population ou un échantillonnage insuffisant des groupes marginalisés, même s’ils font partie de la population d’intérêt. Historiquement, les biais ont contribué à une sous-représentation des groupes marginalisés dans la recherche et les « solutions » qui profitent différemment à divers sous-groupes de la population (ou les désavantagent).
Il n’y a pas de solution parfaite pour résoudre les biais. Mais il y a de nombreuses façons pour une personne ou une équipe de projet de réfléchir, de remettre en question les hypothèses et de concevoir leurs pratiques de collecte et d’analyse des données pour éviter de perpétuer les biais dans leurs recherches. Nous avons élaboré une activité d’apprentissage pour la cohorte de l’EO2 afin de décrire comment l’analyse comparative entre les sexes plus (ACS+) peut être intégrée tout au long du processus de recherche et de créer un espace pour les équipes de projet afin qu’elles réfléchissent à la façon dont l’ACS+ peut être intégrée dans leurs projets.
Notre activité d’apprentissage était axée sur l’application de l’ACS+ à la recherche quantitative en raison de l’accent mis sur l’expérimentation de l’EO2. La partie présentation de l’activité d’apprentissage a expliqué aux participants les façons d’appliquer l’ACS+ à toutes les étapes du processus de recherche, y compris des questions à l’intention des chercheurs à ces différentes étapes. Voici un résumé de ces approches et de ces questions.
Cerner le problème
Avant d’entreprendre un projet de recherche, les personnes qui participent à la planification doivent tenir compte de la composition de l’équipe de recherche ou du comité consultatif. Étant donné l’influence des biais dans la recherche, la collaboration et la consultation avec ceux qui peuvent apporter des points de vue intersectionnels à la recherche, en raison de leur expérience vécue ou de leur expertise dans le domaine, peuvent être essentielles pour produire des recherches significatives qui sont bénéfiques pour les collectivités visées ou touchées par la recherche.
Au moment de définir le problème au début d’un projet de recherche, Cole (2009) suggère d’intégrer l’intersectionnalité en posant trois questions :
1. Qui fait partie de cette catégorie? Le fait de réfléchir aux personnes qui appartiennent à une catégorie sociale peut aider à empêcher les chercheurs de se concentrer uniquement sur certains sous-groupes, souvent privilégiés, et à assurer une représentation qui reflète la diversité de la catégorie sociale.
2. Quel rôle joue l’inégalité? Les sous-groupes de personnes appartenant à une catégorie sociale auront des expériences d’inégalité historiques et actuelles différentes. En tenant compte de cela et des processus sociaux qui contribuent à cette inégalité, on peut contribuer à façonner les types de problèmes à l’étude dans le cadre de la recherche.
3. Quelles sont les similitudes? L’examen des points communs entre différents sous-groupes peut aider les chercheurs à cerner les similitudes dans les expériences qui sont influencées par la culture, les structures sociales et le comportement humain en général.
Autres questions de l’ACS+ à prendre en considération pendant la définition du problème :
• À qui sert la recherche et répond-elle aux besoins des personnes à l’étude? La recherche aura-t-elle des répercussions ou des conséquences imprévues pour les personnes qui ne sont pas spécifiquement ciblées?
• Quels groupes devraient être consultés (p. ex. intervenants internes et externes, experts en la matière et personnes ayant une expérience vécue) pour éclairer la définition du problème et d’autres aspects du processus de recherche?
Analyse documentaire
Questions de l’ACS+ à prendre en considération lors d’une analyse documentaire :
• L’analyse documentaire révèle-t-elle des lacunes dans la représentation de l’expérience de différents groupes de femmes, d’hommes et de personnes de diverses identités de genre?
• Y a-t-il des biais dans la documentation qui perpétuent les stéréotypes?
• Les résultats obtenus dans la documentation pourraient-ils être différents si (d’autres) groupes marginalisés étaient pris en compte?
Une analyse documentaire traditionnelle qui intègre des mots-clés pertinents au sujet peut ne pas être suffisante pour répondre aux questions de l’ACS+ susmentionnées et pour comprendre les expériences et les défis uniques des différents sous-groupes. Des stratégies de recherche documentaire , comme l’inclusion de termes intersectionnels dans les opérateurs booléens (p. ex. sujet ET race ET sexe), et la rédaction d’analyses documentaires qui intègrent les résultats de recherches intersectionnelles et cernent les lacunes dans la prise en compte de l’intersectionnalité dans la documentation, aident à intégrer l’ACS+ dans les analyses documentaires.
Échantillonnage et mesure
L’échantillonnage aléatoire d’une population ne produit souvent pas un échantillon suffisamment grand de groupes à basse fréquence pour effectuer des analyses quantitatives. Pour cette raison, Else-Quest et Hyde (2016) recommandent l’échantillonnage aléatoire stratifié ou l’échantillonnage par choix intentionnel.
Questions de l’ACS+ liées à l’échantillonnage :
• L’échantillon est-il représentatif des expériences de divers groupes de personnes pour qui la question à l’étude est pertinente?
• La méthode d’échantillonnage renforce-t-elle les notions traditionnelles de représentation qui mettent l’accent sur les expériences les plus souvent communiquées?
• Y a-t-il des obstacles à la participation pour les groupes sous-représentés (p. ex. accès à Internet, travail par quarts)?
L’équivalence conceptuelle est une considération importante en matière de mesure. Il s’agit de savoir si la mesure utilisée puise dans le même concept parmi les groupes (Else-Quest et Hyde, 2016). Par exemple, un instrument traduit, comme une échelle apparaissant dans une enquête, peut contenir des termes qui sont similaires sur le plan sémantique entre les langues. Cependant, des différences subtiles dans les connotations d’un terme peuvent influencer systématiquement les profils de réponse entre les groupes linguistiques. Si un outil utilisé dans le cadre d’une étude de recherche n’est pas équivalent pour tous les sous-groupes de l’échantillon, il n’est pas possible de déterminer si les résultats obtenus sont attribuables à l’inéquivalence conceptuelle de l’outil ou à des différences plus importantes entre les groupes. Une façon de s’assurer qu’un outil appliqué est équivalent dans différents groupes est d’évaluer l’invariance des mesures.
Questions de l’ACS+ à propos de la mesure :
• La stratégie de collecte de données offre-t-elle la possibilité d’exprimer des expériences et des points de vue diversifiés?
• La méthodologie comble-t-elle les lacunes relevées dans l’analyse documentaire?
Analyse et interprétation
Il existe plusieurs approches analytiques quantitatives qui peuvent convenir pour explorer les différences intersectionnelles. Selon la question de recherche et les données disponibles (p. ex. taille de l’échantillon, type de données), certaines options comprennent la conception factorielle, la régression multiple avec modérateurs, la modélisation à plusieurs niveaux et les modérateurs dans la méta-analyse. Quelle que soit l’approche analytique appliquée, l’analyse intersectionnelle entreprise devrait être fondée sur une justification explicite qui tient compte de l’inégalité historique et actuelle vécue par les groupes comparés. Sans ce lien, les résultats manquent de contexte et de sens.
Questions de l’ACS+ pertinentes à l’analyse et à l’interprétation des résultats :
• D’après les résultats, y a-t-il des répercussions pour divers groupes d’hommes et de femmes et les relations entre eux?
• Quelles sont les limites à l’interprétation des résultats en cas d’échantillonnage inégal ou de représentativité limitée de divers groupes?
• Les pouvoirs et les inégalités jouent-ils un rôle dans les conclusions? Le cas échéant, de quelle façon?
• Les rôles des genres ou les autres identités des sous-populations sont-ils présentés en termes absolus?
Cela nous ramène à la question suivante : quand une équipe de projet devrait-elle réfléchir aux répercussions des différents types de biais dans un projet de recherche? Nous espérons, après avoir réfléchi à ce qui précède, que ce n’est plus une question de « quand », mais de « comment » et « où ». Pour vous aider à commencer, les feuilles d’activités de l’activité d’apprentissage sont disponibles ici. Utilisez les questions fournies pour les projets en phase exploratoire ou expérimentale pour déterminer comment et où une optique intersectionnelle peut être appliquée tout au long de votre recherche. Nous espérons que ces questions et ces documents vous aideront à explorer des façons concrètes d’effectuer de la recherche tout en comprenant les répercussions que les biais peuvent avoir tout au long de votre travail.
***
Billet de blogue redigé par Sara Rubenfeld, Ph. D., scientifique de la Défense, ministère de la Défense nationale, et Greg White, gestionnaire de projet auprès d’Agents libres du Canada, actuellement en poste à Emploi et Développement social Canada
Article also available in English here: Mitigating Bias: Integrating GBA+ in the Research Process | by Experimentation Works | Apr, 2021 | Medium
Références et ressources:
Better Evaluation (n.d.). Sample. https://www.betterevaluation.org/en/rainbow_framework/describe/sample
Bowleg, L. (2008). When Black + Lesbian + Woman ≠ Black Lesbian Woman: The Methodological Challenges of Qualitative and Quantitative Intersectionality Research. Sex Roles, 59, 312–325.
Bowleg, L., & Bauer, G. (2016). Invited reflection: Quantifying intersectionality. Psychology of Women Quarterly, 40(3), 337–341.
Canada School of Public Service (2020). Removing Bias and Building Trust in Your Data. Retrieved from https://www.youtube.com/watch?v=8bOFIkX213s.
Cole, E. R. (2009). Intersectionality and Research in Psychology, American Psychologist, 64(3), 170–180.
Else-Quest, N. M., & Hyde, J. S. (2016). Intersectionality in quantitative psychological research: II. Methods and techniques. Psychology of Women Quarterly, 40(3), 319–336.
Hachey, K., Bryson, R., & Davis, K. (2016). Defence science research and Gender-Based Analysis+: Shaping the research landscape. Director General Military Personnel Research and Analysis Scientific Poster DRDC 2016. Defence Research and Development Canada.
Hankivsky, O. (2014). Intersectionality 101. The Institute for Intersectionality Research & Policy. https://www.researchgate.net/profile/Olena-Hankivsky/publication/279293665_Intersectionality_101/links/56c35bda08ae602342508c7f/Intersectionality-101.pdf
Hankivsky, O., & Mussell, L. (2018). Gender-based analysis plus in Canada: Problems and possibilities of integrating intersectionality. Canadian Public Policy, 44(4), 303–316.
Harachi, T.W., Choi, Y., Abbott, R.D., Catalano, R.F., & Bliesner, S.L. (2006). Examining equivalence of concepts and measures in diverse samples. Prevention Science, 7(4), 359–368. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3293252/#
Kopper, S., & Sautmann, A. (n.d.). Randomization. Abdul Latif Jameel Poverty Action Lab (J-PAL). https://www.povertyactionlab.org/resource/randomization
Lee, S.T.H. (2018, September 18). Testing for measurement invariance: Does your measure mean the same thing for different participants? Association for Psychological Science. https://www.psychologicalscience.org/observer/testing-for-measurement-invariance
Malone, H., Nicholl, H., & Tracey, C. (2014). Awareness and minimisation of systematic bias in research. British Journal of Nursing, 23(5), 279–282.
Potochnik, A. (2020, August 9). Awareness of our biases is essential to good science. Scientific American. https://www.scientificamerican.com/article/awareness-of-our-biases-is-essential-to-good-science/
Women and Gender Equality Canada (2017). Gender-based analysis plus course. Retrieved from https://cfc-swc.gc.ca/gba-acs/course-cours-en.html
Women and Gender Equality Canada (2017). GBA+ Research Guide. Retrieved from https://cfc-swc.gc.ca/gba-acs/guide-en.
