Choisir sa méthode et collecter les données

Les méthodes qualitatives visent à collecter des données "non-chiffrées" ou textuelles, comme des verbatims, auprès des parties prenantes. Il s'agit la plupart du temps de recueillir des informations, des points de vue ou des expériences sur la ou les activités menées, les besoins auxquels elle répond, et les effets perçus. Ces données permettent de comprendre et d'analyser les impacts dans des écosystèmes d'acteurs et de projets souvent complexes et de créer du dialogue autour du projet évalué. 

Plusieurs outils de collecte de données qualitatives sont à votre disposition.

Entretiens 

Les entretiens avec les parties prenantes sont un outil flexible utilisé pour poser des questions ouvertes afin de mieux comprendre les activités, expériences, attitudes et perceptions des individus sur certains sujets. Les entretiens visent à recueillir les perceptions des parties prenantes sur le projet en cours d’évaluation et à identifier les impacts qui y sont associés. 

D'une durée de 30 minutes à deux heures, ils sont généralement enregistrés (avec consentement) et retranscrits avant d’être analysés. Les intervieweurs suivent un guide d’entretien qui correspond à des thèmes centraux pertinents, identifiés par une revue de la littérature et / ou des études de cas de projets similaires. L'analyse est généralement réalisée à l’aide d’une grille thématique (basée sur des thèmes identifiés lors de la phase de conception), soit manuellement, soit à l’aide d’un logiciel.

Focus groupes 

Les groupes de discussion ou focus group sont des entretiens de groupe menés avec plusieurs parties prenantes à la fois. Ils incluent généralement des parties prenantes ayant des caractéristiques similaires afin de mieux comprendre les expériences ou perspectives partagées. Les groupes de discussion peuvent également permettre aux évaluateurs de mieux comprendre la dynamique de groupe en observant les interactions entre les parties prenantes. Pour les mener, les évaluateurs s'appuient sur un guide contenant des questions qui se rapportent aux thèmes centraux prédéfinis. 

Observations 

Les observations in situ consistent à observer des parties prenantes ou un groupe de parties prenantes dans le contexte évalué (lors de l’intervention du programme ou service). Elles permettent de mieux comprendre l'activité, les participants impliqués, et les effets immédiats. 

Les données quantitatives sont des informations numériques qui peuvent être mesurées et analysées à l’aide de méthodes statistiques. Ces outils de collecte permettent généralement d’obtenir un ensemble de données important, auprès d'un public large, afin d’évaluer l’ampleur ou la portée des impacts ainsi que leur signification statistique. Elles sont souvent utilisées en complémentarité avec les méthodes qualitatives. L'enquête ou le sondage sont les principaux outils de collecte de ces données.

Enquête ou sondage 

Les enquêtes sont utilisées pour fournir un ensemble de données plus large que des outils qualitatifs, permettant ainsi une perspective globale sur un sujet. Les enquêtes ou sondages offrent l’avantage de traduire des informations qualitatives (changements générés par une action) en données quantitatives (pourcentage et statistique). C'est un outil de collecte de données très couramment utilisé dans l’évaluation de l’impact social, souvent combiné avec des entretiens. 

Il est important de noter que les résultats de l'enquête sont pertinents seulement si le nombre de répondants est important (au moins 50 répondants). Les enquêtes sont menées à l’aide d’un questionnaire écrit de questions fermées (oui / non, choix multiple, échelles de Likert). Ils peuvent être administrés grâce à des formulaires papier, numériques ou en personne. 

Les méthodes expérimentales et causales visent à déterminer le lien de cause à effet entre une intervention ou un programme particulier et les résultats sur les bénéficiaires et / ou les parties prenantes. Ces méthodes adoptent une approche expérimentale ou quasi-expérimentale. Pour cette raison, elles sont généralement considérées comme rigoureuses et scientifiques quant à la preuve de l'impact généré par une activité. Plusieurs méthodes existent : découvrez ci-dessous les deux les plus courantes. 

Essai contrôlé-randomisé (ECR)

Inspirés par les techniques de recherche du domaine médical, les ECR sont une analyse expérimentale qui vise à prouver les liens de causalité entre les actions et les impacts. Dans cette approche, les participants (ou groupes de regroupement) ayant des caractéristiques démographiques similaires seront assignés au hasard :

• à un groupe d’intervention, qui reçoit le service ou les avantages du programme ;
• à un groupe témoin, qui ne reçoit pas le service ou les avantages. 

Le groupe témoin est utilisé comme référence pour comparer les résultats ou les effets mesurés parmi le groupe d’intervention. Ainsi, les mêmes indicateurs seront étudiés pour les deux groupes afin d’établir une comparaison et donc une causalité liée au programme en question. 

Analyse contrefactuelle 

L’analyse contrefactuelle vise à prouver les liens de causalité entre les actions et les impacts. Elle permet de mesurer les résultats d’une intervention en comparant une situation donnée avec et sans intervention. 

Par exemple, ce qui aurait pu arriver aux intervenants s’ils n’avaient pas reçu les services ou les avantages d’un programme. Un scénario contrefactuel théorique est établi pour définir ce qui serait arrivé au groupe d’intervenants sans l’intervention donnée. Ce scénario est ensuite comparé au résultat observé parmi les intervenants qui ont participé au programme. Ce résultat est généralement évalué à l’aide de modèles statistiques, tels qu’une analyse de régression ou un modèle logique. 

Les techniques de monétarisation s’appuient sur des analyses économiques et des techniques d’évaluation des politiques publiques pour attribuer une valeur économique aux impacts sociaux. L’objectif de ces techniques, plutôt complexes, est de démontrer la pertinence et l’importance des projets d’innovation sociale en utilisant des indicateurs économiques en plus des indicateurs d’impact social. Elles impliquent la quantification des impacts intangibles afin d’attribuer des valeurs monétaires ou de comparer avec des valeurs monétaires.

SROI (social return on investment)

Le SROI vise à analyser l’efficacité d’un projet ou organisation en analysant la valeur actuelle nette d’un investissement monétaire dans l’organisation. Dans cette approche, tous les impacts d’une organisation sont monétarisés afin d’attribuer une valeur monétaire à la valeur sociale (ou non financière) créée. Un ratio SROI mesure la valeur sociale générée par unité monétaire (euro, dollar, etc.) qui est dépensée dans un projet ou un programme. En règle générale, une analyse SROI utilise un point de référence ou une approximation à l’aide de données publiques pour estimer la valeur monétaire d’un service ou d’un programme. Par exemple, le coût associé à la prestation d’un service similaire à celui qui est évalué. 

Compte tenu de sa complexité et de sa dépendance aux mesures économiques, l’utilisation des méthodes SROI nécessite une formation et une accréditation spécifiques. 

Analyse des coûts évités

Cette technique cible certains impacts sociaux ou parties prenantes d’un projet, à savoir ceux qui concernent directement un bailleur de fonds (généralement dans le secteur public). Le but est de comprendre si la valeur monétaire des résultats d’impact est supérieure aux ressources mobilisées pour les obtenir. Pour calculer ce ratio, on compare des investissements publics dans les entreprises sociales (par le biais de subventions et d’avantages fiscaux) qui travaillent sur un besoin ou un secteur social spécifique, avec les bénéfices sociaux économisés et les impôts générés par les activités. Les résultats de ce type d’évaluation mettent donc en évidence les coûts sociétaux avec et sans l’existence du projet en question. 

Compte tenu de sa complexité et de sa dépendance aux mesures économiques, l’utilisation de cet outil nécessite une formation.

Voir le retour d'expérience du Social Value France sur cette méthode (2023)

Analyse coûts-bénéfices

Cette approche analyse le rapport coût-bénéfice d’un projet sur un groupe de parties prenantes afin d’évaluer et de démontrer son efficacité économique. Le ratio coûts-avantages comprend l’impact global (positif) généré par un projet et les coûts monétaires (négatifs) de la génération de ces impacts. Pour calculer ce ratio, on compare les coûts totaux d’un projet ou d’un programme à l’ensemble des avantages tangibles et intangibles. 

Compte tenu de sa complexité et de sa dépendance aux mesures économiques, l’utilisation de cet outil nécessite une formation spécifique.  

Comptabilité triple capital 

Cette approche systémique inclut les impacts sociaux, économiques et environnementaux dans l’évaluation. Une valeur monétaire est attribuée aux effets sociaux et environnementaux négatifs d’un projet ou d’une organisation afin d'évaluer les coûts économiques de la restauration des capitaux humains et naturels dégradés. 

Une des méthodes développées dans cette approche est la méthode comptable CARE-TDL (triple depreciation line). CARE-TDL applique les normes comptables financières traditionnelles au capital naturel et humain afin de prendre en compte et d’intégrer la dégradation de ces capitaux dans la comptabilité financière des entreprises.

 Compte tenu de sa complexité et de sa dépendance aux mesures économiques, l’utilisation de cet outil nécessite une formation spécifique.  

Inspirées des outils de gestion axés sur les résultats, les méthodes de suivi-évaluation ou monitoring cherchent à déterminer et à suivre des indicateurs internes. Mises en œuvre tout au long de l’action, ces méthodes plus opérationnelles sont au service du suivi, du pilotage et de la valorisation de l’impact des activités. 

Exemple : la méthode de l’étoile de progression (à l’origine Outcomes Star™). Elle permet de suivre les changements vécus par les bénéficiaires de programmes sociaux. Elle est par exemple mobilisée par la fédération Adessadomicile pour établir des indicateurs personnalisés au service du métier d’aide à domicile.

Il existe des méthodes pour identifier les parties prenantes et les effets potentiels et réels d’un projet sur chacune d’entre elles. On cherche ici à définir ce que chaque partie prenante en retire et apporte au projet. Ces méthodes relèvent plutôt du qualitatif. Elles permettent de recueillir les points de vue et les témoignages des parties prenantes. 

Exemple : la fondation Apprentis d’Auteuil a réalisé une évaluation de l’impact social du dispositif Maisons des Familles. Les éléments recueillis reposent sur des entretiens auprès de différentes parties prenantes, des temps d’observation, des tableaux d’indicateurs ainsi qu’une enquête pour établir les modalités de fonctionnement du dispositif et qualifier son impact social. Et ce afin d’identifier les leviers d'action de sa future stratégie de changement d'échelle.

Il s’agit ici de démontrer la relation de cause à effet entre les activités et l'évolution observée. À partir d’une situation contrefactuelle, la comparaison entre la situation avec et sans activité met en évidence les effets constatés réellement attribuables à l’action et non à d’autres variables externes.

Exemple : la randomisation. Cette technique d’échantillonnage consiste à comparer les changements entre un groupe test qui bénéficie de l’action et un groupe témoin qui n’en bénéficie pas. Elle a été mise en œuvre par le Réseau des groupements de créateurs durant leur démarche d'évaluation de l'impact social, de 2010 à 2015.

Les méthodes de valorisation cherchent à estimer l’ensemble de la valeur économique, sociale ou environnementale générée par rapport aux investissements réalisés ou évités par la collectivité. En d’autres termes, on « monétarise » l’impact à partir de référentiels de coûts existants, puis on compare le coût de l’action aux bénéfices générés et aux coûts évités.

Exemples : 

L'analyse coûts-bénéfices vise à objectiver la valeur financière des résultats des activités. Retrouvez la démarche du réseau ANDES, qui a permis de démontrer aux financeurs les gains obtenus sur le territoire pour 1 euro investi dans le programme d'approvisionnement « UNITERRES » des épiceries solidaires.

La méthode des coûts publics évités repose sur des ratios comparant ce qu’investissent les pouvoirs publics dans les entreprises sociales (subventions, avantages fiscaux) et ce qu’ils en retirent, notamment via les prestations sociales économisées et impôts générés. La Fédération nationale Profession sport & loisirs ou l’expérimentation Territoires zéro chômeur longue durée ont construit des méthodes qui mettent en évidence les coûts pour les pouvoirs publics dans le soutien à leurs actions.