Définir les indicateurs et collecter les données
Choisir la méthodologie de mesure adaptée
L’évaluation de l’impact social peut répondre à plusieurs enjeux et finalités, elle peut ancrée à des étapes différentes du projet et mobiliser diverses méthodologies. Le choix de la méthode se fait notamment en fonction des objectifs, des ressources disponibles et du périmètre d’évaluation. La méthodologie choisie doit permettre de répondre à votre « question évaluative ». La méthode étant un moyen et non une finalité, avoir préparé sa démarche évaluative et défini son objet d’évaluation au préalable est incontournable pour bien choisir et construire sa méthode.
Méthodes quantitatives ou qualitatives ?
Si les méthodes quantitatives cherchent plutôt à objectiver avec des chiffres les hypothèses d’impact définies en première étape, les méthodes qualitatives permettent d’illustrer et mieux comprendre les changements générés. Ce sont donc deux approches complémentaires !
Se repérer dans les différentes méthodes
Le choix de la méthode est notamment déterminé par la finalité de votre évaluation. Vous trouverez ci-dessous des exemples de méthodes mobilisables, selon la finalité de votre évaluation.
Inspirées des outils de gestion axée sur les résultats, les méthodes de suivi-évaluation ou monitoring cherchent à déterminer et à suivre des indicateurs internes. Mises en œuvre tout au long de l’action, ces méthodes plus opérationnelles sont au service du suivi, du pilotage et de la valorisation de l’impact des activités.
Exemple : la méthode de l’étoile de progression (à l’origine Outcomes Star™). Elle permet de suivre les changements vécus par les bénéficiaires de programmes sociaux. Egalement mobilisée par la fédération Adessadomicile pour établir des indicateurs personnalisés au service du métier d’aide à domicile.
Il existe des méthodes pour identifier les parties prenantes et les effets potentiels et réels d’un projet sur chacune d’entre elles. On cherche ici à pointer ce que chaque partie prenante en retire et apporte au projet. Ces méthodes relèvent plutôt du qualitatif. Elles permettent de recueillir les points de vue et les témoignages des parties prenantes.
Exemple : la fondation Apprentis d’Auteuil a réalisé une évaluation de l’impact social du dispositif Maisons des Familles. Les éléments recueillis reposent sur des entretiens auprès de différentes parties prenantes, des temps d’observation, des tableaux d’indicateurs ainsi qu’une enquête pour établir les modalités de fonctionnement du dispositif et qualifier son impact social. Et ce afin d’identifier les leviers d'action de sa future stratégie de changement d'échelle.
Il s’agit ici de démontrer la relation de cause à effet entre les activités et l'évolution observée. À partir d’une situation contrefactuelle, la comparaison entre la situation avec et sans activité met en évidence les effets constatés réellement attribuables à l’action et non à d’autres variables externes.
Exemple : la randomisation. Cette technique d’échantillonnage consiste à comparer les changements entre un groupe test qui bénéficie de l’action et un groupe témoin qui n’en bénéficie pas. Elle a été mise en œuvre par le Réseau des Groupements de Créateurs durant leur démarche d'évaluation de l'impact social, de 2010 à 2015.
Les méthodes de valorisation cherchent à estimer l’ensemble de la valeur économique, sociale ou environnementale générée, par rapport aux investissements réalisés ou évités par la collectivité. En d’autres termes, on « monétarise » l’impact à partir de référentiels de coûts existants puis on compare le coût de l’action aux bénéfices générés et aux coûts évités.
Exemples : l'analyse coûts-bénéfices vise à objectiver la valeur financière des résultats des activités. Retrouvez la démarche du réseau ANDES, qui a permis de démontrer aux financeurs les gains obtenus sur le territoire pour 1€ investi dans le programme d'approvisionnement « UNITERRES » des épiceries solidaires.
La méthode des coûts publics évités repose sur des ratios comparant ce qu’investissent les pouvoirs publics dans les entreprises sociales (subventions, avantages fiscaux) et ce qu’ils en retirent, notamment via les prestations sociales économisées et impôts générés. La Fédération Nationale Profession Sport & Loisirs ou l’expérimentation Territoires zéro chômeur longue durée ont construit des méthodes qui mettent en évidence les coûts pour les pouvoirs publics dans le soutien à leurs actions.
Le cahier pratique Comment évaluer son impact ? Principes méthodologiques propose une diversité de sections (type d’échantillon à constituer, type de données à collecter…). Ces sections permettent de choisir les principes méthodologiques les plus adaptés à la finalité de votre évaluation.
Définir ses indicateurs
La majorité des évaluations d’impact social utilisent une combinaison d’indicateurs quantitatifs et qualitatifs. Les informations qui alimentent les indicateurs sont des données objectives (situation factuelle), des données subjectives (perception de la personne qui répond) ou des données intersubjectives (perception de la personne interrogée, à propos d’une autre personne).
Pour définir vos indicateurs, il faut identifier, à partir de votre question, les informations à récupérer pour chaque effet à évaluer ainsi que la valeur cible que doit atteindre l’indicateur pour satisfaire les objectifs de votre projet.
Pour cela, vous pouvez vous appuyer sur des indicateurs :
- standardisés, présents dans différents référentiels ;
- sectoriels, plus spécifiques à un type d’activité comme l’insertion par l’activité économique (taux de sortie positive) ou le recyclage des déchets (tonnes de déchets collectés) ;
- créés spécifiquement pour l’activité de la structure. Ils sont souvent inspirés d’autres indicateurs (standards, sectoriels ou précédemment créés par une autre structure) puis adaptés au contexte du projet (public concerné, moment de collecte de données…). Par exemple : nombre de chutes évitées pour les personnes âgées participant aux activités du groupe associatif Siel Bleu.
Méthodes standardisées, de quoi s’agit-il ?
La standardisation désigne la mise en place et l’utilisation d’une méthodologie préexistante et d’indicateurs de référence communs pour faciliter les analyses comparatives de projets. On peut citer : l’Impact Management Project, la base d’indicateurs IRIS, l’outil MESIS construit par la Banque des territoires, BNP Paribas et INCO. Si ces outils sont intéressants pour valoriser l’impact et s’ils favorisent le dialogue entre parties prenantes (notamment les financeurs), ils sont finalement difficilement utilisables pour réaliser des comparaisons. En effet, l'impact social de chaque projet dépend de son environnement.
L'évaluation sur mesure désigne, quant à elle, l’approche d’évaluation privilégiant l'analyse contextuelle et la prise en compte de la spécificité des projets (association des parties prenantes tout au long de la démarche, notamment). L’évaluation devient alors un outil au service de la compréhension des effets du projet et plus largement des mécanismes d’innovation des entreprises de l’économie sociale et solidaire (ESS). L’Avise présente cette approche dans ses publications méthodologiques dédiées au sujet.
S’inspirer des référentiels existants
De nombreuses démarches d’évaluation ont été menées par des acteurs publics, des organisations non gouvernementales, des entreprises de l’ESS… Pour définir les indicateurs, la première étape est de vous inspirer de l’existant ! L’enjeu consiste ensuite à sélectionner parmi eux les plus pertinents vis-à-vis de votre question évaluative.
Les Objectifs de Développement Durable (ODD), développés par l'Organisation des Nations unies (ONU), offrent un cadre de référence avec des indicateurs de suivi pouvant servir de source d’inspiration dans sa démarche d’évaluation.
La plateforme VALOR'ESS, créée en juin 2020 par l'Union des employeurs de l’économie sociale et solidaire (Udes), est un référentiel d'indicateurs d'impact social en ligne et en accès libre pour valoriser l’impact de son activité. Depuis septembre 2023, la plateforme s'est enrichie d'un outil de bilan carbone simplifié, permettant à une structure de calculer les émissions de gaz à effet de serre de son activité de manière simple et intuitive et d'identifier des pistes d'amélioration.
Préparer et réaliser sa collecte de données
Il faut du temps et des ressources pour collecter et analyser les données. L’idéal est de vous concentrer sur la démarche la plus utile et de choisir les outils les plus pertinents, en identifiant pour chacun les bonnes pratiques à mettre en œuvre pour que votre collecte soit réussie.
Avant de vous lancer dans la collecte de vos données, assurez-vous que, pour chaque indicateur sélectionné les éléments suivants ont été définis :
- l’outil de collecte (tableau de suivi des bénéficiaires, analyse documentaire, entretien semi-direct, observation…) ;
- la temporalité de la collecte (avant/après l’intervention ; pendant une activité…) ;
- les sources d’information identifiées et accessibles (documentation existante, partie prenante à interroger…) ;
- une valeur cible, correspondant à l’atteinte des objectifs.
Prendre en compte la parole des bénéficiaires
De nombreuses entreprises de l’ESS sont confrontées à des enjeux de prise en compte de la parole des bénéficiaires, notamment lorsqu’elles interviennent auprès de publics fragiles. Cela permet en effet de mesurer directement les effets des actions auprès des bénéficiaires concernés et de mieux les impliquer dans la démarche. Le Social Value France s’est ainsi penché sur les stratégies et les postures à adapter dans la collecte de données auprès de ces bénéficiaires, notamment lorsqu’il s’agit de publics fragiles.
Vous devez être vigilant sur le choix de la méthodologie, des indicateurs, des outils et des personnes mobilisés pour réaliser la collecte.
L’étape de mesure doit être fiable et crédible aux yeux des parties prenantes. La prévention des biais, l’explicitation et la transparence de la démarche constituent des aspects essentiels.
Dans le guide Évaluer son impact social retrouvez : des clés pour choisir la méthode à mobiliser pour votre évaluation ; une présentation des types d’indicateurs ; une méthode pas à pas pour les définir ; des exemples de référentiels ; une méthode pour organiser votre collecte de données ; des conseils sur les principaux outils existants.
Concevoir et mettre en œuvre une évaluation transformative
Cette publication coproduite par Convergences, l'Avise et Improve présente des bonnes pratiques, outils et témoignages qui permettent de mener une démarche d'évaluation d'impact avec une portée transformative
À voir aussi
Cartographier les impacts et définir la question évaluative
Préparer mon évaluation d'impact
Démarches intégrées et démarches comptables
Évaluer mon impact environnemental