Agence d’ingénierie pour entreprendre autrement

Cartographie des principales méthodes d’évaluation 

En 2011, le Conseil supérieur de l'Économie sociale et solidaire (CSESS) a proposé une représentation des principales méthodes selon deux dimensions : la focalisation de la démarche sur l’interne ou sur l’externe et l'agrégation plus ou moins importante de critères divers.

Choisir une ou des méthodes adaptées pour évaluer son impact social 

Pour choisir une méthode il est notamment pertinent de partir du référentiel défini lors du cadrage de la démarche et de s’interroger sur la finalité de l'évaluation : à quelle(s) question(s) la démarche cherche-t-elle à répondre ?

À partir de cette interrogation, voici une sélection d’enjeux et d'exemples de méthodes :

• Quels changements mon projet opère-t-il pour mes parties prenantes ?

Il existe des méthodes pour identifier les parties prenantes et les effets potentiels et réels d’un projet sur chacune d’entre elles. On cherche ici à identifier ce que chaque partie prenante retire et apporte au projet. Ce sont des méthodes plutôt qualitatives, qui permettent de recueillir les points de vue et témoignages des parties prenantes.

Exemple : l’ouvrage Évaluer l’utilité sociale de son activité, publié dès 2007 par l’Avise, explique comment mettre en place une démarche partagée avec ses parties prenantes (à travers des groupes de discussion, notamment).

• Comment adapter le pilotage de mon action selon les résultats et l’impact qu’elle génère ?

Inspirées des outils de gestion axée sur les résultats (GAR), les méthodes de suivi-évaluation ou monitoring cherchent à déterminer et à suivre des indicateurs internes. Mises en œuvre tout au long de l’action, il s'agit de méthodes plus opérationnelles au service du suivi, du pilotage et de la valorisation de l’impact des activités. 

Exemples : la méthode de l’étoile de progression (Outcomes Star™, de son nom d'origine), qui permet de suivre les changements vécus par les bénéficiaires de programmes sociaux, a été mobilisée par la fédération Adessadomicile pour établir des indicateurs personnalisés au service du métier d’aide à domicile. La mesure de la performance du Dispositif local d'accompagnement (DLA) s’appuie aussi, en partie, sur un système de suivi et d’analyse de données quantitatives annuelle issues des tableaux de bord de chaque structure porteuse du DLA.

• Quels sont la valeur et l'impact de mes activités par rapport à ceux d’autres structures ?

Dans le cas où il est pertinent de comparer ses activités à d’autres, la mobilisation de normes partagées et référentiels communs peuvent être pertinent pour légitimer et valoriser cet impact. Il s'agit alors de positionner l’impact d’une action ou d’une organisation par rapport à un référentiel existant et partagé. À noter qu'aujourd’hui cette méthode est encore peu adaptée aux actions à impact social.

Exemple : il existe des bases d’indicateurs sectoriels, comme l'IRIS (Impact reporting and investments standards) ou l’Impact Management Project, qui fournissent des standards et des normes de reporting destinés à mesurer la performance d’investissements à impact social ou environnemental. Par ailleurs, les Objectifs de Développement Durable (ODD), développés par l'Organisation des Nations Unies (ONU) ,offrent la perspective d’un cadre de référence commun à toutes les organisations (privées, publiques, associatives, etc.). 

• Comment avoir une vision d'ensemble de l'impact généré par mes activités ? 

Un certain nombre de méthodes proposent un cadre pour guider la démarche d’évaluation : elles se composent de principes, d’étapes à suivre et de recommandations. Plus ou moins exhaustives, elles laissent généralement une certaine souplesse qui permet leur adaptation aux spécificités du projet.

Exemples : le SROI (Social Return on Investment) se compose de principes - comme l'implication des parties prenantes et la transparence des activités - et d’étapes - telles que le choix des indicateurs, la démonstration de la causalité, le calcule d'un ratio via la monétarisation - qui guident la démarche d’évaluation. Également, le guide Évaluer l’utilité sociale de son activité (Avise, 2007) propose des étapes clés pour construire une démarche d’auto-évaluation adaptée à son contexte et à ses objectifs. 

• Dans le changement constaté, quel est l'impact réel de mes activités ?

Il s’agit ici de démontrer la relation de cause à effet entre ses activités et l'évolution observé. À partir d’une situation contrefactuelle, la comparaison entre la situation avec et sans activités met en évidence les effets constatés qui sont réellement attribuables à l’action, et non pas à d’autres variables externes. 

Exemple : la randomisation, une technique d’échantillonnage qui consiste à comparer les changements qui s'opèrent entre un groupe test qui bénéficie de l’action et un groupe témoin qui n’en bénéficie pas, a été mise en oeuvre par le Réseau des Groupements de Créateurs lors de leur démarche d'évaluation de l'impact social, de 2010 à 2015.

• Quels bénéfices ou coûts évités mes activités permettent-elles à l’ensemble de la société ? 

On cherche ici à estimer l’ensemble de la valeur générée, qu’elle soit économique, sociale ou environnementale, par rapport aux investissements réalisés ou évités par la collectivité. En d’autres termes, on « monétarise » l’impact à partir de référentiels de coûts existants puis on compare le coût de l’action aux bénéfices générés et aux coûts évités.

Exemples : l'analyse coûts-bénéfices vise à objectiver la valeur financière des résultats de ses activités. La méthode des coûts publics évités repose sur des ratios comparant ce qu’investissent les pouvoirs publics dans les entreprises sociales (subventions, avantages fiscaux) et ce qu’ils en retirent notamment à travers les prestations sociales économisées et impôts générés. L’expérimentation Territoire Zéro Chômeur Longue Durée, par exemple, a ainsi construit sa légitimité sur la méthode de calculs des coûts évités. Ashoka a également mobilisé cette méthode dans le cadre d'une étude, réalisée en 2012 par McKinsey&Company, sur l'impact d'une dizaine d'entrepreneurs sociaux soutenus par Ashoka.