Évaluation d'impact du programme Solicycle : impliquer les parties prenantes pour réussir sa démarche

L’association a lancé une démarche d’évaluation d’impact du programme SoliCycle en 2024. Cette évaluation a plusieurs enjeux stratégiques : 

• valoriser le travail des équipes de SoliCycle ;
• contribuer à une réflexion sur les pratiques dans le secteur de l’insertion et de l’économie circulaire ;
• identifier les forces et axes d’amélioration du projet pour renforcer son impact ;
• valoriser les résultats auprès des partenaires et des bailleurs. 

Plus précisément, nous voulions mesurer trois types d’impacts : 

• l’impact social, soit les effets de l’accompagnement individuel et collectif socio-professionnel (accompagnement social, professionnel et technique) sur les bénéficiaires, c’est-à-dire les salariés en insertion travaillant dans les ateliers ;
• l’impact environnemental, soit les effets des actions de sensibilisation aux enjeux de transition écologique et de développement durable, en particulier de la formation aux mobilités douces ;
• l’impact territorial, soit les effets indirects du programme sur les liens sociaux et besoins locaux et sur l’ancrage territorial. 

La démarche a été menée en 4 grandes phases. 

D’abord, une phase de cadrage au cours de laquelle 3 comités ont été constitués : un comité technique, un comité stratégique et un comité scientifique. Cette phase a permis de définir les enjeux de l’évaluation, de déterminer quels impacts nous allions mesurer et de choisir la méthode la plus adaptée pour évaluer ces impacts. Nous avons choisi une méthode mixte, qualitative (des entretiens et des groupes de discussion) et quantitative (un questionnaire administré auprès de plusieurs cibles). 

Grâce à cette première phase, nous avons décidé de faire un projet « pilote » pour tester la méthode et les outils de collecte. Nous avons pu adapter les guides, le questionnaire et les modes de collecte, par exemple. 

La troisième phase a été celle de récolte de données : nous avons interrogé 358 personnes au total. Parmi ces répondants, il y avait 5 publics cibles : les salariés en insertion (bénéficiaires directs du programme), les anciens salariés en insertion, les adhérents, les participants à la Vélo École, l’équipe permanente et les partenaires. 

La phase d’analyse et de restitution a servi à confirmer les hypothèses d’impact et à formuler des recommandations d’actions. Il était très important pour moi que ces recommandations soient applicables pour améliorer le programme, et qu’elles soient construites avec les équipes de terrain. Nous avons donc présenté les analyses préliminaires au comité technique et conçu des préconisations communes. Les résultats ont également été présentés aux comités scientifique et stratégique.

La mise en place de trois comités a facilité le cadrage et le déroulement de la démarche. 

• Le comité scientifique a aidé à définir le périmètre de l’évaluation d’impact, afin qu'il ne soit pas trop ambitieux et que nous portions une démarche réalisable.
• Le comité technique a facilité l’accès au terrain, en favorisant la rencontre avec les équipes et les bénéficiaires, et la bonne articulation entre le calendrier des activités de la structure et le calendrier de la démarche d’évaluation.
• Le comité stratégique était garant des enjeux de la démarche et de la valorisation des résultats. 

Ces comités avaient des rôles complémentaires ce qui a participé au succès de la démarche. 

Lors de la phase de collecte, nous avons mobilisé plusieurs publics avec différents outils : des questionnaires, des entretiens semi-directifs, et des groupes de discussion. Nous avons adapté ces outils aux cibles pour faciliter leur implication et s’assurer de la pertinence des réponses. La phase « pilote » de test a été très utile pour anticiper cela. Par exemple, les questionnaires ont été adressés aux salariés en insertion, aux anciens salariés, aux participants de la Vélo École et aux adhérents. Pour les salariés en insertion, nous avons proposé de remplir les questionnaires en format papier, en présentiel, en étant accompagné par une personne référente de l’évaluation au besoin. Nous avons aussi proposé des questionnaires traduits en d’autres langues. 

Pour favoriser un climat de confiance et éviter les biais dans les réponses, nous avons décidé de former des personnes en interne (les salariés en insertion eux-mêmes) à animer les groupes de discussion. Ils ont été formés à adopter une posture d’animateur et à gérer des groupes de personnes. Ces groupes ont été organisés dans chacun des ateliers. Cela a très bien fonctionné pour la majorité des 7 groupes organisés. Du point de vue des données collectées, il y avait une vraie complémentarité entre ces discussions de groupe et les entretiens individuels menés auprès des salariés en insertion et anciens salariés, de l’équipe permanente, et des participants à la Vélo École. 

L’appui du comité technique a vraiment participé au succès de la démarche, en particulier au moment de la collecte. D’une part, pour moi en tant que référente de l’évaluation d’impact, cela m'a permis de pouvoir facilement rencontrer les bénéficiaires et l’équipe, dans un environnement de confiance et de proximité. D’autre part, le comité technique a facilité la mobilisation des personnes interrogées en tenant compte des contraintes opérationnelles. Cela a permis de lever les contraintes opérationnelles qui peuvent parfois retarder la phase de collecte, en adaptant le plan de la collecte au calendrier des activités de la structure et aux disponibilités des salariés. 

Avec notre retour d'expérience, nous donnons 4 conseils aux praticiens de l'évaluation d'impact : 

• identifier une personne référente responsable de porter la démarche d’évaluation de bout en bout ;  
• prévoir un temps long pour la phase de cadrage, afin de bien poser les enjeux stratégiques mais aussi bien choisir la méthode pertinente ;
• tester la pertinence des outils de collecte avec un projet pilote sur un territoire ;
• veiller à bien s’adapter aux enjeux du terrain : du point de vue de la posture en favorisant la confiance, et du point de vue de la méthode en adaptant les outils.