Les évaluations d'impact visent à renseigner sur l'efficacité des projets à produire des résultats concrets en matière de développement. Concrètement, l’objectif est d’estimer si l’effet observé suite à une intervention est réellement dû à cette dernière, et dans quelle proportion. Pour ce faire, les évaluations mesurent de manière rigoureuse les effets des interventions par des méthodes quantitatives, qualitatives, géospatiales ou mixtes. 

Dans la perspective de renforcer les compétences et la pratique de la recherche au Sud en matière d'évaluation d'impact, d'enrichir le dialogue avec les pouvoirs publics et les parties prenantes sur les projets de développement, et de nourrir le débat académique sur des questions clés de développement, un partenariat entre l'Institut de recherche pour le développement (IRD) et l'AFD a été monté en 2020 pour l’identification et la mise en œuvre d'une série d'évaluations d'impact sur des interventions soutenues par l'AFD. L'IRD apporte l'expertise, les réseaux et les capacités d'action pour mener à bien ces évaluations avec des partenaires du Sud. Le partenariat a été prolongé en octobre 2024, ce qui permettra de sélectionner de nouveaux projets à évaluer.

L'IRD est reconnu pour son excellence scientifique, sa pluridisciplinarité, son expérience en matière de pilotage d'évaluations d'impact et ses implantations locales lui permettant de développer des liens étroits avec les équipes universitaires ou les instituts nationaux de la statistique du Sud avec lesquels il pourra s'associer. Cette collaboration s'inscrit en outre dans la continuité d'un agenda de recherche partagé et elle est couverte par un partenariat institutionnel qui lie l'AFD et l'IRD.

A lire aussi : Evaluer l'impact des projets de développement : l'AFD et l'IRD prolongent le partenariat PAIRES

Le programme PAIRES finance des évaluations d’impact de projets de développement financés par le groupe AFD, dans un triple objectif :

1. Enrichir le dialogue avec les pouvoirs publics et les parties prenantes sur les projets de développement et leurs résultats ;
2. Renforcer le rôle, les compétences et la pratique de la recherche au Sud en matière d’évaluation d’impact ;
3. Nourrir le débat académique sur des questions clés de développement.

Les évaluations d’impact mobilisent des méthodes issues de la recherche en sciences sociales pour identifier et mesurer les effets strictement attribuables à une intervention. Les méthodes quantitatives consistent généralement à comparer l’évolution de la situation de la population bénéficiaire de l’intervention à celle d’une population n’ayant pas été exposée à cette intervention mais comparable à la population bénéficiaire. L’évaluation d’impact, généralement avec contrefactuel, permet donc d’isoler l’effet causal d’une intervention sur une variable d’intérêt, et de quantifier cet intérêt.  

Au-delà de promouvoir des évaluations d’impact, le partenariat PAIRES promeut des évaluations multidisciplinaires, associant des méthodologies quantitatives et qualitatives de façon à renforcer les enseignements sur les mécanismes sous-jacents au changement (ou à l’absence de changement).

Par ailleurs, le programme PAIRES mobilise sur toutes ses études des chercheurs des pays d’intervention pour garantir la prise en compte de la spécificité des contextes et dans un but de renforcement de capacités.

Les évaluations d’impact en cours couvrent 11 pays et des secteurs divers (santé, énergie, biodiversité, éducation, égalité hommes-femmes, microfinance, agriculture). Elles ont permis la collaboration avec plusieurs institutions académiques, publiques et de la société civile en France et dans les pays du Sud. D'autres évaluations sont en cours d'identification. 

En matière de renforcement de capacités, PAIRES a notamment organisé une école d’été et deux formations en évaluation d’impact géospatiale à Madagascar. Le programme a également financé deux contrats doctoraux en co-tutelle entre l’Université d’Antananarivo et l’Université Paris Saclay, pour le projet BETSAKA.

Retrouvez ci-dessous les publications et articles de blog en lien avec les évaluations d'impact financées dans le cadre du partenariat PAIRES. 

Contacts : 

• Flore Gubert, coordinatrice scientifique IRD
• Ingrid Dallmann, cheffe de projet AFD
• Juliette Maunoury, coordinatrice du projet PAIRES IRD

La Colombie, pays fortement dépendant de ses exportations de combustibles fossiles, se mobilise pour mener à bien sa transition bas-carbone et atteindre les objectifs de sa contribution déterminée au niveau national (CDN), définis lors de l'Accord de Paris.

C’est dans cette optique que l'Agence française de développement (AFD) a accompagné les autorités de Colombie via l’adaptation du modèle macroéconomique GEMMES à la situation colombienne. L’objectif : identifier les vulnérabilités et les opportunités macroéconomiques à long terme liées à la transition énergétique de la Colombie, et à ses effets dans un contexte mondial de transition bas-carbone. Ce projet de recherche a débouché sur un ouvrage collectif présentant les conclusions scientifiques et les recommandations de politiques publiques tirées du projet GEMMES Colombie.

Cependant, si la modélisation macroéconomique est essentielle pour comprendre les conséquences des décisions politiques et des déséquilibres macroéconomiques face aux transitions, il est également nécessaire d'intégrer les aspects comportementaux qui sous-tendent la prise de décision et les stratégies des acteurs de la transition bas carbone en Colombie. 

En savoir plus sur la modélisation macroéconomique au service des transitions écologiques à l’AFD

Sur la base des résultats empiriques reflétés dans les scénarios du modèle GEMMES, ce projet consiste à développer un jeu de stratégie pour une exploration collective des scénarios futurs. En plus des aspects économiques et financiers, il permet d’aborder la transition énergétique en intégrant les aspects sociaux, climatiques et, dans une moindre mesure liés à la biodiversité. 

Ce processus de modélisation participative a pour but de faciliter le dialogue entre les acteurs clés de la transition en Colombie (ministères, banque centrale, entrepreneurs, chercheurs…), afin qu’ils puissent anticiper et se préparer aux impacts macroéconomiques à court, moyen et long terme que pourrait générer la transition bas-carbone.

Pour ce faire, le jeu de stratégie Powershift propose de :

• Familiariser les acteurs des transitions avec les sujets macroéconomiques liés aux transitions, pour qu’ils s’approprient ces sujets ; 
• Identifier les « schémas mentaux » de chaque catégorie d’acteurs au sujet de la transition énergétique, afin de mieux éclairer les tensions et les synergies qui émergent et faire évoluer les représentations mentales. 

Ce projet vise ainsi à renforcer le dialogue interministériel et intersectoriel de haut niveau et, par extension, de renforcer la coordination entre les acteurs (y compris le secteur privé) en faveur de l'engagement environnemental de la Colombie. 

 

Pour en savoir plus, télécharger la plaquette de présentation du projet (en espagnol)

Le design, la modélisation et la mise en œuvre du jeu de stratégie repose sur la méthodologie dite ComMod, initialement développée par le CIRAD pour animer des processus pluri-acteurs et aider à l'action et la prise de décision collective.

Le processus comprend des ateliers de modélisation avec des parties prenantes, des sessions de crash-test et des ateliers de jeu avec des décideurs. Les étapes clés incluent la conceptualisation, la validation et l'exploration des scénarios. Une évaluation ex ante et ex post des positions des parties prenantes permet de mesurer l'impact de l’initiative.

Des ateliers de restitution seront organisés avec les décideurs politiques pour une intégration efficace des conclusions dans les politiques publiques.

Le projet a abouti à la création d’un jeu de stratégie validé et qui commence à être utilisé par les contreparties colombiennes pour explorer les scénarios de transition énergétique. A ce jour, six sessions de crash-test et de jeu se sont tenues, réunissant une cinquantaine d’acteurs publics et privés de la transition énergétique et plus de vingt institutions différentes dont des universités colombiennes, des ministères (Finances, Environnement, Travail, Plan), la banque centrale, des centres de recherche, des acteurs de la coopération internationale, des ONG, des associations d’entrepreneurs, et des cabinets de conseil.

Les résultats futurs incluront des rapports de synthèse des ateliers, un papier de recherche, des recommandations politiques, et des supports de médiation. Les enseignements seront partagés à travers des ateliers de restitution avec les partenaires colombiens.

En savoir plus : 

• Synthèse des ateliers de juin 2024 (en anglais)
• Synthèse des ateliers de septembre 2024 (en anglais)

Les retours des participants aux sessions indiquent une meilleure compréhension des effets de la transition énergétique sur l'économie réelle d'un pays fortement dépendant des exportations d'hydrocarbures, ainsi qu'une sensibilisation accrue aux défis associés.

Les principaux commentaires font ressortir :

• Création d’un espace pédagogique propice au dialogue : les sessions ont permis d'établir des contacts avec des acteurs avec lesquels le contact n'était pas établi auparavant.
• Flexibilité et adaptabilité : l’outil a démontré sa capacité à s'adapter à différents publics, ce qui en fait un atout précieux pour diverses audiences.
• Prise de conscience des dynamiques complexes : les participants ont mieux compris la complexité des dynamiques inhérentes à la transition énergétique et l'importance de la recherche dans ce domaine.
• Mise en lumière des dynamiques comportementales : les sessions ont révélé que l’action collective organisée émerge principalement en réponse à des urgences ou des problématiques communes.
• Défi de la vision holistique : il a été souligné que développer une vision complète de la transition énergétique et des stratégies des acteurs est particulièrement difficile en raison de la complexité du sujet.

Les prochaines sessions de jeu incluront la participation de parlementaires et de vice-ministres. 

Contacts : 

• Annabelle Moreau Santos, chargée de médiation scientifique, AFD
• Antoine Godin, responsable de la cellule de modélisation macroéconomique GEMMES, AFD
• Audrey Perraud, chargée de recherche, AFD
• Julien Calas, agronome et chargé de recherche biodiversité, AFD

Les acteurs publics ont besoin de suivre l’état de l’environnement afin d’évaluer l’efficacité de leurs actions, prioriser des politiques publiques et mesures de gestion, et établir ainsi de manière objective la façon dont elles contribuent à la conservation du capital naturel. Ils doivent pour cela pouvoir s’appuyer sur des standards scientifiques leur permettant de définir les seuils à partir desquels les fonctions environnementales peuvent être considérées comme soutenables.

Développé dans cette optique, l’ESGAP (Environmental Sustainability Gap) est un outil innovant qui évalue l’état des fonctions environnementales d’un territoire et de leur niveau de soutenabilité. Pour toutes les composantes critiques du capital naturel sur le territoire concerné (qualité de l’air ou des eaux, pollutions, ressources forestières, halieutiques, etc.), cet indicateur calcule l'écart entre leur état actuel et un état qui serait soutenable (c'est-à-dire un état compatible avec un fonctionnement durable des processus nécessaires à la préservation de la vie, des activités humaines et du bien-être). Cela permet de calculer un « écart de soutenabilité environnementale », qui met en lumière le chemin à parcourir pour atteindre le stade de soutenabilité environnementale. Cela peut ensuite servir de guide aux politiques publiques pour estimer et préserver les fonctions critiques du capital naturel d’un territoire donné. L’ESGAP a déjà été testé en Nouvelle-Calédonie, au Kenya et au Vietnam.

Ce projet de recherche s’inscrit dans le cadre du programme de recherche ECOPRONAT, via lequel l'AFD souhaite développer des méthodologies de d’évaluation de soutenabilité forte, c’est-à-dire adoptant des critères exigeants concernant la non-substituabilité du capital naturel par d’autres formes de capital (physique entre autres) dans un territoire ou un pays. L’AFD souhaite par ailleurs promouvoir leur utilisation dans les cadres internationaux et contribuer aux normes internationales en cours d’émergence sur le bon état écologique des écosystèmes.

S’appuyant sur les travaux antérieurs de l’University College London (UCL) sur l’application de l’ESGAP dans les pays du Sud, ce projet mené par l'UCL vise à mettre en œuvre le cadre ESGAP en Colombie et en Afrique du Sud et à tester la pertinence de celui-ci pour susciter un dialogue de politiques publiques, dans deux pays en développement disposant déjà d’un cadre règlementaire et d’un pilotage des ressources naturelles, mais où toutes les données sur notamment la biodiversité ne sont pas toujours disponibles. 

Quatre objectifs principaux sont poursuivis : 

• Développer les composantes ESGAP relatives à la biodiversité et à l'état des écosystèmes qui pourraient être utilisés par les gouvernements colombien et sud-africain, et promouvoir l’utilisation d’objectifs de maintien des écosystèmes fondés sur la science ; 
• Promouvoir la réflexion sur la soutenabilité forte en Colombie et en Afrique du Sud par le biais du cadre ESGAP en évaluant si les activités opérées dans ces pays se situent dans la « zone d’activité sécurisée pour la vie humaine » (safe operating space for humanity) ;
• Clarifier de quelle manière le cadre ESGAP s'aligne, complète et apporte une valeur ajoutée aux autres types d’indicateurs de durabilité existants et que les gouvernements nationaux utilisent déjà ;
• Renforcer la capacité des pays partenaires à mettre en œuvre le cadre ESGAP au-delà des activités du projet de recherche. 

Le cadre ESGAP repose sur un tableau de bord renseignant les évolutions de l’état fonctionnel de 23 composantes de l’environnement, en mettant l’accent sur les écarts qui existent entre ces évolutions et les objectifs de maintien ou d’atteinte d’un « bon état écologique ». Ces composantes couvrent les 4 grandes catégories de fonctions environnementales critiques et essentielles : la fourniture de ressources, le retraitement des pollutions, la biodiversité et la santé humaine. Les scores des vingt-trois composantes sont ensuite agrégés pour former un indicateur synthétique et un indicateur de dynamique.

La recherche dans les pays pilotes est menée par des chercheurs implantés au sein de l’Université Stellenbosch en Afrique du Sud et de l’Université nationale de Colombie.

Le renforcement des capacités comprendra la formation de quatre étudiants de troisième cycle et la sensibilisation des décideurs politiques et des autres parties prenantes pour leur permettre de s’approprier et d'utiliser l'ESGAP pour la formulation de politiques publiques.

Les équipes de recherche produiront des articles scientifiques sur la relation entre le cadre ESGAP et d'autres initiatives d’indicateurs de durabilité, ainsi que sur le travail et les calculs des indicateurs ESGAP effectués dans chacun des pays, en comparant les cas de la Colombie et de l’Afrique du Sud. Un rapport spécifique sera produit sur les indicateurs de l'état de la biodiversité et des écosystèmes ainsi que l’identification des sources de données pour les deux pays étudiés.

Un webinaire de la série Conversations de recherche a présenté les résultats des articles à la communauté scientifique à la fin du projet : 

De plus, un atelier international sera organisé pour présenter les complémentarités entre le cadre ESGAP et les initiatives pertinentes d'indicateurs de durabilité existantes.

Enfin, l’équipe de recherche entend produire plusieurs documents destinés aux décideurs et aux acteurs des politiques publiques :

• Un résumé de l'examen des indicateurs de la biodiversité et de l'état des écosystèmes, qui pourra être utile aux négociations se tenant lors des conférences des parties (COP) à la convention sur la diversité biologique (CDB) et pour la conception des stratégies et plans d'action nationaux pour la biodiversité (SPANB) ;
• Un webinaire assorti d’un rapport de webinaire sur la relation entre le cadre ESGAP et d'autres initiatives internationales de reporting sur la durabilité ;
• Un résumé pour les décideurs de chaque pays partenaire sur la raison d'être de l’approche du développement en soutenabilité forte et sur la méthodologie et les indices ESGAP qui permettent de la mettre en œuvre.

Retrouvez les publications liées au projet : 

• Enhancing Environmental Sustainability Through the Environmental Sustainability Gap (ESGAP) Framework in Colombia, Policy Dialogues n°67, Editions Agence française de développement, octobre 2024

Contact : 

• Oskar Lecuyer, chargé de recherche à l'AFD