5 choses à savoir sur les évaluations scientifiques d’impact

À l’AFD, les évaluations servent à rendre des comptes : il s’agit de démontrer – à l’État, aux élus, aux contribuables – que les interventions financées ont des impacts tangibles sur les bénéficiaires. Mais ce n’est qu’une partie de l’histoire : les évaluations servent aussi à répondre aux questions que se posent les acteurs du développement et leurs partenaires, et donc à éclairer leurs choix et à améliorer l’action. C’est en particulier le cas des évaluations scientifiques d’impact, l’un des types d’évaluations menées à l’AFD.

1.    Elles mesurent les impacts de façon scientifique

Une évaluation scientifique d’impact, « c’est répondre à une question assez simple : qu’est-ce qu’une intervention extérieure – un projet, un financement – apporte par rapport à la situation préexistante ? », a rappelé Thomas Melonio, chef économiste et directeur de l’Innovation, de la stratégie et de la recherche à l’AFD, dans un webinaire organisé dans la foulée du Sommet de la mesure d’impact. Pour cela, les évaluateurs comparent un groupe qui a bénéficié de l’intervention à un groupe « témoin » – ce qui demande souvent de prévoir l’évaluation d’impact dès la conception du projet.

Par exemple, à Madagascar et dans le bassin du Congo, le partenariat AFD-IRD Paires finance des évaluations d’impact pour comprendre ce qui détermine si les aires protégées sont efficaces. En mobilisant des méthodes issues de la recherche en sciences sociales (analyse statistique, entretiens…), les évaluateurs mesurent les impacts de la mise en place d’aires protégées – sur les populations, les territoires, les écosystèmes concernés – et, surtout, analysent le lien de causalité entre l’intervention et les effets constatés. Ils mobilisent aussi la méthode innovante de l’analyse géospatiale, particulièrement utile quand les impacts (comme ici la déforestation) peuvent être vus du ciel et que les zones ne sont pas toutes faciles d’accès.

2.    Elles sont un levier d’apprentissage

Les évaluations scientifiques d’impact font plus que constater ce qui fonctionne et ce qui ne fonctionne pas. « Grâce à elles, on entre dans la "boîte noire" des projets de développement : elles identifient et analysent les mécanismes qui permettent d’obtenir les effets souhaités », explique Jean-Claude Pires, directeur du département Évaluation et apprentissage à l’AFD. Autant de pistes, ensuite, pour ajuster les façons de faire.

Par exemple, l’évaluation scientifique d’impact Redgas s’est intéressée à la façon d’encourager l’adoption de réchauds à gaz au Burkina Faso pour la cuisine domestique. Ils devraient permettre de limiter l’usage du bois, encore très utilisé dans de nombreux pays bien que polluant et néfaste pour la santé. « Tout l’enjeu a été d’identifier les freins à l’adoption de ces réchauds pour mieux les lever », explique Flore Gubert, chercheuse à l’IRD et coordinatrice du programme Paires. Ce travail a notamment conclu que, si l’appui financier semble efficace, la mise en place complémentaire d’actions de sensibilisation et de formation s'impose.

3.    Elles sont un outil pour construire un dialogue autour des politiques publiques

Ces évaluations scientifiques servent aussi à configurer des politiques publiques efficaces : les données et les recommandations finales nourrissent les échanges avec les partenaires et viennent soutenir leur décision.
Aux Philippines par exemple, l’autorité en charge de la protection sociale – le DWSD –, a demandé à l’AFD et à la Banque asiatique de développement de mener une évaluation d’impact pour éclairer la conception du futur programme national de bons alimentaires « Walang Gutom 2027 » (Faim Zéro 2027). Cette évaluation a porté sur un projet pilote de distribution de bons alimentaires électroniques, combinés à des sessions d’éducation nutritionnelle. Les recommandations issues de la première phase – sur le montant des bons, les produits éligibles… – ont permis aux décideurs philippins d’ajuster la suite du pilote, avant le déploiement national du programme.

4.    Elles ouvrent la voie au passage à l’échelle

En expérimentant et en construisant peu à peu des preuves solides, les évaluations d’impact facilitent le déploiement à plus large échelle de solutions validées.

C’est aussi l’un des objectifs du Fonds d’innovation pour le développement (FID), hébergé par l’AFD, qui a par exemple financé l’évaluation d’impact du programme « Jeunes filles leaders ». Conduit par l’ONG Care dans 140 écoles en zone rurale à Madagascar, le programme vise à réduire les tabous sur les menstruations pour réduire l’absentéisme et le décrochage scolaire des jeunes filles. L’évaluation, menée par l’École d’économie de Paris, a révélé que ce programme a amélioré les résultats scolaires (+13 %), la probabilité de passage en classe supérieure des filles (+15 %) et les pratiques d’hygiène menstruelle (+48 %). En raison de ses effets sur les apprentissages, l’intervention se situe parmi les 10 % des programmes les plus performants à Madagascar. Une nouvelle phase d’évaluation a été lancée pour approfondir l’étude des mécanismes du changement dans une optique de coût/efficacité et des discussions sont en cours avec le ministère de l’Éducation nationale pour un passage à l’échelle.

5.    Elles sont l’un des outils d’évaluation mobilisés par l’AFD

« L’AFD est une des rares banques publiques de développement bilatérales qui a décidé d’investir aussi sur des évaluations d’impact à caractère scientifique », explique Jean-Claude Pires, directeur du département Évaluation et apprentissage à l’AFD. S’agissant de dispositifs relativement complexes et coûteux (compétences spécifiques à mobiliser, collecte de données de terrain…), ces évaluations ne sont pas systématiques. Elles portent, de manière très sélective, sur des questions majeures du financement du développement, encore non couvertes par la littérature académique existante et en appui à des politiques publiques et à des secteurs d’investissement importants du groupe AFD. L’AFD soutient ainsi une vingtaine d’évaluations scientifiques dans les domaines de l’environnement, des secteurs sociaux et des infrastructures.

Elles font partie de la palette des outils évaluatifs utilisés à l’AFD, aux côtés des évaluations de projet – la moitié des projets sont évalués par des cabinets indépendants, ce qui est complémentaire des audits techniques et financiers systématiques en fin de projet –, des évaluations stratégiques (dites « à champ large ») et des capitalisations. 
Tous ces types d’évaluations viennent compléter les contrôles et les analyses menés par l’AFD en amont, pendant et à la fin des projets – analyse de développement durable, rapports d’achèvement de projet, lutte anti-corruption, conformité bancaire…