Les débats

EVALUATION

Les débats

I - Quels changements récents dans les études d'impact

En 1997, le gouvernement mexicain lançait un nouveau type de transferts sociaux conditionnés à l’envoi des enfants à l’école et à la fréquentation de centres de santé (les Conditional Cash Transfers, CCT), intitulé Progresa. Ce programme fit l’objet d’une étude d’impact rigoureuse, reposant sur la sélection en partie aléatoire de communes bénéficiant du programme dès sa première vague d’expansion, et d’autres n’en bénéficiant que dans les vagues d’expansion ultérieures. Grâce aux preuves apportées par l’étude d’impact des résultats positifs de Progresa, ce programme a été maintenu par les gouvernements successifs et même étendu aux zones urbaines préalablement exclues. Les résultats de l’étude ont également été utilisés pour justifier de la mise en place de programmes similaires dans 27 autres pays.

L’évaluation d’impact de Progresa a en outre fortement influencé l’usage de telles méthodes d’évaluation dans le domaine du développement. Si ces approches, d’inspiration médicale, ont entre autres été utilisées dès les années 1960 pour évaluer les politiques de transferts sociaux aux Etats-Unis, leur utilisation dans les pays en développement était jusqu’ici très limitée. Suite à l’évaluation d’impact de Progresa, les bailleurs de fonds telle la Banque mondiale , encouragés par des centres de recherche comme le Center for Global Development ou le Abdul Latif Jameel Poverty Action Lab , ont financé un nombre important d’études fondées sur ces méthodes statistiques dites robustes. Une initiative internationale pour les évaluations d’impact ( 3IE ) a été lancée par des fondations, des bailleurs bilatéraux et des gouvernements du sud afin de financer plusieurs douzaine d’évaluations rigoureuses chaque année. Ces études couvriront des interventions dans des domaines aussi divers que la santé, l’éducation, ou l’agriculture.

Cette nouvelle génération d’études d’impact, parce qu’elle repose sur des méthodes statistiques transparentes et rigoureuses, doit permettre une appréciation non-ambiguë de l’impact des projets. En outre, il en est attendu un véritable processus d’accumulation des connaissances, point faible reconnu de l’évaluation classique, qui serait associé à la transparence, à l’opposabilité et au débat entre pairs, caractéristiques de l’approche scientifique adoptée. Enfin, et au-delà des méthodes, c’est aussi la démarche expérimentale associée, appliquée aux actions de développement, qui constitue une nouveauté –tester une politique, ou plusieurs variantes de politiques, sur des groupes de population et mesurer rigoureusement ses effets avant d’envisager un changement d’échelle. Esther Duflo parle d’expérimentation créative à ce propos comme d’une nouvelle façon d’évaluer mais aussi de concevoir les politiques de développement.

II - Pourquoi l'évaluation d'impact fait-elle débat ?

Le développement de l’évaluation d’impact provoque un débat dans la communauté du développement. Ce débat naît de l’ambition de ce nouvel outil : produire des preuves probantes (hard evidence) sur ce qui marche, à partir de la mesure expérimentale d’impact d’actions ciblées afin d’améliorer les politiques futures. Chacun des mots de cette phrase soulève débat entre spécialistes :

Les preuves produites sont-elles plus probantes par ce type de méthode que par d’autres ?
L’ambition de comprendre ce qui marche à partir de la simple mesure d’effets ne relève-t-elle pas d’une foi excessive dans les méthodes quantitatives ?
L’expérimentation en matière de politiques sociales ne soulève-t-elle pas des questions éthiques ?
La somme de connaissances sur les impacts d’actions ciblées renseigne-t-elle sur l’impact d’interventions complexes ?
Les connaissances ainsi acquises sont-elles généralisables à d’autres contextes ?
Les évaluations d’impact seront-elles plus utilisées par les décideurs que les autres types d’évaluation ?

Toutes ces questions sont légitimes et suscitent un débat parfois vif et souvent fructueux. Les contestations à ce sujet portent généralement moins sur l’évaluation d’impact en tant que nouvel outil de connaissance pour le développement que sur l’ambition parfois excessive que certains lui prêtent.