L’écrit et l’image au service de l’évaluation

L’évaluation filmée est un moyen de faire connaître les résultats de l’évaluation à un éventail plus large de personnes. Une évaluation écrite et filmée du parc national de Limpopo (PNL) a été réalisée au Mozambique en 2016 par l’AFD.

La particularité de l’évaluation du projet parc national du Limpopo (PNL) est qu’elle a fait l’objet d’une évaluation écrite et filmée. L’AFD faisait le pari que les images du film, les interviews, les cartes animées, allaient montrer de façon moins austère qu’un texte l’ambition de l’aménagement financé, le milieu physique et la faune, le développement économique des villages et les résultats physiques obtenus.

Inscrite dans un objectif d’apprentissage, cette démarche voulait faire de l’évaluation une nouvelle occasion de dialogue entre les parties prenantes du projet et, au delà, permettre de toucher les professionnels du développement, notamment ceux intéressés par les enjeux liés à la biodiversité.

Des difficultés méthodologiques

Plusieurs difficultés se sont posées pour cette évaluation « mixte ». Tout d’abord, celle de la cohérence méthodologique entre les 2 évaluations (écrite et filmée) qui devaient produire un même jugement évaluatif. La solution imaginée a été de co-construire la méthodologie évaluative et d’installer systématiquement un échange des points de vue à toutes les phases de la méthodologie d’évaluation.

Dès le départ, il a été décidé que les évaluations écrites et audiovisuelles se dérouleraient en même temps et suivraient exactement les mêmes étapes de construction et de validation. Ainsi, une seule commande a été passée pour le recrutement d’une équipe intégrée.

Une difficulté liée à la collecte des données a par ailleurs été rencontrée : comment garantir la coordination entre ces 2 évaluations, réalisées par une équipe intégrée mais aux métiers (écrit et film) distincts, sur un même terrain et auprès des mêmes acteurs ? Il a été décidé de réaliser des entretiens en commun, notamment lors des interviews de cadrage permettant d’avoir les informations générales sur les problématiques en discussion et sur le rôle de la personne dans le projet.

Cependant, les entretiens de l’évaluation écrite devaient rentrer dans un niveau de détail qui n’était pas pertinent pour l’évaluation filmée. Ainsi, pour limiter le nombre d’entretiens et gagner en efficience, les équipes se sont réparties les entretiens selon le rôle des acteurs du projet à interviewer.

Un regard complémentaire sur les résultats du projet

L’évaluation filmée du PNL confirme que cette démarche audiovisuelle donne à voir le concret du projet, sa dynamique et son contexte, mais qu’elle se prête mal à l’analyse de processus organisationnels, financiers ou méthodologiques. Elle valorise les témoignages et la parole authentique des acteurs (bénéficiaires ou non) dans leur contexte. En somme, la valeur informative de l’image est plus puissante mais moins précise que l’écrit.

Plus qu’un rapport écrit, le film évaluatif permet de sensibiliser et mettre en débat. En cela, il constitue également un outil efficace dans les formations des praticiens du développement. Il permet également de sensibiliser un public plus large aux enjeux de développement.

La démarche concomitante d’évaluation écrite et filmée du projet Limpopo a permis, par les regards croisés au sein de l’équipe d’évaluation, de renforcer l’analyse évaluative du projet. Les entretiens filmés ont été mobilisés afin de valider les données secondaires collectées et, ainsi, affiner les analyses des jeux d’acteurs, des enjeux sociaux et politiques en lien avec le projet. Le film a pu mettre plus facilement en évidence les visions différentes, voire opposées, de certains acteurs du projet, divergences souvent moins perceptibles dans le rapport écrit, notamment du fait de l’intermédiation d’un rédacteur.

Le film a également un effet sur la structuration de la narration car il raconte davantage l’histoire du projet et ses enjeux alors que l’évaluation écrite présente une analyse par critères évaluatifs prédéfinis. Si le film ne remplace pas les éléments détaillés sur les aspects institutionnels, budgétaires, politiques, techniques de l’évaluation écrite, il complète et renforce les messages à l’attention, notamment, des parties prenantes du projet.

Un outil de sensibilisation et de dialogue efficace

Lors de la restitution des conclusions de l’évaluation au sein du PNL, le film, sur un sujet aussi complexe et multiacteurs que la préservation d’un parc national, a facilité le partage et le débat sur les résultats notamment entre les communautés et le personnel en charge de la préservation du PNL. Des malentendus ont pu être levés et le dialogue a pu se poursuivre sur le développement à venir du PNL. Enfin, l’évaluation filmée permet également plus facilement de porter des messages à l’attention d’un public extérieur aux parties prenantes du projet, comme des étudiants ou citoyens intéressés par le développement, en somme, un public plus divers et large.

Le recours à l’audiovisuel dépend essentiellement de l’utilisation que souhaite en faire le commanditaire. Quels objectifs fixe-t-il à l’évaluation ? Souhaite-t-il une évaluation la plus exhaustive possible, ou préfère-t-il une étude sur les points saillants, les dynamiques du projet ?

Éric Mounier, réalisateur de l’évaluation sur le PNL

Pour poursuivre les évaluations filmées

Quelles sont les perspectives en termes d’évaluations filmées ? La complémentarité entre l’écrit et l’audiovisuel pourrait être davantage développée afin d’utiliser les qualités spécifiques du verbe et de l’image dans la démarche évaluative. Le recours au média (écrit ou filmé) le plus approprié pour la compréhension et l’évaluation de chaque élément du projet permettrait une perception plus juste et pertinente.

Cette démarche pourrait trouver sa traduction dans un référentiel méthodologique spécifique. Il permettrait de cadrer les contextes dans lesquels une évaluation filmée serait plus particulièrement pertinente et de clarifier la méthodologie mixant les deux supports. C’est ce que les équipes de l’AFD vont tester en 2019 avec de nouveaux projets en cours de conception.

UNE DÉMARCHE EXPÉRIMENTALE LANCÉE EN 2008

Avant celle du parc naturel du Limpopo au Mozambique, trois évaluations filmées avaient été financées par l’AFD :

« Construire contre les marées » (2008), un film à caractère évaluatif du projet hydro-agricole de Prey Nup au Cambodge, réalisé quelques années après l’évaluation écrite. Compte tenu de la longue histoire de l’AFD dans ce pays, l’objectif recherché visait « la capitalisation d’expérience » plus qu’une évaluation des résultats du projet déjà couverts par l’évaluation écrite.
« Projet eau à Soweto » (2011), une évaluation filmée intéressante car strictement audiovisuelle dans sa démarche, mais tout aussi rigoureuse dans sa conduite qu’une évaluation écrite. En effet, elle a suivi les cinq critères d’évaluation du Comité d’aide au développement de l’OCDE. Elle a permis, à travers les témoignages et les entretiens, de capter non seulement les jeux et interactions entre les acteurs du projet, mais également d’aller plus loin, en les resituant dans un contexte institutionnel plus large, notamment social.
« Municipalités palestiniennes : en quête d’avenir » (2012), évaluation filmée financée par les partenaires locaux, qui complète une évaluation écrite préalablement réalisée. L’évaluation portait sur un projet d’appui aux municipalités palestiniennes, en matière d’investissements et de gouvernance. L’objectif recherché était d’approfondir un des enjeux clés relevés par l’évaluation écrite sur la soutenabilité du projet, pour une meilleure connaissance et analyse des processus d’appui à la structuration institutionnelle et des rôles joués par les différents acteurs. Le partenaire local a été étroitement associé à une grande partie du travail de préparation de cette évaluation filmée.