RDC : à Kinshasa, la fabrique de l’évaluation

La mise en oeuvre d’un projet d’évaluation des actions de l’AFD mobilise de nombreuses ressources. Illustration avec une évaluation scientifique des impacts sanitaires et socioéconomiques de réseaux d’eau potable à Kinshasa, capitale tentaculaire et résiliente d’un État fragile.

Kinshasa, une des trois plus grandes villes du continent africain. Accéder à l’eau potable dans la capitale de la République démocratique du Congo est une gageure pour les habitants des quartiers périphériques de ce monstre urbain au nombre d’habitants incertain. Les Kinois des zones peu ou pas encore urbanisées ne disposent souvent d’aucun réseau de distribution d’eau. Ils s’approvisionnent en eau de sources ou de ruisseaux qui coulent dans les dépressions d’un paysage mouvant et décousu.

L’AFD appuie depuis 2006 l’adduction d’eau dans ces nouveaux quartiers qui ne sont pas desservis par la régie des eaux. Un système de gestion décentralisée a été mis en place par l’ONG locale ADIR ; celui-ci repose sur une participation communautaire structurée autour d’associations d’usagers, les ASUREP. Une seconde phase de déploiement a débuté en 2016 pour quatre ans, intitulée PILAEP 2. L’objectif principal est de raccorder 400 000 habitants de 26 quartiers à des réseaux d’eau et répondre ainsi à un besoin essentiel : une eau potable de qualité et accessible.

Le projet de recherche d’évaluation scientifique mené par l’AFD a pour ambition d’évaluer scientifiquement ces infrastructures d’eau, leurs impacts sanitaires (maladies diarrhéiques, stress) et socioéconomiques (corvée d’eau des femmes, scolarisation des enfants, gouvernance locale, etc.). Dans un contexte d’État fragilisé par les conflits et une administration défaillante, où très peu d’études de cette envergure ont été réalisées, son pilotage nécessite un solide engagement de la part de tous les partenaires.

[Actualisation] Les réalisations à jour en 2021

En 2021, les mises en eau se poursuivent dans les quartiers précaires périphériques de Kinshasa. Ce sont 26 000 habitants supplémentaires qui ont désormais accès à une eau potable depuis ce 20 mars dans les deux quartiers Mujinga et Ngomba, dans le cadre du projet PILAEP 2. Ces deux mini réseaux autonomes gérés sous modes communautaires par des associations d’usagers d’eau potables génèrent près de 40 emplois salariés et formels. Avec les projets PILAEP 1 achevé et PILAEP 2 en cours, ce seront plus de un million d’habitants des quartiers périphériques est et sud de Kinshasa qui auront pu avoir accès à l’eau et plus de 1200 emplois directs créés.

Le projet PILAEP 1 et les ASUREP :

Pour les partenaires de développement que nous sommes, il est toujours nécessaire de mesurer l’impact de ce que nous faisons. Impacts qui peuvent être positifs, on l’espère, ou défavorables.

Didier Grébert, directeur de l’AFD à Kinshasa

Previous Pause Suivant

1 of 3

Évaluer, une machine à remonter le temps

« Il m’est arrivé d’attendre un mois pour recevoir une réponse par courrier à un mail titré " urgent " ; la lettre était couverte de tampons officiels », se souvient avec le sourire Claire Zanuso, économiste, en charge des évaluations d’impact à l’AFD, en partance pour Kinshasa. Piloter une évaluation scientifique d’impact dans un contexte instable politiquement comme celui de Kinshasa impose de la patience et des allers-retours sur place pour accélérer la mise en œuvre. « Cette démarche, poursuit-elle, est encore plus importante dans un contexte d’État fragile comme la RDC où les enjeux d’appropriation et de pérennité des interventions sont particulièrement forts. » Elle part assister à la formation des enquêteurs et au lancement de l’enquête de référence de cette évaluation.

« On construit une machine à remonter le temps pour identifier les impacts strictement attribuables à l’intervention soutenue par l’AFD dans une zone où d’autres acteurs du développement sont présents, explique-t-elle. Il s’agit de mettre en place un protocole rigoureux qui conditionne la validité de l’exercice. Il doit permettre de comparer la vie avec et sans le projet PILAEP, autrement dit avant la construction des réseaux d’eau puis deux ans après la mise en eau. Nous comparons les effets du projet auprès de ceux qui en ont bénéficié et d’un groupe témoin, qui n’en a pas bénéficié. Cela revient à construire un contrefactuel, selon le jargon scientifique, que l’on espère le plus rigoureux possible. »

L’AFD a choisi comme partenaires l’Institut national de la statistique (INS) congolais et l’Unité mixte de recherche DIAL rattachée à l’Institut de recherche pour le développement (IRD) et à l’Université Paris-Dauphine. Si cette aventure est conditionnée par une exigence de redevabilité vis-à-vis des contribuables et de l’État français, elle est aussi un processus d’apprentissage par les « produits dérivés » qu’elle génère. Cela aide, par exemple, les équipes à mieux comprendre le contexte du projet par des travaux de capitalisation des phases antérieures. Les quartiers périphériques sont souvent mal connus ; les données les concernant sont rares et elles deviennent rapidement obsolètes, car elles sont soumises au défi de l’informalité prédominante et de la croissance rapide. Les habitants de ces quartiers sont sous-représentés dans les enquêtes nationales.

Ce processus contribue par ailleurs à un meilleur pilotage par une connaissance fine des conditions de vie des populations des quartiers périphériques, du quotidien du projet et de ses points de blocages grâce notamment aux statistiques, aux enquêtes qualitatives, ou par la production d’outils cartographiques. Il s’agit, conclut Claire Zanuso, de « contribuer à renforcer les statistiques de nos partenaires, l’évaluabilité des projets, et de diffuser une culture de l’évaluation au sein de nos équipes et de toutes les parties prenantes du projet. » Une co-construction au long cours. Le temps de la science.

En quête de données de qualité disponibles en temps réel

Il a fallu aux chercheurs de DIAL plusieurs mois de travail pour élaborer un protocole d’évaluation adapté à ce contexte versatile, repérer sur le terrain les zones d’enquête et co-construire avec l’INS les outils de collecte, les questionnaires et l’application permettant la collecte des données sur tablettes. Un des enjeux pour la portée de l’enquête : une collecte de données de qualité. « DIAL est un laboratoire de recherche qui a une longue tradition de conduite d’enquêtes en Afrique et un peu partout dans le monde », raconte Camille Saint-Macary, chercheuse à DIAL.

Il s’agissait avant tout de former des enquêteurs, avec une attention particulière portée à la mixité des équipes. Pour lancer l’enquête, deux sessions de dix jours de formation ont été organisées à Kinshasa pour familiariser les enquêteurs de l’INS au questionnaire. Objectif : les informer sur ce qui est recherché, leur apprendre à poser les bonnes questions, en limitant les biais. Ils doivent également pouvoir appréhender les situations qu’ils vont rencontrer et savoir comment y répondre. « C’est un travail difficile et pourtant clé, explique Camille Saint-Macary. Ce sont eux qui vont collecter les histoires sur le terrain, puis les retranscrire en données, ce qui servira ensuite de matière à l’analyse. C’est pour cette raison que nous sommes attentifs à ce qu’ils travaillent dans de bonnes conditions, avec du temps. »

Pour faciliter le pilotage à distance de l’enquête, les questionnaires ont été transposés sur une application accessible depuis une tablette ; les réponses sont saisies via cette application. « DIAL travaille avec l’INS congolais depuis longtemps. Nous avons accès à des outils assez performants qui permettent de transférer les données du terrain vers un serveur de l’INS connecté à celui de DIAL à Paris. Nous pourrons nous assurer du bon déroulement de l’enquête quasiment en temps réel et à distance, vérifier que nous n’avons pas d’incohérences majeures et rectifier si nous voyons que les équipes rencontrent des difficultés. »

Avant PILAEP 1, une vie sans eau potable

Albert Djodjo est président du conseil d’administration d’une ASUREP ; il vit dans le quartier de Mikonga depuis 22 ans. « Avant le démarrage de PILAEP 1, on dépendait de l’eau de la source. Chaque matin dès 6 heures, les mamans et les enfants descendaient à la rivière pour aller chercher de l’eau et la ramener à la maison, raconte Albert Djodjo. L’eau n’était pas bonne pour la consommation. Quand il pleuvait, on pouvait passer toute la nuit dehors pour récupérer de l’eau de pluie. »

Le quartier étant situé dans des vallées, ce sont les eaux insalubres drainées par les pluies qui étaient puisées par ses habitants. « Seuls deux tuyaux raccordés aux puits étaient disponibles pour 28 000 habitants », précise-t-il. Tensions, négociations, bagarres, cas de viols sur les chemins menant à la source ou sur les lieux de collecte, tout cela participait du quotidien de la corvée d’eau.

Sur le plan sanitaire, poursuit Albert, « il y avait beaucoup de cas de maladies d’origine hydrique. Les diarrhées étaient présentes dans chaque parcelle. » Une situation qui s’explique en grande partie par la pollution de l’eau, le manque d’assainissement et les pratiques d’hygiène. À cela s’ajoutent fièvre typhoïde, paludisme et épidémies de choléra.

Dans ce quartier, six ou sept écoles seulement permettaient de scolariser les enfants. Des cours d’école où seuls jouaient des garçons, car ajoute Albert Djodjo, « nos filles devaient d’abord aller puiser de l’eau. Ça prenait deux à trois heures avant qu’elles soient de retour. Si elles faisaient l’effort d’aller à l’école, elles risquaient d’être punies pour leur retard. »

Le terrain d’enquête, tout un art

Proposer un état des lieux avant la mise en eau des quartiers PILAEP 2, voilà l’objectif de ces deux mois d’enquête, de fin mars à mai 2018. Une équipe de 60 enquêteurs congolais interroge 18 000 habitants, répartis dans 3 000 foyers et dix zones d’enquête. Recruter les enquêteurs, dénombrer les ménages, interviewer et collecter les données figurent parmi les étapes prises en charge par l’INS.

À terme, les équipes cherchent à comprendre si le fait de réduire la distance au point d’eau – et donc le temps consacré à la corvée d’eau – permet notamment une hausse de la scolarisation des jeunes filles, davantage d’activités rémunératrices et d’autonomie pour les femmes, une diminution des actes violents dont elles sont victimes et du stress qu’elles vivent au quotidien. Enfin, l’amélioration de la santé des habitants, en particulier des enfants, est également évaluée. Un autre axe consiste à interroger la qualité de la gouvernance mise en place à travers les associations d’usagers (ASUREP).

Le travail d’enquête est un art. Il s’agit d’être accepté, de mettre les personnes en confiance pour répondre aux questions et que ces réponses donnent matière à analyse. « Quand on se présente pour la première fois, raconte Jérôme Anyasi, enquêteur, les gens ne savent pas ce que tu es venu faire chez eux. Si tu n’arrives pas à bien introduire l’objet de l’étude, ils peuvent refuser. Une fois qu’ils ont accepté, si vous causez un peu trop longtemps, il se peut que les gens se fatiguent et qu’ils décident de faire autre chose. »

Certains sujets sont également sensibles, ajoute l’enquêteur : « Les gens n’ont pas nécessairement envie de livrer certaines informations, comme la valeur de leurs biens. » De même que celles liées à la gouvernance, la corruption ou la violence au sein du quartier. Dans le contexte politique actuel qui se dégrade, les personnes interrogées peuvent également avoir peur de se faire arrêter. Un pilote de trois jours a permis d’examiner la formulation des questions pour ajuster le questionnaire. Après une dernière adaptation des outils de collecte et une réunion de lancement avec les équipes, l’enquête a pu être lancée.

Plaidoyer pour des investissements durables et de qualité

RDC, Kinshasa, enfants, Kabamba — *© Ines Kabamba / AFD*

Par cette évaluation, l’AFD cherche à combler un déficit de connaissances sur l'efficacité des investissements pérennes dans les réseaux d'eau potable sur la santé publique, le développement économique et le lien social. En matière de choléra, la communauté internationale privilégie généralement des approches sur le court terme au travers d’interventions légères (distribution de pastilles de chlore, de kits de filtration) et des dispositifs d’urgence (campagnes de vaccination).

Cette évaluation d’impact, couplée à une autre menée à Uvira dans le Sud-Kivu (RDC), doit permettre de contribuer à alimenter le débat international sur la répartition entre les investissements sur le court et le long terme, et l’importance à accorder à la qualité des services d’eau et d’assainissement dans le cadre des Objectifs de développement durable. Car comme le souligne Martin Leménager, responsable de l’équipe projet PILAEP, « avoir un réseau d’eau dans son quartier, c’est bien, mais ce n’est pas suffisant. Encore faut-il que le service ne subisse pas des coupures intempestives et que l’eau ne contienne pas de bactéries ! »

RDC : à Kinshasa, la fabrique de l’évaluation

partager