Influ Eval_cover-Fr 9/30/04 4:42 AM Page c2 32879 DÉPARTEMENT DE L'ÉVALUATION DES OPÉRATIONS ­ RENFORCEMENT DES CAPACITÉS D'ÉVALUATION ÉVALUATIONS B A N Q U E M O N D I A L E 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. MARQUANTES Téléphone : 202-477-1234 Télécopie : 202-477-6391 Télex : MCI 64145 WORLDBANK MCI 248423 WORLDBANK Des évaluations qui ont contribué Site web : www.worldbank.org à améliorer les résultats et l'impact Département de l'évaluation des opérations Groupe de développement des capacités d'évaluation et des programmes de gestion des connaissances des programmes de développement Courriel : eline@worldbank.org Téléphone : 202-458-4497 Télécopie : 202-522-3125 ÉVALUATIONS MARQUANTES : Des évaluations qui ont contribué à améliorer les résultats et l'impact des programmes de développement Banque mondiale Washington www.worldbank.org/oed/ecd/ N Remerciements Cette étude est le résultat d'un effort concerté auquel plusieurs personnes ont contribué de façon importante. Michael Bamberger, chercheur principal et conseiller, était assisté d'Elaine Ooi (consultante) qui a également effectué une étude de cas détaillée sur l'évaluation forestière en Chine. Les auteurs des autres études de cas qui sont présentées dans le deuxième volume Influential Evaluations: Detailed Case Studies (à paraître) sont : S.P. Pal et Amar Singh, Pour une plus grande efficacité du système d'assurance emploi en Inde Richard Hopkins et Nilanjana Mukherjee, Évaluer l'efficience des interventions dans le secteur de l'eau et de l'assainissement à Flores (Indonésie) Mita Marra, Élargir le cadre de référence utilisé pour évaluer la viabilité des grands barrages James Garrett et Yassir Islam, La suppression des magasins de farine de blé subventionnée au Pakistan Todor Dimitrov, Comment un important projet environnemental a été rendu plus performant en Bulgarie. L'OED remercie tous les auteurs des études de cas. Les résumés présentés dans ce rapport n'engagent que l'équipe de l'OED et ne doivent pas être attribués aux auteurs. Keith Mackay (OEDPK) a été le chef de projet pour l'étude Évaluations marquantes. Ce rapport a bénéficié d'une importante contribution de A. Ravindra qui a fait une étude approfondie sur l'impact du carnet de notes de l'usager à Bangalore, à paraître dans un prochain document de travail de l'OED. Nous avons été aidés dans notre tâche par Ananya Basu, Stephen Howes, Jikun Huang, Xu Jintao, Uma Lele, Radhika Nayak, Samuel Paul, Ulrich Schmitt et Susan Shen qui nous ont fourni de précieuses informations et observations sur les différentes études de cas. Zhengfang Shi et Susan Stout ont été les experts-évaluateurs de ce rapport. Patrick G. Grasso Directeur en exercice Programmes de gestion des connaissances & renforcement des capacités d'évaluation Copyright © 2004 Banque internationale pour la reconstruction et le développement/BANQUE MONDIALE 1818 H Street, N.W. Washington, D.C. 20433, États-Unis Tous droits réservés Fabriqué aux États-Unis d'Amérique Les opinions exprimées dans ce rapport n'engagent que leurs auteurs et ne doivent être attribuées ni à la Banque mondiale ni aux États membres. La Banque mondiale ne garantit pas l'exactitude des données présentées et n'assume pas la responsabilité des conséquences découlant de leur utilisation. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 3 Table des matières Sommaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Études de cas Pour une plus grande efficacité du système d'assurance emploi en Inde . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Comment le carnet de notes de l'usager a été utilisé pour demander des comptes à l'État à Bangalore (Inde) . . . . 9 Évaluer l'efficience des interventions dans le secteur de l'eau et de l'assainissement à Flores (Indonésie) . . . 12 Élargir le cadre de référence utilisé pour évaluer la viabilité des grands barrages . . . . . . . . . . . . . . . . . . 15 La suppression des magasins de farine de blé subventionnée au Pakistan . . . . . . . . . . . . . . . . . . . . 18 Améliorer les prestations dans l'enseignement primaire en Ouganda . . . . . . . . . . . . . . . . . . . . . . . . 20 Comment un important projet environnemental a été rendu plus performant en Bulgarie . . . . . . . . . . .23 Aider à réévaluer la politique forestière nationale de la Chine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 Concevoir des évaluations utiles : Leçons apprises . . . . . . . .29 Autres sources d'information sur le suivi et l'évaluation . . . .32 D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N SOMMAIRE 5 DES ÉVALUATIONS QUI ONT CONTRIBUÉ À AMÉLIORER LES RÉSULTATS ET L'IMPACT DES PROGRAMMES DE DÉVELOPPEMENT : ÉTUDES DE CAS ET LEÇONS APPRISES Lorsqu'elles sont réalisées au moment opportun et OBJECTIF portent sur des questions essentielles pour les décideurs et les gestionnaires et lorsque leurs conclusions sont présentées sous une forme facile à exploiter, les évaluations sont un outil d'un excellent rapport coût-efficacité pour améliorer les résultats et l'impact des politiques, des programmes et des projets de développement. En revanche, lorsque ces critères ne sont pas remplis, les évaluations peuvent fort bien ne produire aucun résultat utile même s'il n'y a rien à redire sur la méthodologie suivie. Ce rapport présente huit exemples d'évaluations marquantes. Dans plusieurs cas, on a pu comparer le coût de l'évaluation avec ses effets économiques et démontrer par ce moyen que l'évaluation a été un outil de gestion d'un très bon rapport coût-efficacité. Les évaluations suivantes ont été étudiées : Pour une plus grande efficacité du système d'assurance emploi en Inde Comment le carnet de notes de l'usager est utilisé pour demander des comptes à l'État à Bangalore (Inde) Évaluer l'efficience des interventions dans le secteur de l'eau et de l'assainissement à Flores (Indonésie) Élargir le cadre de référence utilisé pour évaluer la viabilité des grands barrages La suppression des magasins de farine de blé subventionnée au Pakistan Pour de meilleures prestations dans l'enseignement primaire en Ouganda Comment rendre un important projet environnemental plus performant en Bulgarie Aider à réévaluer la politique forestière nationale en Chine. Le rapport conclut par un récapitulatif des leçons apprises en ce qui concerne la conception des évaluations, la possibilité de juger de leur utilisation et la possibilité d'en établir le coût-efficacité. Le deuxième volume Influential Evaluations: Detailed Case Studies présente des analyses plus fouillées des évaluations. Il décrit également les méthodologies utilisées pour déterminer l'impact des évaluations. Une publication séparée -- Suivi et évaluation : Outils, méthodes et approches -- présente une esquisse de divers types de suivi et d'évaluation, notamment ceux qui ont été utilisés dans les études de cas traitées ici. La publication décrit les objectifs et l'utilisation des outils de suivi et d'évaluation, les avantages et les inconvénients, les coûts, les compétences requises et le temps nécessaire, et fournit quelques références importantes. Toutes les publications sont disponibles sur le site web de l'OED pour le renforcement des capacités d'évaluation : http://www.worldbank.org/oed/ecd/. N 6 Pour une plus grande efficacité du système d'assurance emploi en Inde Le système d'assurance emploi a été mis en place en octobre 1993 par les autorités fédérales indiennes dans les districts pauvres, exposés à la sécheresse en vue d'assurer l'emploi pendant la basse saison et de créer une infrastructure économique locale propice à des emplois suivis et au développement. Le système avait un budget de 518 millions de dollars en 1997-1998 et a été mis en oeuvre par les administrations locales en charge du développement, sous la tutelle du ministère fédéral des zones rurales et de l'emploi. But de l'évaluation L'organisme d'évaluation des programmes (Programme Evaluation Organisation) a été chargé par la commission nationale du Plan d'évaluer les résultats du système d'assurance emploi et de recommander des mesures d'amélioration. Compte tenu des résultats peu satisfaisants du système et d'autres programmes de lutte contre la pauvreté, leur réforme était déjà envisagée par les autorités. Une étude indépendante était cependant nécessaire en vue d'évaluer les prestations à partir de données concrètes recueillies à la base et de déterminer précisément comment procéder à la restructuration. Méthodologie de l'évaluation Examen des documents officiels concernant le programme et d'autres sources secondaires d'information Échantillon stratifié à plusieurs degrés composé de 1 120 bénéficiaires dans 112 villages répartis sur 14 États Entretiens dirigés avec des bénéficiaires, des dirigeants locaux et des fonctionnaires au niveau local et au niveau des États Informations qualitatives recueillies par l'intermédiaire d'informateurs sélectionnés et par observation directe Examen des documents officiels du programme en vue de comparer les progrès effectivement réalisés avec les dépenses déclarées, les projets achevés et le nombre de bénéficiaires. Conclusions de l'évaluation Exécution du programme Dans la gestion du système d'assurance emploi, peu de planification a été faite à l'avance et la principale préoccupation des organismes locaux était de dépenser dans l'année le maximum des fonds alloués. Les comités de contrôle locaux étaient inefficaces et il y a eu de considérables problèmes de mauvaise répartition des fonds et de gonflement artificiel du nombre de projets exécutés. Beaucoup de villageois n'avaient pas connaissance des détails du système. Utilisation des fonds Les délais administratifs ont été une cause importante de sous-utilisation des fonds. Les taux d'utilisation effective des fonds ont été bien inférieurs aux taux déclarés. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 7 Impact du programme Un quart des bénéficiaires n'appartenait pas au groupe cible. Seulement 5 % environ du groupe cible a effectivement trouvé du travail et les bénéficiaires ont été employés pendant moins de jours que ce qui avait été déclaré. Coût et durée de l'évaluation L'évaluation a coûté 146 000 dollars environ et a duré 15 mois. Recommandation de l'évaluation Les programmes d'emploi rural devraient être tous regroupés et intégrés aux programmes de sécurité alimentaire. Il faut une participation plus active des villageois à la sélection, la mise en oeuvre et l'entretien des avoirs. L'encadrement moyen des administrations devrait avoir davantage voix au chapitre dans l'évaluation de la faisabilité des programmes proposés. Des procédures plus rigoureuses de tenue des écritures sont nécessaires. Les fonds devraient être alloués aux localités les plus pauvres qui en ont le plus besoin (à identifier sur la base d'un indice de privation/de développement). Déterminer l'impact auquel l'évaluation a contribué Le regroupement des programmes de sécurité alimentaire et des programmes d'emploi rural a permis d'augmenter de 1,2 milliard de dollars les fonds alloués à la création d'emplois. La résorption des stocks excédentaires de céréales détenus par les pouvoirs publics permettra d'économiser 72 millions de dollars (soit 3,6 % du budget du système d'assurance emploi). La restructuration des postes du personnel réduira de 20 % environ la masse salariale (100 000 dollars). Le respect du ratio salaires/apports matériels assigné comme objectif pourrait conduire à une augmentation de 85 % des emplois dans les limites budgétaires existantes. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation Voici les méthodes utilisées pour déterminer dans quelle mesure les effets observés peuvent être attribués à l'évaluation plutôt qu'à d'autres facteurs non apparentés : L'étude de cas fait état de mentions précises de l'évaluation dans les documents de planification concernant le programme restructuré de plein emploi rural. L'étude de cas fait état de mentions précises de l'évaluation dans les chapitres correspondants de l'évaluation à mi-parcours du neuvième plan national de développement. Le projet d'étude de cas a été examiné par des spécialistes de la protection sociale et de l'emploi au bureau de la Banque mondiale à New Delhi, à la suite de quoi des changements et des éclaircissements ont été apportés. N 8 L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? Si l'évaluation n'a certes pas été la seule source d'information pour la réforme du programme, ses recommandations ont contribué de manière importante aux résultats décrits ci-dessus. Même en supposant que l'évaluation a été à l'origine de 10 % seulement de l'impact, elle aura produit des effets bénéfiques d'un montant supérieur à 127 millions de dollars alors qu'elle aura coûté 146 000 dollars environ. P O U R E N S A V O I R P L U S S. P. Pal et Amar Singh « Évaluation du système d'assurance emploi en Inde », OED, Influential Evaluations: Detailed Case Studies D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 9 Comment le carnet de notes de l'usager a été utilisé pour demander des comptes à l'État à Bangalore (Inde) Au début des années 90, Bangalore était en butte, comme d'autres villes indiennes, à des problèmes de qualité des services publics tels que l'eau, l'électricité, les transports, les hôpitaux et la réglementation des terres communales. La plupart des habitants étaient résignés à l'idée que les services étaient de piètre qualité, que les pouvoirs publics étaient indifférents et que les pots-de-vin étaient le seul moyen d'obtenir des services. Objectif de l'évaluation sur le carnet de notes de l'usager Une ONG indépendante, le Public Affairs Center (PAC), a décidé de faire une évaluation basée sur le carnet de notes de l'usager en vue de : recueillir et de documenter les opinions des usagers des services publics. diffuser largement les résultats. utiliser les résultats pour inciter les prestataires de services publics à améliorer la qualité de ces services. Méthodologie de l'évaluation Un sondage a été effectué auprès d'un échantillon aléatoire stratifié de 1 130 ménages à Bangalore en 1993-1994. Le sondage a été également effectué sur un échantillon de personnes vivant dans des habitats spontanés. Les personnes interrogées ont fourni des informations sur les services utilisés pendant les six derniers mois et sur les organismes avec lesquels elles ont traité. Le sondage a porté sur le téléphone, l'électricité, l'eau et les égouts, les hôpitaux publics, les transports, les banques d'État et la réglementation des terres communales. Les résultats ont été largement diffusés par l'intermédiaire des moyens de communication de masse, de réunions publiques et d'exposés à l'intention des organismes de prestation de services publics. Les sondages ont été refaits en 1999 en vue de déterminer les changements survenus depuis le premier sondage en ce qui concerne la qualité générale des services, le comportement du personnel et la facilité de contact entre les citoyens ordinaires et le personnel des organismes de services publics. Conclusions de l'évaluation Voici les conclusions du premier sondage effectué en 1993-1994 : Seulement 10,5 % des ménages se déclaraient « satisfaits » ou « très satisfaits » des services. Les hôpitaux, les transports et les banques d'État étaient les seuls services pour lesquels le taux de satisfaction était égal ou supérieur à 10 %. 37,5 % des ménages étaient « peu satisfaits » ou « fort peu satisfaits » des services. Voici les résultats du sondage de 1999 : Le pourcentage des « satisfaits » est passé de 10,5 % à 40,1 %. N 10 Le pourcentage des « mécontents » est passé de 37,5 % à 17,9 %. Les améliorations ont été pratiquement les mêmes pour les occupants des habitats spontanés et pour l'ensemble des ménages. C'est dans le domaine des hôpitaux publics et de l'électricité que les plus grands progrès ont été enregistrés. Pour l'ensemble des services, le pourcentage des ménages satisfaits a augmenté de moitié au moins. Le pourcentage de ménages qui paient des pots-de-vin n'a pas diminué. Coût et durée de l'évaluation Chaque sondage a pris sept mois environ et a coûté de 10 000 à 12 000 dollars. Par ailleurs, le PAC a consacré beaucoup de temps à diffuser les résultats des sondages, à essayer de convaincre les administrations publiques de la nécessité de la réforme et à fournir un appui vers plusieurs administrations qui l'avaient demandé. Recommandations de l'évaluation Les rapports contenaient des recommandations précises pour chaque agence qui ont été communiquées lors de réunions séparées entre le PAC et chacun de ces organismes. Recommandations générales : Les agences devraient examiner les conclusions de l'évaluation avec leur personnel et décider d'un commun accord des plans d'action. Des mesures devraient être prises pour encourager le public à donner systématiquement des informations en retour. Un effort devrait être fait dans le sens de la transparence et de l'efficacité de façon à réduire la nécessité et les opportunités de verser des pots-de-vin. Déterminer l'impact auquel l'évaluation a contribué Le carnet de notes a sensibilisé le public à la mauvaise qualité des services et encouragé l'organisation de groupements d'usagers pour réclamer des améliorations. Le carnet de notes a servi de catalyseur pour amener les organismes de services publics à être davantage à l'écoute des clients et à améliorer la qualité de leurs prestations. Les ménages n'ont pas relevé de diminution de la corruption. Des enquêtes du même type basées sur des carnets de notes de l'usager ont été effectuées dans d'autres villes indiennes et dans d'autres pays à la suite de l'étude pionnière faite à Bangalore. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation L'écho important qui a été donné aux conclusions de l'enquête dans les médias ainsi que les mesures de suivi relevées montrent que les résultats de l'opération ont été largement diffusés. Un sondage des parties prenantes effectué auprès de 19 cadres supérieurs d'agences municipales et 5 hauts fonctionnaires d'administrations d'État, de représentants de 7 ONG et de 4 journalistes a confirmé que le carnet de notes de l'usager a eu un effet de catalyseur sur les agences de services publics et sur la société civile. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 11 Il n'y a pas eu de variations marquées en ce qui concerne l'adhésion des différentes agences aux mesures proposées et en ce qui concerne les changements à long terme. L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? Pour autant qu'on a pu le constater, même si d'autres facteurs ont également joué, le carnet de notes de l'usager a contribué de façon importante à l'amélioration des services publics. L'investissement de 22 000 dollars environ dans les deux études, conjugué à la diffusion des résultats et aux activités de suivi menées en collaboration avec les administrations publiques, a contribué, d'après les estimations, à augmenter de 50 % le taux de satisfaction des usagers pour tous les principaux services publics. L'opération a donc été d'un très bon rapport coût-efficacité. P O U R E N S A V O I R P L U S « Comment le carnet de notes de l'usager est utilisé à Bangalore (Inde) pour demander des comptes à l'État », OED, Influential Evaluations: Detailed Case Studies. Samuel Paul, 2002, Holding the State to Account : Citizen Monitoring in Action. Books for Change, ACTIONAID, Karnataka (Inde). A. Ravindra, « An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of the Public Agencies », rapport de consultant, OED, 2003. Ce rapport sera bientôt publié en tant que document de travail de l'OED. N 12 Évaluer l'efficience des interventions dans le secteur de l'eau et de l'assainissement à Flores (Indonésie) En décembre 1992, l'île de Flores située dans la partie orientale de l'Indonésie a été ravagée par un violent tremblement de terre et un raz-de-marée qui ont fait plusieurs milliers de victimes et détruit presque totalement le peu d'infrastructure qui était en place. Parmi les opérations de secours d'urgence, celle montée par l'organisme d'aide de l'Australie (AusAID) a été par la suite convertie en un projet de cinq ans pour la reconstruction et le développement de l'approvisionnement en eau et l'assainissement à Flores (FLOWS), mené conjointement par le gouvernement et AusAID. L'objectif du projet était de promouvoir le développement social et économique en augmentant la fourniture d'eau et les installations d'assainissement, l'accès ainsi que l'utilisation rationnelle et durable de ces services, en mettant l'accent sur le renforcement de la gestion de projet. But de l'évaluation L'évaluation visait à contribuer à la nouvelle politique nationale dans le secteur de l'eau et de l'assainissement en faisant le bilan du projet FLOWS cinq ans après son achèvement. Méthodologie de l'évaluation Un échantillon aléatoire stratifié, géographiquement représentatif, de 63 sites a été choisi sur un total de 260 sites couverts par le projet. On a utilisé la méthode d'évaluation participative en l'adaptant à la culture et à la langue locales. Cette méthode associe des outils participatifs de recherche à des analyses quantitatives pour évaluer la viabilité et l'utilisation des services d'approvisionnement en eau et d'assainissement, tout en vérifiant le degré d'égalité entre les sexes et d'équité sociale présent dans les processus et les résultats du projet. Dans la méthode d'évaluation participative, l'échantillon inclut spécifiquement des groupes marginalisés tels que les femmes et les pauvres, qui ne seraient pas consultés autrement. Des équipes de chercheurs indonésiens, avec une représentation équilibrée des hommes et des femmes et un panachage des compétences techniques et sociales, ont aidé aux évaluations participatives. L'étude a porté sur les changements perçus dans l'approvisionnement en eau, l'assainissement et les conditions d'hygiène du point de vue des usagers locaux aussi bien que du point de vue des chercheurs extérieurs, ainsi que sur l'utilisation des installations améliorées par les collectivités. Les résultats du projet ont été étudiés sous l'angle des institutions, de la lutte contre la pauvreté et de l'égalité des sexes, et les liens entre ces aspects et la durabilité des services ont été analysés. Conclusions de l'évaluation Des ouvrages d'approvisionnement en eau ont été installés dans 87 % des villages et la plupart d'entre eux étaient encore en fonctionnement trois à huit ans après leur construction. Presque toutes les toilettes étaient fonctionnelles. 13 % des ouvrages d'approvisionnement en eau n'ont jamais été terminés, essentiellement à cause de conflits sociaux entre les villages. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 13 Il y a eu une sérieuse baisse des niveaux de services dans la moitié des sites. Chaque année, 22 % des installations ne fournissent que peu voire pas du tout d'eau pendant un trimestre. Les pauvres ont-ils eu accès à de meilleurs services d'eau et à une meilleure hygiène ? La conception du projet ne prévoyait que des installations d'eau communales mais de nombreuses familles aisées ont également installé des raccordements dans leurs logements. Les pauvres avaient un accès plus limité aux toilettes et beaucoup d'entre eux ont continué à faire leurs besoins en plein air. Les règles préconisées dans le projet qui revenaient à interdire l'utilisation des installations communales pour baigner et laver les bébés n'ont pas été propices à une meilleure hygiène parmi les pauvres. La prise de décisions a été accaparée par les groupes les plus aisés. La viabilité financière était sujette à caution et la charge imposée aux pauvres était excessive Les redevances d'utilisation ne couvraient pas les charges récurrentes ni même des dépenses de fonctionnement. En raison des tarifs forfaitaires, les pauvres payaient le même montant que les plus aisés pour un volume d'eau plus faible et des conditions d'approvisionnement moins commodes. Coût et durée de l'évaluation L'évaluation a coûté environ 150 000 dollars au total (45 000 dollars pour les consultants internationaux et la contre-valeur de 105 000 dollars pour les apports nationaux) et le projet de rapport en langue anglaise a été terminé en 12 mois. Recommandations de l'évaluation Le fait de veiller à l'équité entre les sexes et à l'équité sociale conduit à une meilleure gestion et à des services plus durables. Prêter davantage attention aux mécanismes incorporés dans le projet pour traduire la politique sectorielle en action, dans la mesure où les résultats du projet se ressentent des problèmes de mise en oeuvre des politiques. Pendant la phase de planification, il convient de veiller davantage à résoudre les éventuels conflits qui existent localement sur le plan social. Le fait de proposer et de discuter des options de service et de coût avec tous les sous-groupes de la collectivité permet de réduire les conflits par la suite. Déterminer l'impact auquel l'évaluation a contribué L'étude a renforcé la nouvelle politique nationale en montrant qu'en se souciant des problèmes d'inégalité entre les sexes et de pauvreté, on peut renforcer la viabilité et l'utilisation rationnelle des services. N 14 Les conclusions de l'évaluation ont sensibilisé les décideurs aux défis à relever pour traduire les politiques en action au niveau des collectivités. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation Les principales conclusions de l'évaluation ont été incorporées dans le document énonçant la nouvelle politique officielle. Dans le sondage des parties prenantes, l'organisme national de planification aussi bien que le bailleur de fonds ont confirmé la contribution faite par l'étude, en particulier pour ce qui est d'identifier les divergences entre les politiques annoncées précédemment et l'exécution sur le terrain. L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? Sachant que les dépenses publiques dans le secteur de l'eau et de l'assainissement pourraient être de l'ordre de 150 à 250 millions de dollars par an dans les cinq à dix années à venir, l'investissement de 150 000 dollars dans l'évaluation aura été d'un fort bon rapport coût-efficacité si l'application des conclusions de l'étude permet d'accroître l'efficacité et la viabilité des services ne serait-ce que de quelques pour cent. L'impact dans le domaine de l'équité pourrait être encore plus fort si les recommandations permettent de corriger les insuffisances relevées dans la prise en compte des considérations d'égalité entre les sexes et de réduction de la pauvreté dans les services d'approvisionnement en eau et d'assainissement. P O U R E N S A V O I R P L U S Richard Hopkins et Nilanjana Mukherjee, « Évaluer l'efficience des interventions dans le secteur de l'eau et de l'assainissement dans des villages de Flores (Indonésie) », OED, Influential Evaluations: Detailed Case Studies. Pour plus de renseignements, se reporter à l'étude « Flores Revisited » de Christine van Wijk, Kumala Sari avec l'équipe de Pradipta Paramitha, Nina Shatifan, Ruth Walujan, Ishani Mukherjee et Richard Hopkins, avant-projet, décembre 2002, WSP-EAP. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 15 Élargir le cadre de référence utilisé pour évaluer la viabilité des grands barrages Le débat sur les grands barrages dans le développement La Banque mondiale a adopté en 1993 de nouvelles mesures de précaution de plus vaste portée en vue de l'évaluation des investissements dans les grands barrages, en mettant davantage l'accent sur l'impact social et environnemental. Du fait de la controverse au sujet des grands barrages, les emprunteurs ont hésité à solliciter l'aide de la Banque mondiale et d'autres organismes de développement même pour des projets qui se justifiaient. Beaucoup de pays en développement ne sont pourtant pas en mesure de financer à eux seuls des investissements à l'échelle nécessaire pour exploiter pleinement les potentialités de leurs bassins hydrographiques en vue du développement économique et social et répondre à la demande de plus en plus pressante de services additionnels d'eau, d'électricité et de prévention des inondations. Bien que la part relative des prêts à la construction de grands barrages n'ait cessé de diminuer dans les opérations de prêt de la Banque mondiale, ils se sont élevés à 1,064 milliard de dollars pendant l'exercice 00. But de l'évaluation En 1997, le Département de l'évaluation rétrospective des opérations (OED) de la Banque mondiale a effectué une évaluation des prêts de la Banque pour les grands barrages en vue de : Déterminer si les projets de barrage financés par la Banque avaient satisfait aux politiques de précaution sociales et environnementales en vigueur au moment de l'approbation du projet ainsi qu'aux nouvelles politiques adoptées ultérieurement. Recenser les problèmes pour lesquels des études additionnelles sont nécessaires afin de déterminer le rôle que la Banque mondiale doit jouer. Méthodologie de l'évaluation L'évaluation s'est basée sur une étude sur documents et sur les résultats d'enquêtes dans un certain nombre de pays emprunteurs et auprès d'agences de gestion des barrages sur le terrain. Une analyse coût-efficacité a posteriori a été effectuée sur les 50 grands barrages dont la construction a été financée par la Banque mondiale entre 1956 et 1987. Tous les barrages ont été mis en chantier avant l'entrée en vigueur des directives actuelles de la Banque mondiale sur les réinstallations forcées, la sûreté des barrages, les populations autochtones et la protection de l'environnement. L'impact a été évalué en ce qui concerne la production d'électricité, l'approvisionnement en eau d'irrigation, la prévention des inondations et la navigation, la répartition des avantages découlant des grands barrages et la contribution à la réduction de la pauvreté. Conclusions de l'évaluation 90 % des barrages étaient en conformité avec les normes en vigueur au moment de l'approbation. N 16 Seulement un quart de ces barrages était en conformité avec les politiques actuelles de précaution de la Banque qui sont plus strictes. L'atténuation des effets négatifs des barrages sur le plan social et environnemental aurait été à la fois possible et économiquement justifiée dans 74 % des cas. Le rapport n'a pas tiré de conclusion définitive sur la question de savoir si les barrages peuvent remplir des conditions acceptables moyennant de simples aménagements mineurs ou si des aménagements substantiels sont nécessaires pour satisfaire aux politiques de précaution sur le plan de l'environnement, de la sûreté et sur le plan social. Coût et durée de l'évaluation L'évaluation a pris deux ans et son coût est estimé à 200 000 dollars. Recommandations de l'évaluation Renforcer les politiques de précaution dans le domaine de l'environnement et de la sûreté des barrages. Les régimes d'indemnisation en cas de réinstallation forcée devraient être mieux conçus et mieux ciblés. Déterminer l'impact auquel l'évaluation a contribué L'évaluation a attiré l'attention des parties prenantes sur une large gamme de problèmes et constitué un pôle de débat entre tous les protagonistes. L'évaluation a également joué un rôle de catalyseur dans la création de la commission mondiale des barrages qui a mis en place un mécanisme pour intégrer les facteurs sociaux aussi bien que les facteurs économiques à l'évaluation des grands barrages. À la Banque mondiale, l'évaluation a incité à accorder une plus grande attention aux plans de réinstallation, aux études d'impact environnemental et aux questions de sûreté. L'évaluation a sensibilisé à la nécessité de réduire au minimum les effets techniques et environnementaux de l'obsolescence et de la dégradation des barrages existants. L'évaluation a accentué la réceptivité aux exigences d'évaluation et de responsabilisation au sein de la Banque mondiale en décourageant les prêts à de nouveaux barrages. L'aversion au risque découlant de l'évaluation plus serrée des opérations proposées a été mentionnée comme un des facteurs qui a contribué à la diminution des prêts en faveur des grands barrages. La Banque mondiale se préoccupe plus de la réhabilitation et de la sûreté des barrages à l'heure actuelle. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation L'impact de l'évaluation a été analysé dans le cadre d'une étude de suivi qui a inclus 18 entretiens semi-dirigés avec des décideurs de la Banque, des gestionnaires, des experts en barrage et les auteurs de l'évaluation de l'OED sur les grands barrages. L'observation des participants a été faite à l'occasion de réunions à la Banque mondiale. Les rapports de la Banque et les publications de diverses parties prenantes ont été examinés. Toutes les sources d'information ont rendu compte de manière cohérente de l'impact de l'évaluation. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 17 L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? La plupart des directeurs de programme ont estimé que les analyses claires et précises et les arguments pour et contre les grands barrages ont permis d'élucider les problèmes et fourni un cadre analytique pour la prise de décision. L'évaluation a été le principal facteur déterminant dans la création de la commission mondiale sur les barrages. Étant donné que la Banque mondiale a prêté à elle seule 1,064 milliard de dollars pour la construction de nouveaux barrages pendant l'exercice 00 et en supposant que l'évaluation a contribué au moins à quelques-uns des effets relevés plus haut, l'investissement de 200 000 dollars dans l'évaluation semble être d'un fort bon rapport coût-efficacité. P O U R E N S A V O I R P L U S Mita Marra, « Évaluation des grands barrages », OED, Influential Evaluations: Detailed Case Studies. N 18 La suppression des magasins de farine de blé subventionnée au Pakistan Avant même l'indépendance, le gouvernement du Pakistan avait créé un réseau de magasins pour distribuer des rations de farine de blé à prix subventionné aux habitants économiquement faibles. Dès le milieu des années 80, le système était de plus en plus critiqué à cause de son inefficacité et la plus grande partie de la farine subventionnée ne parvenait pas en fait aux groupes visés. But de l'évaluation En 1995, l'Institut international de recherche sur les politiques alimentaires (IFPRI) a été engagé pour une évaluation indépendante des magasins de vente de farine à prix subventionné. L'objectif était de déterminer quels étaient les coûts et les avantages de ces magasins et s'il valait mieux les fermer. Les pouvoirs publics étaient préoccupés de la grande corruption qui régnait dans le système et souhaitaient réduire les subventions de l'État dans le contexte de la déréglementation. Les décideurs hésitaient cependant à s'attaquer à ce dossier jugé très délicat et espéraient que l'action de l'État pourrait être étayée par une institution de recherche indépendante. Méthodologie de l'évaluation En collaboration avec les chercheurs du Pakistan Institute for Development Economics (PIDE), l'IFPRI a eu recours à des sondages d'opinion et à des enquêtes auprès des ménages pour obtenir des données initiales sur la disponibilité et l'utilisation des magasins de vente à prix subventionné. Ces données ont servi de base à un dialogue entre les chercheurs et les décideurs pakistanais sur les réformes nécessaires. Conclusions de l'évaluation Plus de 70 % de la farine de blé vendue à prix réduit ne parvenait pas aux consommateurs qui fréquentaient ces magasins ni aux boulangeries subventionnées. Très peu de consommateurs économiquement faibles ont bénéficié des subventions. D'autres mesures pouvaient être prises pour réduire les conséquences négatives de l'abolition du programme pour les consommateurs économiquement faibles, les propriétaires des magasins et les distributeurs. Coût et durée de l'évaluation L'étude a coûté 500 000 dollars environ et les premiers résultats ont été communiqués aux principaux décideurs dans un délai d'un an. Recommandations de l'évaluation Suppression des magasins de vente à prix subventionné (principale recommandation du rapport). Mesures compensatoires de l'élimination de la subvention pour les consommateurs économiquement faibles et mesures compensatoires du manque à gagner pour les propriétaires des magasins de vente et pour les distributeurs. Le coût des mesures compensatoires était censé être bien inférieur au coût de la subvention. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 19 Déterminer l'impact auquel l'évaluation a contribué L'évaluation de l'IFPRI a fourni des données fiables pour étayer la décision des pouvoirs publics de supprimer les magasins de vente à prix subventionné. La suppression a dégagé une économie annuelle nette de 40 millions de dollars au moins pour l'État. La rapide communication des résultats de l'évaluation à titre officieux avant la publication officielle du rapport, à un moment où la question était en discussion aux niveaux les plus élevés de l'administration, a permis de disposer de faits bien établis et d'abolir le programme. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation Une étude de cas a été effectuée par l'IFPRI à titre de suivi en 1997 en vue d'évaluer l'impact de la première étude. Les principaux protagonistes ont été identifiés et on leur a demandé quels étaient les facteurs qui les avaient décidés à supprimer les magasins de vente à prix subventionné et quel était l'environnement de politique générale dans lequel ils opéraient. On a interrogé chacun d'entre eux sur leurs sources d'information et sur le rôle de l'étude IFPRI-PIDE. Les principaux documents officiels ont été examinés en vue de déterminer l'impact de l'évaluation. Les entretiens ont montré que les décideurs jugeaient importante la contribution de l'évaluation. D'après eux, outre le fait de fournir des données concrètes, l'étude menée par un organisme international crédible et impartial a facilité la décision difficile et politiquement délicate de supprimer ces magasins. Même si les décideurs ont fait appel à de nombreuses sources d'information, les chercheurs pakistanais ont reconnu qu'avec les chiffres froids, incontournables, qui sont sortis de l'étude IFPRI-PIDE, les magasins de vente à prix subventionné n'avaient plus aucune chance de survie. L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? En tenant compte des mesures compensatoires telles que le relèvement des traitements des employés de l'État à faible revenu, la suppression des magasins de vente à prix subventionné a dégagé, d'après les estimations, une économie nette de 40 millions de dollars environ par an pour l'État. Même si la décision de suppression des magasins aurait sans doute été prise de toute façon avec ou sans l'étude de l'IFPRI, il est apparent que l'étude a contribué de façon importante à l'accélérer. En supposant que l'étude de l'IFPRI a fait avancer la décision d'un an -- ce qui est une hypothèse prudente --, cela a permis d'économiser 40 millions de dollars. Étant donné que l'étude n'a coûté que 500 000 dollars, elle peut être considérée comme étant d'un très bon rapport coût-efficacité. P O U R E N S A V O I R P L U S James Garrett et Yassir Islam, « La suppression des magasins de farine de blé à prix subventionné au Pakistan », OED, Influential Evaluations: Detailed Case Studies. N 20 Améliorer les prestations dans l'enseignement primaire en Ouganda Au début des années 90, l'Ouganda était préoccupé, comme beaucoup de pays en développement, par les mauvaises prestations dans des services publics tels que l'éducation et la santé. On estimait que cet état de choses était dû principalement aux « fuites » qui faisaient que les fonds alloués ne parvenaient pas aux agences de terrain mais il n'y avait pas d'instrument de recherche pour évaluer l'importance des ces fuites. En 1996, la Banque mondiale a lancé un programme novateur de recherche en Ouganda dans le but de suivre la filière des dépenses publiques et de déterminer le pourcentage de fonds qui parvenait effectivement aux écoles et aux structures de santé. L'étude de cas traitée ici porte sur l'enquête de suivi des dépenses publiques (ESDP) dans le secteur de l'enseignement primaire en Ouganda. But de l'évaluation L'ESDP dans l'enseignement visait à faire des estimations fiables du pourcentage des fonds alloués par l'administration centrale qui parvenait aux écoles primaires et à recommander des moyens d'accroître l'utilisation des fonds alloués. Méthodologie de l'évaluation Dans le cadre de l'ESDP, on a analysé le parcours des fonds budgétaires à travers les différents échelons de l'administration et comparé les dotations budgétaires aux dépenses réellement engagées pour les écoles primaires. En l'absence de comptes publics appropriés indiquant les dépenses réelles, des enquêtes ont été effectuées auprès de 250 écoles primaires publiques dans 19 districts, et un panel de données a été établi pour les dépenses et les produits durant la période 1991-1995. L'ESDP a été suivie d'une enquête plus complète sur la prestation de services par implantation qui n'est pas examinée ici. Conclusions de l'évaluation Fuites de fonds Seulement 13 % des fonds alloués sont effectivement parvenus aux écoles pendant la période 1991-1995. Les 87 % restants ont disparu ou ont été utilisés à d'autres fins par les responsables de district. Environ 20 % des fonds alloués aux traitements des enseignants sont allés à des « travailleurs fantômes » qui n'existaient pas ou n'exerçaient pas le métier d'enseignant. Le rôle critique des parents dans le financement de l'éducation L'enquête scolaire a montré que pendant la période 1991-1995, les inscriptions dans l'enseignement primaire ont augmenté de 60 % au lieu de stagner, comme l'indiquaient les statistiques officielles. On a constaté que l'enseignement primaire était principalement financé par les parents, qui ont contribué à 73 % des dépenses scolaires totales en 1991. Ce qui est frappant, c'est que les contributions des parents ont continué à augmenter en valeur réelle en dépit de l'accroissement des dépenses publiques. L'impact des inégalités d'accès à l'information sur les dépenses publiques En l'absence de contrôle exercé par l'administration centrale, les collectivités locales et les écoles négocient pour se partager les fonds versés par l'État aux collectivités locales au titre des D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 21 dépenses d'éducation hors salaires. On a constaté que les grands établissements recevaient une proportion plus importante des fonds alloués (par élève) et que dans les écoles fréquentées par des enfants issus de familles aisées, les fuites de fonds étaient moindres. Les résultats donnent à penser que la sensibilisation des citoyens et leur capacité à repérer et à contester les abus du système sont des moyens importants de combattre la corruption. Coût et durée de l'évaluation La première étude sur l'éducation a coûté 60 000 dollars environ. Les enquêtes de terrain ont pris un à deux mois et l'ensemble de l'étude a été achevé en cinq à six mois. Recommandations de l'évaluation Les résultats de l'étude devraient être largement diffusés dans le public. Les informations sur les dotations approuvées et les fonds reçus par chaque école devraient être largement diffusées à travers les médias locaux et affichées dans les écoles. Les ESDP devraient être effectuées périodiquement pour évaluer les progrès réalisés. Déterminer l'impact auquel l'évaluation a contribué Les pouvoirs publics ont commencé à diffuser les chiffres concernant les transferts mensuels de fonds publics entre différents échelons de l'État dans les journaux et à la radio et à exiger des écoles primaires qu'elles affichent les informations sur les flux de fonds pour que le public puisse en prendre connaissance. C'était aussi le signal à l'intention des collectivités locales que l'administration centrale reprenait sa fonction de contrôle. Deux ESDP de suivi effectuées localement ont montré que le flux des fonds hors salaires s'est amélioré : alors que 13 % des fonds parvenaient aux écoles en 1991-1995, le pourcentage était passé à 80-90 % en 1999 et 2000. Avant l'étude, la plupart des écoles ne recevaient aucune de ces subventions. En 1999, moins de 10 % des écoles étaient dans ce cas alors que 90 % d'entre elles recevaient l'intégralité des dotations qui leur étaient allouées. L'étude a également montré l'impact des données quantitatives sur les services publics, en tant que moyen de donner la parole aux intéressés. S'il est facile d'ignorer des plaintes individuelles, cela est plus difficile quand il s'agit de réactions collectives du public étayées par des données comparatives structurées, qui servent alors d'aiguillon à des actions de l'État. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation Il y a une « trace documentaire » sous forme de déclarations des autorités officielles et de publications dans lesquelles l'importance des résultats de l'ESDP est reconnue. Dès que les pouvoirs publics ont reçu les résultats de l'étude, ceux-ci ont été largement diffusés. Le gouvernement ougandais a décidé récemment d'effectuer tous les ans des ESDP dans chaque secteur de service de base. N 22 L'étude ESDP a-t-elle été d'un bon rapport coût-efficacité ? D'après les meilleures estimations disponibles, les dépenses publiques pour l'enseignement primaire, salaires exclus (subventions de capitation) ont été de l'ordre de 27,7 millions de dollars en 1999. Selon l'étude, le pourcentage des dépenses qui est parvenu aux écoles est passé de 13 % à 80 % au moins, soit une augmentation de plus de 18,5 millions de dollars. L'étude ESDP, qui a coûté 60 000 dollars, a donc été d'un très bon rapport coût-efficacité. P O U R E N S A V O I R P L U S « Améliorer les prestations dans l'enseignement primaire en Ouganda au moyen des enquêtes de suivi des dépenses publiques », OED, Influential Evaluations: Detailed Case Studies. Ritva Reinikka et Jakob Svensson, 2002, Assessing Frontline Service Delivery, Groupe de recherche sur le développement, Banque mondiale. www.worldbank.org/wbi/publicfinance/documents/Seco/reinikka_assessing%20frontline.doc D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N Comment un important projet environnemental 23 a été rendu plus performant en Bulgarie Avant sa privatisation, la société métallurgique bulgare KCM avait été, à la suite de ses activités, à l'origine de la contamination d'importants espaces résidentiels et agricoles. En 2001, la Banque du commerce et du développement de la mer Noire (BSTDB) a approuvé un prêt de six ans, d'un montant de 9,2 millions de dollars, à la KCM pour un projet de grande envergure d'amélioration de l'environnement qui visait à promouvoir de meilleures technologies et de meilleures méthodes d'exploitation pour l'environnement. Le projet visait également à éviter d'avoir à restreindre voire arrêter les opérations de la société, ce qui aurait remis en cause 1 540 emplois dans une région en crise économique ainsi que 1,3 % des exportations annuelles de la Bulgarie. But de l'évaluation L'évaluation, qui a été effectuée au titre de l'examen à mi-parcours du projet, avait pour but d'évaluer le degré de conformité au plan d'action environnementale (PAE) de manière à éviter d'éventuelles pertes d'emplois et des amendes, ainsi que d'identifier des moyens d'améliorer l'efficacité et la viabilité financière du projet. Méthodologie de l'évaluation L'évaluation a été basée sur une étude de documents combinée à une visite de deux jours sur le site de l'emprunteur et dans une communauté avoisinante. Lors des visites de terrain, il y a eu deux entrevues de groupes témoins avec la direction de la société et des représentants de la collectivité, trois entretiens semi- dirigés avec la direction/le personnel de la société et un sous-traitant important du projet, et trois contrôles de conformité sur place sur la base de composantes du projet choisies de façon aléatoire. Des observations discrètes des mesures de sécurité ont été également faites en ce qui concerne, par exemple, l'interdiction de fumer dans certains endroits, le port du casque, l'exposition aux gaz/substances toxiques et le contrôle de ces gaz et substances. Pour assurer l'indépendance de l'étude et éviter de donner l'impression qu'elle servait à justifier une décision prise d'avance (par exemple, la poursuite d'un projet délicat), les procédures suivantes ont été adoptées : Explicitation des risques du projet, de l'adhésion des parties prenantes et des enseignements tirés d'autres expériences. Triangulation, c'est-à-dire obtention et comparaison de données sensibles provenant de trois sources indépendantes au moins (par exemple, Banque mondiale, emprunteur, sous-traitant, presse, ONG/collectivité, auditeurs extérieurs, observation/vérification sur place). Utilisation des normes d'évaluation des bonnes pratiques issues du groupe formé par les banques multilatérales de développement pour la coopération dans le domaine de l'évaluation. Conclusions de l'évaluation Comme l'emprunteur était soucieux d'amortir les effets de la baisse des prix des matières premières, il n'avait pas accordé la priorité voulue à l'application du PAE et les rapports d'avancement étaient vagues. N 24 Pour essayer d'atténuer l'effet sur les prix des matières premières, l'emprunteur a violé une clause contractuelle d'arbitrage, ce qui a rendu la KCM plus vulnérable aux fluctuations des prix des métaux et des produits chimiques. L'application laxiste des nouvelles procédures de sécurité exposaient la KCM à de lourdes amendes pour non-respect des normes de l'Union européenne. Coût et durée de l'évaluation L'évaluation a coûté 4 500 dollars environ et a pris deux mois. Recommandations de l'évaluation Les systèmes de présentation de rapports et de suivi du PAE devraient être renforcés. La KCM devrait ajuster sa politique d'arbitrage conformément aux normes de la profession. La KCM devrait accroître les incitations financières et accélérer la mise en place d'autres mesures pour assurer le respect des procédures en matière de sûreté et de protection de l'environnement. Déterminer l'impact auquel l'évaluation a contribué Du fait que le début de la production de zinc a été avancé de trois mois, un revenu supplémentaire de 400 000-800 000 dollars a été perçu. Du fait que le début de la production de H2S04 a été avancé de 10 mois, un revenu supplémentaire de 110 000-220 000 dollars a été perçu. Du fait que les amendes pour non-respect de la réglementation sur l'environnement ont diminué, une économie de 14 500-29 000 dollars a été réalisée. Du fait que les accidents ont diminué grâce à l'application des mesures de sécurité, une économie de 16 500-33 000 dollars a été réalisée. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation Voici les méthodes utilisées pour déterminer dans quelle mesure les effets observés peuvent être attribués à l'évaluation plutôt qu'à d'autres facteurs sans lien avec elle : Une simulation des effets de causalité a été réalisée sur la base de scénarios avec et sans évaluation. Dans le scénario « sans », on a évalué le temps qu'il aurait fallu pour que les informations importantes parviennent à la direction et que celle-ci prenne les décisions, et la probabilité que les décisions soient effectivement prises. Des extrapolations ont été faites pour comparer les estimations du département financier de la société versées au dossier du projet avec les estimations concernant le calendrier et l'impact du PAE/du projet, composante par composante, qui ont été vérifiées indépendamment par le département de l'environnement de la banque BSTDB. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 25 Une enquête de suivi auprès de la direction de la KCM et de la BSTDB a confirmé que les deux entités jugeaient l'évaluation utile, étaient d'accord avec les principales recommandations et les appliquaient. L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? L'évaluation a coûté 4 500 dollars et a pris deux mois. Les principales recommandations ont toutes été acceptées et appliquées par la BSTDB et l'emprunteur et d'après les estimations les plus prudentes, les revenus additionnels et les économies ont totalisé 541 000 dollars au moins. P O U R E N S A V O I R P L U S Todor Dimitrov, « Comment un important projet environnemental a été rendu plus performant au moyen d'une évaluation à mi-parcours bien focalisée : le projet d'amélioration de l'environnement pour la Kombinat za Czvetni Metali S.A. (KCM) en Bulgarie », OED, Influential Evaluations: Detailed Case Studies. N 26 Aider à réévaluer la politique forestière nationale de la Chine En 1999, le Département de l'évaluation rétrospective des opérations (OED) de la Banque mondiale a effectué un examen de la stratégie forestière adoptée par la Banque en 1991 en vue d'évaluer : i) l'impact sur l'ensemble des prêts de la Banque et ii) l'efficacité du rôle de la Banque et son impact sur le secteur forestier. Six études de cas nationales ont été réalisées dont une étude sur la Chine. Méthodologie de l'évaluation Une équipe de consultants de la Banque qui incluait un chercheur chinois de haut niveau a fait des études sur documents et sur le terrain dans le cadre de l'évaluation de l'étude de cas sur la Chine. Soixante projets apparentés dans les secteurs de l'agriculture et des transports, entre autres, ont été examinés en sus du portefeuille de projets forestiers de la Banque. Les activités de terrain ont inclus des visites conjointes de la Banque et des homologues chinois sur le site du projet et dans les familles ainsi que des consultations des responsables de la foresterie, des représentants de la commission nationale du Plan, des autorités provinciales et d'autres bailleurs de fonds. L'analyse a été complétée par les études empiriques disponibles en Chine et au département des statistiques. L'étude de cas a également bénéficié des apports d'un atelier de parties prenantes tenu à Beijing, de l'examen par des experts-évaluateurs à la Banque mondiale et d'une consultation via internet. Conclusions de l'évaluation Le portefeuille forestier de la Banque mondiale en Chine d'un montant d'un milliard de dollars, même s'il ne représente qu'une fraction du programme forestier de la Chine, a permis de renforcer les capacités techniques et de gestion des autorités dans ce secteur mais il a eu moins de succès pour ce qui est de procéder avec le gouvernement à l'analyse et au dialogue sur la politique forestière nationale. À la suite des efforts en grande partie nationaux de conservation/boisement, le couvert forestier a progressé de 15 %, essentiellement sous forme de plantations et de bandes de protection. Les prêts de la Banque ont contribué à ajouter 3,3 millions d'hectares au couvert végétal tout en diversifiant les espèces arbustives utilisées, et aidé à accroître la participation des ménages ruraux sans ressources à la foresterie et à l'agroforesterie. L'évaluation a également mis en évidence les coûts socioéconomiques découlant de l'interdiction de l'exploitation commerciale du bois décrétée par le gouvernement en 1998, les autorités ayant elles-mêmes prévu que le coût serait de 22 milliards de dollars au moins suite au redéploiement de quelque 2,4 millions de travailleurs. Coûts et durée de l'évaluation L'évaluation chinoise a pris 18 mois environ et a coûté approximativement 80 000 dollars. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 27 Recommandations de l'évaluation Des études systématiques de suivi et d'évaluation ainsi que des études de politiques publiques devraient être menées par la Chine en vue de renforcer de manière significative les politiques et les programmes forestiers. Il faudrait étendre les études à l'évolution des modes d'occupation des sols ruraux et à l'impact des politiques forestières sur les familles de cultivateurs. Même s'il n'y a pas eu de recommandation en bonne et due forme, le rapport a remis directement en cause l'interdiction de l'exploitation forestière et les graves conséquences économiques pour les pauvres. Déterminer l'impact auquel l'évaluation a contribué L'étude de cas sur la Chine a eu un impact directe en : Contribuant à légitimer le débat entre hauts fonctionnaires, chercheurs et autres protagonistes sur la politique forestière et l'interdiction d'exploitation forestière récemment décrétée par les pouvoirs publics. Créant un large consensus en Chine sur la nécessité d'améliorer le suivi et l'évaluation ainsi que sur la nécessité d'approfondir les recherches et l'analyse des politiques publiques en ce qui concerne l'impact des projets forestiers sur les pauvres et sur la biodiversité. Encourageant la participation du monde de la recherche chinoise et des agriculteurs bénéficiaires aux programmes forestiers, et en encourageant la collaboration entre les principaux protagonistes chinois entre lesquels il n'y avait pas eu jusque-là d'interaction. L'étude a également contribué de façon importante à la création du groupe spécial sur les forêts et les prairies au Conseil de l'environnement et du développement de la Chine, dans le cadre de l'évaluation interne menée par les autorités chinoises sur l'interdiction de l'exploitation forestière en mettant l'accent sur l'analyse des politiques et la recherche. Le responsable de l'OED en charge de l'évaluation de la stratégie de la Banque mondiale dans le secteur forestier a été invité par le Conseil de l'environnement et du développement à être coprésident et dirigeant du groupe spécial. Ce dernier a : conduit des enquêtes auprès de 1 400 ménages dans dix provinces en vue de connaître l'avis de la base sur l'impact des programmes et des politiques dans le secteur forestier. recueilli des données convaincantes et complètes sur de nombreuses questions complexes qui affectent l'efficacité des programmes forestiers nationaux. évalué, au moyen d'études empiriques fouillées, l'impact des initiatives de grande envergure lancées par les pouvoirs publics pour la protection des forêts et mis en évidence quelques effets négatifs imprévus. recommandé que l'approche du sommet vers le bas suivie dans la planification et la gestion forestière soit remplacée par des démarches plus participatives et plus souples. N 28 Recommandé de remplacer l'interdiction complète d'exploitation forestière par un aménagement dynamique de ces espaces en vue de parvenir à une gestion durable des forêts. Prôné avec succès une approche stratégique du suivi et de l'évaluation dans le secteur forestier. À la suite de ces activités, le gouvernement a entrepris la révision de la politique et des programmes forestiers dans des domaines tels que la gestion et la propriété/l'utilisation des espaces boisés. Au total, ces initiatives reviennent à une application substantiellement différente de l'interdiction de l'exploitation forestière. La question de l'attribution : déterminer dans quelle mesure l'impact est imputable à l'évaluation L'impact de l'étude de cas de l'OED en Chine et les travaux ultérieurs du groupe spécial chinois a été évalué dans le cadre d'une enquête de suivi auprès des parties prenantes. Cette enquête a été conduite par un consultant de l'OED basé à Washington qui a contacté les protagonistes en Chine et à la Banque mondiale -- par téléphone et par courrier électronique principalement -- en vue de recueillir leur avis sur les effets de l'étude de l'OED. Les rapports de la Banque et des publications de différentes parties prenantes ont été également examinés. L'évaluation a-t-elle été d'un bon rapport coût-efficacité ? L'évaluation de l'OED et le groupe spécial chinois ont coûté respectivement 80 000 dollars et 1,02 million de dollars environ et ensemble ils ont permis de confirmer la nécessité de remettre à plat la politique d'interdiction de l'exploitation forestière. Étant donné que le gouvernement chinois a estimé à 22 milliards de dollars le coût de redéploiement à lui tout seul, on peut considérer que les deux activités d'évaluation sont potentiellement d'un très bon rapport coût-efficacité. P O U R E N S A V O I R P L U S Elaine Ooi, « Réévaluer la politique forestière nationale de la Chine », OED, Influential Evaluations: Detailed Case Studies D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 29 Concevoir des évaluations utiles : leçons apprises Encourager l'utilisation Voici les facteurs qui font que l'évaluation a de plus grandes probabilités d'avoir un effet bénéfique sur l'exécution et l'impact des politiques, des programmes et des projets de développement : Un environnement de politique générale propice. Les conclusions de l'évaluation ont beaucoup plus de chances d'être utilisées si elles portent sur des questions d'actualité touchant les politiques publiques et si les principaux décideurs sont prêts à assumer les conséquences politiques de la mise en oeuvre de ces conclusions. Choix du moment de l'évaluation. L'évaluation devrait être lancée une fois que les besoins d'information ont été clairement définis par les décideurs. Les conclusions doivent être communiquées à temps pour être prises en compte dans les décisions, et les résultats clés doivent souvent être transmis à titre officieux avant l'achèvement du rapport final. Rôle de l'évaluation. L'évaluation est rarement la seule ni même la plus importante source d'information ou d'influence sur les décideurs et les gestionnaires. Une bonne évaluation doit être adaptée au contexte dans lequel elle est appelée à être utilisée, et l'évaluateur doit savoir quand et comment les résultats peuvent être exploités de façon optimale. Établir un rapport avec le client et communiquer efficacement les résultats de l'évaluation. Il est essentiel d'avoir de bons rapports avec les principaux protagonistes, d'être à l'écoute de leurs besoins, de comprendre leur perception du contexte politique et de les tenir informés du déroulement de l'évaluation. Il ne devrait pas y avoir de « surprise » au moment de la présentation des résultats. Qui doit conduire l'évaluation ? Les études de cas ont mis en évidence deux façons d'organiser l'évaluation avec chacune des avantages et des inconvénients : Option 1 : L'évaluation est menée par l'unité d'évaluation de l'organisme de gestion ou de financement. Ceci présente généralement l'avantage d'un accès plus facile aux principaux protagonistes et aux données et d'une meilleure compréhension du contexte politique et organisationnel dans lequel se déroule l'évaluation. Le risque existe, cependant, que l'évaluateur finit par être trop impliqué dans le contexte politique, ce qui l'empêche d'avoir le recul nécessaire et rend difficile le traitement de sujets délicats. Option 2 : L'évaluation est conduite par une organisation ou une entité extérieure. On peut ainsi s'assurer de l'indépendance et de la crédibilité de l'exercice et aborder avec plus de facilité des questions délicates telles que les pressions politiques locales ou l'exclusion des groupes vulnérables. En revanche, les évaluateurs extérieurs peuvent avoir plus difficilement accès aux décideurs et aux données nécessaires. Une troisième option, qui n'est pas recensée dans les études de cas, vise à combiner les avantages des deux premières en gérant et/ou en conduisant une N 30 évaluation conjointement avec d'autres partenaires par le panachage d'organismes extérieurs ou indépendants et de personnel rattaché au programme. Portée et méthodologie de l'évaluation Il n'y a pas de panacée universelle et la méthodologie doit être adaptée au contexte, aux questions et aux priorités visées par l'évaluation, ainsi qu'aux ressources disponibles. L'évaluateur recommande souvent d'élargir la portée de l'exercice en vue d'évaluer, par exemple, le processus d'exécution en même temps que les résultats, ou d'étudier de façon plus approfondie le contexte social et politique dans lequel se déroule le programme. La plupart des évaluations combinent plusieurs méthodes qualitatives et quantitatives de collecte et d'analyse des données de façon à optimiser la fiabilité des résultats et de fournir un cadre d'interprétation plus large. Combien l'évaluation devrait-elle coûter ? La valeur de l'évaluation devrait être appréciée, comme toute autre dépense de projet ou de programme, en fonction de son coût-efficacité potentiel. Une évaluation « coûteuse » en apparence peut fort bien être tout à fait justifiée si elle peut conduire à une réduction des coûts ou à un accroissement des avantages qui l'emporte nettement sur son propre coût. Le coût des évaluations décrites ici varie entre 4 500 dollars à peine et 500 000 dollars, mais dans chaque cas la question de la justification de l'évaluation a été résolue en comparant les avantages obtenus et le coût de l'étude. Alors que, dans certains cas, le coût aussi bien que les avantages peuvent être exprimés en termes monétaires, dans d'autres cas, les avantages ont trait, par exemple, à l'équité, à la qualité de l'environnement ou à l'efficacité globale du programme et les décideurs doivent alors juger s'il « valait la peine » d'investir dans l'évaluation en échange d'une série d'avantages qualitatifs. Apprécier l'utilisation des conclusions de l'évaluation et leur coût-efficacité La plupart des bilans des évaluations sont effectués avec des contraintes de temps et de budget voire des contraintes politiques qui déterminent quels protagonistes peuvent être contactés et quelles questions posées. Au vu de ces réalités, il est rarement possible de faire des bilans rigoureux de la méthodologie ou de l'attribution de l'impact comme ceux qui sont recommandés dans les manuels. D É P A R T E M E N T D E L ' É V A L U A T I O N D E S O P É R A T I O N S R E N F O R C E M E N T D E S C A P A C I T É S D ' É V A L U A T I O N 31 Le bilan se limite souvent à un examen des rapports de recherche disponibles, à des contacts avec l'équipe d'évaluation (en personne, par téléphone ou par courrier électronique) et, dans certains cas, à la consultation d'experts locaux (comme le personnel des missions résidentes de la Banque mondiale ou d'autres bailleurs de fonds). L'analyse de l'attribution, qui détermine dans quelle mesure les résultats observés dans les politiques ou les programmes peuvent être attribués aux effets de l'évaluation, est difficile même dans les circonstances optimales (et encore plus lorsqu'il existe des contraintes comme celles mentionnées plus haut). Les techniques décrites dans la publication de l'OED sur les outils, les méthodes et les approches du suivi et de l'évaluation constituent la panoplie d'outils analytiques normalement disponibles pour l'analyse de l'attribution. Dans le cadre de l'exercice, il faudrait combiner et comparer autant de techniques que possible : Élaboration de constructions contrefactuelles, dans la mesure du possible, pour décrire ce qui se serait produit si l'évaluation n'avait pas été faite (Bulgarie, Pakistan). Examen des mentions dont l'évaluation a fait l'objet dans les rapports officiels du pays et dans les documents de planification (système d'assurance emploi en Inde, Philippines, Ouganda). Analyse critique des affirmations contenues dans les rapports d'évaluation sur l'impact (système d'assurance emploi en Inde, Bulgarie, Indonésie, Ouganda) et entrevues avec les évaluateurs. Opinions des parties prenantes recueillies pendant des entretiens dirigés (carnet de notes de l'usager en Inde) ou, le plus souvent, sollicitées par courrier électronique (Bulgarie, Indonésie). Dans la plupart des études de cas, l'analyse coût-efficacité a été utilisée pour comparer les avantages financiers ou numériques de l'évaluation et ses coûts monétaires. Il n'a généralement pas été difficile d'identifier les effets potentiels de l'évaluation (par exemple, réduction des coûts administratifs, augmentation des ventes, diminution des amendes, augmentation du nombre des bénéficiaires), et la gageure était de déterminer quel pourcentage des changements observés était imputable à l'évaluation. L'une des principales leçons apprises est qu'il faut veiller à énoncer clairement les hypothèses et les méthodes suivies pour faire cette estimation dans l'analyse coût-efficacité afin que le lecteur puisse juger de la validité des méthodes. N 32 Autres sources d'information sur le suivi et l'évaluation Sites web Évaluation indépendante de la Banque mondiale : http://www.worldbank.org/oed/ Renforcement des systèmes nationaux de suivi et d'évaluation ; communications publiées dans le cadre de l'étude Évaluations marquantes : http://www.worldbank.org/oed/ecd/ Nouvelles de suivi et d'évaluation : http://www.mande.co.uk/