57543 GEF Annual Impact Report 2007 June 2009 Evaluation Complete report in english, French, and Spanish. Office G LOBAL ENVIRONMENT FACILITY GEF Annual Impact Report 2007 ........................................... E-i Rapport annuel du FEM de 2007 sur l'impact des projets .. F-i Informe anual sobre el impacto del FMAM 2007 ................. S-i Global Environment Facility Evaluation Office GEF Annual Impact Report 2007 June 2009 (The main findings and recommendations of this evaluation were presented to the GEF Council in October 2007.) Evaluation Report No. 46 © 2009 Global Environment Facility Evaluation Office 1818 H Street, NW Washington, DC 20433 Internet: www.gefeo.org Email: gefevaluation@thegef.org All rights reserved. The findings, interpretations, and conclusions expressed herein are those of the authors and do not necessarily reflect the views of the GEF Council or the governments they represent. The GEF Evaluation Office does not guarantee the accuracy of the data included in this work. The boundaries, colors, denomi- nations, and other information shown on any map in this work do not imply any judgment on the part of the GEF concerning the legal status of any territory or the endorsement or acceptance of such boundaries. Rights and Permissions The material in this work is copyrighted. Copying and/or transmitting portions or all of this work without permission may be a violation of applicable law. The GEF encourages dissemination of its work and will normally grant permission promptly. ISBN-10: 1-933992-18-2 ISBN-13: 978-1-933992-18-1 Credits Director of the GEF Evaluation Office: Robert D. van den Berg Task Manager: David Todd, Senior Evaluation Officer, GEF Evaluation Office Editing and design: Nita Congress Cover design: Jean Wegimont, Atelier2 Cover photos: black rhino: Achim Mittler; bromeliad bloom (Costa Rica): Andres Ojeda; mountain gorilla: Peter Szustka Printing: Professional Graphics Printing Co. Evaluation Report No. 46 A FREE PUBLICATION Contents Abbreviations ............................................................................................................................ E-iv Foreword ..................................................................................................................................... E-v Acknowledgments ................................................................................................................... E-vi 1. Main Findings and Recommendations .............................................................................. E-1 1.1 Background .................................................................................................................................................. E-1 1.2 Main Conclusions....................................................................................................................................... E-2 1.3 Recommendation ....................................................................................................................................... E-4 1.4 Follow-Up .................................................................................................................................................... E-5 2. Approach to Impact Evaluation...........................................................................................E-6 3. Theory-Based Evaluation of Three Protected Area Projects ............................................E-8 3.1 Development of Methodology and Selection of Projects ................................................................. E-8 3.2 Implementation .......................................................................................................................................... E-8 3.3 Findings: The Bwindi Impenetrable and Mgahinga National Park Conservation Projects...... E-9 3.4 Findings: Lewa Wildlife Conservancy Project ...................................................................................E-12 3.5 Findings: Reducing Biodiversity Loss at Cross-Border Sites in East Africa Project .................E-14 4. Quasi-Experimental Analysis of Avoided Deforestation in Costa Rica ......................... E-18 4.1 Evaluation Scope and Methodology ...................................................................................................E-19 4.2 Conclusions................................................................................................................................................E-20 4.3 Scope to Scale up Impact Evaluations ................................................................................................E-21 Annexes A. Theories of Change for the Three Projects ..........................................................................................E-23 B. Impacts of the Three Projects ..................................................................................................................E-35 C. Management Response .............................................................................................................................E-39 Bibliography .............................................................................................................................E-43 Tables 3.1 Summary of Achievement of Bwindi-Mgahinga Project Outcomes ...........................................E-11 3.2 Summary of Achievement of Lewa Project Outcomes ...................................................................E-13 3.3 Summary of Achievement of Cross-Border Project Outcomes ....................................................E-15 E-iii Abbreviations CBO community-based organization UNDP United Nations Development GEF Global Environment Facility Programme NGO nongovernmental organization UNEP United Nations Environment Programme E-iv Foreword This is the first annual impact report produced by was the impact of three protected area projects in the Evaluation Office of the Global Environment East Africa. Facility (GEF). Given the diversity of work that The second approach used quasi-experimental can and should be done in assessing the impacts methods to establish an accurate counterfactual of GEF projects, the Office has elected to present to treatment areas affected by project interven- this information in a consolidated annual report tions--that is, what would have been the socio- rather than address impact in each separate eval- economic outcome if a protected area had not uation. Separate impact assessment case stud- been established? The specific topic explored was ies will be published and made available on the the amount of deforestation avoided by protected GEF Evaluation Office Web site. In this inaugural area projects in Costa Rica. report, the Office has devoted great attention to exploring impact evaluation methodologies so as A draft of this document was submitted to the to determine those most applicable to the GEF's GEF Council in November 2007. In response, work. the Council asked that the GEF Secretariat incorporate the impact report's recommenda- This document brings together the results of two tions into subsequent project preparation and different approaches to impact evaluation. The ensure adequate monitoring of progress toward first is a theory-based mixed-method approach, institutional continuity. It also asked the Evalua- which was built on detailed documentary review, tion Office to continue its proposed program of exploration of the concept of impact in the con- impact evaluation. text of intended effects on the global environment, methodological development through regional A range of technical documents have been pro- workshops at which project implementers them- duced during the course of the impact evaluation selves devised and tested theories of change for work; this material is available on the GEF Evalua- their projects, detailed fieldwork in project areas tion Office Web site (www.gefeo.org). to verify and explain the results achieved, and extensive analysis and interpretation during which the theories of change were tested against actual results to determine project impacts and how they Rob van den Berg had been achieved. The specific topic explored Director, Evaluation Office E-v Acknowledgments The Evaluation Office impact evaluation work was the fieldwork, additional methodological develop- coordinated by task manager David Todd, Senior ment (working with a range of regional stakehold- Evaluation Officer. He initiated and developed the ers), and report writing. A special case study of theory of change approach used in the East Africa the impacts of the Bwindi Impenetrable National evaluations together with Divya Nair, Josh Brann, Park and Mgahinga Gorilla National Park on the and Lee Risby. Early inputs into the methodological indigenous population, the Batwa, was undertaken development were provided by the consulting com- by Agrippinah Namara. The quasi-experimental pany Foundations of Success (report authors Rich- evaluation work was conducted by Kwaw Andam, ard Margoluis, Nick Salafsky, and Caroline Stem). Paul Ferraro, Alexander Pfaff, and G. Arturo San- The Conservation Development Centre, Nairobi chez-Azofeifa. The Evaluation Office remains fully (Rob Malpas and Rob Craig), undertook much of responsible for the contents of this report. E-vi 1. Main Findings and Recommendations 1.1 Background z the World Bank's Lewa Wildlife Conservancy project in Kenya; The portfolio of the Global Environment Facility (GEF) has now matured to a stage at which con- z the United Nations Development Programme's sideration can be given to the long-term impacts (UNDP's) Reducing Biodiversity Loss at Cross- of its projects. The Evaluation Office has included Border Sites in East Africa regional project in impact evaluations in its planning since June 2005. Kenya, Tanzania, and Uganda. In the first year of Office activities, methodologi- The second impact evaluation approach was a sta- cal approaches to this end were explored, which tistical analysis of existing time-series data on led to a first series of studies conducted in 2006. deforestation and protected areas in Costa Rica. Two parallel evaluation approaches were devel- Comparisons were made between protected and oped and tested. The major effort consisted of a unprotected areas over several years to determine set of related studies of protected area projects, differences in the respective extent of deforesta- using a theory-based approach to link out- tion. Within the protected areas, additional com- comes to impact; this entailed additional data parisons were made between GEF-assisted proj- collection and analysis, all of which was managed ects and those supported through other sources. by the Evaluation Office. A key element of this A third approach was considered by the Evalua- approach was an analysis of conservation targets tion Office. Discussions were held with the United and threats, which provides a direct measure of Nations Environment Programme (UNEP) to project impacts by assessing both the change in explore the possible contribution to impact evalu- status of the expected global environmental ben- ation of macro-level data available to it from satel- efits and the change in the level of threats to these lite imagery and other sources. It was concluded benefits. This approach was used in case studies that the available data for the three project areas of three protected area projects in East Africa to under study in East Africa were not suitable to analyze the extent to which threats to the targeted incorporate into the evaluation's analysis, partly elements of biodiversity had been reduced and because of data quality and partly because the with what sustainable impact. The three projects possibility of collaboration was introduced too whose impacts were evaluated are late for an effective result. However, it was agreed z the World Bank's Bwindi Impenetrable National that UNEP resources and skills could be used Park and Mgahinga Gorilla National Park Con- more effectively in the context of one or more of servation Project in Uganda; the next round of country portfolio evaluations. E-1 Furthermore, in collaboration with UNEP and the capacity (which has enabled monitoring of certain GEF Scientific and Technical Advisory Panel, ways aspects), and sustainable financing (particularly and means will be explored to use satellite images for Lewa). Thus, in two of the three projects the and geographic information systems to find link- conditions were fulfilled to achieve impact. ages between GEF interventions and global envi- ronmental trends. Conclusion 3: The third protected area project has not been able to continue its threat reduc- tion mechanisms effectively after GEF support 1.2 Main Conclusions ended. Conclusion 1: There are measurable and At the conclusion of the regional project on Reduc- recorded improvements in the status of two key ing Biodiversity Loss at Cross-Border Sites in East threatened species in Bwindi-Mgahinga and Africa, outcomes had been achieved with regard Lewa--the mountain gorilla and black rhino, to enhanced forest management, largely through respectively. community-based means and an improved insti- The Bwindi-Mgahinga project has contributed tutional environment for forest protection. How- to the stabilization and subsequent increase of a ever, the GEF impact evaluation showed that globally significant mountain gorilla population. the project ended before these threat reduction The Lewa Conservancy project has had similar mechanisms were sustainable; thus, even if gains impacts on the black rhino population of East had been made in the state of the forests stipu- Africa, reversing a dramatic historical decline and lated for protection, no effective mechanisms for promoting an increase of the population within its sustainability were in place. Furthermore, inad- area to such an extent that the project has been able equate project monitoring and evaluation meant to relocate some rhinos to other sites. Although that it was impossible to assess achievements the Lewa project also protected the Grevy's zebra accurately at the community level or with regard habitat, its population did not increase, as had to biodiversity. been expected; this was because the lion popula- tion also benefited from the improved habitat and Conclusion 4: Impacts were achieved in two of inflicted greater losses on the zebra. the three protected area projects because an explicit plan for institutional continuity was Conclusion 2: Two of the three protected built into the projects from the start. area projects have contributed to a sustained The approach adopted of evaluating three pro- reduction in threats to important conservation tected area projects in a limited subregion was targets. intended to facilitate some comparison of results. The achievement of stable gorilla and rhino popu- Contrasts between the projects emerged, suggest- lations in Bwindi-Mgahinga and Lewa is a major ing substantive underlying issues. Notably, there impact in view of the significant decline of these was a hierarchy of impact sustainability which species historically and the well-publicized poach- corresponded to the strength of the institutions ing in neighboring regions. Critical to this success responsible for the process. The Lewa Conser- has been protection of the animals and their habi- vancy is a private organization, dependent on gen- tat, improved relations between local communities erating income to support its activities. It therefore and the parks, enhanced conservation research has a strong interest in ensuring the continuation E-2 GEF Annual Impact Report 2007 and geographical expansion of improvements The effort has culminated in the creation of a new made with external funding. Along with manag- Northern Rangelands Trust, which intends to ing its own protected area, the Conservancy has protect a large area of rangeland north of Lewa. made substantial and consistent efforts to work Although small, the GEF support to Lewa was with communities that can extend the protected well timed and conceived and greatly contributed range of habitat and animals. The organization to the success of the Conservancy and to the rep- has a highly professional approach to funds gen- lication of its approach. eration, which has benefited from its increased credibility to a broad range of potential external Conclusion 6: The Bwindi-Mgahinga project has supporters resulting from GEF support. As for not yet satisfactorily resolved some negative the Bwindi-Mgahinga Conservation Trust, this impacts of the protected areas on the indige- nous Batwa. entity was established as a mechanism to ensure continued funding for activities to secure the sup- An element of the Bwindi-Mgahinga Conservation port of local communities in protecting the forests Trust's work specifically funded by the GEF was and their animal populations as well as to conduct reorientation of the livelihoods and lifestyle of the the research essential to monitoring intervention Batwa indigenous community. Fieldwork showed outcomes and impacts. The Trust's activities had that this effort was only partially successful. The varying degrees of success. For example, the assis- provision of land benefited some Batwa, but the tance to the indigenous Batwa population was only failure to grant them access to and controlled use partially successful, and the funding secured was rights for forest products they traditionally uti- less than anticipated because of changes in inter- lized meant that these are now obtained illegally. national financial markets. As to the Cross-Border Project efforts to promote income-generating project, which was implemented by several agen- opportunities were not supported by training in cies and in three countries, this initiative lacked financial management and have in some cases led a clear strategy for the institutional and financial to negative social consequences. sustainability of its activities and benefits; once project funding ended, these rapidly declined. Conclusion 7: Costa Rica's protected area policy achieved a measurable impact on avoided defor- estation, even though the policy had no such Conclusion 5: The Bwindi-Mgahinga and Lewa primary focus. GEF-supported protected areas projects have both contributed toward addi- in Costa Rica were more effective at achieving tional benefits through catalytic effects. avoided deforestation than similar projects In the Bwindi-Mgahinga Conservation Trust proj- funded by other sources. ect, the GEF inputs contributed to a much larger The second impact evaluation approach was a intervention involving the government of Uganda, statistical analysis of existing time-series data on international and national donors, and several deforestation and protected areas in Costa Rica. nongovernmental organizations (NGOs). For its Comparisons were made between protected and part, the Lewa Wildlife Conservancy had great unprotected areas over several years to determine success in disseminating conservation concepts relative differences in the extent of deforestation. and practices to neighboring community-owned Within the protected areas, additional compari- land, enabling and supporting the creation of sev- sons were also made between GEF-assisted proj- eral community-protected areas and game lodges. ects and those supported through other sources. 1. Main Findings and Recommendations E-3 This approach found that, even though the gov- set the weaknesses of the other. Thus, the detailed ernment of Costa Rica's protected area policy understanding of impacts and ways of achieving (supported by the GEF) was not primarily focused them provided by case studies could be supple- on avoiding deforestation within a specified time mented by counterfactual analysis to enable the frame, it did succeed in avoiding the deforesta- achievements of individual projects to be placed tion of about 110,000 hectares between 1960 and in a national or sectoral context. 1997. This finding is supported through detailed Both methods as implemented were cost-effective. counterfactual analysis. Two GEF protected areas, The three project-level evaluations required very which received funding between 1993 and 1998, intensive work, but nevertheless were produced resulted in about 19,000 hectares of avoided defor- for less than $30,000 each (in external costs), estation up to 1997 and a further 25,000 hectares including workshop expenses. The methodology between 1997 and 2005, even though this was not developed can be widely applied at the project the explicit objective. GEF-funded protected areas level, but will need modification for evaluation of were between 2 and 7 percent more effective at more programmatic interventions. achieving avoided deforestation than similar proj- ects funded by other sources. 1.3 Recommendation The Costa Rica findings show that opportunistic analysis of existing data sets can produce a gen- Recommendation 1: Protected area projects eral assessment of the GEF's contribution to spe- should include a specific plan for institutional continuity; this should be incorporated in the cific environmental trends at the national level. GEF's biodiversity tracking tools or otherwise More precise results would require the incorpora- addressed through the development of an tion of evaluation data needs into project design, alternative system under the direction of the implementation, and monitoring--an approach GEF Secretariat. that would be time consuming and costly, and The evaluation found that absent a specific plan for would require long-term, consistent management. institutionalized continuation of the global environ- Although there is increasing attention to monitor- mental benefits generated by project interventions ing and evaluation and the use of indicators, it is these benefits were reduced over time. In contrast, unlikely that this will lead in the near future to data projects that had designed and implemented insti- sets that are sufficiently focused and comprehensive tutional sustainability plans--including financial as to enable systematic counterfactual analysis. provisions for essential activities--demonstrated sustained impact and were even scaled up through Conclusion 8: The most cost-effective and real- replication or geographic expansion. istic approach to impact evaluation for the GEF Evaluation Office is a combination of opportu- Tracking tools are used in the GEF biodiversity nistic quasi-experimental analysis using avail- focal area to measure progress toward achieving able data along with targeted case studies that the portfolio-level outcomes agreed on as part of use a theory-based approach. each replenishment period. For Strategic Priority To continue and scale up impact evaluation cost- One, Catalyzing Sustainability of Protected Area effectively and realistically, the two methodologies Systems at National Levels, the GEF tracking tool explored should be used in combination, which could be improved by adding consideration of would enable the strengths of one approach to off- institutional continuity, as this factor was iden- E-4 GEF Annual Impact Report 2007 tified as crucial to achieving long-term impacts. approach that includes macro-level statistical Alternatively, it may be possible to develop some analysis and satellite imagery, where these are other means of defining and monitoring progress available, as well as case studies of projects offers toward institutional sustainability; the Evaluation the best prospect for a comprehensive under- Office invites the GEF Secretariat to explore with standing of the impact of GEF-supported activi- its partners the most effective approach. ties. The Office will use this approach in its future impact work, whether this is conducted through 1.4 Follow-Up stand-alone evaluations or incorporated into Based on this first set of impact evaluations, the other products such as country portfolio or the- Evaluation Office concludes that a mixed-method matic evaluations. 1. Main Findings and Recommendations E-5 2. Approach to Impact Evaluation The GEF Council has identified impact evalua- are observed to have occurred can be attributed in tions as an area of particular interest for investiga- part or in full to the intervention being evaluated. tion by the GEF Evaluation Office, noting that the This issue has been addressed through a broad "Council has requested on several occasions that range of evaluation approaches. For many years, [the] GEF Office of Monitoring and Evaluation evaluators relied on the concept of a counterfac- [now the GEF Evaluation Office] conduct Country tual as the baseline against which project impacts Portfolio Reviews and Impact Evaluations, in par- could be measured. Alternative approaches were ticular post project completion evaluations. These developed that questioned the utility of a hypo- evaluation modalities are essential elements for an thetically determined baseline and placed a the- independent Office, as presented in its [terms of oretical and empirical assessment of the cause- reference] (GEF Council 2005, paragraph 20). and-effect chain of an intervention as the most accurate means of attributing change. The Organisation for Economic Co-operation and Development's Development Assistance Commit- In its "Approach Paper to the Impact Evalua- tee defines impacts as "Positive and negative, pri- tions" (GEF EO 2007a), the GEF Evaluation Office mary and secondary long-term effects produced by explored the various available approaches in light a development intervention, directly or indirectly, of the GEF mission and activities. It concluded intended or unintended" (OECD DAC 2002). In that the most viable methodological approach was keeping with this definition, the objective of GEF a theory-based one, but that other methods could impact evaluation is to evaluate the long-term also be used to develop a comprehensive under- results of GEF interventions, a few years after GEF standing of how best to evaluate the long-term support has ended, and to assess the sustainability effects of GEF interventions. and replication of the results achieved as well as Accordingly, two parallel approaches were devel- to extract lessons learned. Impact evaluations also oped and tested. The major effort consisted of a set seek to place impacts at the project level within of related studies of protected area projects, which the broader context of the GEF's overall goal of included additional data collection and substan- financing the incremental costs of global environ- tial analysis, managed by the Evaluation Office. mental benefits. This approach is reported on in chapter 3 of this Impact evaluations face a suite of conceptual and report. A second study was undertaken by the practical difficulties. These revolve around the University of Georgia, which used existing data on necessity of demonstrating that the changes that Costa Rica to explore the contribution of the GEF E-6 toward avoided deforestation in that country. This study in East Africa were not suitable for incor- approach is reported on in chapter 4. poration in this regard, partly because of data quality and partly because the possibility of col- In addition, discussions were held with UNEP to laboration was introduced too late for an effec- explore the possible contribution of macro-level tive result. It was agreed that UNEP resources data based on satellite imagery and other sources and skills could be used more effectively in the toward impact evaluation. It was concluded that context of the Office's upcoming country portfo- the available data for the three project areas under lio evaluations. 2. Approach to Impact Evaluation E-7 3. Theory-Based Evaluation of Three Protected Area Projects 3.1 Development of Methodology field study, with an initial focus on the Africa and Selection of Projects region. A total of 46 completed and active projects in the GEF Africa portfolio were identified as hav- An initial study was undertaken by the consult- ing a protected area component. East Africa had ing firm Foundations of Success to propose an the largest number of these projects (15), includ- approach to the evaluation and determine how to ing both full- and medium-size projects, with devise one or more systematic methods of tracing large GEF and cofinancing expenditures (totaling linkages between project impacts and global envi- $54 million and $198 million, respectively). Three ronmental status. The study focused on develop- projects were selected for evaluation: ing an impact evaluation approach targeted to the GEF's biodiversity focal area that could--with z Bwindi Impenetrable National Park and Mga- some modifications--be applicable to other focal hinga Gorilla National Park Conservation, areas. There were three main components of this Uganda (GEF ID 54, World Bank) work: z Lewa Wildlife Conservancy, Kenya (GEF ID 18, z Development of a proposal for an evaluation World Bank) approach based on a theory of change concept z Reducing Biodiversity Loss at Cross-Border z Analysis of policy decisions affecting GEF pro- Sites in East Africa, regional--Kenya, Tanzania, grammatic priorities and monitoring and eval- Uganda (GEF ID 541, UNDP) uation work 3.2 Implementation z Analysis of how a GEF-wide evaluation approach Consultants were selected to implement the three might link to regional and global indicators case studies, and an initial workshop was held Based on an analysis of 20 projects, the study con- in Nairobi to establish how the theory-based cluded that a theory of change approach to impact approach could be used with the three projects evaluation could produce credible results con- selected for examination. At the workshop, the cerning the long-term effects of GEF protected participants quickly determined that it would be area projects. The approach provides a road map necessary to specify two factors in advance: for analyzing how and why an initiative works. 1. How can global environmental benefits be A selection process was undertaken to establish determined--that is, when does an environ- appropriate candidates for inclusion in the first mental benefit become of global significance? E-8 2. What methods are available to determine z Project logframe analysis--examines the whether global environmental benefits have delivery of project outputs and outcomes as been delivered and are likely to be sustained? defined by the project's logical framework These issues were addressed in a paper prepared z Outcomes-impact theory of change anal- by the GEF Evaluation Office and formed the ysis--examines the process by which project basis for phase one of the fieldwork, which con- outcomes are converted to ultimate impacts, sisted of establishing contacts, gathering existing thereby providing an indirect measure of proj- data, and making preliminary field visits. A work- ect impact shop at Bwindi in Uganda brought together a wide z Conservation targets-threats analysis-- range of past and present stakeholders from the provides a direct measure of project impact three projects to discuss the theories of change on by assessing both the change in status of the the basis of which the projects were designed to expected global environmental benefits and the achieve their objectives. The information result- change in the level of threats to these benefits ing from this workshop was used to develop an approach paper detailing the strategy for further The theory of change analyses for the three proj- data collection and serving as the analytical basis ects are provided in annex A; their impacts are for linking project outcomes with the delivery of presented in annex B. global environmental benefits. 3.3 Findings: The Bwindi At a third workshop, held in Kenya, project and Impenetrable and Mgahinga evaluation stakeholders discussed preliminary National Park Conservation Projects findings of the analysis of existing data, together with the findings of additional field studies. Sub- The Bwindi Impenetrable National Park and sequently, the approach to the final analysis of the the Mgahinga Gorilla National Park are located three projects was prepared. Gaps in information in southwestern Uganda, covering 321.0 and were identified; this was rectified through addi- 33.7 square kilometers, respectively. They encom- tional field visits to the Cross-Border project. The pass afro-montane and afro-alpine ecosystems three case study impact evaluations were then which are among the most biologically diverse prepared. tropical forests in East Africa. The Bwindi Impen- etrable National Park is the largest remaining tract The evaluation team developed a practical and of natural forest in Uganda and is the only site in realistic approach to measuring impact, in line East Africa encompassing an unbroken ecologi- with the objective of using existing data concern- cal continuum of lowland, transitional, and mon- ing the project, supplemented by additional stake- tane forest. Mgahinga Gorilla National Park is holder interviews and limited new fieldwork. The part of the larger Virunga volcanoes network of resulting Impact Evaluation Framework uses national parks that extends into Rwanda and the three distinct analyses for measuring impact, Democratic Republic of Congo. The entire world which together provide a comprehensive under- population of approximately 600 mountain goril- standing of impacts as well as a useful means for las (Gorilla gorilla beringei) is found within the triangulating the findings. The three methods are Virunga range and Bwindi, about half of which is as follows: found within the Bwindi Impenetrable National 3. Theory-Based Evaluation of Three Protected Area Projects E-9 Park, which was designated a UNESCO World rounding the parks, consistent with biodiver- Heritage Site in 1994. These parks are located in sity conservation. one of the most densely populated parts of Africa, z The second pillar, allocated 20 percent of and the forests serve as critical water catchments endowment income, was the provision of sup- and important sources of forest products for the port for ecological and socioeconomic research surrounding communities. and monitoring activities focused on improv- The Bwindi Impenetrable National Park and Mga- ing park management and park-community hinga Gorilla National Park Conservation Project interactions. was initiated in 1995 as a five-year, full-size GEF z The final pillar accounted for the remaining 20 project implemented by the World Bank. Its over- percent of income and was the provision of sup- all objective was to establish the Bwindi Mgahi- port for park management activities, in par- nga Conservation Trust1 as a long-term financing ticular meeting the incremental costs of imple- mechanism to support biodiversity conservation menting management plans for the Bwindi and in the two parks. Establishment of the trust and its Mgahinga National Parks. permanent endowment fund were seen as provid- ing the most appropriate mechanism for achiev- To enable the endowment fund to grow, other ing long-term conservation of natural resources donors provided initial cofinancing for the trust's and sustainable development in the parks and operational and program expenses. It was envis- their neighboring communities. aged that the endowment fund would produce enough interest after this initial period to support The Bwindi Trust was legally established in Sep- the conservation and development activities of tember 1995 by a trust deed under the Uganda the Bwindi Trust's implementation program with- Trust Act, and the GEF provided the initial fund- out further external support. ing of $4.3 million to capitalize the endowment fund. The capital was invested overseas; the inten- Project Logframe Analysis tion was that the annual income, net of administra- Because the original GEF project brief did not tion costs, was to be used to fund conservation and define a logical framework for the Bwindi-Mga- development activities in the target area. The activ- hinga project, it was necessary to develop a ret- ities to be funded from the endowment income rospective logframe based on the broad project comprised three main programmatic pillars: objectives identified in the brief, coupled with an z The first pillar, which was allocated 60 percent understanding of what the project had actually of the trust's net annual endowment income, achieved in practice. In building this logframe, the was the provision of support to community study team drew on existing documentation. development activities, such as alternative Once information for the impact assessment income-generating activities and social infra- framework was collected and synthesized, the structure projects for local communities sur- achievement of the project in converting out- comes into impacts was rated. Each intermediary 1The trust was originally known as the Mgahinga state, impact driver, and external assumption was Bwindi Impenetrable Forest Conservation Trust; it is here referred to by the more commonly used term, the scored to indicate the level to which it had been Bwindi Trust. achieved. E-10 GEF Annual Impact Report 2007 The evaluation team found that, although the enous Batwa, thereby directly responding to project outcomes were assessed as moderately to their aspiration to own land, and had contrib- highly satisfactory by the project's terminal evalu- uted toward improved educational levels in ation, the project lacked a clear logical framework ways intended to help the Batwa realize their with a hierarchy of activities, outputs, and out- own development. While this was a pragmatic comes. As a consequence, a number of activities, approach to improving livelihoods, the evalu- outputs, and components were omitted from the ation team felt there had been a lost opportu- project design and were only subsequently added nity in terms of further contributing toward the during project implementation. In addition, too long-term conservation of Bwindi and Mga- much focus was placed on monitoring and evalua- hinga forests. This was the need to address the tion of the means (establishment of the trust fund) Batwa aspiration for access and controlled user rather than the ends (biodiversity conservation rights to certain forest resources to which they through an established research program and com- believe they have customary tenure rights. Con- munity activities). Thus, the project was not always sequently, the team considered this outcome as responsive to adapting its approaches and strate- only partially achieved. gies, and many shortcomings were consequently not identified until the midterm review. Overall, Outcomes-Impact Theory of Change the logframe analysis provides clear evidence that Analysis the project was successful in establishing the trust The outcomes-impact theory of change analysis and its program of activities, but yields little infor- emphasizes the importance of establishing long- mation about the biodiversity conservation impacts term institutional mechanisms that enable the of the project. Table 3.1 summarizes the assessed impact drivers to be addressed beyond the scope achievement of the four project outcomes. of the project. This is especially important when dealing with integrated community and develop- Table 3.1 ment initiatives, which require many years before Summary of Achievement of Bwindi-Mgahinga achieving significant livelihood benefits let alone Project Outcomes global environmental impacts. Project outcome Assessment Bwindi Trust established to finance and 4 This analysis provided evidence that the mecha- support conservation in the long term nisms established and interventions initiated by Protected area authority's capacity to man- 3 the project have been continued and expanded age Bwindi and Mgahinga national Parks since project closure. Overall, the assessment strengthened was that the impact from the outcomes has been Local community awareness, willing- 4 ness, and capacity to manage park and partially achieved. Adequate, stable funding is a natural resources in sustainable manner critical impact driver, and both the Bwindi Trust strengthened and the Uganda Wildlife Authority can achieve Livelihoods of indigenous Batwa improved 3 high impact when funds are available. Finally, the Note: 0 = no evidence available; 1 = not achieved; 2 = poorly achieved; 3 = partially achieved; 4 = well achieved; 5 = fully achieved. analysis highlights the replication of the trust pilot model by other environmental funds, which evi- By the project's end, the Bwindi Trust had been dences the trust's catalytic effect in broadening successful in purchasing land for some indig- the scope of the impact. 3. Theory-Based Evaluation of Three Protected Area Projects E-11 Targets-Threats Analysis z to enable Lewa to continue and further The final analytical component provides infor- strengthen its conservation of endangered spe- mation regarding the conservation status of cies; global environmental benefits accruing from the z to enable Lewa to implement its strategic and Bwindi-Mgahinga project (see table B.1). Perhaps financial development plan, making it more the most striking findings are that, despite intense viable in the long term and increasing the sus- pressure from densely populated agricultural tainability of its conservation activities and areas surrounding the park, there has been no benefits; loss of forest cover in Bwindi since the late 1980s, z to extend conservation benefits to biologically and the mountain gorilla population is increasing. important community-controlled land and slow Prior to gazettement, the park was being rapidly environmentally negative land use patterns; degraded by pit-sawing and uncontrolled exploita- tion of other resources. When Bwindi was made a z to facilitate development of other community- national park, there was significant resistance from based conservation initiatives, as well as private the local communities, and the resulting conflict NGO support of such initiatives in Kenya and and negative attitudes posed a major threat to the elsewhere, by serving as a model and providing park and a challenge to the park managers. There training opportunities on a modest scale. has subsequently been a considerable reduction in conflict and improvement in the local communi- Project Logframe Analysis ties' support for the conservation of Bwindi. None- No project logical framework or outcomes were theless, Bwindi does continue to face significant defined as such in the original GEF project brief. threats (see table B.2). Poaching and other forms However, the 2004 GEF Evaluation Office Study of of illegal exploitation of forest resources persist, Local Benefits in Lewa identified, with the partici- and there is no evidence that conservation efforts pation of senior Lewa staff, five project outcomes in recent years have had a significant impact in and associated outputs that reflected the various reducing these. The legacy of intense pit-sawing in intervention strategies employed by the project; it degrading the forest remains, with a large number also identified missed opportunities in achieving of forest gaps created by the removal of trees and project goals. The retrospective logframe was sub- very little forest regeneration within these. sequently adopted in the GEF Evaluation Office terminal evaluation review of August 2006. The 3.4 Findings: Lewa Wildlife three key outcomes identified were as follows: Conservancy Project 1. Long-term capacity of Lewa Wildlife Con- The Lewa medium-size project provided support servancy to provide global and local benefits for further development of the Lewa Wildlife Con- from wildlife conservation strengthened servancy, a not-for-profit private wildlife conser- vation company operating on 25,000 hectares of 2. Protection and management of endangered land in Kenya's Meru District. The GEF awarded wildlife species in the wider ecosystem strength- Lewa a grant of $0.75 million for the 2000­03 ened, in collaboration with local communities period, with cofinancing of $3.193 million. 3. Economic benefits to local communities The project objectives, as outlined in the original from sustainable use of wildlife and natural 1998 proposal to the GEF, were resources improved E-12 GEF Annual Impact Report 2007 The World Bank's terminal evaluation assessed tive partnership with the nearby Ol Pejeta Con- the Lewa project's delivery of its outcomes as servancy demonstrated the synergies created by highly satisfactory (the highest rating). The case matching different skill sets and capacities, which study assessed the project as having been espe- added a new and important dimension to the scal- cially successful in increasing Lewa's institutional ing up of activities that were not fully addressed capacity (outcome 1), and in the protection and by the GEF project--specifically livestock market- management of biodiversity (outcome 2); achieve- ing and improved natural resource and rangeland ment of these outcomes was the focus of the proj- management. ect's funding support, accounting for 80 percent of its funding. It was also concluded that a strong The Lewa project demonstrates the practical con- foundation had been laid with the project's work servation impact of a relatively small investment in improving community livelihoods. The main by the GEF which has been subsequently and suc- conclusions from this analysis are summarized in cessfully scaled up. However, the situation in the table 3.2. northern rangelands ecosystem remains precari- ous, and it will be some time before the relevant Table 3.2 community organizations are institutionally and financially independent. Until that time, without Summary of Achievement of Lewa Project Outcomes continued levels of support, the situation could quickly reverse. Project outcome Assessment Long-term institutional and financial 5 capacity of Lewa to provide global and Targets-Threats Analysis local benefits from wildlife conservation The final analytical component provides infor- strengthened mation regarding the conservation status of Protection and management of endan- 4 gered wildlife species in the wider ecosys- and threats to the two main global environmen- tem strengthened tal benefits accruing from the Lewa project and Community-based conservation and 4 subsequent scale-up. As shown in table B.3, the natural resource management initiatives strengthened conservation status of the black rhino is improv- ing within the Lewa Conservancy area, with the Note: 0 = no evidence available; 1 = not achieved; 2 = poorly achieved; 3 = partially achieved; 4 = well achieved; 5 = fully achieved. steadily increasing population showing signifi- cant improvements in structure and growth rates. Extensive security operations to counter the con- Outcomes-Impact Theory of Change tinuing poaching threats (see table B.4) to the Analysis black rhino at Lewa have meant that not one rhino The major finding of the outcomes-impact theory has been poached to date. Lewa's black rhinos rep- of change analysis is the importance of sustain- resent about 8 percent of the global population of able and appropriate institutional mechanisms the eastern subspecies. The Grevy's zebra popula- in achieving global environmental benefits. The tion at Lewa has remained almost stable (except establishment of the Northern Rangelands Trust for lion predation) and accounts for about 20 per- as a local umbrella organization to facilitate and cent of the global population. catalyze further replication and scaling up in the wider ecosystem was both highly innovative and Although the analysis provides a clear indication effective. In addition, the formation of a collabora- that the black rhino and Grevy's zebra popula- 3. Theory-Based Evaluation of Three Protected Area Projects E-13 tions on the Lewa Conservancy are extremely well GEF funding for the project totaled $12.9 mil- managed and protected, perhaps the most notable lion, with additional cofinancing of $5.5 million. achievement is the visionary, catalytic, and sup- The project concept was developed in response to portive role Lewa has provided for the conserva- requests for a regional biodiversity project from tion of these endangered species in the broader the East African governments and the recommen- ecosystem. Lewa has significantly aided in the dations of an external evaluation of the first GEF protection and management of about 40 percent regional biodiversity project, Institutional Sup- of Kenya's black rhino population and is providing port for the Protection of East African Biodiver- leadership in finding innovative ways to increase sity, which had been implemented between 1992 the coverage of secure sanctuaries for the rhino. and 1996. Lewa's role in the establishment of community conservancies, which have added almost 1 million The project had components in each of the three acres of land set aside for conservation, has been participating countries (Kenya, Tanzania, and unprecedented in East Africa and is enabling the Uganda), as well as a regional coordination com- recovery of Grevy's zebra populations within their ponent based in Arusha, Tanzania. The project natural range. The costs and resources needed to sought to provide support at four levels--regional, manage and protect this increasing conservation national, district, and community--and to ensure estate are sizable; unless financing streams are strong linkages among these levels. Site-based maintained and enhanced, it is possible that the conservation interventions took place at four gains made in this ecosystem and the associated paired cross-border sites, chosen on the basis of global environmental benefits could eventually be their biodiversity values: reversed. z Minziro Forest (Tanzania) and Sango Bay Forest (Uganda). This extensive swamp for- 3.5 Findings: Reducing Biodiversity est with West African and afro-montane forest Loss at Cross-Border Sites in East species and endemic swamp podo (Afrocarpus Africa Project dawei) represents a unique ecological commu- The UNDP-implemented project Reducing Bio- nity found nowhere else. diversity Loss at Selected Cross-Border Sites in z Karamoja (Uganda) and Loima Hills (Kenya). East Africa was a regional five-year, full-size GEF This dry montane forest represents an eco- project in operation between 1998 and 2003. Its logical refuge/island for threatened ecological overall objective, as stated in the project docu- communities surrounded by arid and semi-arid ment, was "to reduce the rate of loss of forest and pastoralist land. wetland biodiversity in specific cross border sites z Kajiado (Kenya) and Monduli (Tanzania). of national and global significance in East Africa." This dry montane forest also provides an eco- This objective was to be achieved by establish- logical refuge surrounded by arid and semi-arid ing an enabling environment (policy, legislation, lands. awareness) that allows sectoral and development agencies as well as local communities to promote z Eastern Arc Forests of Pare Mountains sustainable use of biodiversity and by bringing (Tanzania) and Taita Hills (Kenya). This area demands on forest resources into balance with represents one of 25 global hotspots for plant sustainable supply at key forest and wetland sites. diversity with exceptional levels of endemism. E-14 GEF Annual Impact Report 2007 Three distinct types of biodiversity loss were iden- ect and formed the basis for subsequent project tified for these sites: implementation. The discussion here is limited to the two intended project outcomes and the level z Complete loss of forest habitat due to either of their achievement at the end of GEF project legal conversion of nongazetted forest to agri- support for the Sango Bay­Minziro Forests cross- culture or to illegal encroachment of gazetted border site only (see table 3.3). forest and conversion to agriculture or settle- ment; both of these processes were taking place Table 3.3 at many forest sites at project start-up Summary of Achievement of Cross-Border Project z Loss of forest cover due to fire or heavy log- Outcomes ging, causing large gaps in the canopy which Project outcome Assessment would be unlikely to regenerate An enabling environment developed 4 which supports the sustainable use of z Loss of specific biodiversity components due biodiversity to selected overharvesting, or by gradual habi- Resource demands brought into balance 3 tat change in the forest due to such factors as with supply at key sites increased openness; such loss is of concern Note: 0 = no evidence available; 1 = not achieved; 2 = poorly achieved; 3 = partially achieved; 4 = well achieved; 5 = fully achieved. when the components are keystone, endemic, or rare species The project terminal evaluation and the GEF Project interventions to address biodiversity loss Evaluation Office terminal evaluation review both were targeted at (1) reducing the immediate loss of rated the achievement of the project outcomes as forest biodiversity by seeking to stop encroachment satisfactory. The main achievements in developing and to reduce logging and harvesting of key spe- an enabling environment (outcome 1) were that cies, and (2) preventing such loss in the future by new participatory national forest policies were putting in place specific measures following project put in place with inputs from the project, and that completion that addressed the root causes. local community participation mechanisms were established and strengthened to enable govern- The extensive coverage of this project made it ment agencies and forest authorities to manage unrealistic for the case study to evaluate all its var- the target forests jointly. The main achievements ious aspects at all the cross-border sites. Instead, in bringing resource demands in balance with the evaluation team focused on the project site supply (outcome 2) were the development of par- encompassing the Sango Bay Central Forest ticipatory forest management plans with high lev- Reserve in Uganda and the Minziro Forest Reserve els of buy-in from the community, the adoption of in Tanzania and its associated project activities. alternative use/income-generating practices, and This site was considered by former staff to be anecdotal evidence for improved regeneration in the project's most successful and would therefore forest areas. provide the best opportunities for testing the case study impact evaluation techniques. Although the project appears to have largely achieved its objectives, its monitoring and evalu- Project Logframe Analysis ation system was inadequate for measuring the The project logframe was the result of modifica- level of uptake of project activities by local com- tions made during the first two years of the proj- munities and the resulting impact on local liveli- 3. Theory-Based Evaluation of Three Protected Area Projects E-15 hoods, and for measuring whether the delivery of the fact that collaborative forest management project activities had the desired impact on biodi- CBOs are beginning to be replicated and scaled versity resources at the sites. up in Sango Bay indicates that, over time and with continuing external support, these organizations Outcomes-Impact Theory of Change will have a good chance of maturing and playing Analysis a more significant role in joint forest management The analysis of the Sango Bay­Minziro Forests and, ultimately, in realizing project impact. site shows that partial success has been achieved in mainstreaming improved forest management Targets-Threats Analysis practices, especially at the national policy level, For numerous reasons, including the difficulty of which may be expected to have a trickle-down establishing biodiversity baselines and the long effect to field sites in the longer term. In addition, timeline for changes in ecosystems and biodiver- a start has been made in establishing sustainable sity, the project did not emphasize direct mea- site-based institutions through the collaborative surement of the conservation status of global forest management community-based organiza- environmental benefits accruing from the Sango tions (CBOs); these should also realize greater Bay­Minziro Forests. Consequently, no mea- impact as they mature. Overall, the assessment surements of the rate of biodiversity loss, or any was that impact from the outcomes has been clear indication of the status of forests and their poorly to partially achieved. biodiversity before and after the project, exist. It was thus difficult to draw any firm conclusions A major conclusion from this analysis is that five about the conservation status of species of global years is too short a period to establish sustainable conservation concern, necessitating reliance on community institutions. Although the project circumstantial evidence and expert opinion as to made a good start at Sango Bay, the CBOs could improvements deriving from the project. not support themselves at the project end. There- fore, provisions need to be made during project The project invested substantial resources in implementation to ensure continued support after participatory approaches to measuring threats to the project's end--whether through government global environmental benefits. Threat reduction agencies or follow-up projects or programs--until analysis proved a cost-effective tool for measur- the organizations are financially and institution- ing biodiversity loss during project implementa- ally independent. tion, and provided good evidence that the threat level from logging, fire, and extractive use had At the village level, registered CBOs have greater been reduced at Sango Bay and, to a lesser extent, institutional sustainability than more informal com- in the Minziro Forest over the life of the project. mittees, in part because of their ability to establish The project's terminal evaluation considered the a bank account and raise funds. The CBOs estab- threat reduction analysis to be an appropriate lished by the Cross-Borders project have all man- technique, particularly since the Sango Bay­Min- aged to access additional funds from international ziro Forests ecosystem did not contain any large donors, including the GEF-funded Nile Basin Ini- charismatic species to focus conservation atten- tiative, as well as needed technical support. tion, unlike the Lewa and Bwindi-Mgahinga case Although there is limited evidence for the achieve- studies. The analysis also provided indications of ment of impact at the Sango Bay­Minziro Forests, impact in a short time; produced results readily E-16 GEF Annual Impact Report 2007 interpreted by all stakeholders, practitioners, and sure, which has undermined the ability for effec- community members; and facilitated high levels tive collaborative forest management and made it of community involvement and ownership. How- difficult for this study to assess post-project threat ever, concerns were raised over the consistency levels in the absence of continuing time-series and objectivity of the application of this technique data. According to the 2007 field consultations, across sites. local communities and forest authorities held that, although threat levels had increased since Despite the successful application of the threat project closure, the threats to the forests were still reduction analysis methodology, forest authori- lower than before the project intervention (see ties have not used it for the site since project clo- table B.5). 3. Theory-Based Evaluation of Three Protected Area Projects E-17 4. Quasi-Experimental Analysis of Avoided Deforestation in Costa Rica In the last decade, conservation scientists and Between 1960 and 1997, Costa Rica cleared more practitioners have increased their demand for than 1 million hectares of forest, while protecting more rigorous assessments of policies and pro- another 900,000 hectares. The country has one of grams designed to protect biodiversity and eco- the most widely lauded protected area systems and system services. One of the main findings of the is a leading proponent of having avoided defores- Millennium Ecosystem Assessment (2005) was tation credits recognized by the Kyoto Protocol. that "few well-designed empirical analyses assess This case study explores the question of How even the most common biodiversity conservation much more forest would have been cleared in measures." the absence of the protected areas? Protected areas such as national parks and To undertake this analysis of the effectiveness reserves are an important component of the of protected ecosystems and their concomitant GEF's biodiversity portfolio and are central to the services, three characteristics were considered "avoided deforestation" debate in climate change essential: policy. However, the returns from investments in z Control of overt bias generated from the non- protected areas in terms of avoided deforestation random nature of policy or program imple- remain unclear. Measuring the deforestation that mentation--that is, because protected areas are would have occurred if the same area of forest purposively selected (selection on observables) were not protected--the counterfactual event--is complex, because avoided deforestation cannot z Detection and control for spatial spillovers be observed directly. z Assessment of the sensitivity of the results to hidden bias (unobservable heterogeneity) The objective of this case study was to develop a quasi-experimental methodology for evaluating These characteristics are generally absent in the the effectiveness of protected areas in reducing conservation science literature, and this absence deforestation and to apply this methodology in a leads to inconclusive findings about program country that has received GEF funds.1 effectiveness. In fact, no analysis with at least two 1While in randomized experiments, the treat- based on naturally occurring circumstances that cre- ment is assigned at random, in quasi-experiments, the ate treatment and control groups. The challenge is to treatment conditions are assigned nonrandomly; that ensure that systematic differences do not exist between is, the assignment of treatment and control could be the two groups. E-18 of the three characteristics was found. This case The analysis is split into three sections: study addresses that gap. 1. Estimation of the avoided deforestation By ignoring the nonrandomized nature of pro- between 1960 and 1997 from all protected tected area establishment and the spatial spill- areas overs that can result from their establishment, past 2. Estimation of avoided deforestation in the empirical estimates of avoided deforestation fail periods 1986­97 and 1997­2005 from two to properly estimate the counterfactual vegetation protected areas where activities were funded cover. This case study demonstrates how match- by the GEF in the 1990s (Corcovado National ing estimators can be used to determine avoided Park and La Amistad National Park) deforestation in and around protected areas. 3. Comparison of avoided deforestation from these GEF-funded protected areas with 4.1 Evaluation Scope and avoided deforestation from protected areas Methodology that did not receive GEF funding Protected areas in this study were defined as lands Matching works by identifying a comparison managed under the Sistema Nacional de Áreas de group ex post that is "very similar" to the treat- Conservación, which includes all public parks and ment group with only the one major difference refuges in Costa Rica. Geographic information that it did not participate in the program of inter- was obtained on the location of protected area est (for example, protection). If the researcher can boundaries from geographic information system select observable characteristics so that any two data layers provided by the Earth Observation land units with the same value for these charac- Systems Laboratory of the University of Alberta. teristics will display similar responses to the treat- The treatment group for analyzing the effects of ment, then the treatment effect can be measured all protected areas included lands from national without bias. This case study explores how match- parks, biological reserves, forest reserves, pro- ing can be used to estimate avoided deforestation tected zones, and wildlife reserves. The treatment in and around protected areas. group for analyzing GEF-protected areas included the Corcovado National Park and La Amistad In this matching analysis, the aim is to control for National Park, which were lands protected through factors that jointly affect land use and the likeli- the 1993­98 GEF project Biodiversity Conserva- hood that a plot is selected for protection. Based tion and Sustainable Development in the Amistad on knowledge of the history of Costa Rica's pro- and Osa Conservation Areas (GEF ID 364). tected areas, as well as the literature on tropical deforestation, variables that capture accessibility of Avoided deforestation, as the term is used here, is the plot (distance to forest edges, distance to roads the difference between the change in forest cover and slope) and land use opportunities (a function within a defined period on protected plots and of the plot's production potential and distance to the change in forest cover in the same period on roads and major markets) were selected. matched unprotected plots.2 A data set was developed that includes historical 2A plot is either forested or deforested (forested information on forest cover; protection status; means at least 80 percent canopy cover). and biophysical, infrastructure, and socioeco- 4. Quasi-Experimental Analysis of Avoided Deforestation in Costa Rica E-19 nomic characteristics of the landscape. These lat- areas, which were funded between 1993 and 1998, ter characteristics affect both the likelihood that a are 230,689 hectares and 230,898 hectares in 1986 land plot would be protected and the probability and 1997, respectively. Thus, matching estimates that the plot would be deforested. They are thus imply that between 12,457 and 19,609 hectares of potential confounding variables that can mask the forest in the period 1986­97 and up to 25,399 hect- effect of protection on deforestation. Matching ares of forest in 1997 were not deforested because analysis provides a way to control for these poten- they were under protection in these two parks. In tial confounders by ensuring that protected plots the period 1997­2005, protection of these same are only compared to unprotected plots that are areas resulted in 11 percent (about 25,000 hect- similar in their observable characteristics. ares) avoided deforestation. The analysis did not detect sizable spillover effects The evaluation found that the GEF-funded pro- on deforestation on neighboring unprotected lands tected areas reduced deforestation a little more arising from the establishment of protected areas than other protected areas: between 2 and between 1960 and 1996; it was concluded that the 7 percentage points for 1986­97 and up to 2 estimates reflect the full effect of protected areas percentage points for 1997­2005. Given that both within and outside protected areas. 230,898 hectares of forest in 1997 were under the GEF-funded protected areas, this estimate implies 4.2 Conclusions that GEF-funded protected areas contributed up Between 1960 and 1997, Costa Rica cleared more to 7,000 hectares more avoided deforestation than than 1 million hectares of forest and protected non-GEF-funded protected areas. about 900,000 hectares. The evaluation of all pro- Note that the effect of funding levels is not explic- tected areas in Costa Rica indicates that if not for itly modeled, but rather the effect of forest protec- protection, about 10 percent (about 111,000 hect- tion. Thus the effects of GEF funding, as distinct ares) of the forest protected between 1960 and from the effects of other investments made into 1997 would have been deforested. These protected these same protected areas, cannot be completely areas were designated for a variety of reasons, isolated. If the Costa Rican government viewed including preventing deforestation. For example, GEF funds as a substitute for its own, it may have forests were protected to generate opportunities funded these areas at levels lower than it would for tourism, restrict hunting, protect rural liveli- have in the absence of GEF funds (thus making hoods associated with low-level extractive activi- GEF funding look less effective in this analysis). ties, and/or raise environmental awareness among Alternatively, the GEF may have simply invested citizens and firms. It cannot be inferred that Costa its funds into protected areas that were already Rica's protected area network has generated few successful in the absence of GEF funds (thus mak- benefits simply because the gains in terms of ing GEF funding look more effective in this analy- avoided deforestation have been modest to date. sis). Furthermore, only one aspect of conservation The evaluation estimated that protection of the outcomes is being considered: avoided deforesta- GEF-funded protected areas resulted in about tion. GEF investments may have affected other 8 percent (about 19,000 hectares) of avoided outcomes that are not measured directly in this deforestation between 1986 and 1997. The total evaluation. Indeed, the objective of protected area forest areas under the two GEF-funded protected projects is often much wider than avoiding defor- E-20 GEF Annual Impact Report 2007 estation.3 In the case of the Biodiversity Conserva- This analysis is retrospective. The future role of tion and Sustainable Development in the Amistad Costa Rica's protected areas in affecting land use and Osa Conservation Areas project, the objective may be different from the past (but such a differ- was to "contribute to the protection of important ence would require a fundamental change in his- species and habitats of biodiversity." torical deforestation processes). The limited outcomes to date of protected areas 4.3 Scope to Scale up Impact in changing land use patterns in Costa Rica stem Evaluations from administrative targeting of protection toward forests for which private agents had few incentives The methodology used in this evaluation of pro- tected area effectiveness can be used to improve to deforest. In other words, the Costa Rican gov- impact evaluations of GEF investments in proj- ernment chose to protect lands that were gener- ects such as payments for environmental ser- ally low in economic and political cost. vices, ecotourism projects, and community forest Although targeting mechanisms clearly contrib- management. While the focus in this case study is uted to the modest levels of avoided deforestation on the utility of this approach for measuring the from protection, there are other potential contrib- impacts of biodiversity programs, these methods utors. Costa Rican policy makers in the 1960s and can be used in impact evaluations of GEF projects 1970s may have expected deforestation pressures in other focal areas such as climate change and international waters. The approach would be par- to continue unabated into the 1980s and 1990s. ticularly useful for measuring the impact of GEF They may have thus decided to protect lands interventions where (1) project implementation that were inexpensive to gazette in the 1960s and is assigned to different geographic areas in a non- 1970s in order to create a bulwark against defor- random manner, and (2) the project may result in estation pressures after 1980. However, structural spatial spillover effects on neighboring areas. readjustment in the mid-1980s led to a cessation of agricultural subsidies, which, when combined The key to implementing this evaluation approach with growth of the manufacturing and service sec- successfully is to establish valid counterfactu- tors, greatly reduced deforestation pressures. als that measure the outcomes that would have occurred without the GEF intervention. To do so requires the collection of data in nonproject areas 3The strategic objectives of the GEF Biodiversity Program for catalyzing sustainability of protected area in addition to data collection in project areas. The systems in GEF-4 include the following: main data requirements for applying this method- y Extent of habitat cover (hectares) by biome type ology include measures of outcomes or indicators maintained as measured by cover and fragmen- before and after the implementation of the proj- tation in protected area systems ect, and measures of important characteristics y Extent and percentage increase of new habitat that potentially influence outcomes in both proj- protected (hectares) by biome type in protected ect and nonproject locations. area systems that enhances ecosystem represen- tation This evaluation approach may be used to assess y Protected area management effectiveness as different outcomes of a conservation program. It measured by protected area scorecards that assess site management, financial sustainability, can be used to evaluate the effects of protected and capacity (GEF 2007) areas on reforestation and on human welfare 4. Quasi-Experimental Analysis of Avoided Deforestation in Costa Rica E-21 around protected areas, as well as the impacts of fied by matching project areas with nonproject other land use policies such as payments for envi- areas, the impact of the policy or project can be ronmental services or road building prohibitions. obtained by measuring differences in outcomes, Once suitable counterfactuals have been identi- as demonstrated in this case study. E-22 GEF Annual Impact Report 2007 Annex A. Theories of Change for the Three Projects A.1 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Figure A.1 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Project Logframe 1.1 Multitiered management structure and stakeholder Outcome 1 participation mechanisms established and developed Bwindi Trust established to 1.2 Partnerships developed for program implementation nance and support conservation in the long term 1.3 Returns on existing nancial resources maximized and proactive fundraising program developed 2.1 Park institutional capacity strengthened to implement Outcome 2 management plans Protected area authority's capacity to Objective 2.2 Research and monitoring for improving park management manage Bwindi and e ectiveness supported To establish a Mgahinga National Parks long-term strengthened conservation 2.3 Park-community cooperation mechanisms strengthened nance mechanism to support biodiversity 3.1 Local community awareness of the conservation values Outcome 3 conservation in the of Bwindi and Mgahinga National Parks increased Local community Bwindi Impen- awareness, willingness, & etrable National 3.2 Priority infrastructure development needs of park- capacity to manage park Park and Mgahinga adjacent communities supported & natural resources in a Gorilla National sustainable manner Park 3.3 Diversi ed income-generating activities/enterprises & improved strengthened natural resource management practices established & strengthened 4.1 Land tenure secured for the Batwa Outcome 4 4.2 Land use planning and income-generating activities Livelihoods of the supported indigenous Batwa improved 4.3 Batwa education levels improved E-23 Figure A.2 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Theory of Change Model: Outcome 1 Project Logframe Outcomes-Impacts Targets-Threats Bwindi Trust is Bwindi Trust has a Multitiered manage- responsive to the strong and relevant ment structure & needs and opinions stakeholder partici- program of stakeholders pation mechanisms established & developed Outcome 1 Bwindi Trust inter- IMPACT Bwindi Trust ventions are ade- Reduced pressure Enhanced con- Partnerships quately financed & established to on local natural servation status of developed for program relevantly targeted finance and support resource base/ all conservation implementation to address priority conservation in the wildlife habitat targets in the long term conservation & ecosystem development needs Returns on existing financial resources maximized & proactive Fundraising and fundraising program investment developed management are of a high standard Figure A.3 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Theory of Change Model: Outcome 2 Project Logframe Outcomes-Impacts Targets-Threats Insecurity in the Uganda Wildlife Park institutional region does not Authority has capacity strengthened escalate su cient and to implement sustainable funds management plans Outcome 2 Uganda Wildlife IMPACT Research and moni- Uganda Wildlife Authority implements Reduced threats to Enhanced con- toring improving Authority's capacity management pro- wildlife and habitat servation status of park management grams relevant and resources of e ectiveness to manage su cient to address all conservation strengthened Bwindi Trust priority threats to Bwindi Trust targets in the strengthened conservation targets ecosystem Park-community cooperation Human resources Uganda Wildlife mechanisms are adequate to Authority maintains strengthened good relations and ful ll roles and cooperation with the responsibilities local communities Figure A.4 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Theory of Change Model: Outcome 3 Project Logframe Outcomes-Impacts Targets-Threats Community appreciation Park-adjacent com- for social infrastructure munities perceive that projects; Uganda Wildlife Authority is seen as a conservation bene ts bene t from the park outweigh the costs Local communities accept Conservation Community maintains Law enforcement controlled access to park good relationships resources and harvest bene ts are is e ective & leads quotas are sustainable & equitably with Uganda Wildlife to deterrence in su cient to meet Authority community distributed conservation rangers illegal activities local demand Local community awareness of the conservation values of the Bwindi Trust Increased coopera- Reduced threats increased Increased com- munity sense of tion between from poaching & Outcome 3 ownership & Uganda Wildlife illegal extraction Local communities' recognition of Authority & IMPACT Priority infra- local communities of park resources structure develop- awareness, willing- park values Enhanced con- ment needs of park- ness, and capacity servation status of adjacent commun- to manage park & all conservation natural resources Conservation-compat- Community natural Reduced pressure ities supported ible natural resource­ targets in the parks sustainably resource & livelihood on local natural strengthened based opportunities are replicated & scaled needs better met resource base/ Diversi ed income- in the long term park habitat generating activities/ up in the ecosystem enterprises & improved natural resource manage- ment practices esta- blished & strengthened Natural resource­ Alternative natural Target commun- based opportunities resource­based income- are culturally appropriate, generating activities ities are the same relevant to local liveli- substitute for natural ones extracting hoods, and produce resources extracted from park resources adequate returns Bwindi Trust forests Figure A.5 Bwindi Impenetrable and Mgahinga National Park Conservation Projects Theory of Change Model: Outcome 4 Project Logframe Outcomes-Impacts Targets-Threats Batwa are able & Batwa & opinion willing to articulate makers stay in the their rights and community responsibilities Batwa engage with other stakeholders in natural resource management Agricultural Capacity and practices are willingness of appropriate to Batwa to adapt the Batwa to new ways Land tenure Batwa are able to secured for the engage in Batwa sustainable land use Batwa's land is of su cient size and Batwa communities Outcome 4 productivity IMPACT Land use planning adjoining protected Enhanced con- The livelihoods and income- areas are a model of servation status of of the indigenous generating activities wise use of natural all conservation Batwa Resource access supported Practices are resources and improved viable and program is targets in the parks conservation practice sustainable in relevant to the modern setting needs of the Batwa Batwa adopt con- Batwa education servation practices levels improved based on traditional knowledge The Batwa Customary prac- remain a viable tices strong enough community to withstand modern society Batwa communities are functional, lasting, and cohesive Other ethnic groups willing to accommodate the Batwa A.2 Lewa Wildlife Conservancy Project Figure A.6 Lewa Wildlife Conservancy Project Project Logframe 1.1 Human resource and management capacity of Lewa Outcome 1 Wildlife Conservancy strengthened Long-term institutional & 1.2 Robust nancial management systems and fundraising nancial capacity of Lewa program established Wildlife Conservancy to provide global and local 1.3 Strategic plans and partnerships developed to improve bene ts from wildlife e ectiveness conservation strengthened Purpose Capacity of Lewa 2.1 Security of endangered species increased Wildlife Conser- Outcome 2 vancy and Protection & manage- collaborating local 2.2 Research and monitoring of wildlife and habitats improved ment of endangered communities to wildlife species in wider conserve biodiver- ecosystem strengthened, sity and to generate 2.3 Awareness creation and human capacity strengthened in in collaboration with sustainable bene ts communities for wildlife protection local communities from the use of natural resources enhanced 3.1 Community-based tourism promoted and strengthened Outcome 3 3.2 Community skills and roles developed to optimize wildlife Increased economic bene ts bene ts to local communities from 3.3 Capacity of local communities to undertake conservation- sustainable use of compatible income-generating activities strengthened wildlife and natural resources improved 3.4 Community natural resource management systems and structures enhanced E-28 GEF Annual Impact Report 2007 Figure A.7 Lewa Wildlife Conservancy Project Theory of Change Model: Outcome 1 Project Logframe Outcomes-Impacts Targets-Threats Lewa Wildlife Con- Traditional servancy initiatives migratory routes & remain culturally ap- range are not Human resource and propriate & relevant blocked by gaps in management capacity to local livelihoods conservation mosaic of Lewa Wildlife Community-supported Conservancy initiatives in wider strengthened Outcome 1 ecosystem scaled up to reestablish ecosystem Long-term connectivity & range institutional and IMPACT Robust nancial nancial capacity of Reduced pressure Enhanced con- management systems & Lewa Wildlife Con- on local natural servation status of fundraising program servancy to provide resource base/ all conservation established global and local wildlife habitat targets in the bene ts from wildlife ecosystem conservation Collaborative institu- Returns on existing strengthened tions established/ nancial resources strengthened to maximized & proactive replicate Lewa model fundraising program developed Lewa Wildlife Con- Lewa Wildlife Con- Sustainable servancy has broad servancy continues to sources of nance political & community have legal mandate & maintained to cover support for achieving tenure to operate from Lewa Downs operational costs its mission Figure A.8 Lewa Wildlife Conservancy Project Theory of Change Model: Outcome 2 Project Logframe Outcomes-Impacts Targets-Threats Insecurity in the Broad support for Security of region does not wildlife protection in endangered species escalate the communities increased Outcome 2 Reduced threats IMPACT Research and Protection & manage- from poaching Enhanced con- monitoring of ment of endangered and increased servation status of wildlife and habitats wildlife species in the secure areas for black rhino and improved wider ecosystem wildlife Grevy's zebra strengthened, in collaboration with local communities Awareness creation & Cooperation & coordi- Financing for existing Su cient numbers of human capacity nation among Lewa strengthened in operations can be main- Wildlife Conservancy, well-trained, motivated, communities for tained & new nancing Kenya Wildlife Service, & equipped security/ wildlife protection sourced for protection/ police, & communities research personnel in management in new for wildlife protection conservation areas conservation areas & management is maintained maintained Figure A.9 Lewa Wildlife Conservancy Project Theory of Change Model: Outcome 3 Project Logframe Outcomes-Impacts Targets-Threats Local communities Bene ts are Land tenure arrange- Communities link ments allow communities have the capacity to su cient to bene ts to and other landowners sustain the bene t in uence attitudes conservation to legally establish stream Community-based conservation areas tourism promoted and strengthened Reduced threats Increased community from poaching and support and land set aside for conservation the lack of secure Community skills and areas roles developed to Outcome 3 IMPACT optimize wildlife Increased economic bene ts Enhanced con- bene ts to local communities from servation status of sustainable use of black rhino and wildlife and natural Conservation Grevy's zebra Capacity of local com- compatible natural Community natural Reduced pressure munities to undertake resources on local natural improved resource based resource and conservation-compat- opportunities livelihood needs better resource base/ ible income-generating diversified and met in long-term wildlife habitat activities strengthened enhanced Community natural Community support New natural resource­ Opportunities Livelihood resource management based opportunities Resources are systems & structures is culturally appro- substitute for, and are make signi cant improvements do contribution to su cient to enhanced priate & relevant competitive with, not lead to in- environmentally livelihoods meet demand to local livelihoods creased population unfriendly ones A.3 Reducing Biodiversity Loss at Cross-Border Sites in East Africa Project Figure A.10 Reducing Biodiversity Loss at Cross-Border Sites in East Africa Project Project Logframe 1.1 Sustainable use of biodiversity promoted at site level by regulatory/development agencies Outcome 1 1.2 Mechanisms established for local community participation An enabling environ- in resource conservation at key sites ment developed that supports the sustainable Overall objective 1.3 Compatible and e ective policy and legal frameworks use of biodiversity To reduce the rate established at key sites of loss of forest 1.4 Cross-border liaison mechanisms established for e ectively biodiversity in addressing conservation issues speci c cross-border sites of national and 2.1 Participatory biodiversity management plans developed, global signi cance approved, and implemented Outcome 2 in Kenya, Tanzania, Resource demands and Uganda 2.2 Alternative resource use strategies and income-generation brought into balance practices that reduce negative impacts on biodiversity adopted with supply at key sites E-32 GEF Annual Impact Report 2007 Figure A.11 Reducing Biodiversity Loss at Cross-Border Sites in East Africa Project Theory of Change Model: Outcome 1 Project Logframe Outcomes-Impacts Targets-Threats Commitment and No political Policies converted to Cross-border Sustainable use of bio- capacity to imple- interference practical & user-friendly harmonization and ment participatory overriding laws diversity promoted forest policies by gov- regulations at district enforcement of timber at site level by regu- ernment agencies and policies & community levels harvesting ban & laws latory/development agencies Improved forest man- Mechanisms esta- agement practices blished for local com- mainstreamed into munity participation Outcome 1 x national & local in resource conserv- IMPACT An enabling policies/strategies ation at key sites Reduced pressure Enhanced con- environment on local natural servation status of developed that resource base/ all conservation Compatible and supports the habitat targets in the e ective policy and sustainable use of ecosystem legal frameworks biodiversity Project established established at key institutional mech- x sites anisms fully inte- grated with existing/ continuing structures Cross-border liaison mechanisms estab- lished for e ectively addressing Government imple- Field sta absorbed CBOs & local environ- Con dence & trust conservation issues menting agencies into government ment committees between cross-border continue nancial & institutions & other continue to function & local authorities/ technical support organizations under- ful ll responsibilities communities to initiatives taking similar activities post project maintained Figure A.12 Reducing Biodiversity Loss at Cross-Border Sites in East Africa Project Theory of Change Model: Outcome 2 Project Logframe Outcomes-Impacts Targets-Threats Community support Community forest Resource use in the Reduced loss Participatory bio- and commitment for forest reserve is of forest diversity management management is community forest sustainable long term habitat plans developed, scaled up to cover & joint management management main- approved, and tained by forest entire forest reserve is responsive to implemented reserve authorities boundary unsustainable use Outcome 2 IMPACT Alternative resource use/management Resource demands Reduced loss Forest regeneration strategies that reduce brought into of forest and improved negative impacts on balance with conservation status biodiversity adopted cover supply at of conservation at key sites targets key sites Alternative income- Future bene ts Alternative income- generating practices Aligning demand & from investing in generating activities/ that reduce supply addresses all Reduced loss of community forest resource use provide negative impacts on threats to all global environmental bene- management/wood- acceptable substitutes endangered and biodiversity adopted lots are su cient to for unsustainable at key sites ts & their key eco- globally compensate for practices/forest signi cant species logical attributes short-term costs resources Annex B. Impacts of the Three Projects Table B.1 Changes in Conservation Status Levels before and after GEF Support: Bwindi Impenetrable National Park and Mgahinga Gorilla National Park Conservation Conservation status Ecological attribute Indicator Baseline Project end Now Trend Continuous altitudinal forest gra- dation/montane forest habitat Forest size and extent Area of forest cover no change in forest size since 1987 Canopy cover Water quality indexes Since 2001, water quality is good and seems stable Forest regeneration processes Abundance of saplings and There is little sign of regeneration in gaps seedlings in forest gaps caused by selective or intensive logging, or by fire; regeneration is occurring in previously encroached areas Habitat diversity no information Keystone species no information, except for mountain gorilla (see below) Mountain gorilla Population size Total population 300 320 340 Population distribution Locations of gorilla groups Groups appear to be more spread out across the park by 2006 Suitable undisturbed forest Areas of habitat no change in forest size since 1987 habitat encounter rates of distur- See threats analysis; no clear indication of a bance signs reduction in disturbance Reproductive rates Insufficient data to allow comparison of reproductive rates over different periods Grauer's rush warbler Swamp forest Size and extent no known degradation of swamps within Bwindi over this period Population size Total population Stable or ? increasing E-35 Table B.2 Changes in Threat Levels before and after GEF Support: Bwindi Impenetrable National Park and Mgahinga Gorilla National Park Conservation Threat level Threat Indicator Baseline Project end Now Trend Poaching encounter rate of poaching signs per patrol 0.31 0.25 -- day encounter rate of poaching signs per km no consistent pattern from census data from walked on census recce trails 1997, 2002, and 2006 Pit-sawing and encounter rate of tree cutting per km walked no consistent pattern from census data from tree cutting on census recce trails 1997, 2002, and 2006 encroachment Area of forest loss around boundaries of Satellite image analysis shows almost no loss of Bwindi forest cover inside park between 1987 and 2000; encroachment rarely reported since 1995 Fire Frequency and extent of fires, community Fire incidences declining and community coop- response to fires eration in fire control improving since 2000; no incident of arson reported since 1992 Lack of regenera- Abundance of saplings and seedlings in Little sign of regeneration in gaps caused by tion of forest gaps forest gaps selective or intensive logging Hostile neighbor- Park-adjacent community members express- ing communities ing lack of support for the park, as percent- 53 24 -- age of community members surveyed Loss of forest con- Area of forest loss at the neck in Bwindi Satellite image analysis shows almost no loss of nectivity at neck forest cover inside park between 1987 and 2000 Disease (gorillas) no information Table B.3 Changes in Conservation Status Levels before and after GEF Support: Lewa Wildlife Conservancy Conservation status Ecological attribute Indicator Baseline Project end Now Trend Black rhino Population size Total population of black rhino on Lewa 29 40 54 Productivity Annual growth rates at Lewa (%) 12 13 15 Suitable secure habitat Size of Lewa rhino sanctuary (hectares) 22,000 22,000 25,000 Genetic diversity Degree of genetic variation no data available Grevy's zebra Population size Total population of Grevy's zebra on Lewa 497 435 430 Productivity Annual foaling rates on Lewa (%) 11 11 12 Population distribution number of known subpopulations and no data available connectivity Suitable habitat (grass- Community conservancies set aside for con- 3 4 15 land & secure water) servation under northern Rangelands Trust Genetic diversity Degree of genetic variation no data available E-36 GEF Annual Impact Report 2007 Table B.4 Changes in Threat Levels before and after GEF Support: Lewa Wildlife Conservancy Threat level Threats to global environmental Baseline Project end Now benefits Indicator (pre-2000) (2000-03) (2004-06) Trend Black rhino Poaching and snaring Black rhinos poached and snared 0 0 0 in Lewa Black rhinos poached and snared 2 15 15 nationally (1998­99) (2000­02) (2003­06) Insufficient secure areas Black rhino areas nationally 12 13 16 (1993) Land set aside for Black rhino 6,749 7,376 8,607 conservation in Kenya (km2) (1993) Habitat loss (due to elephant Changes in density of woody Density of woody vegetation has density on Lewa) vegetation increased between 1962 and 2000 as demonstrated by aerial photos Grevy's zebra Poaching Grevy's zebra poached Poaching levels reduced in community land under conservation due to commu- nity security personnel and awareness Disease Grevy's zebra killed by anthrax (%) 0 0 5 Predation Lions on Lewa 0 25 16 Habitat loss/degradation (com- Land secured for conservation in 1,475 2,712 5,000 petition with livestock) the region (km2) Insufficient secure areas established northern Rangelands 3 4 15 Trust community conservancies Hybridization with Burchell's Confirmed hybrid populations 4 4 4 zebra Annex B. Impacts of the Three Projects E-37 Table B.5 Changes in Threat Levels before and after GEF Support: Reducing Biodiversity Loss at Selected Cross Border Sites in East Africa Threats to global Threat level environmental benefits Indicator Baseline Project end Now Trend encroachment/conver- Incidence of encroachment/land no incidences of successful encroachment or land sion of forest land conversion conversion since project Measures put in place to prevent Project initiated reestablishment and demarcation chance of future conversion of forest reserve boundaries, which continue to be respected and maintained Logging % of threat met (Minziro Forest) 25 70 -- % of threat met (Sango Bay) 40 85 -- Maintenance of reduced threat level Lifting of logging ban in Minziro and the reduced after project closure level of community forest management activities seem to indicate that threat level has increased post project, although not to previous levels uncontrolled fires % of threat reduced (Sango Bay) 40 90 -- % of threat reduced (Minziro Forest) no data available Overharvesting of Sustainable off-take levels Threat reduction analysis (2003) indicates limited selected species success at reducing threat in two forest blocks during project implementation, but no monitoring system since project closure E-38 GEF Annual Impact Report 2007 Annex C. Management Response This annex presents the management response We agree with the importance that the report prepared by the GEF Secretariat to the execu- places on institutional continuity as one key con- tive summary of this report, which was presented tributing factor to sustaining project outcomes to the GEF Council in November 2007 as GEF/ and achieving impact. We support the intent of ME/C.32/4. Minor editorial corrections have been the recommendation that protected area projects made. should address the issue of institutional continuity as part of the project design and implementation. We welcome the effort taken by the Evaluation Office to test and develop two parallel approaches We do not agree, however, with the recommen- to this first annual report on impact. The first dation that plans for "institutional continuity" be approach was to use a theory-based approach to included for all of the GEF's protected area proj- link outcomes to impact, and the second was to ects or that tracking institutional continuity be use a statistical analysis of existing time-series included as part of the biodiversity tracking tools. data on deforestation and protected areas in Costa The recommendation fails to acknowledge the Rica. We believe both approaches have provided evolution of the GEF's strategy to improve the valuable insight into the impacts of GEF protected management of protected areas and protected area area projects and look forward to the continued systems and misunderstands the function of the work of the Evaluation Office in producing an tracking tools to monitor progress in improving annual report on impact. protected area management. Instead, we propose an alternative approach to ensure that the issue of We are pleased with many of the conclusions that institutional continuity is properly addressed as came out of these studies. The Lewa project was part of biodiversity project design and implemen- part of the Local Benefits Study, and these find- tation as appropriate for each project. ings are consistent with those from the earlier study. We would also like to note that in the case Evaluation Conclusions of Bwindi, the findings are consistent with conclu- sions reached in an independent post-impact study Conclusion 1: There are measurable and recorded commissioned by the World Bank using resources improvements in the status of two key threat- from Canadian Consultant Trust Funds, and with ened species in Bwindi-Mgahinga and Lewa--the mountain gorilla and black rhino, respectively. a project assessment conducted by the Bank's Independent Evaluation Group. The three studies We are pleased that the Bwindi-Mgahinga proj- were all concluded within the past 18 months. ect has contributed to the stabilization and later E-39 increase of a globally significant mountain gorilla were achieved because an explicit plan for insti- population. The findings also pointed to the chal- tutional continuity was built into the project from lenges of achieving specific impacts when dealing the start is important and should be taken into with complex ecological systems and the need for account when looking at future protected area appropriate indicators to measure conservation projects, when relevant. outcomes at the ecosystem level. Conclusion 5: The Bwindi-Mgahinga and Lewa Conclusion 2: Two of the three protected area proj- projects have both contributed toward addi- ects have contributed to a sustained reduction in tional benefits through catalytic effects. threats to important conservation targets. We are pleased with the findings that two of the We are pleased that the project conditions have led protected area projects contributed toward addi- to the fulfillment of achieving major impacts by tional benefits through catalytic effects, such as stabilizing gorilla and rhino populations in Bwindi catalyzing further replication and scaling up in and Lewa, respectively. This demonstrates suc- the wider ecosystem. Since GEF interventions are cessful achievement of expected global environ- often developed with the purpose of producing mental benefits and a reduction in the threat lev- catalytic effects, it is important that impact evalu- els to the continued generation of these benefits. ations continue to look into how and whether cat- alytic effects are in fact achieved. Conclusion 3: The third protected area project has not been able to continue its threat reduction Conclusion 6: The Bwindi-Mgahinga project has mechanisms effectively after GEF support ended. not yet satisfactorily resolved some negative impacts of the protected areas on the indige- We take note that, while project outcomes had nous Batwa. been achieved with regard to enhanced forest management, the project was not able to effec- We take note that the Bwindi project was only tively continue with its threat-reduction mecha- partially successful in reorienting the livelihoods nisms, specifically to establish sustainable com- and lifestyle of the Batwa indigenous community. munity institutions within a limited project time The findings support the notion that the promo- frame. This conclusion provides the opportunity tion of income-generating opportunities could be to assess how these kinds of interventions can better supported and potentially more successful through training in financial management. be improved during project design to achieve sustainability. Conclusion 7: Costa Rica's protected area policy achieved a measurable impact on avoided defor- Conclusion 4: Impacts were achieved in two of estation, even though the policy had no such the three protected area projects because an primary focus. GEF-supported protected areas explicit plan for institutional continuity was in Costa Rica were more effective at achieving built into the projects from the start. avoided deforestation than similar projects funded by other sources. We are pleased that the findings pointed to rea- sons why impact was achieved in two out of the We note with great interest the claim that GEF- three protected area projects, although there may supported protected areas in Costa Rica were be other factors that have influenced the achieve- effective in reducing deforestation over and above ments identified. The conclusion that impacts what was intended by the protected area invest- E-40 GEF Annual Impact Report 2007 ments in the country. The paper's supported find- finding. The recommendation fails to acknowl- ing that protected areas largely block deforestation edge the maturation of the GEF's protected area pressures, even as those pressures grow, suggests strategy, the project designs that are being devel- that protected areas will have a fundamental role oped in response to this strategy, the GEF's own in strategies to both achieve biodiversity benefits understanding of the factors necessary for sus- and reduce emissions from deforestation and taining the conservation outcomes that protected degradation. areas are designed to achieve, and--finally--the GEF's own experience in applying and modifying Conclusion 8: The most cost-effective and real- its biodiversity tracking tools. istic approach to impact evaluation for the GEF Evaluation Office is a combination of opportu- Currently, and in part to sustain project inter- nistic quasi-experimental analysis using avail- ventions and their outcomes and to ensure insti- able data along with targeted case studies that tutional continuity as one contributing factor to use a theory-based approach. achieving impact post project, the GEF's pro- We are pleased with the Evaluation Office's approach tected area strategy is focused on effecting the to this first impact evaluation. It is cost-effective systemic change required to ensure the sustain- and has provided important conclusions that the ability of protected area systems and the achieve- GEF can build on and benefit from in the design ment of their management objectives to conserve and implementation of future interventions. and sustainably use biodiversity. Beginning in GEF-3 and more explicitly in GEF-4, the GEF has Evaluation Recommendations made a concerted effort to address three aspects of protected area system sustainability through Recommendation 1: Protected area projects individual projects that (1) ensure that sufficient should include a specific plan for institutional and predictable revenue, including external fund- continuity; this should be incorporated in the ing, is available to support protected area manage- GEF's biodiversity tracking tools or otherwise ment costs; (2) improve the coverage of ecologi- addressed through the development of an alter- cally viable representative samples of ecosystems native system under the direction of the GEF Secretariat. in the protected area system; and (3) strengthen individual, institutional, and systemic capacity to With regard to this recommendation and the manage protected areas such that they achieve projects reviewed to arrive at this conclusion, it is their management objectives. Going forward, the important to note that the GEF strategy to improve GEF will support comprehensive interventions the management of protected areas and protected that address these three aspects of protected area area systems has evolved considerably since these management in order to catalyze the long-term projects were designed and approved (ranging sustainability of the system, of which institutional from 8 to 14 years ago). Thus, while we agree that capacity is but one part. project designs for protected area projects should consider institutional continuity as one of many The tracking tools were developed for GEF-3 contributing factors to sustainability of project and GEF-4 as part of the Secretariat's monitor- outcomes and eventual impact, we cannot agree ing system and aim to measure outputs and prog- with the prescriptive recommendation proposed ress toward outcomes agreed at the time of each by the Evaluation Office that evolves from this replenishment at the portfolio level. In addition, Annex C. Management Response E-41 they provide equally useful information for track- and that we then track them through the biodiver- ing progress at the project level as an adjunct sity tracking tools. We do not believe that the solu- to regular project-level monitoring. We do not tion proposed is the correct remedy for the insti- believe that the tracking tools represent the best tutional continuity problems identified through solution for remedying project design flaws that the evaluation of three projects funded in previ- the report has identified, given that the tools have ous phases of the GEF. As noted above, the recom- been developed for tracking specific outcomes mendation provided fails to reflect the GEF's cur- that will reflect the success or failure of the inter- rent strategy for protected areas and ignores the vention strategy to catalyze sustainable protected function for which the tracking tools were created area systems. and are currently being applied as well as the con- tent of the tracking tools themselves. We do agree, however, with the implicit premise in the Evaluation Office recommendation that However, we do agree that the GEF needs to place the tracking tool should not be seen as a static greater emphasis on institutional continuity as tool but a dynamic one that should be flexible a factor in project design and that this should enough to change to reflect what has been learned be addressed in the project design phase and be through its application. Thus, in order to reflect adequately monitored throughout project imple- global experience with the use of the management mentation. As an alternative to the approach sug- effectiveness tracking tool for protected areas, the gested by the Evaluation Office, we propose the GEF plans to introduce a revised tracking tool for following course of action. First, within the proj- protected areas during GEF-4 that reflects global ect identification form as part of the presentation best practice. In addition, on a provisional basis, of the project design, the issue of post-project we have included the use of a financial sustainabil- sustainability, including institutional continu- ity scorecard as part of the GEF-4 project cohort ity, will be addressed as relevant to each proj- which will allow the GEF to measure progress ect, given that this issue affects all projects, not toward financial sustainability--a key contribut- only those dealing with protected areas. Second, ing factor to sustainability of project activities, at the time of CEO endorsement and as part of outputs, outcomes, and eventual impacts from the project's sustainability strategy, the project a GEF protected area intervention. When com- design will identify how institutional continuity bined, the results of these two tracking tools pro- will be addressed and monitored during project vide a comprehensive overview of management implementation and how institutional continu- effectiveness, protected area management capac- ity will be secured by the time of project closure. ity, and financial sustainability trends in protected Finally, during the midterm and final evaluations, area systems, which are the key characteristics the terms of reference will specifically highlight that the GEF is trying to improve through its pro- this issue as an area for examination for the eval- tected area projects. uator. We believe that this approach provides a We have serious reservations about requiring that more comprehensive remedy to the problem all projects include institutional continuity plans identified. E-42 GEF Annual Impact Report 2007 Bibliography The GEF Council documents cited here (indicated --. 2007f. "Final Report on Proposed Approach to with the designation "GEF/C.xx") are available on GEF Impact Evaluation." Prepared by Foundations the GEF Web site, www.thegef.org, under Council/ of Success. Council Meetings and Documents. GEF Evaluation --. 2007g. "GEF Biodiversity Policy Review." Pre- Office documents can be found on the GEF Evalua- pared by Foundations of Success. tion Office Web site, www.gefeo.org, under Ongoing Evaluations. --. 2007h. "Impacts of Creation and Implementa- tion of National Parks and of Support to Batwa on Their Livelihoods, Well-Being and Use of Forest GEF (Global Environment Facility) Council. 2005. "Four Products." Prepared by A. Namara, EAGO Socio- Year Work Program and Budget of the Office of Economic Research and Development Consultants Monitoring and Evaluation ­ FY06-09 and Results Ltd, Kampala. in FY05." GEF/ME/C.25/3. --. 2007i. "Methodological Challenges in Impact --. 2007. "Focal Area Strategies and Strategic Pro- Evaluation: The Case of the Global Environment gramming for GEF-4." GEF/C31/10/revised. Facility." Prepared by D. Todd and J. Vaessen. GEF EO (Global Environment Facility Evaluation --. 2007j. "Priorities and Indicators for Global Office). 2007a. "Approach Paper to GEF Impact Environment Benefits from Biodiversity: The Evaluation." Prepared by J. Brann and D. Todd. Current International Architecture." Prepared by D. Nair. --. 2007b. "Case Study: Bwindi Impenetrable National Park and Mgahinga Gorilla National Park --. 2007k. "Protected Areas and Avoided Deforesta- Conservation Project." Prepared by Conservation tion: A Statistical Evaluation." Prepared by K. Andam, Development Centre. P. Ferraro, A. Pfaff, and G. Sanchez-Azofeifa. --. 2007c. "Case Study: Lewa Wildlife Conser- Millennium Ecosystem Assessment. 2005. Ecosystems and Human Well-Being: Policy Responses: Findings vancy." Prepared by Conservation Development of the Responses Working Group of the Millennium Centre. Ecosystem Assessment. Washington, DC: Island --. 2007d. "Case Study: Reducing Biodiversity Loss Press. at Cross-Border Sites in East Africa." Prepared by OECD DAC (Organisation for Economic Co-operation Conservation Development Centre. and Development Development Assistance Com- --. 2007e. "Case Study Methodology." Prepared by mittee). 2002. "Glossary of Key Terms in Evalua- Conservation Development Centre. tion and Results Based Management." Paris. E-43 Fonds pour l'environnement mondial Bureau de l'évaluation Rapport annuel de 2007 sur l'impact des projets Juin 2009 (Les principales conclusions et recommandations auxquelles cette évaluation a donné lieu ont été présentées au Conseil du FEM en octobre 2007.) Rapport d'évaluation no 46 © 2008 Bureau de l'évaluation du Fonds pour l'environnement mondial 1818 H Street, NW Washington, DC 20433 Internet : www.gefeo.org Courriel : gefevaluation@thegef.org Tous droits réservés. Les constations, interprétations et conclusions présentées dans ce document sont celles des auteurs et ne reflètent pas nécessai- rement les vues des membres du Conseil du FEM ou des pays qu'ils représentent. Le Bureau du suivi et de l'évaluation du FEM ne peut garantir l'exactitude des données présentées dans ce document. Les frontières, les couleurs, les dénominations et toute autre information figurant sur les cartes du présent document n'impliquent de la part du FEM aucun jugement quant au statut juridique d'un territoire quelconque et ne signifient nullement que le Fonds reconnaît ou accepte ces frontières. Droits et licences Le contenu de cette publication fait l'objet d'un dépôt légal. Aucune partie de la présente publication ne peut être reproduite ou transmise sans autorisation préalable. Le FEM encourage la diffusion de ses études et, normalement, accorde sans délai l'autori- sation d'en reproduire des passages. ISBN-10: 1-933992-18-2 ISBN-13: 978-1-933992-18-1 Réalisation du rapport Directeur du Bureau de l'évaluation du FEM : Robert D. van den Berg Chef de projet : David Todd, spécialiste senior de l'évaluation, Bureau de l'évaluation du FEM Conception et mise en forme finale : Nita Congress Conception graphique de la couverture : Jean Wegimont, Atelier2 Photo de couverture : rhinocéros noir : Achim Mittler ; broméliacées floraison (Costa Rica) : Andres Ojeda ; gorille de montagne : Peter Szustka Impression : Professional Graphics Printing Co. Rapport d'évaluation no 46 PUBLICATION GRATUITE Table des matières Sigles .......................................................................................................................................... F-iv Avant-propos.............................................................................................................................. F-v Remerciements ......................................................................................................................... F-vi 1. Principales constatations et recommandations ............................................................... F-1 1.1 Contexte général ......................................................................................................................................... F-1 1.2 Principales conclusions ............................................................................................................................. F-2 1.3 Recommandation ....................................................................................................................................... F-5 1.4 Le suivi dans le cadre des activités du Bureau de l'évaluation ......................................................... F-5 2. Approche d'évaluation de l'impact.....................................................................................F-6 3. Évaluation fondée sur la théorie de trois projets d'aires protégées ...............................F-8 3.1 Approche et sélection de projets............................................................................................................. F-8 3.2 Implementation .......................................................................................................................................... F-9 3.3 Constatations : Les projets de conservation du parc national de la forêt dense de Bwindi et du parc national de Mgahinga............................................................................................................. F-9 3.4 Constatations : Projet de Lewa Wildlife Conservancy .................................................................... F-12 3.5 Constatations : Projet de lutte contre l'appauvrissement de la biodiversité sur des sites transnationaux d'Afrique de l'Est.......................................................................................... F-15 4. Analyse quasi expérimentale du déboisement évité au Costa Rica .............................. F-19 4.1 Cadre et méthode d'évaluation ............................................................................................................. F-20 4.2 Conclusions sur les aires protégées au Costa Rica ........................................................................... F-21 4.3 Potentiel de transposition de la présente évaluation ....................................................................... F-22 Annexe. Impacts des trois projets .......................................................................................... F-25 Bibliographie ............................................................................................................................ F-30 Tableaux 3.1 Résumé de la réalisation des résultats du projet de Bwindi............................................................ F-11 3.2 Résumé de la réalisation des résultats par le projet de Lewa ......................................................... F-13 3.3 Résumé de la réalisation des résultats du projet ............................................................................... F-16 F-iii Sigles FEM Fonds pour l'environnement mondiale PNUD Programme des Nations Unies pour le ONG organisations non gouvernementales développement PNUE Programme des Nations Unies pour l'environnement F-iv Avant-propos Ceci constitue la première édition du Rapport ; et des analyses et interprétations exhaustives, au annuel sur l'impact des projets préparé par le cours desquelles les théories du changement ont Bureau de l'évaluation du Fonds pour l'environ- été mises en contraste avec des résultats réels pour nement mondiale (FEM). En raison de la diver- déterminer les impacts du projet et comment ces sité des activités d'évaluation qu'il est possible et résultats ont été atteints. nécessaire de réaliser, les résultats feront l'objet La seconde approche a consisté à utiliser des métho- d'un rapport annuel sur les impacts au lieu d'être des quasi expérimentales pour formuler un scéna- présentés dans des documents distincts par étude. rio précis d'absence d'intervention dans les zones Chaque étude de cas et chaque évaluation seront affectées par les activités du projet, en d'autres ter- publiées séparément sous forme d'un document mes, quel aurait été le résultat si l'on n'avait pas éta- d'évaluation qui pourront être trouves dans le site bli de zone protégée ? Le thème spécifique examiné web du bureau de l'évaluation du FEM. Dans ce concernait l'étendue de la déforestation évitée grâce premier rapport, le Bureau a consacré une grande aux projets de zones protégées au Costa Rica. attention d'étudier des méthodes d'évaluation de l'impact a fin de déterminer les approches les plus Le présent rapport annuel a été soumis au Conseil applicable aux travail du FEM. du FEM en novembre 2007. Le Conseil a décidé de Ce rapport présente les résultats de deux méthodes demander au Secrétariat du FEM d'incorporer ses d'approche différentes de l'évaluation de l'impact. La recommandations dans la préparation de projets et première est une méthode d'approches combinées d'assurer un bon suivi des progrès accomplis en vue basée sur la théorie, qui a permis d'étudier l'impact de la continuité institutionnelle, et a demandé au de trois projets relatifs à des zones protégées en Bureau de l'évaluation de poursuivre son programme Afrique de l'Est, en s'appuyant sur une étude docu- d'évaluation des impacts ainsi que proposé. mentaire détaillée ; l'examen du concept d'impact Divers documents techniques ont été réalisés au dans le contexte des effets recherchés sur l'envi- cours des travaux d'évaluation des impacts et sont ronnement mondial; la mise au point de méthodes disponibles sur le site web du Bureau de l'évalua- d'analyse à travers des ateliers régionaux dans les- tion du FEM (www.gefeo.org). quels les responsables de l'exécution de projets ont eux-mêmes conçus et mis à l'essai des théories du changement applicables à leurs projets ; un travail de terrain mené par le menu dans les zones de pro- Rob van den Berg jet pour vérifier et expliquer les résultats obtenus Directeur du Bureau de l'évaluation F-v Remerciements David Todd, spécialiste senior de l'évaluation, a mené le gros du travail de terrain, produit les coordonné en tant que chef de projet le travail méthodes d'analyse complémentaires (travaillant d'évaluation mené par le Bureau de l'évaluation. Il avec divers acteurs régionaux) et rédigé le rap- est l'auteur et le promoteur de la théorie du chan- port. Agrippinah Namara a entrepris une étude gement utilisée dans les évaluations conduites de cas spéciale relative aux impacts du Parc natio- en Afrique de l'Est avec la contribution de Divya nal impénétrable de Bwindi (Bwindi Impenetrable Nair, Josh Brann et Lee Risby. Le bureau d'études National Park) et du Parc national des gorilles de Foundations of Success (auteurs : Richard Margo- Mgahinga (Mgahinga Gorilla National Park) sur luis, Nick Salafsky et Caroline Stem) a fourni les les populations autochtones, les Batwa. Les tra- premiers apports en termes de méthodes d'ana- vaux quasi expérimentaux ont été menés par Kwaw lyse. Rob Malpas et Rob Craig de la représentation Andam, Paul Ferraro, Alexander Pfaff et G. Arturo à Nairobi du Centre de promotion de la conser- Sanchez-Azofeifa. Le Bureau de l'évaluation reste vation (Conservation Development Centre) ont pleinement responsable du contenu du rapport. F-vi 1. Principales constatations et recommandations 1.1 Contexte général Les trois projets dont l'impact a fait l'objet d'éva- luation sont les suivants : Le portefeuille du FEM s'est à présent développé au point que l'on pourrait envisager d'évaluer l'im- z Conservation du parc national de la forêt dense pact à long terme de ses projets. Le Bureau de de Bwindi et du parc national des gorilles de l'évaluation inscrit les activités d'évaluation à son Mgahinga, Ouganda (Banque mondiale) programme depuis juin 2005. Au cours de la pre- z Lewa Wildlife Conservancy, Kenya (Banque mière année d'activités, les méthodes à appliquer mondiale) ont été examinées et ont donné lieu à la première z Lutte contre l'appauvrissement de la biodiversité série d'études l'année suivante. sur les sites transnationaux d'Afrique de l'Est, Deux méthodes d'évaluation ont été mises au point projet régional (Kenya, Tanzanie, Ouganda), et expérimentées. La principale activité a consisté (Programme des Nations Unies pour le déve- à réaliser un ensemble d'études connexes sur des loppement -- PNUD). projets d'aires protégées, en utilisant une méthode La deuxième méthode d'évaluation de l'impact a fondée sur la théorie pour établir une corrélation consisté en une analyse statistique des données entre les résultats du projet et ses impacts sur l'en- chronologiques existantes sur le déboisement et vironnement. Il a fallu, à cet effet, recueillir de nou- les aires protégées au Costa Rica. On a établi des velles données et procéder à des analyses appro- comparaisons, sur plusieurs années, entre les aires fondies, sous la direction du Bureau de l'évaluation. protégées et les aires non protégées afin de déter- L'un des éléments essentiels de cette méthode miner les différences de niveaux de déboisement consiste à analyser les objectifs et les risques éco- qui se sont produits entre les une et les autres. Au logiques, ce qui permet de mesurer directement les sein des aires protégées, on a en outre comparé les impacts du projet, en suivant l'évolution des effets projets financés par le FEM et ceux financés par positifs escomptés sur l'environnement mondial d'autres sources. et l'évolution du niveau de risque pesant sur ces effets positifs. Cette méthode a été appliquée dans Le Bureau de l'évaluation a envisagé une troisième des études de cas sur trois projets d'aires protégées méthode. Il a procédé à cet effet à des échanges en Afrique de l'Est pour déterminer dans quelle de vues avec le Programme des Nations Unies mesure le niveau de risque pesant sur les éléments pour l'environnement (PNUE) afin de déterminer de biodiversité visés a été réduit et l'impact dura- dans quelle mesure les données au niveau le plus ble qui en a résulté pour l'environnement. général dont ils disposent, fondées sur les images F-1 satellites et d'autres sources, peuvent être prises Conclusion 2 : Deux des trois projets sur les aires en compte dans l'évaluation de l'impact des pro- protégées ont permis de réduire durablement jets. Il a été conclu que les données disponibles sur les niveaux de risque pesant sur la réalisation les aires des trois projets à l'étude en Afrique de des deux grands objectifs de préservation de la biodiversité. l'Est ne pouvaient pas servir à l'analyse, en partie en raison de leur qualité et en partie parce que la La stabilisation des populations de gorilles et de possibilité de collaboration a été envisagée trop rhinocéros respectivement à Bwindi et à Lewa tard pour donner lieu à un résultat efficace. Il a est une réussite d'autant plus méritoire que dans toutefois été convenu que l'on pourrait utiliser les régions voisines ces espèces sont depuis long- plus efficacement les ressources et les compéten- temps en forte régression et que le braconnage ces du PNUE dans le cadre de l'un ou de plusieurs qui s'y pratique n'est un secret pour personne. Au cycles futurs d'évaluation des programmes par nombre des principaux éléments de cette réussite pays. Par ailleurs, en collaboration avec le PNUE figurent la protection des animaux et de leurs habi- et Groupe consultatif pour la science et la tech- tats ; l'amélioration des relations entre les popu- nologie, on étudiera les moyens de recourir aux lations locales et les parcs ; le renforcement des images satellites et aux systèmes d'informations moyens de recherche en matière de préservation géographiques pour établir des corrélations entre de la biodiversité (ce qui a permis de suivre cer- les interventions du FEM et l'évolution de l'état tains aspects essentiels) et le financement durable environnemental de la planète. (pour Lewa en particulier). Ainsi, dans deux des trois projets les conditions étaient réunies pour 1.2 Principales conclusions atteindre les objectifs visés. Conclusion 1 : Il y a eu une amélioration mesura- ble et constatée de la situation des deux princi- Conclusion 3 : Le troisième projet sur les aires pales espèces menacées de Bwindi (le gorille des protégées n'a pas été en mesure de continuer à montagnes) et de Lewa (le rhinocéros noir). appliquer efficacement ses dispositifs de réduc- tion des risques après la fin de l'aide du FEM. Le projet de Bwindi-Mgahinga a permis de stabili- ser et de favoriser par la suite l'accroissement d'une À la clôture, le projet avait obtenu les résultats population globalement importante de gorilles visés en matière de gestion améliorée de la forêt, des montagnes. Le projet de Lewa Conservancy en grande partie grâce à la participation des popu- a eu des répercussions sensibles sur la population lations locales et à un cadre institutionnel amé- de rhinocéros noirs en Afrique de l'Est ; il a mis lioré pour la protection de la forêt. Toutefois, fin à une régression spectaculaire de cette popula- l'évaluation de l'impact a établi que le projet s'est tion et a favorisé son expansion dans cette région, achevé avant que ces mécanismes ne soient via- à tel point qu'il a pu réinstaller certains des rhi- bles et que, si l'état de la forêt qu'il était prévu de nocéros dans d'autres sites. Si le projet de Lewa protéger s'est amélioré, aucun mécanisme efficace Conservancy a sensiblement protégé l'habitat du de suivi et d'évaluation n'a été mis en place pour zèbre de Grevy, il n'en a pas résulté l'accroissement pérenniser les résultats. Du reste, en l'absence d'un escompté de la population, parce que la popula- tel mécanisme, il était impossible de mesurer cor- tion des lions a aussi profité de l'amélioration de rectement les résultats au niveau des populations l'habitat et a infligé aux zèbres des pertes plus locales ou dans le domaine de la préservation de lourdes. la biodiversité. F-2 Rapport annuel du FEM de 2007 sur l'impact des projets Conclusion 4 : Les résultats escomptés ont été financière de ses activités et effets positifs et, lors- obtenus dans deux des trois projets d'aires pro- que le financement du projet a pris fin, ces activi- tégées en raison de l'existence, dès le départ, tés et effets positifs ont rapidement régressé. d'un plan visant expressément à garantir la continuité institutionnelle. Conclusion 5 : Grâce à leur effet catalyseur, les La méthode adoptée pour évaluer les trois pro- projets de Bwindi et de Lewa ont également eu jets d'aires protégées dans une sous-région limi- d'autres retombées positives importantes. tée devait permettre dans une certaine mesure Dans le cadre du projet de Fonds fiduciaire pour de comparer les résultats. Des différences sont la préservation de la biodiversité de Bwindi- apparues entre les projets, dénotant d'importants Mgahinga, les apports du FEM ont permis de réa- problèmes de fond. Le degré de pérennisation des liser un projet de plus grande envergure, faisant résultats était fonction de la solidité des institu- intervenir le gouvernement ougandais, des dona- tions chargées du processus. Lewa Conservancy teurs internationaux et nationaux et plusieurs est une organisation privée qui compte sur les organisations non gouvernementales (ONG). revenus qu'elle génère pour financer ses activités. Lewa Wildlife Conservancy a disséminé avec Elle tient donc à assurer la continuité et l'expan- beaucoup de succès les notions et les pratiques de sion géographique des résultats obtenus au moyen préservation de la biodiversité aux terres commu- de l'aide extérieure. Tout en gérant sa propre zone nautaires avoisinantes, a permis et appuyé la créa- protégée, Lewa Conservancy s'emploie constam- tion de plusieurs zones communautaires proté- ment à oeuvrer avec les populations locales, ce gées et de pavillons de chasse. Cet effort a abouti à qui peut contribuer à protéger l'habitat et les ani- l'établissement d'un nouveau fonds fiduciaire pour maux à plus grande échelle. Par ailleurs, elle a une protéger une vaste zone de parcours au nord de approche très professionnelle de la mobilisation Lewa. L'intervention du FEM a certes été modeste, des fonds, qui bénéficie du niveau élevé de crédi- mais elle a été bien planifiée dans le temps et bien bilité que lui accorde un large éventail de dona- conçue et a contribué sensiblement à la réussite de teurs extérieurs, suite à l'intervention du FEM. Le Lewa Conservancy et, plus particulièrement, à la Fonds fiduciaire pour la préservation de la biodi- transposition de sa démarche à un large éventail versité de Bwindi-Mgahinga a été institué en tant de zones communautaires voisines. que mécanisme chargé de garantir la continuité du financement des activités nécessaires pour assurer Conclusion 6 : Le projet de Bwindi n'a pas encore la participation des populations locales à la protec- trouvé une solution satisfaisante au problème tion des forêts et des populations d'animaux qui y posé par certaines répercussions négatives vivent ; ainsi que d'effectuer la recherche, qui revêt des aires protégées sur le peuple autochtone une grande importance pour le suivi des résultats Batwa. et de l'impact de l'intervention. Les activités du La réorientation des moyens de subsistance et Fonds fiduciaire ont été inégaux. L'aide au peuple du style de vie du peuple autochtone Batwa est autochtone Batwa n'a réussi qu'en partie et les res- un élément des activités du Fonds fiduciaire de sources financières ont été inférieures aux niveaux Bwindi-Mgahinga qui a été spécialement financé escomptés en raison des changements intervenus par le FEM. Les études sur le terrain ont établi que sur les marchés financiers internationaux. Le pro- l'objectif n'a été que partiellement atteint. La four- jet des sites transnationaux n'avait pas de stratégie niture de terres a profité à certains Batwa, mais précise pour assurer la viabilité institutionnelle et étant donné qu'on ne leur a pas donné les droits 1. Principales constatations et recommandations F-3 d'accès et d'utilisation contrôlée sur les produits prévention du déboisement résultant de projets forestiers, qu'ils utilisaient traditionnellement, ces financés par le FEM a été de 2 % à 7 % plus efficace droits sont à présent obtenus de manière illégale. que celle attribuable à d'autres projets similaires Les efforts déployés par le projet pour promou- financés par d'autres sources. voir les possibilités de génération de revenus n'ont Le cas du Costa Rica montre que l'analyse opportu- pas été accompagnés par la formation en gestion niste des séries de données existantes peut donner financière et ont, dans certains cas, abouti à des lieu à une évaluation générale de la contribution conséquences sociales négatives. du FEM à des tendances précises de l'évolution de l'état de l'environnement au niveau national. Conclusion 7 : La politique d'aires protégées du Toutefois, pour obtenir des résultats plus précis, Costa Rica a eu un impact mesurable, évitant le il faudrait intégrer les besoins en données d'éva- déboisement même si la politique n'a eu aucune luation dans la conception, l'exécution et le suivi priorité. La prévention du déboisement résul- des projets. Une telle démarche serait laborieuse tant de projets financés par le FEM dans les aires et coûteuse, et nécessite une gestion cohérente à protégées du Costa Rica a été plus efficace que celle attribuable à d'autres projets similaires long terme. Bien que l'on s'intéresse de plus en plus financés par d'autres sources. au suivi et à l'évaluation et à l'utilisation d'indica- teurs, il est peu probable que l'on dispose bientôt La seconde méthode d'évaluation de l'impact a de séries de données suffisamment complètes et été l'analyse statistique de données de séries chro- ciblées pour permettre une analyse contrefac- nologiques existantes sur le déboisement et les tuelle systématique. aires protégées du Costa Rica. Des comparaisons ont été établies entre aires protégées et aires non Conclusion 8 : Le mode d'évaluation de l'impact protégées sur plusieurs années pour déterminer le plus économique et le plus réaliste à utiliser les différences de l'ampleur du déboisement qui par le Bureau de l'évaluation du FEM consiste s'était produit entre elles. Dans les aires protégées, à combiner une analyse quasi-expérimentale opportuniste, utilisant les données disponibles d'autres comparaisons ont également été établies et des études de cas ciblées, faisant appel à une entre les projets financés par le FEM et ceux qui approche fondée sur la théorie. étaient financés par d'autres sources. Ce rapport conclut que le mode d'évaluation de Ce mode d'évaluation a conclu que, quand bien l'impact le plus économique et le plus réaliste de même la politique des aires protégées du Costa plus vaste portée consiste à combiner une analyse Rica (appuyée par le FEM) ne visait pas avant tout contrefactuelle opportuniste, utilisant les données à éviter le déboisement dans un délai déterminé, disponibles et des études de cas ciblées, faisant elle a permis d'éviter le déboisement sur quelque appel à une approche fondée sur la théorie. Ceci 110 000 hectares entre 1960 et 1997. Cette quan- permettra de contrebalancer les points forts d'une tité de déboisement évité est confirmée par l'ana- méthode et les points faibles de l'autre. C'est ainsi lyse contrefactuelle détaillée. Deux aires proté- que l'on pourrait compléter la compréhension gées du FEM, qui ont reçu des financements entre détaillée des impacts et des moyens de les attein- 1993 et 1998, ont permis d'éviter le déboisement dre que permettent les études de cas par l'analyse sur quelque 19 000 hectares jusqu'en 1997 et sur contrefactuelle afin de pouvoir replacer les réalisa- 25 000 autres hectares entre 1997 et 2005, sans tions des différents projets dans le contexte natio- pour autant viser explicitement cet objectif. La nal ou sectoriel. F-4 Rapport annuel du FEM de 2007 sur l'impact des projets Toutes ces deux méthodes telles qu'elles ont été mesurer les progrès accomplis dans la réalisation, appliquées ont été économiques. Les trois évalua- au niveau du portefeuille, des résultats convenus tions au niveau du projet ont nécessité un travail au titre de chaque période de reconstitution. Pour très intensif, mais ont néanmoins été exécutées la priorité stratégique 1 (promotion de la viabilité pour un montant (en coûts externes) inférieur à long terme des aires protégées à l'échelle natio- à 30 000 dollars chacune, y compris les dépenses nale), ce rapport relève que l'on pourrait améliorer d'atelier. La méthodologie mise au point peut être l'outil de suivi en incluant l'examen de la conti- appliquée à grande échelle au niveau du projet, mais nuité institutionnelle, dans la mesure où il a été devra être modifiée pour servir à évaluer des inter- établi que cet élément revêt un intérêt crucial pour ventions davantage axées sur des programmes. les impacts à long terme. Toutefois, il serait aussi possible de mettre au point d'autres moyens per- mettant de définir et de suivre les progrès accom- 1.3 Recommandation plis en matière de continuité institutionnelle et le Bureau de l'évaluation invite le Secrétariat du Recommandation 1 : Les projets d'aires proté- gées doivent s'accompagner d'un plan visant FEM à déterminer avec ses partenaires la solution expressément à garantir la continuité institu- la plus efficace. tionnelle des mécanismes mis en place, qui doit être intégré aux outils de suivi des résultats dans 1.4 Le suivi dans le cadre des le domaine de la diversité biologique, sinon il activités du Bureau de l'évaluation faudrait mettre au point un autre mécanisme, sous la direction du Secrétariat du FEM. Compte tenu de cette première série d'évalua- tions de l'impact, le Bureau de l'évaluation conclut Il a été établi que l'absence d'un plan précis garan- qu'une approche mixte, comportant l'analyse sta- tissant la continuité institutionnelle des acquis tistique au niveau le plus général et l'analyse des écologiques de portée mondiale découlant des images satellites, lorsque ces méthodes sont dis- projets se traduit par la réduction de ces acquis au ponibles, ainsi que des études de cas de projets, fil du temps. Par contre, les projets qui ont conçu offre les meilleures perspectives d'une compré- et appliqué des plans de viabilité institutionnelle, hension globale de l'impact des activités finan- y compris le financement des activités essentiel- cées par le FEM. Il adoptera donc cette approche les, ont eu des effets durables qui ont même été dans ses futures évaluations de l'impact, que ces amplifiés grâce à la transposition ou l'expansion évaluations soient menées de manière autonome géographique des projets. ou qu'elles soient intégrées dans d'autres activités Le domaine d'intervention « diversité biologique » comme les évaluations de portefeuilles-pays ou du FEM a adopté des outils de suivi qui visent à les évaluations thématiques. 1. Principales constatations et recommandations F-5 2. Approche d'évaluation de l'impact Le document GEF/ME/C.25/3 du Conseil du FEM Les évaluations de l'impact se heurtent à un du 6 mai 2005 intitulé, « Programme de travail qua- ensemble de difficultés d'ordre théorique et pra- driennal et budget du Bureau du suivi et de l'éva- tique. Celles-ci tiennent à la nécessité d'être en luation ­ Ex 06-09 et résultats de l'ex 05 », indique mesure d'établir que les changements, que l'on que le Conseil a demandé, à plusieurs occasions, remarque s'être produits, peuvent être imputés en que le Bureau du suivi et de l'évaluation du FEM partie ou en totalité à l'intervention considérée. effectue des examens de portefeuilles-pays et des Diverses méthodes d'évaluation ont été appliquées évaluations de l'impact, et plus particulièrement pour régler ce problème. Pendant de nombreuses des évaluations après la fin de l'exécution des pro- années, les évaluateurs ont retenu la notion de jets. Ces modalités d'évaluation représentent des « situation contrefactuelle » en tant que base de éléments essentiels des activités d'un bureau indé- référence pour l'évaluation des résultats du projet. pendant, telles qu'elles sont décrites dans ses ter- D'autres méthodes, mettant en doute l'utilité d'une mes de référence (par. 20, p5). référence déterminée de manière théorique, sont apparues et considèrent une évaluation théorique Le Comité d'aide au développement de l'Organi- et empirique de la chaîne des causes et des effets sation de Coopération et de Développement Eco- comme étant le moyen le plus exact d'imputer le nomiques définit les impacts en tant que « effets à changement. long terme, positifs et négatifs, primaires et secon- daires, induits par une action de développement, Dans son document préliminaire à l'Évaluation des Impacts, le Bureau de l'évaluation du FEM a exa- directement ou non, intentionnellement ou non » miné les différentes solutions disponibles compte (OCDE Comité d'aide au développement 2002). tenu des caractéristiques de la mission et des acti- L'évaluation de l'impact vise donc à apprécier les vités du FEM. Il a conclu que l'approche méthodo- résultats à long terme des interventions du FEM, logique la plus viable est celle qui se fonde sur la quelques années après la fin de l'aide et à déter- théorie, mais qu'il utilisera aussi d'autres méthodes miner la viabilité et la possibilité de transposer pour avoir un éclairage complet sur la meilleure les résultats obtenus ainsi qu'à tirer des enseigne- façon d'évaluer les effets à long terme des inter- ments. Les évaluations viseront également à repla- ventions du FEM. cer les impacts au niveau du projet dans le cadre plus général de l'objectif global de financement par En conséquence, deux méthodes parallèles ont été le FEM des coûts additionnels de la préservation élaborées et expérimentées. L'essentiel des travaux de l'environnement mondial. a consisté à effectuer sur les projets d'aires proté- F-6 gées un ensemble d'études liées entre elles, com- général, provenant des images satellites et d'autres prenant la collecte de nouvelles données et une sources. Il a été conclu que les données disponibles analyse de fond, gérées par le Bureau de l'évalua- sur les aires des trois projets à l'étude en Afrique tion. Ces travaux sont présentés dans la Section 3 de l'Est ne pouvaient pas être intégrées de manière ci-dessous. Une seconde étude a été réalisée par satisfaisante dans les résultats, en partie en raison l'Université de Géorgie, qui a utilisé des données de la qualité des données et en partie parce que existantes réanalysées sur le Costa Rica pour exa- la possibilité de collaboration a été envisagée trop miner la contribution du FEM aux actions de pré- tard pour pouvoir aboutir à un résultat efficace. Il vention du déboisement dans ce pays. Cette étude a toutefois été convenu que l'on pourrait utiliser fait l'objet de la Section 4 ci-après. plus efficacement les ressources et les compéten- Par ailleurs, le FEM a eu des échanges de vues avec ces du PNUE dans le cadre de l'un ou de plusieurs le PNUE sur la possibilité d'évaluer également les prochains cycles d'évaluations des programmes impacts en utilisant les données au niveau le plus par pays. 2. Approche d'évaluation de l'impact F-7 3. Évaluation fondée sur la théorie de trois projets d'aires protégées 3.1 Approche et sélection de dans quelle mesure une intervention est efficace projets et les raisons de cette efficacité. Des consultants ont effectué une étude en vue de Une procédure de sélection a été adoptée pour tracer les grandes lignes d'une approche fondée choisir les candidats les mieux indiqués à inclure sur la théorie et de déterminer la façon d'élaborer dans la première étude sur le terrain, l'accent étant une ou plusieurs méthodes systématiques de suivi initialement mis dans sur la région Afrique. Il a été des liens entre les impacts des projets et l'état de déterminé qu'un total de 46 projets complets et l'environnement mondial. Plus précisément, cette actifs du portefeuille du FEM en Afrique avaient étude a présenté une méthode d'évaluation de un volet « zone protégée ». L'Afrique de l'Est avait l'impact visant le domaine d'intervention « diver- le plus grand nombre de ces projets (15), notam- sité biologique » du FEM qui devrait être appli- ment des projets de grande et moyenne envergure, cable -- moyennant quelques modifications -- à bénéficiant d'importants concours financiers du d'autres domaines d'intervention du FEM. Ces FEM et d'autres sources (54 millions de dollars et travaux comportaient trois volets principaux : 198 millions de dollars au total). Trois projets ont été retenus pour faire l'objet d'évaluation : z Proposition d'un mode d'évaluation fondé sur la « théorie du changement » ; z Conservation du parc national de la forêt dense z Analyse des décisions stratégiques ayant une de Bwindi et du parc national de gorilles de incidence sur les priorités du programme et les Mgahinga, Ouganda (GEF ID 54, Banque mon- activités de suivi et d'évaluation du FEM ; et diale) z Analyse visant à déterminer la façon dont un z Lewa Wildlife Conservancy, Kenya (GEF ID 18, mode d'évaluation à l'échelle de l'ensemble du Banque mondiale) FEM pourrait être relié à des indicateurs régio- z Lutte contre l'appauvrissement de la biodi- naux et mondiaux. versité sur des sites transnationaux d'Afrique Après une analyse de 20 projets, l'étude a conclu de l'Est, projet régional (Kenya, Tanzanie, qu'une évaluation de l'impact fondée sur la théorie Ouganda), (GEF ID 541, PNUD). du changement pourrait donner lieu à des résul- tats crédibles concernant les effets à long terme 3.2 Implementation des projets d'aires protégées financés par le FEM. Lors d'un premier atelier tenu à Nairobi avec les Cette approche sert de guide pour déterminer consultants sélectionnés pour exécuter les études F-8 de cas, il a été décidé qu'avant de commencer il fau- Une méthode pratique et réaliste d'évaluation de drait répondre à deux questions fondamentales : l'impact a été mise au point. Cette méthode repose sur le principe de l'utilisation des données existan- 1. Comment peuvent se déterminer les effets tes sur un projet , complétées par les interviews positifs sur l'environnement mondial, autre- des parties prenantes et des travaux limités sur le ment dit, à quel moment un effet positif sur terrain. Ce mécanisme d'évaluation de l'impact l'environnement devient-il d'une importance utilise, pour mesurer l'impact, trois analyses dis- mondiale ? tinctes qui apportent ensemble un éclairage plus 2. De quelles méthodes dispose-t-on pour déter- complet des impacts tout en offrant un moyen miner si ces effets positifs ont été réalisés et utile de valider les conclusions. Les trois métho- ont des chances d'être maintenus ? des sont les suivantes : z Analyse du cadre logique du projet, consis- Ces questions ont été traitées dans un document tant à examiner la réalisation des produits et préparé par le Bureau de l'évaluation du FEM et des résultats du projet tels que définis par son qui a constitué la base de la première phase des cadre logique. travaux sur le terrain. À cet effet, il a établi les contacts essentiels, rassemblé les données exis- z Analyse des résultats-impacts fondée sur la tantes et effectué les visites préliminaires sur le théorie du changement, consistant à exami- terrain. Un atelier organisé à Bwindi en Ouganda, ner le processus de conversion des résultats du l'un des sites de projet, a réuni un large éventail projet en impact final sur l'environnement, ce d'acteurs anciens et actuels des trois projets pour qui permet de mesurer indirectement l'impact examiner la théorie du changement qui a inspiré du projet. la conception des projets en vue d'atteindre leurs z Analyse des objectifs et des risques écologi- objectifs. Les résultats de cet atelier ont permis de ques, qui consiste à mesurer directement les préparer un document de cadrage détaillé définis- impacts du projet en évaluant l'évolution des sant la stratégie à suivre pour la collecte de nou- effets positifs escomptés sur l'environnement velles données et la base d'analyse pour établir mondial et l'évolution du niveau de risque une corrélation entre les résultats des projets et la pesant sur ces effets positifs. réalisation des effets positifs sur l'environnement mondial. Les effets d'analyse des trois projets (en utilisant les théories de changement) sont prévus à l'annexe Lors d'un troisième atelier, tenu au Kenya, les par- A; leurs effets sont présentés dans l'annexe B.. ties prenantes des projets et des évaluations ont examiné les conclusions préliminaires de l'analyse 3.3 Constatations : Les projets de des données existantes, ainsi que les conclusions conservation du parc national de d'autres études menées sur le terrain. Suite à cet la forêt dense de Bwindi et du parc atelier, la méthode d'analyse finale des trois projets a été préparée et certaines lacunes d'informations national de Mgahinga ont été identifiées, ce qui a nécessité d'autres visi- Le parc national de la forêt dense de Bwindi et le tes du projet de sites transnationaux. Les évalua- parc national des gorilles de Mgahinga sont situés tions de l'impact des trois projets ont ensuite été au Sud-Ouest de l'Ouganda, et couvrent respecti- effectuées. vement 321 km2 et 33,7 km2. Ils représentent des 3. Évaluation fondée sur la théorie de trois projets d'aires protégées F-9 écosystèmes montagneux et alpins d'Afrique qui rait le mécanisme le plus indiqué pour réaliser la sont parmi les forêts tropicales les plus diversifiées préservation à long terme des ressources naturel- au plan biologique Afrique de l'Est. Le parc natio- les et le développement durable des deux parcs et nal de Bwindi est la plus vaste étendue restante de des populations riveraines. forêt naturelle en Ouganda et représente l'unique Le Fonds fiduciaire de Bwindi a été juridiquement site d'Afrique de l'Est comprenant une zone écolo- constitué en septembre 1995 par un acte fiduciaire gique ininterrompue de forêt de basses terres, de aux termes de la loi ougandaise sur les fiducies et transition et d'altitude. Le parc national des gorilles de Mgahinga fait partie du réseau plus vaste de le FEM a fourni le montant initial de 4,3 millions parcs nationaux de la chaîne volcanique des Virun- de dollars à titre de contribution au capital de ce gas, qui s'étend au Rwanda et en République démo- fonds. Ces ressources ont été investies à l'étranger cratique du Congo. C'est dans la chaîne volcanique et le revenu annuel qui devait en découler, net des des Virungas et Bwindi que l'on trouve l'ensemble de dépenses d'administration, devait servir à financer la population mondiale de quelque 600 gorilles des les activités de préservation de la biodiversité et de montagnes (Gorilla gorilla beringei), dont la moitié développement dans la zone visée. Les activités à environ vit dans le parc national de la forêt dense de financer sur les revenus du Fonds fiduciaire relè- Bwindi, qui a été classé site du patrimoine mondial vent de trois pôles. par l'UNESCO en 1994. Ces parcs sont situés dans z Le premier pôle, auquel étaient affectés 60 % du l'une des régions les plus peuplées d'Afrique, et les revenu annuel du Fonds fiduciaire, consistait forêts représentent pour les populations riveraines à appuyer les activités de développement de des sites essentiels de captage de l'eau et une source proximité, telles que différentes activités géné- importante de produits forestiers. ratrices de revenu et les projets d'infrastructure Le Projet de conservation du parc national de sociale au profit des populations locales vivant la forêt dense de Bwindi et du parc national de à la périphérie des parcs, qui soient compati- gorilles de Mgahinga était un projet de grande bles avec la préservation de la biodiversité. envergure de cinq ans du FEM/Banque mon- z Le deuxième pôle, bénéficiant de 20 % du revenu diale lancé en 1995. Le projet visait globalement du Fonds fiduciaire, consistait à appuyer les à mettre en place le Fonds fiduciaire pour la pré- activités de recherche et de suivi écologiques servation de la biodiversité de Bwindi-Mgahinga et socioéconomiques, visant essentiellement à (le Fonds fiduciaire de Bwindi)1 en tant que méca- améliorer la gestion des parcs et les interactions nisme de financement à long terme dont l'objectif entre les parcs et les populations locales. était de préserver la biodiversité du parc national z Le dernier pôle, représentant les 20 % restants des gorilles de Mgahinga. Le projet reposait sur du revenu avait pour objectif d'appuyer les l'idée que la mise en place du Fonds fiduciaire de activités de gestion des parcs, en particulier Bwindi avec une dotation permanente constitue- en finançant les coûts additionnels de la mise en oeuvre des plans d'aménagement des parcs Le Fonds fiduciaire pour la préservation de la 1 nationaux de Bwindi et de Mgahinga. biodiversité de Bwindi Mgahinga était initialement dénommé Fonds fiduciaire pour la préservation de la Pour permettre l'augmentation du fonds de dota- biodiversité de la forêt dense de Mgahinga Bwindi. Il sera dénommé Fonds fiduciaire de Bwindi dans la pré- tion, d'autres donateurs ont contribué dans un sente étude de cas. premier temps à financer ses dépenses de fonc- F-10 Rapport annuel du FEM de 2007 sur l'impact des projets tionnement et de programme. Il était prévu que ses lacunes n'ont pas été identifiées par la suite le Fonds fiduciaire engendrerait suffisamment avant l'examen à mi-parcours. Dans l'ensemble, d'intérêts, après la période initiale, pour financer l'analyse du cadre logique montre clairement que les activités de préservation et d'aménagement le projet est parvenu à mettre en place le Fonds du programme de mise en oeuvre de Bwindi sans fiduciaire de Bwindi et son programme d'activité, autres concours extérieurs. mais ne fournit guère d'informations concernant les impacts sur la préservation de la biodiversité. Analyse du cadre logique Le Tableau 3.1 ci-dessous récapitule l'évaluation Étant donné que la fiche du projet initial du FEM des quatre résultats visés par le projet. n'a pas défini un cadre logique, il a fallu élaborer un « cadre logique rétrospectif » fondé sur les objec- Tableau 3.1 tifs généraux du projet identifiés dans la fiche de Résumé de la réalisation des résultats du projet de projet, et sur les résultats que le projet a effective- Bwindi ment obtenus dans la pratique. L'équipe de l'étude Résultats obtenus par le projet Évaluation s'est inspiré de la documentation existante pour Mise en place du Fonds fiduciaire de Bwindi 4 élaborer ce cadre logique rétrospectif. pour financer et appuyer durablement la préservation de la biodiversité Après la collecte et la synthèse des informations Renforcement de la capacité des autorités 3 des aires protégées à gérer les parcs natio- nécessaires à l'évaluation de l'impact, on a procédé naux de Bwindi et de Mgahinga à l'évaluation de la conversion par le projet des Renforcement de la sensibilisation, de la 4 résultats en impacts sur l'environnement. Chaque volonté et de la capacité des populations « état intermédiaire », « facteur déterminant de locales à gérer le parc et les ressources natu- relles de façon durable l'impact » et « hypothèse extérieure » ont été notés Amélioration des moyens de subsistance du 3 en fonction de leur niveau de réalisation. peuple autochtone Batwa Note: 0 = pas de données disponibles; 1 = non réalisé; 2 = réalisation L'évaluation finale du projet a déterminé que ses laissant à désirer; 3 = partiellement réalisé; 4 = bien réalisé; 5 = plei- résultats ont été modérément satisfaisants à très nement réalisé. satisfaisants. Le projet manquait cependant d'un cadre logique précis, hiérarchisant les activités, À la fin de la période du projet, le Fonds fiduciaire les produits et les réalisations. Du fait d'un certain de Bwindi avait acheté des terres pour certains nombre d'activités, des produits et des réalisa- membres du peuple autochtone Batwa, répondant tions ont été omis et n'ont été ajoutés que par la ainsi directement à leur aspiration à la propriété suite pendant l'exécution du projet. En outre, une foncière, et avait contribué à améliorer les niveaux trop grande importance a été accordée au suivi d'instruction, de manière à permettre aux Batwa et à l'évaluation des moyens (c'est-à-dire la mise de mener eux-mêmes leurs propres activités de en place du fonds fiduciaire) plutôt qu'aux fins à développement. Cette démarche était certes un atteindre (c'est-à-dire la préservation de la biodi- moyen pragmatique d'améliorer les moyens de versité par le biais d'un programme de recherche subsistance, mais l'équipe de l'étude a estimé que bien établi et des activités menées par les popula- l'on a manqué l'occasion de contribuer davantage tions locales). En d'autres termes, le projet n'a pas à la préservation à long terme des forêts de Bwindi toujours réagi à l'évolution de la situation en adap- et de Mgahinga. En effet, il aurait fallu donner aux tant ses méthodes et ses stratégies et de nombreu- Batwa les droits d'accès et d'utilisation contrôlée 3. Évaluation fondée sur la théorie de trois projets d'aires protégées F-11 sur les produits forestiers qu'ils utilisaient tradi- tendues résident peut-être dans le fait qu'en dépit tionnellement. De ce point de vue, on estime donc des pressions intenses exercées par les zones agri- que cet objectif n'a été que partiellement réalisé. coles à forte densité de population entourant le parc, le couvert forestier à Bwindi n'a pas subi de Analyse des résultats et des impacts pertes depuis la fin des années 80, et la popula- fondée sur la théorie du changement tion des gorilles des montagnes augmente. Avant L'analyse des résultats et des impacts fondée sur le classement, le parc se dégradait rapidement par la théorie du changement souligne qu'il importe suite des activités de sciage en long de grumes et de mettre en place des mécanismes institutionnels d'exploitation non contrôlée d'autres ressources. durables, qui permettent d'évaluer les facteurs Le classement de Bwindi en parc national a ren- déterminants des impacts au-delà du projet. Ces contré une forte résistance des populations loca- mécanismes sont particulièrement importants les, et les conflits et attitudes négatives qui en ont dans le cadre des initiatives de développement résulté ont constitué une menace de taille pour le communautaire intégré, qui mettent de nom- parc et un défi pour ses gestionnaires. Les conflits breuses années avant d'avoir des effets bénéfiques se sont cependant atténués considérablement tangibles sur les moyens de subsistance, et plus par la suite et le soutien des populations locales longtemps encore pour avoir un impact sur l'envi- aux mesures de préservation de la biodiversité ronnement mondial. de Bwindi s'est amélioré. Cela dit, des menaces importantes continuent de peser sur Bwindi (voir Cette analyse a permis d'établir que les mécanis- Tableau B.2). Le braconnage et d'autres formes mes mis en place et les interventions engagées par d'exploitation illégale des ressources forestières le projet ont été poursuivis et se sont développés persistent, et rien n'indique que les initiatives de après la fin du projet. Dans l'ensemble, l'évaluation préservation de la biodiversité de ces dernières a déterminé que les résultats du projet ont par- années aient contribué notablement à réduire ces tiellement eu les effets escomptés sur l'environ- activités. En outre, la dégradation de la forêt résul- nement. Cette analyse a permis de tirer une autre tant de l'intense activité de sciage en long de gru- conclusion importante, à savoir qu'un financement mes persiste, et très peu de recrû naturel se pro- stable et suffisant représente un facteur détermi- duit dans les nombreuses zones déboisées. nant essentiel de l'impact et que le Fonds fiduciaire de Bwindi et l'Uganda Wildlife Authority peuvent avoir un impact appréciable lorsque les fonds sont 3.4 Constatations : Projet de Lewa disponibles. Enfin, l'analyse souligne que le modèle Wildlife Conservancy pilote du Fonds fiduciaire de Bwindi a été reproduit Le projet de moyenne envergure de Lewa financé par d'autres fonds environnementaux, confirmant par le FEM consistait à contribuer à la poursuite ainsi l'effet catalyseur du Fonds fiduciaire sur l'élar- du développement de Lewa Wildlife Conservancy, gissement de l'impact sur l'environnement. un organisme privé à but non lucratif consacré à la préservation des espèces sauvages sur une super- Analyse des objectifs et des risques ficie de 250 km2 dans le district de Meru au Kenya. Le dernier volet de l'analyse offre de bonnes infor- Le FEM a accordé à Lewa un don de 0,75 million mations sur l'état de conservation des acquis éco- de dollars pour la période de 2000 à la fin de 2003, logiques de portée mondiale attribuables à Bwindi et d'autres sources ont apporté une contribution (voir Tableau B.1). Les constatations les plus inat- se chiffrant à 3,193 millions de dollars. F-12 Rapport annuel du FEM de 2007 sur l'impact des projets Les objectifs du projet, tels que présentés dans la 2. Renforcement de la protection et de la gestion proposition initiale de 1998, consistaient à : des espèces sauvages menacées dans l'éco- système en général, en collaboration avec les z Permettre à Lewa de poursuivre et renforcer ses populations locales activités de préservation des espèces menacées z Permettre à Lewa de mettre en oeuvre son plan 3. Amélioration des avantages économiques de développement stratégique et financier, afin procurés aux populations locales par l'utilisa- de devenir plus viable à la longue et de renfor- tion durable des espèces sauvages et des res- cer la pérennité de ses activités de préservation sources naturelles. de la biodiversité et des avantages de celle-ci Dans l'ensemble, l'évaluation finale a établi que le z Étendre les avantages de la préservation de la projet de Lewa a obtenu des résultats satisfaisants biodiversité aux terres communautaires pré- (la note la plus élevée). Il a été établi que le pro- sentant un intérêt biologique et ralentir les jet a particulièrement bien réussi au plan du ren- modes d'exploitation des terres négatifs au plan forcement de la capacité institutionnelle de Lewa écologique (Résultat 1) et de celui de la protection et de la ges- z Faciliter le développement d'autres initiatives tion de la biodiversité (Résultat 2), deux domaines de préservation de proximité ainsi que l'appui auxquels était consacré l'essentiel de l'aide au pro- accordé par les ONG privées à ces initiatives jet (80 %). Il a en outre été conclu que les activi- au Kenya et ailleurs, en servant de modèle et tés d'amélioration des moyens de subsistance des en offrant des possibilités de formation à une populations locales constitue une solide base pour échelle limitée. la protection de la biodiversité. Les principales conclusions de cette étude de cas sont récapitulées Analyse du cadre logique ci-dessous, en fonction des trois domaines évalués La fiche du projet du FEM n'a pas défini de cadre (voir Tableau 3.2). logique ou des réalisations du projet en tant que tels. L'étude du Bureau de l'évaluation du FEM sur Tableau 3.2 les avantages locaux à Lewa (2004) a cependant Résumé de la réalisation des résultats par le projet identifié, avec la participation des cadres supé- de Lewa rieurs de Lewa, cinq réalisations et effets connexes Résultats obtenus par le projet Évaluation du projet en rapport avec les différentes stratégies Renforcement de la capacité institution- 5 d'intervention adoptées. L'étude a aussi déterminé nelle et financière à long terme de Lewa à les occasions manquées de réaliser les objectifs du contribuer à l'amélioration de l'environne- projet. Le cadre logique rétrospectif a été par la ment local et mondial par ses activités de protection de la nature suite adopté dans l'examen, par le Bureau de l'éva- Renforcement de la protection et de la ges- 4 luation du FEM, du rapport sur l'évaluation finale tion des espèces sauvages menacées dans (août 2006). Les trois réalisations clés identifiées l'écosystème en général sont les suivantes : Renforcement des initiatives de préserva- 4 tion de la biodiversité et de gestion des 1. Renforcement de la capacité institutionnelle et ressources naturelles axées sur les popula- tions locales financière à long terme de Lewa à contribuer à Note: 0 = pas de données disponibles; 1 = non réalisé; 2 = réalisation l'amélioration de l'environnement local et mon- laissant à désirer; 3 = partiellement réalisé; 4 = bien réalisé; dial par ses activités de protection de la nature 5 = pleinement réalisé. 3. Évaluation fondée sur la théorie de trois projets d'aires protégées F-13 Analyse des résultats et des impacts le Tableau B.3, l'état de préservation de la popu- fondée sur la théorie du changement lation de rhinocéros noir s'est amélioré dans la La principale conclusion de l'analyse des résultats zone de Lewa Conservancy, et son accroissement et des impacts fondée sur la théorie du change- régulier traduit des améliorations sensibles de la ment concerne la nécessité de disposer de méca- structure et des taux de croissance. Par ailleurs, nismes institutionnels viables et appropriés pour grâce à des opérations de sécurité à grande échelle contribuer à l'amélioration de l'état écologique de pour lutter contre les risques de braconnage (voir la planète. La mise en place de Northern Range- Tableau B.4) pesant sur le rhinocéros noir à Lewa, lands Trust en tant qu'organisation faîtière pour aucun individu du groupe n'a été victime de bra- faciliter et catalyser la transposition du modèle à connage à ce jour. La population de rhinocéros plus grande échelle dans l'écosystème en général noirs de Lewa représente à présent 8 % environ de a été une initiative particulièrement novatrice et la population totale des sous-espèces orientales. efficace. En outre, l'instauration d'un partenariat La population de zèbres de Grevy de Lewa est res- avec le centre Ol Pejeta Conservancy voisin a mis tée pratiquement stable (malgré les attaques des en évidence les synergies créées par la mise en lions) et représente près de 20 % de la population commun de diverses compétences et capacités, mondiale de cette espèce. ce qui a donné des possibilités d'expansion nou- L'analyse montre clairement que les populations velles et importantes à des activités qui n'ont pas de rhinocéros noirs et de zèbres de Grevy dans la été pleinement prises en compte par le projet du zone de Lewa Conservancy sont particulièrement FEM, à savoir la commercialisation des produits bien gérées et protégées, mais la réalisation la plus de l'élevage et la gestion améliorée des ressources remarquable concerne peut-être le rôle vision- naturelles et des herbages. naire, catalyseur et d'appui que Lewa joue pour la Le projet de Lewa illustre l'impact pratique que préservation de ces espèces menacées dans l'éco- peut avoir, dans le domaine de la préservation de système en général. Cet organisme a joué ce rôle la biodiversité, un investissement relativement dans la protection et la gestion de près de 40 % modeste du FEM, qui a été par la suite étendu avec de la population de rhinocéros noirs du Kenya succès à plus grande échelle. La situation de l'éco- et il montre la voie à suivre pour la recherche de système des herbages du Nord demeure cepen- moyens novateurs de protection des sanctuaires dant précaire et les institutions de proximité ne de cette espèce. En ce qui concerne la préserva- deviendront pas autonomes du jour au lendemain tion de la population de zèbres de Grevy, Lewa a aux plans institutionnel et financier. En attendant, joué un rôle sans précédent en Afrique de l'Est, il sera nécessaire de maintenir l'aide, pour éviter en mettant en place des réserves communautai- un renversement rapide de la situation. res, qui ont ajouté environ 4 000 km2 de terres au régime de protection. Ces mesures permettent à la Analyse des objectifs et des risques population de zèbres de Grevy de se reconstituer Le dernier volet de l'analyse fournit de bonnes dans son aire naturelle. La gestion et la protection informations sur l'état de préservation des deux de ce domaine de préservation de la biodiversité principaux acquis écologiques de portée mon- en expansion nécessitent des dépenses et des res- diale et sur les risques qui pèsent sur ces acquis sources considérables, et si l'on ne maintient pas et qui découlent des activités du projet de Lewa un appui financier permanent et constant, les et de leur expansion ultérieure. Comme l'indique avantages appréciables de la préservation de cet F-14 Rapport annuel du FEM de 2007 sur l'impact des projets écosystème et ses effets positifs sur l'environnement nale basé à Arusha en Tanzanie. Le projet devait mondial pourront à la longue être réduits à néant. intervenir à trois niveaux -- celui de la région, des pays et des districts et des populations locales -- 3.5 Constatations : Projet de et établir de solides liaisons entre ces niveaux. Les actions de préservation de la biodiversité sur le lutte contre l'appauvrissement terrain ont été menées sur quatre sites transnatio- de la biodiversité sur des sites naux appariés, choisis en raison de leur niveau de transnationaux d'Afrique de l'Est diversité biologique. Le projet PNUD/FEM, « Lutte contre l'appau- z Forêt de Minziro (Tanzanie) et forêt de vrissement de la biodiversité sur des sites trans- Sango Bay (Ouganda). Sa vaste forêt maréca- nationaux d'Afrique de l'Est », était une opération geuse représente, avec les espèces forestières régionale de grande envergure financée par les ouest-africaines et le podocarpus endémique deux institutions et exécutée entre 1998 et 2003. des zones marécageuses (Afrocarpus dawei), Le projet visait globalement à « freiner l'appau- une communauté écologique unique que l'on vrissement de la biodiversité des forêts et des ne retrouve nulle part ailleurs. zones humides sur des sites transnationaux pré- cis et présentant un intérêt national et mondial en z Karamoja (Ouganda) et de Loima Hills Afrique de l'Est ». Le projet a atteint cet objectif (Kenya). La forêt montagneuse représentant en mettant en place un cadre porteur (politiques, un refuge/îlot écologique pour les communau- législation, sensibilisation), qui permette aux tés écologiques menacées entourée par des ter- organismes sectoriels et de développement ainsi res de pâturage arides et semi-arides. qu'aux populations locales de promouvoir l'uti- z Kajiado (Kenya) et Monduli (Tanzanie). La lisation durable de la biodiversité, et en réalisant forêt montagneuse offre également un refuge l'équilibre entre les demandes de ressources fores- écologique entouré de terres arides et semi-ari- tières et l'offre soutenable dans des zones forestiè- des. res et humides clés. z Les forêts de l'Arc oriental : Montagnes de Le FEM a contribué 12,9 millions de dollars au Pare (Tanzanie) -- Collines de Taita (Kenya). projet et d'autres sources ont fourni un montant Les forêts représentent l'une des 25 zones sensi- supplémentaire de 5,5 millions de dollars. Le pro- bles pour la diversité végétale avec des niveaux jet a été élaboré en réponse à la demande d'un d'endémisme exceptionnels. projet régional sur la biodiversité formulée par les gouvernements d'Afrique de l'Est et les recom- Trois types distincts d'épuisement de la biodiver- mandations d'une évaluation externe du premier sité ont été identifiés sur ces sites : projet régional du FEM sur la biodiversité, intitulé z Perte totale d'habitat forestier imputable à la Renforcement des institutions pour la protection conversion légale de forêt non classée en terre de la biodiversité en Afrique de l'Est, qui a été exé- agricole ou à l'empiétement illégal sur la forêt cuté de 1992 à 1996. classée et conversion à des fins agricoles ou de Le projet comportait des volets dans chacun des colonisation. De nombreux sites forestiers du trois pays participants (Kenya, Ouganda, Tanza- projet étaient le théâtre de ces deux processus nie), ainsi qu'un volet sur la coordination régio- au début de l'exécution. 3. Évaluation fondée sur la théorie de trois projets d'aires protégées F-15 z Réduction du couvert forestier imputable aux de réalisation à la fin de l'intervention du FEM, feux de forêt ou à l'abattage d'arbres à grande uniquement en ce qui concerne le site transna- échelle, entrainant le déboisement de vastes tional des forêts de Sango Bay-Minziro (voir zones où le recrû naturel est peu probable. Tableau 3.3). z Réduction d'éléments précis de la biodiver- sité imputable à certaines activités de surex- Tableau 3.3 ploitation ; ou à l'évolution progressive de l'ha- Résumé de la réalisation des résultats du projet bitat dans la forêt, en raison de facteurs tels que Résultats obtenus par le projet Évaluation l'ouverture accrue. Cette réduction est préoc- Mise en place d'un environnement porteur 4 cupante lorsque ces éléments sont des espèces qui favorise l'utilisation durable de la diver- sité biologique clés, endémiques ou rares. Équilibre réalisé entre les demandes de 3 Pour faire face à la diminution de la biodiversité, ressources et l'offre dans les sites clés Note: 0 = pas de données disponibles; 1 = non réalisé; 2 = réalisation le projet devait intervenir à deux niveaux : tout laissant à désirer; 3 = partiellement réalisé; 4 = bien réalisé; 5 = plei- d'abord, en vue de limiter la diminution immé- nement réalisé. diate de la biodiversité forestière par des mesures visant à mettre fin à l'empiètement et à réduire Le rapport d'évaluation finale du projet et l'exa- l'abattage d'arbres et l'exploitation d'espèces clés ; men de ce rapport par le Bureau de l'évaluation et ensuite pour prévenir cette diminution à l'avenir du FEM ont jugé satisfaisante l'obtention des en mettant en place des mesures précises, après la résultats du projet. Les principales réalisations fin du projet, autrement dit s'attaquer aux causes concernant la mise en place d'un environnement profondes. porteur (Résultat 1) étaient l'adoption de nouvel- En raison de la vaste portée de ce projet, il n'était les politiques forestières nationales participati- pas réaliste pour cette étude de cas d'évaluer tous ves avec la contribution du projet, et la mise en les différents aspects à tous les sites transnatio- place et le renforcement des mécanismes de par- naux. L'étude s'est plutôt concentrée sur la réserve ticipation des populations locales pour permettre de la forêt centrale de Sango Bay/Central Forest une gestion conjointe des forêts par les organis- Reserve (Ouganda) et la réserve forestière de Min- mes publics et les autorités forestières. En ce qui ziro (Tanzanie) ainsi que sur les activités liées au concerne l'instauration d'un équilibre entre les projet. Les membres de l'ancienne équipe de projet demandes de ressources et les ressources dispo- ont considéré que ce site était celui qui obtenait les nibles, les principales réalisations (Résultat 2) meilleurs résultats et offrirait donc les meilleures étaient l'élaboration des plans de gestion parti- possibilités d'expérimenter les techniques d'éva- cipative de la forêt bénéficiant d'un solide appui luation de l'impact appliquées par l'étude de cas. des populations locales, l'adoption d'autres modes d'utilisation des ressources et de différentes pra- Analyse du cadre logique du projet tiques de formation de revenu et la confirmation Le cadre logique du projet découlait des modifi- par des observations ponctuelles de la régénéra- cations apportées au cours de ses deux premières tion améliorée des zones forestières. Toutefois, années et a servi de fondement à la mise en oeuvre si le projet semble avoir en grande partie atteint ultérieure. Les sections qui suivent examinent les ses objectifs, un système de suivi et d'évaluation deux résultats escomptés du projet et leur niveau efficace n'a pas été mis en place pour mesurer le F-16 Rapport annuel du FEM de 2007 sur l'impact des projets niveau d'adoption des activités du projet par les capacité à ouvrir un compte en banque et à mobi- populations locales et l'impact qui en a résulté sur liser des fonds. Les organisations de proximité, leurs moyens de subsistance, et déterminer dans mises en place par le projet de sites transnatio- quelle mesure l'exécution des activités du projet a naux, sont toutes parvenues à mobiliser des fonds eu les effets escomptés sur le patrimoine de biodi- supplémentaires auprès de donateurs interna- versité des sites concernés. tionaux, par exemple dans le cadre de l'Initiative pour le bassin du Nil financée par le FEM, ont pu Analyse des résultats et des impacts également mobiliser l'appui technique nécessaire. fondée sur la théorie du changement Il n'est pas établi avec certitude que le projet de L'analyse du site des forêts de Sango Bay-Min- Sango Bay-Minziro a obtenu les résultats escomp- ziro a établi que le projet a partiellement réussi à tés. Toutefois, le fait que le modèle d'organisations imposer le recours systématique à des pratiques de proximité associées à la gestion communau- améliorées de gestion forestière, en particulier taire de la forêt commence à être transposé et au niveau de la politique nationale, ce qui devrait amplifié à Sango Bay montre qu'à la longue, et à la longue se répercuter au niveau des sites. La moyennant le maintien de l'aide extérieure, ces mise en place d'institutions viables basées dans institutions de proximité ont de bonnes chances les sites a été amorcée avec la collaboration d'or- de se développer et de jouer un rôle plus impor- ganisations de gestion communautaire des forêts, tant dans la gestion communautaire de la forêt et, qui devraient un impact plus important à mesure en fin de compte, dans la réalisation des impacts qu'elles se développent. D'une manière générale, sur l'environnement. l'évaluation a établi que l'impact des résultats du projet sur la préservation de la biodiversité a Analyse des objectifs et des risques été médiocre ou partiel. Le projet n'a pas accordé une grande place à la Une des principales conclusions de cette analyse mesure directe de l'état de conservation des acquis est que cinq années représentent une période écologiques de portée mondiale découlant des trop courte pour mettre en place des institutions forêts de Sango Bay-Minziro, en raison d'un cer- locales viables. Le projet a bien démarré à Sango tain nombre de facteurs, notamment la difficulté à Bay, mais les organisations locales n'ont pas pu déterminer les normes de référence en matière de se suffire à elles-mêmes après la fin du projet. Il biodiversité et les normes à long terme en matière faudrait donc prendre les dispositions nécessai- d'évolution des écosystèmes et de la biodiversité. res, pendant l'exécution du projet, pour garantir le En conséquence, le taux d'épuisement de la biodi- maintien de l'aide après la fin du projet, qu'elle soit versité n'a pas été mesuré et l'état des forêts et de apportée par des organismes publics ou par des leur biodiversité avant et après le projet n'a pas été projets ou programmes relais, tant que les institu- clairement indiqué. Il a donc été difficile de tirer tions n'ont pas acquis leur autonomie financière et des conclusions définitives concernant l'état des institutionnelle. espèces présentant un intérêt écologique au plan mondial et l'on n'a pu obtenir que des preuves par Une autre conclusion, au niveau des villages, est présomption et des avis d'experts selon lesquels il que les organisations de proximité enregistrées y aurait eu une amélioration de l'état de préserva- sont plus viables au plan institutionnel que les tion des effets positifs sur l'environnement mon- comités plus informels, en partie du fait de leur dial au niveau du système de forêts et d'herbages. 3. Évaluation fondée sur la théorie de trois projets d'aires protégées F-17 Le projet a consacré des ressources considérables indications de l'impact à court terme ; a donné aux méthodes participatives d'évaluation des ris- des résultats pouvant être facilement interprétés ques pesant sur les acquis écologiques de portée par tous les acteurs, praticiens et membres des mondiale, que le projet a considérées comme étant populations locales ; et a permis de bons niveaux une approche réaliste, participative et efficace. Le de participation et d'appropriation par les popu- suivi de la réduction des niveaux de risque s'est lations locales. On a cependant craint que cette avéré un outil économique d'évaluation de l'épui- technique ne soit pas appliquée de manière cohé- sement de la biodiversité pendant l'exécution du rente et objective dans les différents sites. projet. Il a permis d'établir de manière satisfai- La méthode de suivi de la réduction des risques sante que, sur la durée de vie du projet, le niveau a été appliquée avec succès, mais les autorités de risque lié à l'abattage, aux feux de forêt et aux forestières ne l'ont malheureusement pas adop- activités extractives avait été réduit à Sango Bay et, tée à Sango Bay-Minziro après la fin du projet, ce dans une moindre mesure, dans la forêt de Min- qui a entravé la capacité de gestion participative ziro. L'évaluation finale a considéré le suivi de la de la forêt et n'a pas permis à cette étude d'éva- réduction des risques comme étant une technique luer facilement les niveaux des risques postérieurs appropriée, d'autant plus que l'écosystème fores- au projet. D'après les consultations menées sur le tier de Sango Bay-Minziro ne contenait aucune terrain en 2007, les populations locales et les auto- grande espèce charismatique pouvant être ciblée rités forestières ont estimé que bien qu'ayant aug- par les mesures de préservation, à la différence menté depuis la fin du projet, les niveaux de risque des études de cas de Lewa et Bwindi. Par ailleurs, demeuraient inférieurs à ceux qui existaient avant le suivi de la réduction des risques a fourni des le projet (voir Tableau B.5). F-18 Rapport annuel du FEM de 2007 sur l'impact des projets 4. Analyse quasi expérimentale du déboisement évité au Costa Rica Au cours des dix dernières années, les chercheurs mesure l'existence d'aires protégées permet de et professionnels travaillant sur la préservation de réduire le déboisement, et à appliquer ce modèle à la biodiversité ont réclamé des évaluations plus un pays bénéficiaire des financements du FEM. rigoureuses des politiques et programmes qui Entre 1960 et 1997, le Costa Rica a déboisé plus visent à protéger ce patrimoine et les services éco- d'un million d'hectares de forêts et en a protégé systémiques. À en juger par l'une des principales environ 900 000. Le Costa Rica possède un des conclusions de l'Évaluation des écosystèmes pour dispositifs d'aires protégées le plus cité en exem- le Millénaire (2005), rares sont les études empi- ple, et est l'un des chefs de file du mouvement qui riques bien conçues qui évaluent l'efficacité des cherche à faire reconnaître le « déboisement évité mesures de préservation de la biodiversité, même » pour l'attribution de crédits de réduction des les plus courantes. émissions dans le cadre du Protocole de Kyoto. Les aires protégées, telles que les parcs nationaux et Nous cherchons ici à répondre à la question sui- les réserves, tiennent une place importante dans le vante : « Combien d'hectares supplémentaires le portefeuille des projets du FEM sur la biodiversité, Costa Rica aurait-il déboisé en l'absence de zones et sont au coeur de la controverse sur le « déboise- protégées ? » ment évité », une question débattue dans le cadre Pour réaliser cette analyse de l'efficacité des éco- des politiques sur le changement climatique. De systèmes protégés et des services qui y sont liés, ce point de vue, le rendement des investissements nous avons considéré que les trois caractéristiques dans les aires protégées reste toutefois mal connu. suivantes étaient fondamentales : Il est difficile d'évaluer le déboisement qui serait intervenu en l'absence de protection d'un espace z neutralisation des biais connus résultant du forestier donné -- le scénario contrefactuel --, car caractère non randomisé de l'exécution des il est impossible de constater la déforestation qui politiques et programmes (sélection sur la base aurait été évitée. de situations observées) ; La présente étude de cas visait à définir un modèle quasi expérimental1 pour évaluer dans quelle intervention peuvent résulter de situations créant natu- 1 Dans les expériences randomisées, l'intervention rellement un groupe expérimental et un groupe témoin. se fait au hasard. Ce n'est pas le cas dans les modèles Le problème est toutefois de s'assurer de l'absence de quasi expérimentaux où les scénarios avec ou sans différence systématique entre ces deux groupes. F-19 z détection et neutralisation des retombées spa- Par « déboisement évité », nous entendons l'évo- tiales ; et lution constatée de l'étendue des forêts dans les périmètres protégés au cours d'une période don- z évaluation de la sensibilité des résultats aux née par rapport à celle de l'étendue des forêts biais cachés (hétérogénéité non observée). dans des périmètres non protégés équivalents En règle générale, ces aspects sont toutefois pendant la même période, c'est-à-dire la situation absents des publications scientifiques sur la pré- contrefactuelle2. servation de la biodiversité, ce qui empêche de tirer des conclusions indiscutables sur l'efficacité des pro- L'analyse comporte trois parties : grammes. En fait, aucune étude basée sur au moins 1. estimation du déboisement évité entre 1960 et deux de ces caractéristiques n'a pu être répertoriée 1997 dans toutes les aires protégées du pays ; ; le présent rapport comble cette lacune. 2. estimation du déboisement évité entre 1986 En ne tenant pas compte du caractère non rando- et 1997, et entre 1997 et 2005 dans deux aires misé de la création d'aires protégées et des retom- protégées financées par le FEM dans les années bées spatiales pouvant en résulter, les évaluations 90, à savoir les parcs nationaux du Corcovado empiriques existantes du déboisement évité ne et de La Amistad ; mesurent pas correctement ce qu'aurait été le cou- 3. comparaison du déboisement évité dans ces vert végétal en l'absence d'intervention. La pré- deux ensembles d'aires protégées. sente étude de cas montre comment la méthode de l'appariement peut être utilisée pour estimer le L'appariement consiste à retenir a posteriori un déboisement évité à l'intérieur et à la périphérie périmètre témoin « très similaire » au périmètre des aires protégées. expérimental, à une seule véritable différence près : il ne participe pas au programme considéré (pro- 4.1 Cadre et méthode d'évaluation tection, par exemple). Si, sur la base de caractéristi- ques observées et de valeur comparable, l'analyste Par « aires protégées », nous entendons celles peut sélectionner deux périmètres qui réagiraient qui sont gérées dans le cadre du Sistema Nacio- de façon identique à une intervention, il peut en nal de Áreas de Conservación, qui regroupe tous mesurer les effets, sans erreur systématique. Nous les parcs et réserves publics du Costa Rica. Les examinons ici la façon dont cet « appariement » limites géographiques des aires protégées ont été peut être utilisé pour estimer le déboisement évité obtenues à partir des couches d'informations des à l'intérieur et à la périphérie des aires protégées. SIG du Earth Observation Systems Laboratory de l'Université de l'Alberta au Canada. Pour analyser Dans une telle analyse par appariement, il s'agit les effets de toutes les aires protégées au Costa de neutraliser les effets des facteurs qui influent Rica, les parcs nationaux, les réserves biologiques, à la fois sur l'utilisation des sols et la probabilité les réserves forestières, les zones protégées et les de voir un périmètre retenu à des fins de protec- réserves de faune constituaient le groupe expéri- tion. À la lumière de l'histoire des aires protégées mental. Pour l'analyse des aires protégées du FEM, du Costa Rica et des publications sur le déboise- le groupe expérimental se composait des parcs nationaux du Corcovado et de La Amistad (GEF 2 Un périmètre peut-être boisé ou déboisé (périmè- ID 364). tre boisé = couvert forestier supérieur à 80 %). F-20 Rapport annuel du FEM de 2007 sur l'impact des projets ment des forêts tropicales, nous avons retenu les pour différentes raisons, dont la prévention de variables qui font intervenir l'accessibilité au péri- leur déboisement. Mais les forêts ont aussi été mètre (distance par rapport à la lisière de la forêt, protégées pour développer le potentiel touristi- par rapport aux routes, déclivité) et les possibilités que, limiter la chasse, préserver des moyens de d'aménagement de l'espace (en fonction du poten- subsistance liée à des activités extractives de petite tiel de production du périmètre et de son éloigne- envergure en zone rurale ou pour sensibiliser la ment des routes et des principaux marchés). population et le secteur privé à l'environnement, par exemple. On ne peut donc pas en déduire que Pour réaliser cette analyse, nous avons constitué les effets positifs du réseau d'aires protégées du une base de données rassemblant des statistiques Costa Rica sont peu nombreux simplement parce sur le couvert forestier, le régime de protection et que les avantages en termes de déboisement évité les paysages du point de vue de leurs caractéristi- restent limités à ce jour. ques biophysiques et socioéconomiques et de leurs infrastructures. Ces trois derniers aspects influent S'agissant des aires protégées financées par le à la fois sur la probabilité de placer un périmètre FEM entre 1993 et 1998, nous estimons que cette sous un régime de protection et sur le risque de protection a permis d'éviter le déboisement d'en- déboisement de ce même périmètre. Ils peuvent viron 8 % (quelque 19 000 ha) de leur superficie donc être des facteurs de confusion susceptibles entre 1986 et 1997. La superficie totale des forêts de masquer les effets d'un régime de protection des deux aires protégées financées par le FEM sur le déboisement. L'analyse par appariement était de 230 689 ha et de 230 898 ha en 1986 et en permet de neutraliser les effets de ces facteurs en 1997, respectivement. On peut donc déduire des faisant en sorte que la comparaison ne porte que estimations par appariement qu'entre 12 457 ha et sur des périmètres protégés et non protégés dont 19 609 ha de forêts pendant la période 1986-1997, les caractéristiques observées sont identiques. et non moins de 25 399 ha en 1997, n'ont pas été L'analyse ne montre pas que la création d'aires déboisés grâce au régime de protection créé par protégées entre 1960 et 1996 a eu des effets indi- les deux parcs. Pendant la période 1997-2005, la rects importants sur le déboisement des espaces protection de ces mêmes zones a permis d'éviter adjacents non protégés. Nous en concluons donc le déboisement d'environ 11 % (quelque 25 000 ha) que les estimations rendent compte du plein effet de leur superficie. de l'existence d'aires protégées tant à l'intérieur Selon les estimations résultant de notre analyse, qu'à l'extérieur de ces zones. la réduction du déboisement a été un peu plus marquée dans les zones protégées financées par le 4.2 Conclusions sur les aires FEM que dans les autres zones protégées (entre protégées au Costa Rica deux et sept points de pourcentage entre 1986 et Entre 1960 et 1997, le Costa Rica a déboisé plus 1997 et non moins de deux points pour la période d'un million d'hectares de forêt et en a protégé 1997-2005). Sachant que la superficie des forêts environ 900 000. L'évaluation de toutes les aires des deux aires protégées financées par le FEM protégées au Costa Rica montre qu'en l'absence étaient de 230 898 ha en 1997, on peut déduire de de protection, environ 10 %, soit quelque 111 000 ces estimations que ces deux aires ont aidé à éviter ha de forêts protégées auraient été déboisées entre le déboisement de 7 000 ha de plus que celles non 1960 et 1997. Ces aires protégées ont été créées financées par le FEM. 4. Analyse quasi expérimentale du déboisement évité au Costa Rica F-21 Il est à noter que l'effet du niveau de financement, ble des zones protégées de La Amistad et La Osa, contrairement à celui de la protection des forêts, l'objectif était de protéger des espèces et habitats n'a pas été expressément modélisé. Les effets du importants pour la biodiversité. financement du FEM, considérés indépendam- Le fait que les aires protégées n'ont pas permis à ment de ceux des autres investissements dans les ce jour de modifier sensiblement le mode d'utili- mêmes aires protégées, ne peuvent donc pas être sation des sols au Costa Rica tient aux décisions parfaitement circonscrits. Si le Gouvernement de l'administration de privilégier la protection des costaricain avait considéré que les financements forêts que les acteurs du secteur privé sont peu du FEM pouvaient se substituer aux siens, il aurait incités à exploiter. Autrement dit, le Gouverne- peut-être alloué à ces périmètres des ressources ment costaricain a choisi des espaces dont la pro- moins importantes qu'il ne l'aurait fait en l'absence tection a, d'une façon générale, un coût économi- des fonds du FEM (le financement du FEM paraî- que et politique limité. trait alors moins efficace dans notre analyse). À l'inverse, le FEM aurait peut-être investi dans des Il est évident que les mécanismes de ciblage de zones protégées qui obtenaient déjà de bons résul- ces zones expliquent partiellement le faible niveau tats sans son appui (son financement paraîtrait de déboisement que les aires protégées ont per- alors plus efficace dans notre analyse). En outre, mis d'éviter, mais d'autres facteurs ont contribué un seul aspect de l'effort de préservation de la bio- à ce résultat. Ainsi, dans les années 60 et 70, les diversité a été examiné -- le déboisement évité -- décideurs costaricains ont peut-être estimé que alors même que les financements du FEM ont pu les ponctions sur les forêts se poursuivraient au influer sur d'autres résultats qui n'ont pas été éva- même rythme pendant les années 80 et 90. Ils lués directement dans la présente étude. En effet, pourraient alors avoir décidé de classer des espa- les projets sur les aires protégées ont souvent un ces qu'il était peu coûteux de protéger dans les objectif beaucoup plus large que la prévention du années 60 et 70 (parce qu'ils étaient peu convoités) déboisement3 Ainsi, dans le cas du projet Préser- pour ériger un rempart contre leur déboisement à vation de la biodiversité et développement dura- partir de 1980. Cela étant, le réajustement struc- turel du milieu des années 80 a marqué la fin des subventions agricoles ce qui, conjugué à la crois- 3Pour FEM-4, les indicateurs de l'objectif straté- gique de l'institution dans le domaine d'intervention « sance du secteur manufacturier et des services, a diversité biologique », qui est de renforcer la viabilité beaucoup réduit les ponctions sur les forêts. du dispositif d'aires protégées, sont les suivants (GEF 2007) : La présente analyse étant rétrospective, l'impact que les aires protégées du Costa Rica auront sur y Superficie en hectares des habitats préservés par type de biome, calculée à l'aide d'indicateurs de l'utilisation des sols à l'avenir pourrait être diffé- couverture et de morcellement des habitats dans rent (cette hypothèse supposerait toutefois une les dispositifs d'aires protégées modification fondamentale de la dynamique du y Superficie en hectares et pourcentage, par type déboisement à ce jour). de biome, des nouveaux habitats protégés qui renforcent la représentativité des écosystèmes dans les dispositifs d'aires protégées 4.3 Potentiel de transposition de la y Efficacité de la gestion des aires protégées mesu- présente évaluation rée à l'aide de fiches de résultat évaluant la ges- La méthode utilisée ici pour juger de l'effica- tion, la viabilité financière et les capacités du site. cité des aires protégées peut être appliquée pour F-22 Rapport annuel du FEM de 2007 sur l'impact des projets mieux évaluer l'impact des investissements du de celles auxquelles le projet s'applique. Les prin- FEM dans des projets portant sur la rémunération cipales données dont il faut disposer pour appli- des services environnementaux, l'écotourisme et quer cette méthode sont les mesures ou les indi- la gestion de proximité des forêts, par exemple. cateurs des résultats avant et après l'exécution du Bien que la présente étude de cas vise à détermi- projet, et les indicateurs des principaux facteurs ner dans quelle mesure la méthode retenue est qui peuvent influer sur les résultats tant dans les utile pour mesurer l'impact des programmes dans zones couvertes que dans celles non couvertes par le domaine de la biodiversité, cette formule pour- le projet. rait également s'appliquer à des domaines d'inter- Cette méthode peut aussi être utilisée pour éva- vention, tels que les changements climatiques et luer différents résultats d'un programme de pré- les eaux internationales. Elle est particulièrement servation de la biodiversité. Elle peut servir à utile pour mesurer l'impact des interventions du évaluer les effets des aires protégées sur le reboi- FEM présentant les deux caractéristiques suivan- sement et sur les conditions de vie à la périphérie tes : 1) les activités se déroulent sur différents sites de ces zones, ainsi que l'impact d'autres mesures dont l'emplacement est choisi de façon non ran- en rapport avec l'utilisation des sols, telles que la domisée ; et 2) le projet peut avoir des retombées rémunération des services écologiques et l'inter- spatiales sur les zones adjacentes. diction de construire des routes. Après avoir établi Pour appliquer efficacement cette méthode d'éva- la situation contrefactuelle voulue en couplant les luation, il est indispensable de définir des scénarios zones d'application des projets à celles non cou- contrefactuels solides pour mesurer les résultats vertes par ces activités, on pourra évaluer l'impact que l'on aurait obtenus en l'absence d'intervention de la politique ou du projet considéré en mesurant du FEM. Cela suppose de rassembler des données l'écart entre les résultats, comme l'a montré la pré- sur des zones non couvertes par le projet aux côtés sente étude. 4. Analyse quasi expérimentale du déboisement évité au Costa Rica F-23 Annexe. Impacts des trois projets Tableau B.1 Évolution du niveau de préservation de la biodiversité entre le début et la fin de l'intervention du FEM : Conservation du parc national de la forêt dense de Bwindi et du parc national de gorilles de Mgahinga Niveau de préservation Caractéristique Au début du À la fin du écologique Indicateur projet projet À ce jour Tendance Gradation altitudinale continue de la forêt/ Habitat : Forêt d'altitude Taille et étendue de la Superficie du couvert Pas d'évolution de la taille de la forêt depuis 1987 forêt forestier Couvert forestier Indices de la qualité de l'eau Depuis 2001, la qualité de l'eau est bonne et semble stable Régénérescence de la Abondance des plants et des Peu de signes de recrû naturel dans les brèches forêt jeunes arbres dans les zones résultant d'une exploitation intensive ou sélective déboisées ou d'incendies de forêt ; signes de régénérescence des friches résultant d'empiétements sur la forêt Diversité de l'habitat Aucune donnée espèces clés Aucune donnée, sauf pour les gorilles de montagne (voir ci-dessous) Gorilles de montagne Taille de la population Taille totale de la population 300 320 340 Répartition de la emplacements des groupes Groupes apparemment plus éparpillés dans le parc population de gorilles en 2006 Habitat approprié et Superficie de l'habitat Taille de la forêt inchangée depuis 1987 non modifié en forêt Fréquence constatée des Voir « évolution du niveau de risque » ; aucun signe signes de modification de clair d'une diminution des modifications de l'habitat l'habitat Taux de reproduction Données insuffisantes pour comparer les taux de reproduction sur différentes périodes Bradypterus graueri Forêt marécageuse Taille et étendue Aucune dégradation recensée des marécages à Bwindi pendant la période considérée Taille de la population Taille totale de la population Stable ou en ? augmentation F-25 Tableau B.2 Évolution du niveau de risque entre le début et la fin de l'intervention du FEM : Conservation du parc national de la forêt dense de Bwindi et du parc national de gorilles de Mgahinga Niveau de risque Au début du À la fin du Risque Indicateur projet projet À ce jour Tendance Braconnage Fréquence constatée des signes de bracon- 0.31 0.25 -- nage par journée patrouillée Fréquence constatée des signes de Aucune tendance se dégageant systémati- braconnage par kilomètre d'itinéraires quement des données des recensements de de reconnaissance parcouru à des fins de 1997, 2002 et 2006 recensement Arbres abattus et Fréquence constatée des arbres abattus Aucune tendance se dégageant systémati- grumes sciées en par kilomètre d'itinéraires de reconnais- quement des données des recensements de long sance parcouru à des fins de recensement 1997, 2002 et 2006 empiétements Superficie des empiétements sur la forêt L'analyse des images satellites montre qu'il en périphérie du parc de Bwindi n'y a eu pratiquement aucune diminution du couvert forestier à l'intérieur du parc entre 1987 et 2000 ; très peu d'empiétements signalés depuis 1995. Feux Fréquence et importance des feux, Baisse du nombre de feux et renforcement de participation des populations locales aux la coopération des populations locales aux activités de lutte activités de lutte depuis 2000 ; aucun incen- die volontaire signalé depuis 1992. Absence de recrû Abondance des plants et des jeunes arbres Peu de signes de recrû naturel dans les brè- naturel dans les dans les zones déboisées ches résultant d'une exploitation intensive ou zones déboisées sélective Hostilité des popu- nombre de membres des populations rive- lations riveraines raines ayant indiqué ne pas être favorables 53 24 -- au parc, en pourcentage des populations interrogées Rupture de conti- Diminution du couvert forestier dans L'analyse des images satellites montre qu'il nuité de la forêt la zone dite du « neck » dans le parc de n'y a eu pratiquement aucune diminution du dans la zone dite Bwindi couvert forestier à l'intérieur du parc entre du « neck » 1987 et 2000 Maladies (gorilles) Aucune donnée F-26 Rapport annuel du FEM de 2007 sur l'impact des projets Tableau B.3 Évolution du niveau de préservation de la biodiversité entre le début et la fin de l'intervention du FEM : Lewa Wildlife Conservancy Niveau de préservation Caractéristique Au début À la fin du écologique Indicateur du projet projet À ce jour Tendance Rhinocéros noir Taille de la population Population totale de rhinocéros noirs 29 40 54 à Lewa Productivité Taux annuel d'accroissement de la 12 13 15 population à Lewa (%) Habitat sûr et Taille du refuge pour le rhinocéros noir 22 000 22 000 25 000 approprié à Lewa (ha) Diversité génétique Degré de variation génétique Aucune donnée Zèbre de Grevy Taille de la population Population totale de zèbres de Grevy 497 435 430 à Lewa Productivité Taux annuel de mise à bas à Lewa (%) 11 11 12 Répartition de la nombre de sous-populations connues Aucune donnée population et connectées Habitat approprié Réserves communautaires affectées à 3 4 15 (herbages et bon accès la protection des zèbres dans le cadre à l'eau) du northern Rangelands Trust Diversité génétique Degré de variation génétique Aucune donnée Annexe. Impacts des trois projets F-27 Tableau B.4 Évolution du niveau de risque entre le début et la fin de l'intervention du FEM : Lewa Wildlife Conservancy Threat level Niveau de À la fin du Facteurs de risque pour les acquis référence projet À ce jour écologiques de portée mondiale Indicateur (avant 2000) (2000-03) (2004-06) Tendance Rhinocéros noir Braconnage et prise au lacet nombre d'individus victi- mes du braconnage et pris 0 0 0 au lacet à Lewa nombre d'individus victi- 2 15 15 mes du braconnage et pris (1998­99) (2000­02) (2003­06) au lacet dans tout le pays Manque de zones sûres nombre de zones dans 12 13 16 tout le pays (1993) Superficie réservée à la 6,749 préservation du rhinocéros 7,376 8,607 (1993) (km²) Diminution de l'habitat (due à la Évolution de la densité de Les photos aériennes montrent que la végé- densité d'éléphants à Lewa) la végétation ligneuse tation ligneuse de Lewa s'est densifiée entre 1962 et 2000 Zèbre de Grevy Braconnage nombre d'individus victi- Baisse du braconnage dans les réserves com- mes du braconnage munautaires affectées à la préservation grâce à la sensibilisation et aux agents de sécurité des populations locales Maladies Individus victimes de la 0 0 5 fièvre charbonneuse (%) Prédation Lions à Lewa 0 25 16 Diminution/dégradation de l'ha- Superficie placée sous un bitat (concurrence du bétail) régime de protection dans 1 475 2 712 5 000 la région (km²) Manque de zones sûres Réserves communautaires établies dans le cadre du 3 4 15 northern Rangelands Trust Hybridation avec le zèbre de Populations hybrides 4 4 4 Burchell confirmées F-28 Rapport annuel du FEM de 2007 sur l'impact des projets Tableau B.5 Évaluation du niveau de risque entre le début et la fin de l'intervention du FEM : Lutte contre l'appauvrissement de la biodiversité sur des sites transnationaux d'Afrique de l'Est Facteurs de risque Niveau de risque pour les acquis écologiques de Au début du À la fin du portée mondiale Indicateur projet projet À ce jour Tendance empiètements/réaf- Incidence des empiètements/de Aucun cas d'empiètement/de réaffectation mené à fectation d'espaces la réaffectation terme depuis le projet forestiers Mesures adoptées pour prévenir Le projet a permis de rétablir le tracé des limites les risques de récidive des réserves forestières ; limites toujours en place et respectées exploitation forestière Part du risque neutralisée (forêt 25 70 -- de Minziro) Part du risque neutralisée (Sango 40 85 -- Bay) niveau de risque restant faible La levée de l'interdiction d'exploitation de la forêt de après la clôture du projet Minziro et le niveau réduit des activités de gestion collaborative semblent montrer que le niveau de risque s'est accru après la clôture du projet ; reste toutefois inférieur au niveau passé Feux de forêt Part du risque neutralisée (Sango 40 90 -- Bay) Part du risque neutralisée (forêt Aucune donnée de Minziro) Surexploitation de niveau de ponction soutenable Le suivi de la réduction des risques (2003) montre certaines espèces un léger mieux pendant l'exécution du projet, mais aucun mécanisme de suivi depuis la clôture des opérations Annexe. Impacts des trois projets F-29 Bibliographie GEF (Global Environment Facility) Council. 2005. "Four --. 2007h. "Impacts of Creation and Implementa- Year Work Program and Budget of the Office of tion of National Parks and of Support to Batwa on Monitoring and Evaluation ­ FY06-09 and Results Their Livelihoods, Well-Being and Use of Forest in FY05." GEF/ME/C.25/3. Products." Prepared by A. Namara, EAGO Socio- --. 2007. "Focal Area Strategies and Strategic Pro- Economic Research and Development Consultants gramming for GEF-4." GEF/C31/10/revised. Ltd, Kampala. GEF EO (Global Environment Facility Evaluation --. 2007i. "Methodological Challenges in Impact Office). 2007a. "Approach Paper to GEF Impact Evaluation: The Case of the Global Environment Evaluation." Prepared by J. Brann and D. Todd. Facility." Prepared by D. Todd and J. Vaessen. --. 2007b. "Case Study: Bwindi Impenetrable --. 2007j. "Priorities and Indicators for Global National Park and Mgahinga Gorilla National Park Environment Benefits from Biodiversity: The Conservation Project." Prepared by Conservation Current International Architecture." Prepared by Development Centre. D. Nair. --. 2007c. "Case Study: Lewa Wildlife Conser- --. 2007k. "Protected Areas and Avoided Defor- vancy." Prepared by Conservation Development estation: A Statistical Evaluation." Prepared by Centre. K. Andam, P. Ferraro, A. Pfaff, and G. Sanchez- Azofeifa. --. 2007d. "Case Study: Reducing Biodiversity Loss at Cross-Border Sites in East Africa." Prepared by Millennium Ecosystem Assessment. 2005. Ecosystems Conservation Development Centre. and Human Well-Being: Policy Responses: Findings of the Responses Working Group of the Millennium --. 2007e. "Case Study Methodology." Prepared by Ecosystem Assessment. Washington, DC: Island Conservation Development Centre. Press. --. 2007f. "Final Report on Proposed Approach to OCDE (Organisation de Coopération et de Dévelop- GEF Impact Evaluation." Prepared by Foundations pement Economiques), Comité d'aide au déve- of Success. loppement, 2002 « Glossaire des principaux ter- --. 2007g. "GEF Biodiversity Policy Review." Pre- mes relatifs à l'évaluation et la gestion axée sur les pared by Foundations of Success. résultats. » F-30 Oficina de Evaluación Fondo para el Medio Ambiente Mundial Informe anual sobre el impacto del FMAM 2007 Junio de 2009 (Los principales hallazgos y las recomendaciones formuladas en esta evaluación se presentaron al Consejo del FMAM en octubre de 2007.) Informe de evaluación n.º 46 © 2009 Oficina de Evaluación del Fondo para el Medio Ambiente Mundial 1818 H Street, NW Washington, DC 20433 Sitio web: www.gefeo.org Correo electrónico: gefevaluation@thegef.org Reservados todos los derechos. Las opiniones, interpretaciones y conclusiones expresadas en la presente publicación son las de los autores y no reflejan necesa- riamente la opinión del Consejo del FMAM ni de los países representados por éste. La Oficina de Evaluación del FMAM no garantiza la exactitud de los datos que figuran en esta publicación. Las fronteras, colores, denominaciones y demás información de cualquier mapa incluido en la presente publicación no implican juicio alguno de parte del Fondo para el Medio Ambiente Mundial acerca de la condición jurídica de cualquier territorio ni la aprobación o aceptación de esas fronteras. Derechos y autorizaciones El material contenido en esta publicación está registrado como propiedad intelectual. Su reproducción o transmisión total o parcial sin la debida autorización puede constituir una violación de la legislación aplicable. El Fondo para el Medio Ambiente Mundial alienta la difusión de sus publicaciones y, normalmente, autorizará su reproducción sin demora. ISBN-10: 1-933992-18-2 ISBN-13: 978-1-933992-18-1 Créditos Director de la Oficina de Evaluación del FMAM: Robert D. van den Berg Jefe de proyecto: David Todd, oficial superior de evaluación, Oficina de Evaluación del FMAM Edición y diseño: Nita Congress Diseño de tapa: Jean Wegimont, Atelier2 Foto de tapa: rinoceronte negro: Achim Mittler; bromelia flor (Costa Rica): Andres Ojeda; gorila de montaña: Peter Szustka Impresión: Professional Graphics Printing Co. Informe de evaluación n.º 46 PUBLICACIÓN GRATUITA Índice Siglas ..........................................................................................................................................S-iv Prólogo........................................................................................................................................ S-v Agradecimientos ......................................................................................................................S-vi 1. Principales resultados y recomendaciones ........................................................................ S-1 1.1 Antecedentes ............................................................................................................................................... S-1 1.2 Principales conclusiones ........................................................................................................................... S-2 1.3 Recomendación........................................................................................................................................... S-5 1.4 Seguimiento de la labor de la Oficina de Evaluación ......................................................................... S-5 2. Propuesta de la evaluación de impacto .............................................................................S-6 3. Evaluación teórica de tres proyectos de áreas protegidas ...............................................S-8 3.1 Desarrollo de metodología y selección de proyectos ......................................................................... S-8 3.2 Implementación .......................................................................................................................................... S-8 3.3 Conclusiones: Los proyectos de conservación del Parque Nacional Impenetrable de Bwindi y del Parque Nacional del Gorila Mgahinga .......................................................................... S-9 3.4 Proyecto de conservación de la fauna y flora silvestres en Lewa ..................................................S-12 3.5 Conclusiones: Nuevos enfoques para reducir la pérdida de biodiversidad en las zonas fronterizas de África oriental ...............................................................................................S-15 4. Análisis semiexperimental de la deforestación evitada en Costa Rica ......................... S-19 4.1 Alcance y metodología de la evaluación ............................................................................................S-20 4.2 Conclusiones..............................................................................................................................................S-21 4.3 Margen para ampliar la aplicación de las evaluaciones del impacto ...........................................S-23 Anexo. Impactos de los tres proyectos .................................................................................S-25 Bibliografía ...............................................................................................................................S-30 Cuadros 3.1 Síntesis de la consecución de los resultados del proyecto de Bwindi...........................................S-11 3.2 Síntesis de la consecución de los resultados del proyecto de Lewa ..............................................S-14 3.3 Síntesis de la consecución de los resultados del proyecto ..............................................................S-16 S-iii Siglas FMAM Fondo para el Medio Ambiente Mundial PNUD Programa de las Naciones Unidas para el ONG organizaciones no gubernamentales Desarrollo PNUMA Programa de las Naciones Unidas para el Medio Ambiente S-iv Prólogo Esta es la primera edición del Informe anual sobre el interpretaciones exhaustivos, en los cuales las teo- impacto de los proyectos, preparado por la Oficina rías del cambio se contrastaron con los resultados de Evaluación del Fondo para el Medio Ambiente concretos para determinar el impacto de los pro- Mundial (FMAM). Dada la creciente importan- yectos y cómo se habían alcanzado. cia que se atribuye a la presentación de informes En el segundo planteamiento, se utilizaron méto- sobre los resultados y el impacto de los proyectos, dos semiexperimentales para establecer una hipó- así como la diversidad de la labor que ello requiere, tesis precisa con respecto a las zonas afectadas se ha decidido lanzar una nueva serie de informes por las actividades relacionadas con el proyecto, anuales con el objeto de compilar todo el trabajo que es decir, ¿cuál habría sido el resultado si no se se realiza. Varios casos de estudio sobre evaluacio- hubiera establecido una zona protegida? Como nes de impacto han sido publicados en el sitio Web tema específico, se examinó el alcance de la defo- de la Oficina de Evaluación. En el presente informe, restación evitada gracias a los proyectos de zonas la Oficina de Evaluación recoge los trabajos prepa- protegidas en Costa Rica. ratorios sobre las metodologías de evaluación del El presente informe anual fue presentado ante el impacto y las primeras evaluaciones del impacto. Consejo del FMAM en noviembre de 2007. Éste En este informe, se exponen los resultados de decidió solicitar a la Secretaría del organismo que dos enfoques diferentes en materia de evaluación incorporara sus recomendaciones en la prepa- del impacto. El primero es un planteamiento de ración de los proyectos y asegurara el adecuado métodos combinados y basado en la teoría, con seguimiento de los progresos relativos a la conti- el cual se examinó el impacto de tres proyectos nuidad institucional, y pidió a la Oficina de Eva- relativos a zonas protegidas en África oriental. El luación que continuara con su programa de eva- luación del impacto según lo propuesto. mismo se elaboró a partir de un examen detallado de la documentación; el examen del concepto de Durante la evaluación del impacto, se elaboró una impacto en el contexto de los efectos deseados en gran variedad de documentos técnicos, que se el medio ambiente mundial; el desarrollo metodo- encuentran disponibles en el sitio web de la Ofi- lógico mediante talleres regionales en los cuales cina de Evaluación del FMAM (www.gefeo.org). los responsables de la ejecución de los proyectos elaboraron y pusieron a prueba teorías del cambio aplicables a sus proyectos; un exhaustivo trabajo de campo en zonas de proyectos para verificar Rob van den Berg y explicar los resultados alcanzados, y análisis e Director, Oficina de Evaluación S-v Agradecimientos La labor de evaluación del impacto realizada por Conservación), tuvieron a su cargo gran parte del la Oficina de Evaluación fue coordinada por el trabajo de campo, los nuevos desarrollos meto- jefe de proyecto David Todd, oficial superior de dológicos (trabajando con un amplio espectro de evaluación. Todd concibió y desarrolló el enfo- interesados regionales) y la redacción del informe. que basado en la teoría del cambio empleado en Agrippinah Namara realizó un estudio de caso las evaluaciones llevadas a cabo en África oriental especial sobre los impactos del Parque Nacional junto con Divya Nair, Josh Brann y Lee Risby. La Impenetrable de Bwindi y el Parque Nacional del consultora Foundations of Success contribuyó al Gorila Mgahinga en la población indígena, los desarrollo metodológico en la etapa inicial (auto- batwa. Kwaw Andam, Paul Ferraro, Alexander res de los informes: Richard Margoluis, Nick Sala- Pfaff y G. Arturo Sanchez-Azofeifa se ocuparon fsky y Caroline Stem). Rob Malpas y Rob Craig, de la evaluación semiexperimental. La Oficina de de la oficina de Nairobi de Conservation Deve- Evaluación es responsable por el contenido de este lopment Centre (Centro de Desarrollo para la informe. S-vi 1. Principales resultados y recomendaciones 1.1 Antecedentes se habían reducido las amenazas a elementos espe- cíficos de biodiversidad y la magnitud del impacto La cartera del Fondo para el Medio Ambiente sostenible. Los tres proyectos cuyos impactos se Mundial (FMAM) ha llegado a una etapa en la que evaluaron son: es posible analizar los impactos a largo plazo de sus proyectos. A partir de junio de 2005, la Oficina z Conservación del Parque Nacional Impenetra- de Evaluación incluye en su planificación evalua- ble de Bwindi y del Parque Nacional del Gorila ciones del impacto. En el primer año de activida- Mgahinga, Uganda (Banco Mundial); des, se estudiaron planteamientos metodológicos z Conservación de la fauna y flora silvestres en que dieron lugar a la primera serie de estudios Lewa, Kenya (Banco Mundial); durante el segundo año. z Nuevos enfoques para reducir la pérdida de En forma simultánea, se elaboraron y probaron biodiversidad en las zonas fronterizas de África dos métodos de evaluación. El más importante oriental, alcance regional (Kenya, Tanzanía, consistió en un conjunto de estudios conexos Uganda), (Programa de las Naciones Unidas sobre proyectos relativos a zonas protegidas, que para el Desarrollo, o PNUD). utilizaba un planteamiento basado en la teoría La segunda evaluación del impacto consistió en para establecer la vinculación entre los resultados un análisis estadístico de los datos de series cro- y el impacto, que incluyó la recopilación de datos nológicas existentes sobre deforestación y zonas adicionales y un profundo análisis, gestionado por protegidas en Costa Rica. Se llevaron a cabo com- la Oficina de Evaluación. Uno de los principales paraciones entre zonas protegidas y no protegi- elementos de este planteamiento es un análisis de das a lo largo de varios años a fin de establecer las las metas y las amenazas en materia de conser- diferencias en la magnitud de la deforestación que vación, que proporciona un indicador directo de se produjo en unas y otras. Dentro de las zonas los impactos de los proyectos, dado que permite protegidas, también se realizaron comparaciones establecer tanto la variación en la situación de los entre los proyectos que recibieron asistencia del beneficios que se esperan obtener para el medio FMAM y aquéllos respaldados a través de otras ambiente mundial como los cambios en el nivel de fuentes. las amenazas que afrontan estos beneficios. Este planteamiento se utilizó en los estudios de casos La Oficina de Evaluación analizó un tercer plan- sobre tres proyectos relativos a zonas protegidas teamiento. Se mantuvieron conversaciones con el en África oriental a fin de analizar el grado al que Programa de las Naciones Unidas para el Medio S-1 Ambiente (PNUMA) a fin de analizar la posibili- con lo previsto a raíz de que la población de leo- dad de aplicar los datos a nivel macroeconómico nes también se benefició de la mejora del hábitat y que se encontraban a su disposición, basados en causó una mayor pérdida de cebras. imágenes de satélites y otras fuentes, en la evalua- ción del impacto. Empero, se llegó a la conclusión Conclusión 2: De los tres proyectos relativos a de que los datos disponibles para las zonas de los zonas protegidas, dos han permitido lograr una tres proyectos bajo estudio en África oriental no disminución permanente de las amenazas a las principales metas de conservación. eran adecuados y no podían incluirse en el aná- lisis de la evaluación debido tanto a la calidad de El logro de poblaciones estables de gorilas y rino- los datos como al hecho de que la posibilidad de cerontes en Bwindi y Lewa, respectivamente, colaborar se introdujo demasiado tarde como constituye un impacto mayúsculo en vista de la para obtener resultados eficaces. De todos modos, importante reducción histórica de estas especies se convino en que los recursos y conocimientos y la caza furtiva ampliamente difundida en las especializados del PNUMA se podrían utilizar regiones aledañas. Entre los factores más impor- de una manera más efectiva en una o más de las tantes de este éxito se incluyen la protección de siguientes rondas de evaluaciones de los progra- la fauna y su hábitat; las mejores relaciones entre mas en los países. Asimismo, en colaboración con las comunidades locales y los parques; el aumento el PNUMA y el Grupo Asesor Científico y Tec- de la capacidad de investigación sobre cuestiones nológico, se analizarán diversos medios y arbitrios relativas a la conservación (que permitió realizar para utilizar las imágenes de satélites y los sistemas un seguimiento de algunos aspectos clave), y el de información geográfica a fin de establecer las financiamiento sostenible (especialmente en el vinculaciones entre las intervenciones del FMAM caso de Lewa). Consiguientemente, en dos de los y las tendencias del medio ambiente mundial. tres proyectos se cumplieron las condiciones para lograr un impacto. 1.2 Principales conclusiones Conclusión 3: En el tercer proyecto relativo a Conclusión 1: Se han registrado mejoras mensu- zonas protegidas, los mecanismos para reducir rables en la situación de dos importantes espe- las amenazas no se pudieron seguir aplicando cies amenazadas en Bwindi (el gorila de mon- eficazmente una vez que finalizó el apoyo del taña) y en Lewa (el rinoceronte negro). FMAM. El proyecto en Bwindi y Mgahinga ha contribuido Al concluir el proyecto, se habían logrado resul- a estabilizar, y luego incrementar, una población tados en lo referente a mejorar la ordenación de gorilas de montaña de importancia mundial. forestal, principalmente a través de la adopción de El proyecto de la Reserva de Lewa ha tenido un medidas comunitarias y un entorno institucional gran impacto en la población de rinocerontes más adecuado para la protección de los bosques. negros de África oriental pues ha logrado rever- No obstante, la evaluación del impacto demostró tir la marcada disminución histórica y promover que el proyecto había finalizado antes de que estos un aumento de la población dentro de su zona, a mecanismos fueran sostenibles y que si bien se tal grado que ha podido trasladar algunos rinoce- habían logrado mejoras en el estado de los bos- rontes a otros lugares. Aunque la reserva protegió ques comprendidos en las medidas de protección, considerablemente el hábitat de la cebra de Grevy, no existían mecanismos eficaces para que éstas no se logró aumentar su población de acuerdo fueran sostenibles. Por otra parte, dado que las S-2 Informe anual sobre el impacto del FMAM 2007 actividades de seguimiento y evaluación del pro- vidades del Fondo tuvieron resultados diferentes. yecto no eran adecuadas, fue imposible evaluar El éxito de la asistencia a la población de indígenas con precisión los logros a nivel comunitario o con batwas fue parcial y el financiamiento obtenido respecto a la biodiversidad. fue inferior al previsto debido a que se produjeron cambios en los mercados financieros internacio- Conclusión 4: En dos de los tres proyectos rela- nales. El proyecto en las zonas fronterizas careció tivos a zonas protegidas se lograron impactos de una clara estrategia con respecto a la sostenibi- debido a que incluían, desde sus inicios, un plan lidad institucional y financiera de sus actividades y explícito de continuidad institucional. beneficios, que se redujeron rápidamente una vez El planteamiento que se adoptó para evaluar tres que el proyecto dejó de recibir financiamiento. proyectos relativos a zonas protegidas en una subregión limitada tuvo por objeto brindar la Conclusión 5: Tanto el proyecto de Bwindi como el posibilidad de comparar los resultados. Las dife- de Lewa han permitido lograr grandes beneficios rencias que se observaron de un proyecto a otro adicionales a través de sus efectos catalizadores. pusieron de relieve la existencia de problemas En el proyecto del Fondo fiduciario para fines de básicos esenciales. Se observaron diversos niveles conservación de Bwindi-Mgahinga, las aporta- de sostenibilidad de los impactos, que se corre- ciones del FMAM permitieron llevar a cabo una lacionaban con los puntos fuertes de las institu- intervención mucho más amplia, en la que parti- ciones responsables de este proceso. La Reserva ciparon el Gobierno de Uganda, donantes inter- de Lewa es una organización privada que debe nacionales y nacionales y varias organizaciones generar ingresos para respaldar sus actividades. no gubernamentales (ONG). La Reserva de fauna En consecuencia, tiene gran interés en asegurar y flora silvestres de Lewa logró difundir con gran la continuidad y la expansión geográfica de las éxito los conceptos y las prácticas de conservación mejoras realizadas con financiamiento externo. en las tierras comunitarias circundantes, promo- Además de gestionar su propia zona protegida, viendo y respaldando la creación de varias zonas la organización ha realizado grandes y constan- protegidas y albergues de caza comunitarios. La tes esfuerzos para trabajar con las comunidades, creación de un nuevo fondo fiduciario para pro- que pueden ampliar el alcance de la protección del teger una extensa superficie de pastizales situada hábitat y la fauna. Asimismo, como resultado del al norte de Lewa fue el punto culminante de este apoyo del FMAM, encara la generación de fon- esfuerzo. La intervención del FMAM, si bien dos de una manera altamente profesional, lo que pequeña, fue oportuna, se concibió en forma ade- le ha permitido incrementar su credibilidad ante cuada y contribuyó considerablemente al éxito del un amplio espectro de patrocinadores externos. proyecto y, más específicamente, a la repetición de El Fondo fiduciario para fines de conservación de su planteamiento en un amplio conjunto de tierras Bwindi-Mgahinga se creó como un mecanismo comunitarias aledañas. para disponer de financiamiento constante para actividades orientadas a lograr que las comuni- Conclusión 6: En el proyecto de Bwindi todavía dades locales apoyen la protección de los bosques no se han resuelto satisfactoriamente algunos y su fauna, así como para llevar a cabo investiga- impactos de las zonas protegidas que son perju- diciales para los indígenas batwas. ciones, dado que constituyen una contribución importante para realizar un seguimiento de los Uno de los elementos de la labor del Fondo fidu- resultados e impactos de la intervención. Las acti- ciario para fines de conservación de Bwindi- 1. Principales resultados y recomendaciones S-3 Mgahinga específicamente financiado por el permitió evitar la deforestación de unas 110.000 FMAM fue la reorientación de los medios de sub- hectáreas entre 1960 y 1997. Esta cifra de defores- sistencia y el estilo de vida de la comunidad indí- tación evitada está respaldada por un detallado gena batwa. El trabajo realizado sobre el terreno análisis hipotético. En dos de las zonas protegidas demostró que este objetivo sólo se alcanzó par- que recibieron financiamiento del FMAM entre cialmente. La distribución de tierras benefició a 1993 y 1998, se evitó la deforestación de unas algunos batwas, pero no se les otorgaron dere- 19.000 hectáreas hasta 1997 y de otras 25.000 hec- chos de acceso y uso controlado de los productos táreas entre 1997 y 2005, aunque éste no era su forestales que utilizaban tradicionalmente, por lo objetivo explícito. Las zonas protegidas financia- cual en la actualidad estos productos se obtienen das por el FMAM fueron entre un 2% y un 7% más ilegalmente. Los esfuerzos que se realizaron a tra- eficaces para evitar la deforestación que proyectos vés del proyecto para promover oportunidades de similares financiados por otras fuentes. generar ingresos no fueron respaldados por capa- El estudio sobre Costa Rica demuestra que el aná- citación en gestión financiera y en algunos casos lisis oportunista de los conjuntos de datos exis- han producido consecuencias sociales negativas. tentes puede producir una evaluación general de la contribución del FMAM a tendencias ambien- Conclusión 7: : La política de Costa Rica en mate- ria de áreas protegidas logró un impacto cuanti- tales específicas a nivel nacional. Empero, para ficable en términos de la deforestación evitada, obtener resultados más precisos, sería necesario aun si ello no constituye el objetivo principal incorporar las necesidades de datos de evaluación de dicha política. Las áreas protegidas de Costa en el diseño, la ejecución y el seguimiento de los Rica respaldadas por el FMAM fueron más efica- proyectos. Este tipo de planteamiento insumiría ces para evitar la deforestación que proyectos mucho tiempo y sería muy costoso, además de similares financiados por otras fuentes. requerir una gestión coherente en el largo plazo. La segunda evaluación del impacto consistió en Aunque cada vez se dedica más atención al segui- un análisis estadístico de los datos de series cro- miento y la evaluación y el uso de indicadores, es nológicas existentes sobre deforestación y zonas improbable que en el futuro próximo se disponga protegidas en Costa Rica. Se llevaron a cabo com- de conjuntos de datos que sean lo suficientemente paraciones entre zonas protegidas y no protegi- amplios y específicos como para permitir un aná- das a lo largo de varios años a fin de establecer las lisis hipotético sistemático. diferencias en la magnitud de la deforestación que se produjo en unas y otras. Dentro de las zonas Conclusión 8: En opinión de la Oficina de Evalua- protegidas, también se realizaron comparaciones ción del FMAM, el método más realista y eficaz entre los proyectos que recibieron asistencia del en función de los costos para realizar una eva- FMAM y aquéllos respaldados a través de otras luación del impacto consiste en una combina- ción de análisis oportunista semiexperimental, fuentes. donde se utilicen los datos disponibles, y estu- Esta evaluación permitió establecer que, aunque dios de casos específicos que usan un plantea- miento teórico. el objetivo primordial de la política de Costa Rica en materia de zonas protegidas (respaldada por Consiguientemente, en este informe se ha llegado el FMAM) no consistió en evitar la deforestación a la conclusión de que el método más realista y dentro de un marco temporal específico, ésta eficaz en función de los costos para realizar una S-4 Informe anual sobre el impacto del FMAM 2007 evaluación del impacto a un nivel más amplio fondos para actividades esenciales, tuvieron un consiste en una combinación de análisis oportu- impacto sostenido e inclusive se ampliaron a tra- nista de casos hipotéticos, utilizando los datos dis- vés de su repetición o expansión geográfica. ponibles, y estudios de casos específicos que utili- En la esfera de actividad de la biodiversidad, el zan un planteamiento basado en la teoría. De esta FMAM ha adoptado herramientas de seguimiento manera, se podrían utilizar las ventajas que ofrece que procuran medir los progresos realizados para uno de los planteamientos para compensar las alcanzar los resultados a nivel de cartera concer- falencias del otro. Así pues, la información deta- tados como parte de cada período de reposición llada sobre los impactos y los medios para lograr- de los recursos. En el marco de la primera priori- los obtenida a través de los estudios de casos se dad estratégica--catalizar la sostenibilidad de los podría complementar con un análisis hipotético sistemas de zonas protegidas a nivel nacional--, a fin de ubicar los logros de cada proyecto en el en el presente informe se señala que sería posible contexto nacional o sectorial. mejorar la herramienta de seguimiento mediante Los dos métodos implementados fueron eficaces la inclusión de cuestiones relativas a la continui- en función de los costos. Aunque las evaluacio- dad institucional, dado que se observó que este nes a nivel de los tres proyectos entrañaron una factor es fundamental para lograr impactos a labor muy intensa, el costo (externo) de cada una largo plazo. Empero, también sería posible elabo- fue inferior a US$30.000, incluidos los gastos de rar otros medios para definir y realizar un segui- talleres. La metodología elaborada se puede apli- miento de los progresos realizados en pos de la car ampliamente a nivel de los proyectos, pero sostenibilidad institucional. En consecuencia, la deberán introducirse modificaciones para la eva- Oficina de Evaluación solicita a la Secretaría del luación de intervenciones más programáticas. FMAM que lleve a cabo un análisis con sus aso- ciados a fin de establecer cuál es el planteamiento 1.3 Recomendación más eficaz. Recomendación 1: Los proyectos relativos a 1.4 Seguimiento de la labor de la zonas protegidas deberían contener un plan Oficina de Evaluación específico de continuidad institucional, que debería formar parte de las herramientas de Sobre la base del primer conjunto de evaluacio- seguimiento de la biodiversidad del FMAM o nes del impacto, la Oficina de Evaluación consi- quedar bajo la dirección de la Secretaría del dera que el método más idóneo para comprender FMAM mediante la creación de un sistema cabalmente el impacto de las actividades respalda- alternativo. das por el FMAM es aquél que combina el análisis Se estableció que los beneficios para el medio estadístico a nivel macroeconómico con imágenes ambiente mundial generados a través de las inter- de satélites, cuando están disponibles, y estudios venciones en proyectos se iban reduciendo con de casos de proyectos. Por lo tanto, aplicará este el correr del tiempo cuando no existía un plan planteamiento en la labor que realice en el futuro específico para su continuidad institucionalizada. en la esfera de los impactos, tanto si ésta se lleva Por el contrario, los proyectos en cuyo marco se a cabo a través de evaluaciones individuales como habían diseñado y ejecutado planes de sostenibi- si forma parte de otros productos, tales como las lidad institucional, que incluían la asignación de evaluaciones de países o temáticas. 1. Principales resultados y recomendaciones S-5 2. Propuesta de la evaluación de impacto En el documento del Consejo del FMAM GEF/ curará ubicar los impactos generados a nivel de ME/C.25/3, del 6 de mayo de 2005, titulado Four los proyectos en el contexto amplio del objetivo Year Work Program and Budget of the Office of primordial del FMAM, que consiste en financiar Monitoring and Evaluation ­ FY06-09 and Results los costos increméntales de los beneficios para el in FY05 (Programa de trabajo y presupuesto cua- medio ambiente mundial. trienal de la Oficina de Seguimiento y Evaluación, Las evaluaciones del impacto plantean varias difi- ejercicios de 2006-09, y resultados en el ejercicio cultades, tanto conceptuales como prácticas, que de 2005), se señala que el "Consejo, en varias oca- siones, ha solicitado que la Oficina de Seguimiento giran en torno a la necesidad de poder demostrar y Evaluación del FMAM lleve a cabo exámenes de que los cambios, que según las observaciones se la cartera en los países y evaluaciones del impacto, produjeron, pueden atribuirse total o parcial- especialmente evaluaciones posteriores a la fina- mente a la intervención que se está evaluando. lización del proyecto. Estas modalidades de eva- Esta cuestión se ha abordado a través de un amplio luación son elementos esenciales para una oficina espectro de planteamientos. Durante muchos independiente, conforme se establece en su man- años, los evaluadores se basaron en el concepto dato" (párrafo 20, página 5). de "caso hipótesis" como parámetro de referencia para medir los impactos de los proyectos. Con el El Comité de Asistencia para el Desarrollo de la tiempo, se elaboraron planteamientos alternativos Organización para la Cooperación y el Desarrollo que cuestionaron la utilidad de un parámetro de Económicos define a los impactos como "efectos referencia determinado en forma hipotética y per- de largo plazo positivos y negativos, primarios y mitieron establecer que una evaluación teórica y secundarios, producidos directa o indirectamente empírica de la cadena de causas y efectos de una por una intervención para el desarrollo, intencio- intervención ofrecía el mayor grado de precisión nalmente o no" (ODCE Comité de Asistencia para para atribuir el cambio. el Desarrollo, 2002). El objetivo de la evaluación del impacto, por lo tanto, consiste en evaluar los En su documento expositivo sobre las evalua- resultados a largo plazo de las intervenciones del ciones del impacto (GEF EO 2007a), la Oficina FMAM, unos años después de la finalización del de Evaluación del FMAM examinó los diversos apoyo del FMAM, y establecer la sostenibilidad planteamientos disponibles teniendo en cuenta y la posibilidad de repetición de los resultados las características específicas de la misión y las logrados, así como extraer enseñanzas. A través actividades del FMAM, y llegó a la conclusión de de las evaluaciones del impacto también se pro- que el planteamiento metodológico más viable era S-6 el basado en la teoría, aunque señaló que también evitada en ese país. Este estudio se describe en la se utilizarían otros métodos pues ello permitiría cuarta sección, infra. desarrollar el amplio espectro de conocimientos Además, se mantuvieron conversaciones con el necesarios para evaluar, de la mejor manera posi- PNUMA a fin de analizar la posibilidad de aplicar ble, los efectos a largo plazo de las intervenciones los datos a nivel macroeconómico, basados en imá- del FMAM. genes de satélites y otras fuentes, en la evaluación Consiguientemente, en forma simultánea, se ela- del impacto. Empero, se llegó a la conclusión de boraron y probaron dos planteamientos. El más que los datos disponibles para las zonas de los tres importante consistió en un conjunto de estudios proyectos bajo estudio en África oriental no eran conexos sobre proyectos relativos a zonas prote- adecuados y no podían incluirse en las conclusio- gidas, que incluyó la recopilación de datos adi- nes debido tanto a la calidad de los datos como al cionales y un profundo análisis, gestionado por la hecho de que la posibilidad de colaborar se intro- Oficina de Evaluación. Este planteamiento se des- dujo demasiado tarde como para obtener resulta- cribe en la tercera sección, infra. La Universidad dos eficaces. De todos modos, se convino en que de Georgia llevó a cabo un segundo estudio utili- los recursos y conocimientos especializados del zando los datos existentes sobre Costa Rica, que PNUMA se podrían utilizar de una manera más analizó nuevamente para determinar la contri- efectiva en una o más de las siguientes rondas de bución del FMAM en términos de deforestación evaluaciones de los programas en los países. 2. Propuesta de la evaluación de impacto S-7 3. Evaluación teórica de tres proyectos de áreas protegidas 3.1 Desarrollo de metodología y respecto de los efectos a largo plazo de los proyectos selección de proyectos del FMAM en zonas protegidas. El planteamiento proporciona una guía para analizar la manera en que Se llevó a cabo un estudio de consultoría en cuyo funciona una iniciativa y las razones de su éxito. marco se elaboraron los lineamientos generales de un planteamiento basado en la teoría y se analizó Se llevó a cabo un proceso de selección para elegir la manera de concebir uno o más métodos siste- a los candidatos aptos para su inclusión en el pri- máticos para establecer las vinculaciones entre los mer estudio sobre el terreno, que se focalizó ini- impactos de los proyectos y la situación del medio cialmente en la región de África. En total, se iden- ambiente mundial. Específicamente, en este estu- tificaron 46 proyectos completos y activos con un dio se delineó un planteamiento sobre evaluación componente de zona protegida en la cartera del del impacto orientado a la esfera de la biodiver- FMAM en África. África oriental tenía el mayor sidad del FMAM que, con algunas modificacio- número de estos proyectos (15 proyectos), inclui- nes, debería ser aplicado a otras de sus esferas de dos los regulares y los de tamaño mediano, con actividad. El estudio incluyó tres componentes un elevado gasto de financiamiento del FMAM y importantes, a saber: cofinanciamiento (por un total de US$54 millones y US$198 millones). Para la evaluación, se selec- z Una propuesta respecto de un planteamiento cionaron tres proyectos: de evaluación basado en el concepto de "teoría del cambio"; z Conservación del Parque Nacional Impenetra- ble de Bwindi y del Parque Nacional del Gorila z Un análisis de las decisiones sobre políticas que Mgahinga, Uganda (GEF ID 54, Banco Mundial); inciden en las prioridades programáticas y las actividades de seguimiento y evaluación del z Conservación de la fauna y flora silvestres en FMAM, y Lewa, Kenya (GEF ID 18, Banco Mundial); z Nuevos enfoques para reducir la pérdida de z Un análisis de los posibles puntos de contacto biodiversidad en las zonas fronterizas de África entre una evaluación de todo el FMAM y los oriental, alcance regional (Kenya, Tanzanía, indicadores regionales y mundiales. Uganda), (GEF ID 541, PNUD). Sobre la base de un análisis de 20 proyectos, en el estudio se llegó a la conclusión de que un plantea- 3.2 Implementación miento sobre la evaluación del impacto que aplique la En el primer taller que se llevó a cabo en Nairobi, teoría del cambio podría generar resultados creíbles en el que participaron los consultores selecciona- S-8 dos para implementar los tres estudios de casos, Se elaboró un planteamiento práctico y realista se determinó que, para poder realizar esa labor, para medir el impacto, basado en el principio de primero debían especificarse dos factores clave: la utilización de los datos existentes respecto del proyecto, que se complementaron con entrevistas 1. ¿Cómo se determinan los beneficios para el a otras partes interesadas y algunas actividades medio ambiente mundial? En otras palabras, nuevas sobre el terreno. En este marco de evalua- ¿en qué momento un beneficio para el medio ción del impacto se aplican tres análisis diferentes ambiente pasa a tener importancia mundial? para medir el impacto, que en conjunto propor- 2. ¿Qué métodos están disponibles para estable- cionan información integral sobre los impactos, cer si se han generado esos beneficios y si es así como un medio útil para la triangulación de probable que perduren? los resultados. Los tres métodos son: Estas cuestiones se analizaron en un informe pre- z Análisis del marco lógico del proyecto, en el parado por la Oficina de Evaluación del FMAM y que se examinan los productos y los resultados sentaron las bases para la primera fase del trabajo generados por el proyecto conforme se definen de campo, que consistió en establecer los principa- en el marco lógico del proyecto. les contactos, recopilar los datos existentes y reali- zar visitas preliminares sobre el terreno. En Bwindi z Análisis de los resultados e impactos apli- (Uganda), el emplazamiento de uno de los pro- cando la teoría del cambio, en el que se exa- yectos, se llevó a cabo un taller que congregó a un mina el proceso por el cual los resultados del amplio espectro de interesados que participaban en proyecto se convierten en impactos finales, ese momento en alguno de los tres proyectos, o lo proporcionando así una medición indirecta de habían hecho en el pasado, para analizar las teorías los impactos del proyecto. del cambio utilizadas como base para diseñar los z Análisis de los objetivos y las amenazas en proyectos de manera tal que pudieran alcanzar sus materia de conservación, que determina tanto objetivos. Los resultados de este taller se utilizaron el cambio en la situación de los beneficios pre- para preparar un documento expositivo detallado vistos para el medio ambiente mundial como el en el que se describió la estrategia para recabar nue- cambio en el nivel de amenazas a esos benefi- vos datos y la base analítica para "vincular los resul- cios, y proporciona así una medición directa de tados de los proyectos con la posibilidad de generar los impactos del proyecto. beneficios para el medio ambiente mundial" . Los impactos de éstos son presentados en el Anexo. En un tercer taller, que se realizó en Kenya, las par- tes interesadas en los proyectos y las evaluaciones 3.3 Conclusiones: Los proyectos examinaron los resultados preliminares del análisis de conservación del Parque de los datos existentes, así como los resultados de Nacional Impenetrable de Bwindi los estudios adicionales sobre el terreno. Sobre la y del Parque Nacional del Gorila base de este taller, se preparó el planteamiento del análisis final de los tres proyectos y se identificaron Mgahinga algunas lagunas en la información, que requerían El Parque Nacional Impenetrable de Bwindi y el nuevas visitas al proyecto en las zonas fronterizas. Parque Nacional del Gorila Mgahinga están situa- Posteriormente, se prepararon las evaluaciones dos en la zona suroccidental de Uganda y abarcan del impacto de los tres estudios de casos. 321 km2 y 33,7 km2, respectivamente. Estos par- 3. Evaluación teórica de tres proyectos de áreas protegidas S-9 ques albergan ecosistemas montañosos y alpinos respaldar la conservación de la biodiversidad en de África que se encuentran entre los bosques tro- estos dos parques. La razón que justificó el pro- picales con mayor diversidad biológica de África yecto fue que la creación del Fondo de Bwindi y su oriental. El Parque Nacional Impenetrable de dotación permanente proporcionarían el meca- Bwindi es el bosque natural más extenso que aún nismo más adecuado para lograr la conservación subsiste en Uganda y es el único sitio en África a largo plazo de los recursos naturales y el desa- oriental que abarca un conjunto ecológico ininte- rrollo sostenible de los dos parques y de las comu- rrumpido de tierras bajas, bosque de transición y nidades aledañas. bosque montano. El Parque Nacional del Gorila De conformidad con la ley de fideicomisos de Mgahinga forma parte de una red más extensa Uganda, el Fondo de Bwindi se constituyó legal- de parques nacionales en la zona de las monta- mente en septiembre de 1995 mediante una escri- ñas volcánicas de Virunga, que se interna en el tura de fideicomiso, y el FMAM proporcionó el territorio de Rwanda y la República Democrática financiamiento inicial (US$4,3 millones) para capi- del Congo. La totalidad de la población mundial talizar el fondo de dotación. El capital se invirtió de gorilas de montaña (Gorilla gorilla beringei) en el exterior con la intención de utilizar la renta --unos 600 ejemplares--habita en las montañas anual, una vez deducidos los costos administrati- de Virunga y en Bwindi, y de ese total, alrededor vos, para financiar actividades de conservación y de la mitad están en el Parque Nacional Impene- desarrollo en la zona prevista. Las actividades por trable de Bwindi, que la UNESCO declaró sitio financiar con la renta de la dotación de este Fondo del patrimonio mundial en 1994. Estos parques se clasificaron en tres pilares programáticos: están situados en una de las regiones de África z El primer pilar, al que se asignó el 60% de la con mayor densidad demográfica y los bosques renta anual neta de la dotación, consistía en cumplen el papel fundamental de captar agua y proporcionar apoyo a actividades de desa- son una fuente importante de productos foresta- rrollo comunitario, tales como actividades les para las comunidades vecinas. alternativas para generar ingresos y proyectos El proyecto de conservación del Parque Nacional de infraestructura social para las comunidades Impenetrable de Bwindi y del Parque Nacional locales aledañas a los parques, de manera cohe- del Gorila Mgahinga fue un proyecto regular del rente con la conservación de la biodiversidad. FMAM y el Banco Mundial, comenzó en 1995 y z El segundo, al que se asignó el 20% de la renta fue concebido como un proyecto de gran enver- de la dotación, consistía en proporcionar apoyo gadura que tendría una duración de cinco años. El para actividades de investigación y segui- objetivo general del proyecto consistió en crear el miento ecológico y socioeconómico con el Fondo fiduciario para la conservación de Bwindi propósito de mejorar la gestión de los parques y Mgahinga ("el Fondo de Bwindi")1 como un y las relaciones entre ellos y las comunidades. mecanismo de financiamiento a largo plazo para z El 20% restante de la renta se asignó al último pilar, que consistía en proporcionar apoyo a Originalmente, el Fondo fiduciario para la conser- 1 actividades relativas a la gestión de los parques, vación de Bwindi y Mgahinga se llamaba Fondo fidu- especialmente para cubrir los costos incremén- ciario para la conservación del bosque impenetrable de Mgahinga y Bwindi. En este estudio de casos, se deno- tales de la ejecución de los planes de gestión de minará el Fondo de Bwindi. los parques nacionales Bwindi y Mgahinga. S-10 Informe anual sobre el impacto del FMAM 2007 A fin de propiciar el crecimiento del fondo de existente y actividades comunitarias). A raíz de dotación, otros donantes proporcionaron cofi- ello, hubo ocasiones en que el proyecto no pudo nanciamiento inicial destinado a los gastos ope- adaptar sus planteamientos y estrategias y muchas racionales y programáticos del Fondo. Se preveía deficiencias se identificaron posteriormente, en que, después de este período inicial, el fondo de oportunidad del examen de mitad de período. En dotación generaría intereses suficientes para res- general, el análisis del marco lógico proporciona paldar las actividades de conservación y desarro- claras pruebas de que el proyecto tuvo éxito en llo del programa de implementación del Fondo de lo que respecta a la creación del Fondo y su pro- Bwindi y ya no necesitaría apoyo externo. grama de actividades, pero ofrece poca informa- ción sobre sus impactos en términos de conser- Análisis del marco lógico del proyecto vación de la biodiversidad. El Cuadro 3.1, infra, Dado que en el documento original de datos contiene una síntesis de la evaluación del grado en básicos del proyecto del FMAM no se definía un el que se lograron los cuatro resultados. marco lógico, fue necesario elaborar un "marco lógico retrospectivo" teniendo en cuenta los obje- Cuadro 3.1 tivos generales del proyecto señalados en dicho Síntesis de la consecución de los resultados del documento, así como información sobre sus proyecto de Bwindi logros efectivos en la práctica. Para elaborar este Resultado del proyecto Evaluación marco lógico retrospectivo, el grupo de estudio se Se creó el Fondo de Bwindi para financiar y 4 basó en la documentación existente. respaldar la conservación en el largo plazo Se fortaleció la capacidad de las autoridades 3 Una vez que se recopiló y sintetizó la información encargadas de las zonas protegidas para gestionar los parques nacionales Bwindi y necesaria para el marco de evaluación del impacto, Mgahinga se clasificó el grado en el que el proyecto logró Se fortaleció la capacidad, voluntad y 4 convertir los resultados en impactos. Se asignó sensibilidad de las comunidades locales un puntaje a cada situación intermedia, motor de para gestionar los parques y los recursos naturales de manera sostenible impacto y supuesto externo de conformidad con Se mejoraron los medios de subsistencia de 3 el nivel alcanzado. los indígenas batwas Nota: 0 = sin datos; 1 = no logrado; 2 = logrado escasamente; En la evaluación final, se determinó que los resul- 3 = logrado parcialmente; 4 = logrado adecuadamente; 5 = logrado tados del proyecto habían sido moderadamente a totalmente. altamente satisfactorios. Sin embargo, el proyecto carecía de un claro marco lógico, con un orden Al finalizar el proyecto, el Fondo de Bwindi había jerárquico de actividades, productos y resultados. logrado adquirir tierras para algunos indígenas Consiguientemente, se omitieron varias de las acti- batwas, respondiendo así directamente a su aspi- vidades, productos y componentes, que recién se ración de ser propietarios de la tierra, y había con- agregaron durante la ejecución del proyecto. Por tribuido a mejorar los niveles educativos con el otra parte, se dedicó demasiada atención al segui- propósito de ayudar a los batwas a realizar su pro- miento y la evaluación de los medios (por ejemplo, pio desarrollo. Empero, aunque éste fue un plan- la creación del fondo fiduciario) en detrimento de teamiento pragmático para mejorar los medios de los fines (por ejemplo, la conservación de la biodi- subsistencia, el grupo de estudio consideró que se versidad a través de un programa de investigación había perdido la oportunidad de contribuir aún 3. Evaluación teórica de tres proyectos de áreas protegidas S-11 más a la conservación a largo plazo de los bosques Análisis de objetivos y amenazas de Bwindi y Mgahinga. Esta oportunidad consistía El último componente analítico proporciona buena en la necesidad de abordar las aspiraciones de los información respecto del estado de conservación batwas en cuanto a los derechos de acceso y uso de los beneficios para el medio ambiente mundial controlado relativos a algunos recursos foresta- derivados de Bwindi (véase el Cuadro B.1). De todos les, respecto de los cuales consideran que tienen los hallazgos, tal vez los más asombrosos sean que, derechos de tenencia consuetudinarios. En conse- a pesar de la intensa presión generada por las zonas cuencia, el grupo de estudio estimó que este resul- agrícolas densamente pobladas que rodean el par- tado sólo se logró parcialmente. que, desde fines de los años ochenta no se han regis- trado pérdidas de la cubierta forestal en Bwindi, y la Análisis de los resultados e impactos población de gorilas de montaña está aumentando. aplicando la teoría del cambio Con anterioridad a su designación como zona El análisis de los resultados e impactos mediante protegida, el parque se estaba degradando rápida- la aplicación de la teoría del cambio resalta la mente debido a la tala con sierras y la explotación importancia de establecer mecanismos institu- desmesurada de otros recursos. Cuando Bwindi cionales a largo plazo, que permiten abordar los se convirtió en parque nacional, las comunidades aspectos que inciden en los impactos después locales opusieron gran resistencia, y el conflicto y de la finalización del proyecto. Esta cuestión es las actitudes negativas resultantes constituyeron especialmente importante cuando se trata de ini- una grave amenaza para el parque y un desafío ciativas comunitarias y de desarrollo integradas, para sus administradores. Desde entonces, empero, que requieren el transcurso de un gran número el conflicto ha disminuido considerablemente y las de años antes de generar beneficios significati- comunidades locales han incrementado su apoyo a vos en materia de medios de subsistencia y más la conservación de Bwindi. No obstante, el parque aún para lograr impactos en el medio ambiente aún afronta graves amenazas (véase el Cuadro B.2). mundial. Todavía persiste la caza ilegal, así como otras for- mas de explotación ilícita de los recursos forestales, Este análisis proporciona pruebas de que los y no existen datos que corroboren que las medidas mecanismos creados y las intervenciones inicia- de conservación de los últimos años han tenido un das en el marco del proyecto han proseguido y se impacto significativo para reducir esas activida- han ampliado después de su cierre. En general, se des. Además, la degradación del bosque debido a evaluó que los resultados han logrado parcial- la intensa tala con sierras ha tenido consecuencias mente generar un impacto. Otra conclusión que aún perduran y se observa un gran número de importante derivada del análisis es que el financia- claros creados por la remoción de los árboles, con miento estable y suficiente es un aspecto esencial muy poca regeneración del bosque dentro de ellos. que incide en el impacto y que tanto el Fondo de Bwindi como la Dirección de Fauna Silvestre de Uganda pueden lograr un gran impacto cuando se 3.4 Proyecto de conservación de la dispone de fondos. Por último, este análisis pone de relieve que otros fondos para el medio ambiente fauna y flora silvestres en Lewa han repetido el modelo experimental del Fondo de El proyecto de tamaño mediano del FMAM en Bwindi, por lo cual éste ha tenido un efecto catali- Lewa proporcionó apoyo para profundizar el zador al ampliar el alcance del impacto. desarrollo de la Reserva de fauna y flora silvestres S-12 Informe anual sobre el impacto del FMAM 2007 de Lewa, una empresa privada sin fines de lucro tificaron cinco resultados y productos conexos dedicada a la conservación de la fauna y flora sil- que reflejaban las diversas estrategias de inter- vestres, que lleva a cabo actividades en una super- vención empleadas en el proyecto, y también ficie de 25.000 hectáreas en el distrito de Meru se señalaron las oportunidades de alcanzar los (Kenya). El FMAM otorgó a Lewa una donación objetivos del proyecto que no se habían aprove- de US$750.000 para el período comprendido entre chado. El marco lógico retrospectivo se adoptó el año 2000 y fines de 2003, con cofinanciamiento posteriormente en el examen de las evaluaciones por valor de US$3,193 millones. finales realizado por la Oficina de Evaluación del FMAM (agosto de 2006). Se identificaron tres Los objetivos del proyecto, conforme se descri- resultados clave, a saber: bieron sucintamente en la propuesta original de 1998, incluían: 1. Se fortaleció la capacidad a largo plazo de Lewa para proporcionar beneficios mundiales z Permitir que Lewa continúe y refuerce sus acti- y locales derivados de la conservación de la vidades de conservación de especies en peli- fauna y flora silvestres. gro; 2. Se fortaleció la protección y ordenación de las z Permitir que Lewa implemente su plan de desa- especies de fauna y flora silvestres en peligro rrollo estratégico y financiero, a fin de ser más en el ecosistema amplio, en colaboración con viable en el largo plazo y aumentar la sostenibi- las comunidades locales. lidad de sus actividades de conservación y los beneficios derivados de ellas; 3. Se incrementaron los beneficios económicos que las comunidades locales derivaban del z Extender los beneficios de la conservación a uso sostenible de la fauna y flora silvestres y tierras de importancia biológica controladas los recursos naturales. por la comunidad y reducir las modalidades de uso de la tierra perjudiciales para el medio En general, en la evaluación final se determinó ambiente; que los resultados del proyecto fueron altamente z Propiciar el desarrollo de otras iniciativas comu- satisfactorios (la calificación más alta). Se consi- nitarias de conservación, así como el apoyo de deró que el principal éxito del proyecto residió ONG privadas a esas iniciativas, en Kenya y en en que se logró aumentar la capacidad institu- otros países, y con ese fin, servir como modelo cional de Lewa (resultado 1) y proteger y orde- y proporcionar oportunidades de capacitación nar la biodiversidad (resultado 2), que fueron los en una escala moderada. aspectos en los que se concentró el apoyo finan- ciero al proyecto (80%). Asimismo, se estableció Análisis del marco lógico del proyecto que se habían sentado bases sólidas a través de El documento original de datos básicos del pro- la labor del proyecto para mejorar los medios de yecto del FMAM no contenía una definición del subsistencia de la comunidad. Las principales marco lógico o de los resultados propiamente conclusiones derivadas de este estudio de casos dichos. No obstante, en el estudio de los bene- se resumen a continuación teniendo en cuenta ficios locales en Lewa (2004), realizado por la los tres componentes del análisis. Las principales Oficina de Evaluación del FMAM, con la parti- conclusiones de este análisis están resumidas en cipación de personal superior de Lewa, se iden- el cuadro 3.2. 3. Evaluación teórica de tres proyectos de áreas protegidas S-13 Cuadro 3.2 del FMAM relativamente pequeña, que posterior- Síntesis de la consecución de los resultados del mente se incrementó con éxito. No obstante, la proyecto de Lewa situación en el ecosistema de tierras de pastoreo Resultado del proyecto Evaluación del norte es aún precaria y pasará algún tiempo Se fortaleció la capacidad institucional y 5 antes de que las instituciones comunitarias sean financiera a largo plazo de Lewa para pro- independientes desde el punto de vista institucio- porcionar beneficios mundiales y locales derivados de la conservación de la fauna y nal y financiero. Hasta entonces, será importante flora silvestres que se mantengan los niveles de apoyo; caso con- Se fortaleció la protección y ordenación de 4 trario, la situación se podría revertir rápidamente. las especies de fauna y flora silvestres en peligro en el ecosistema amplio Análisis de objetivos y amenazas Se fortalecieron las iniciativas comunita- 4 rias de conservación y ordenación de los El último componente analítico proporciona recursos naturales buena información sobre las amenazas que afron- Nota: 0 = sin datos; 1 = no logrado; 2 = logrado escasamente; 3 = logrado parcialmente; 4 = logrado adecuadamente; 5 = logrado tan y el estado de conservación de los dos prin- totalmente. cipales beneficios para el medio ambiente mun- dial que se derivan del proyecto de Lewa y su posterior ampliación. Como se indica en el Cua- Análisis de los resultados e impactos dro B.3, el estado de conservación del rinoceronte aplicando la teoría del cambio negro registra mejoras en la zona de la Reserva El principal hallazgo del análisis de los resultados de Lewa, pues se observa un crecimiento gradual e impactos aplicando la teoría del cambio es que de la población con importantes mejoras en su los mecanismos institucionales apropiados y sos- estructura y tasas de crecimiento. En Lewa, por tenibles son importantes cuando se trata de lograr otra parte, se llevan a cabo grandes operaciones beneficios para el medio ambiente mundial. La de seguridad para combatir la constante amenaza creación del Northern Rangelands Trust (fondo de la caza furtiva de rinocerontes negros (véase el fiduciario para las tierras de pastoreo del norte) Cuadro B.4), y gracias a ello, hasta la fecha no se bajo la forma de una organización coordinadora ha perdido ningún ejemplar a manos de un caza- para facilitar y catalizar la repetición y ampliación dor. Hoy, el rinoceronte negro de Lewa representa en el ecosistema amplio fue tanto novedosa como un 8% de la población mundial de las subespecies eficaz. Además, la formación de una asociación de orientales. La población de cebras de Grevy de colaboración con la Reserva Ol Pejeta, situada en Lewa se ha mantenido casi estable (afectada tan las proximidades, demostró las sinergias creadas sólo por la depredación de los leones) y representa al reunir conjuntos de conocimientos y capacida- alrededor del 20% de la población mundial. des diferentes, que añadieron una nueva e impor- tante dimensión a la ampliación de las actividades Aunque el análisis proporciona un claro indicio que no estaban totalmente cubiertas en el pro- de que las poblaciones de rinocerontes negros y yecto del FMAM, entre ellas, la venta de ganado y cebras de Grevy de la Reserva de Lewa están cui- dadas y protegidas extremadamente bien, es pro- el mejoramiento de la ordenación de los recursos bable que el logro más notable sea el papel visio- naturales y las tierras de pastoreo. nario, catalizador y de apoyo que ha cumplido El proyecto de Lewa demuestra el impacto prác- Lewa en pro de la conservación de estas especies tico de conservación generado por una inversión en peligro en el ecosistema amplio. Lewa ha tenido S-14 Informe anual sobre el impacto del FMAM 2007 una importante intervención en la conservación desarrollo, así como a las comunidades locales, y ordenación de un 40% de la población de rino- promover el uso sostenible de la biodiversidad, y cerontes negros de Kenya y ha tomado la inicia- lograr un equilibrio entre la demanda de recursos tiva para estudiar medidas novedosas orientadas forestales y la oferta sostenible en los principales a incrementar la cobertura de santuarios seguros bosques y zonas húmedas. para el rinoceronte negro. En lo que respecta a la conservación de la cebra de Grevy, el papel que El financiamiento del FMAM para el proyecto cumplió Lewa en la creación de reservas comu- ascendió a US$12,9 millones y se obtuvo cofinan- nitarias, que han sumado casi un millón de acres ciamiento adicional por valor de US$5,5 millones. a la superficie destinada a conservación, no tiene La idea del proyecto se elaboró en respuesta a los precedentes en África oriental y está propiciando pedidos de un proyecto sobre biodiversidad, de la recuperación de la población de cebras dentro alcance regional, presentados por los gobiernos de de su ámbito natural. Con todo, los costos y los África oriental, y las recomendaciones formuladas recursos necesarios para gestionar y proteger esta en una evaluación externa del primer proyecto de reserva en crecimiento son sustanciales y, a menos alcance regional del FMAM en la esfera de la bio- que se mantengan los flujos de financiamiento en diversidad --Respaldo institucional para proteger forma ininterrumpida y cada vez mayor, existe la biodiversidad en África oriental--, que se eje- la posibilidad de que, con el tiempo, se reviertan cutó entre 1992 y 1996. los grandes avances en pos de la conservación El proyecto tenía componentes en cada uno de los de este ecosistema y sus beneficios para el medio tres países participantes (Kenya, Uganda y Tan- ambiente mundial. zanía), así como un componente de coordinación regional con sede en Arusha, Tanzanía. Su obje- 3.5 Conclusiones: Nuevos tivo consistía en proporcionar apoyo en cuatro enfoques para reducir la pérdida niveles--regional, nacional, distrital y comunita- de biodiversidad en las zonas rio--y establecer vinculaciones sólidas entre estos fronterizas de África oriental niveles. Las intervenciones de conservación in situ El proyecto del PNUD/FMAM denominado Nue- se llevaron a cabo en cuatro pares de sitios fronte- vos enfoques para reducir la pérdida de biodiver- rizos, elegidos teniendo en cuenta su importancia sidad en las zonas fronterizas de África oriental, en términos de biodiversidad: conocido también como el Proyecto sobre bio- z Bosque de Minziro (Tanzanía) y bosque de diversidad fronteriza en África oriental, fue un la bahía de Sango (Uganda). Este extenso proyecto regular, de alcance regional, del FMAM/ bosque pantanoso, con especies de bosques de PNUD, que se extendió a lo largo de cinco años, África occidental y de bosques montanos de entre 1998 y 2003. El objetivo general del pro- África y podocarpaceas de pantano endémicas yecto de alcance regional consistía en "reducir la (Afrocarpus dawei), constituye una comunidad tasa de pérdida de biodiversidad de los bosques y ecológica única que no se encuentra en ningún zonas húmedas en sitios fronterizos específicos de otro sitio. importancia nacional y mundial en África oriental". Para lograr ese fin, era preciso crear las condicio- z Karamoja (Uganda) y colinas Loima (Kenya). nes propicias (política, legislación, sensibilización) Este bosque montano seco, que constituye un que permitieran a los organismos sectoriales y de refugio ecológico o isla para las comunidades 3. Evaluación teórica de tres proyectos de áreas protegidas S-15 ecológicas amenazadas, está rodeado de tierras reducir la explotación y la extracción de especies áridas y semiáridas dedicadas a la ganadería. clave, y segundo, para prevenir esa pérdida en el futuro, se adoptaron medidas específicas, una vez z Kajiado (Kenya) y Monduli (Tanzanía). Este finalizado el proyecto. En otras palabras, se ataca- bosque montano seco también proporciona un ron las causas profundas del problema. refugio ecológico rodeado de tierras áridas y semiáridas. Dada la amplia cobertura de este proyecto, no z Bosques del Arco oriental: montañas Pare hubiera sido realista evaluar en este estudio de (Tanzanía) y colinas Taita (Kenya). Es uno de casos la gran variedad de aspectos de todos los los 25 lugares de todo el mundo que se conside- sitios fronterizos. Así pues, el estudio se concen- ran críticos para la diversidad de las plantas, y tró en la reserva del bosque central de la bahía tiene niveles excepcionales de endemismo. de Sango (Uganda) y en la reserva del bosque de Minziro (Tanzanía) y las actividades conexas del Se identificaron tres tipos diferentes de pérdida de proyecto. En opinión del personal que trabajó biodiversidad en estos sitios: en el proyecto, en este sitio se habían logrado los mayores éxitos y, consiguientemente, ofrecía las z Pérdida total del hábitat forestal debido tanto mejores condiciones para probar las técnicas de a la conversión lícita de bosques no protegidos evaluación del impacto incluidas en el estudio de en tierras destinadas a agricultura como a la casos. usurpación de bosques protegidos y su conver- sión en tierras destinadas a agricultura o asen- Análisis del marco lógico del proyecto tamientos. Antes del inicio del proyecto, estos dos procesos ocurrían en muchos sitios fores- El marco lógico del proyecto fue resultado de las tales. modificaciones realizadas durante los primeros dos años del proyecto y sentó las bases para su z Pérdida de cubierta forestal ocasionada por ejecución posterior. En las siguientes secciones incendios o excesiva explotación forestal, que se analizan los dos resultados previstos y el grado dejaron grandes intervalos en la cubierta, cuya al que se habían logrado cuando finalizó el apoyo regeneración es improbable. del FMAM al proyecto, únicamente con respecto z Pérdida de componentes específicos de al sitio fronterizo de los bosques de la bahía de biodiversidad debido a la excesiva extracción Sango y Minziro (ver cuadro 3.3). selectiva, o al cambio gradual del hábitat en el bosque, ocasionado por factores tales como el aumento de la superficie sin vegetación. Este Cuadro 3.3 tipo de pérdida es preocupante cuando los Síntesis de la consecución de los resultados del componentes son especies esenciales, endémi- proyecto cas o raras. Resultado del proyecto Evaluación Se crearon condiciones propicias que res- 4 Las intervenciones del proyecto para abordar la paldan el uso sostenible de la diversidad pérdida de biodiversidad se concentraron en dos Se logró un equilibrio entre la demanda y 3 objetivos: primero, para reducir la pérdida inme- la oferta de recursos en sitios clave Nota: 0 = sin datos; 1 = no logrado; 2 = logrado escasamente; diata de biodiversidad forestal, se llevaron a cabo 3 = logrado parcialmente; 4 = logrado adecuadamente; 5 = logrado actividades para detener la usurpación de tierras y totalmente. S-16 Informe anual sobre el impacto del FMAM 2007 En la evaluación final del proyecto y en el examen instituciones sostenibles en los lugares de ejecu- de las evaluaciones finales realizado por la Ofi- ción a través de organizaciones comunitarias de cina de Evaluación del FMAM, se consideró que ordenación forestal colaborativa, las que también los resultados del proyecto fueron satisfactorios. deberían generar un impacto mayor a medida que Los principales logros respecto de la creación de maduren. En general, se consideró que el impacto condiciones propicias (resultado 1) incluyeron la derivado de los resultados fue escaso o parcial. aplicación de políticas nacionales participativas Una de las principales conclusiones derivadas de en materia forestal a las que el proyecto realizó este análisis es que un período de cinco años no aportaciones, y la creación y el fortalecimiento basta para establecer instituciones comunitarias de mecanismos de participación de la comunidad sostenibles. Aunque el proyecto abrió camino en local con el objeto de lograr que los organismos la bahía de Sango, cuando éste finalizó, las orga- gubernamentales y las autoridades forestales ges- nizaciones comunitarias no podían mantenerse. tionen conjuntamente los bosques incluidos en el Consiguientemente, durante la ejecución del pro- proyecto. Los principales avances para lograr un yecto deben tomarse los recaudos necesarios para equilibrio entre la demanda y la oferta de recur- garantizar su continuidad cuando éste termine, sos (resultado 2) incluyeron la formulación de ya sea a través de organismos gubernamentales o planes de ordenación forestal participativa con proyectos o programas complementarios, hasta un alto nivel de adhesión de la comunidad, la que las instituciones sean independientes tanto adopción de prácticas alternativas de uso y gene- desde el punto financiero como institucional. ración de ingresos, y las pruebas incidentales del aumento de la regeneración en las zonas foresta- Otra de las conclusiones a nivel de las aldeas es les. Empero, aunque todo parece indicar que el que las organizaciones comunitarias inscritas son proyecto ha alcanzado la mayor parte de sus obje- más sostenibles desde el punto de vista institucio- tivos, el sistema de seguimiento y evaluación no nal que los comités informales, en parte debido a fue adecuado para medir el nivel de asimilación de que tienen capacidad para abrir cuentas banca- las actividades del proyecto por parte de las comu- rias y obtener fondos. Todas las organizaciones nidades locales y su consiguiente impacto en los comunitarias establecidas a través del proyecto medios de subsistencia locales, ni tampoco para fronterizo han logrado obtener financiamiento establecer si las actividades realizadas tuvieron el adicional de donantes internacionales, como por impacto previsto en los recursos de biodiversidad ejemplo la iniciativa de la cuenca del Nilo, finan- en los lugares de ejecución del proyecto. ciada por el FMAM, así como acceso al apoyo téc- nico necesario. Análisis de los resultados e impactos Aunque existen pocas pruebas de que se haya aplicando la teoría del cambio logrado un impacto en los bosques de la bahía de El análisis de los lugares de ejecución del pro- Sango y Minziro, el hecho de que el modelo de yecto de los bosques de la bahía de Sango y Min- organización comunitaria de ordenación fores- ziro indica que se ha logrado un éxito parcial en tal colaborativa se esté repitiendo y ampliando incorporar mejores prácticas de ordenación fores- en la bahía de Sango indica que con el tiempo y tal, especialmente a nivel de la política nacional, cierto apoyo externo permanente, estas institucio- lo cual podría surtir efecto sobre el terreno en el nes comunitarias tienen buenas posibilidades de largo plazo. Además, se han comenzado a crear madurar y desempeñar un papel más importante 3. Evaluación teórica de tres proyectos de áreas protegidas S-17 en la ordenación forestal conjunta y, en última ins- vas se había reducido en la bahía de Sango y, en tancia, de generar impactos. menor medida, en el bosque de Minziro, durante la vigencia del proyecto. En la evaluación final, Análisis de objetivos y amenazas se consideró que el análisis de la reducción de A raíz de varios factores, ente ellos, la dificultad las amenazas constituía una técnica apropiada, de establecer parámetros de referencia relati- especialmente debido a que el ecosistema de los vos a la biodiversidad y el largo tiempo que debe bosques de la bahía de Sango y Minziro no con- transcurrir para que se produzcan cambios en los tenía especies carismáticas grandes a cuya con- ecosistemas y la biodiversidad, en el proyecto no servación debía dedicarse especial atención, a se puso énfasis en la medición directa del estado diferencia de lo que se observaba en los estudios de conservación de los beneficios para el medio de casos de Lewa y Bwindi. Además, este análisis ambiente mundial derivados de los bosques de la proporcionaba indicios del impacto en el corto bahía de Sango y Minziro. En consecuencia, no plazo; generaba resultados que podían ser inter- se realizaron mediciones de la tasa de pérdida de pretados fácilmente por todas las partes intere- biodiversidad ni se indicó claramente la situación sadas, profesionales y miembros de la comuni- de los bosques y su biodiversidad antes y después dad, y propiciaba un buen nivel de participación del proyecto. Por lo tanto, fue difícil formular con- y protagonismo de la comunidad. Empero, se clusiones firmes acerca del estado de conservación plantearon dudas respecto de la coherencia y de las especies de interés mundial y sólo fue posi- objetividad en la aplicación de esta técnica en los ble obtener pruebas circunstanciales y opiniones diversos lugares de ejecución del proyecto. de expertos que indicaban que se había registrado una mejora en el estado de conservación de los Lamentablemente, pese a que esta metodología beneficios para el medio ambiente mundial a nivel se aplicó con éxito, las autoridades forestales no la del sistema de bosques y pastizales. han empleado en la bahía de Sango y Minziro des- pués del cierre del proyecto. Esto ha menoscabado El proyecto invirtió abundantes recursos en plan- la capacidad para llevar a cabo una eficaz ordena- teamientos participativos para medir las amenazas ción forestal colaborativa y ha dificultado la labor a los beneficios para el medio ambiente mundial, de evaluar los niveles de amenaza después de la pues se consideró que este método era realista, finalización del proyecto. En la consulta sobre el participativo y eficaz. El análisis de la reducción terreno que se realizó en 2007, las comunidades de las amenazas fue una herramienta eficaz en locales y las autoridades forestales opinaron que función de los costos para medir la pérdida de si bien los niveles de amenaza habían aumentado biodiversidad durante la ejecución del proyecto. desde que finalizó el proyecto, de todos modos las Este análisis proporcionó pruebas sólidas de que amenazas que afrontaba el bosque eran inferio- el nivel de amenaza derivado de la explotación res al nivel imperante antes de la intervención del forestal, los incendios y las actividades extracti- proyecto (ver cuadro B.5). S-18 Informe anual sobre el impacto del FMAM 2007 4. Análisis semiexperimental de la deforestación evitada en Costa Rica En el último decenio, los científicos y profesiona- establecer si las zonas protegidas eran eficaces les dedicados a la conservación han intensificado para reducir la deforestación, y aplicar la metodo- sus pedidos de evaluaciones más rigurosas de las logía en un país que había recibido financiamiento políticas y los programas diseñados para proteger del FMAM. la biodiversidad y los servicios proporcionados Entre 1960 y 1997, Costa Rica desmontó más de por los ecosistemas. Una de las principales con- un millón de hectáreas de bosque y protegió unas clusiones formuladas en la Evaluación de los Eco- 900.000 hectáreas. Su sistema de zonas protegi- sistemas del Milenio (2005) fue que "los análisis das ha recibido amplios elogios y el país encabeza empíricos bien diseñados permiten evaluar inclu- el debate para lograr que el Protocolo de Kyoto sive las medidas más comunes de conservación de reconozca los créditos derivados de la "defores- la biodiversidad". tación evitada". En este estudio de casos, se pro- Las zonas protegidas (entre otras, parques nacio- cura responder a la siguiente pregunta: ¿cuánto nales, reservas) son un componente importante mayor habría sido el desmonte de los bosques si de la cartera del FMAM en la esfera de la biodiver- no hubiesen existido las zonas protegidas?" sidad y son un tema central del debate sobre "defo- Para llevar a cabo este análisis de la eficacia de los restación evitada" en el marco de la política sobre ecosistemas protegidos y sus servicios concomi- cambio climático. No obstante, el rendimiento de tantes, se consideraron esenciales las siguientes las inversiones en zonas protegidas, en términos tres características: de deforestación evitada, es aún incierto. La medi- ción de la deforestación que se habría producido z el control del sesgo manifiesto generado a par- si la misma zona de bosques no hubiese estado tir de la naturaleza no aleatoria de la aplicación protegida--el caso hipotético--es una cuestión de políticas o programas (selección de aspectos compleja debido a que la deforestación evitada no observables); se puede observar directamente. El objetivo de este estudio de casos consistió en elaborar una metodología semiexperimental1 para se asignan al azar. La designación de grupos de aplica- ción y de control podría basarse en circunstancias que ocurren naturalmente y crean esos grupos. El desafío, 1 En los experimentos aleatorios, la selección de empero, consiste en asegurarse de que no existan dife- los grupos de aplicación se realiza al azar. En el análi- rencias sistemáticas entre los grupos de aplicación y los sis semiexperimental, las condiciones de aplicación no de control. S-19 z detección y control de los efectos secundarios zonas protegidas y reservas de fauna y flora silves- espaciales, y tres. El grupo de aplicación para analizar las zonas protegidas por el FMAM incluyó el parque nacio- z una evaluación de la sensibilidad de los resul- nal Corcovado y el parque nacional La Amistad. tados al sesgo oculto (heterogeneidad de los aspectos no observables). Por deforestación evitada se entiende la diferencia entre el cambio, dentro de un período especificado, Generalmente, empero, la literatura en materia de en la cubierta forestal en parcelas protegidas, y el ciencia de la conservación no se ocupa de estas cambio, durante el mismo período, en la cubierta características y, por ello, no es posible formular forestal de parcelas equivalentes pero no protegi- conclusiones definitivas acerca de la eficacia del das, que recibe el nombre de "caso hipotético"2. programa. En realidad, no se encontró ningún análisis que contuviera por lo menos dos de las El análisis se divide en tres secciones: tres características. En el presente estudio se pro- cura llenar esa laguna. 1. Estimación de la deforestación evitada entre 1960 y 1997 en todas las zonas protegidas; En el pasado, las estimaciones empíricas de la 2. Estimación de la deforestación evitada en los deforestación evitada no proporcionaban una cifra períodos 1986-97 y 1997-2005 en dos zonas correcta de la cubierta vegetal hipotética en razón protegidas en las que el FMAM financió acti- de que omitían tener en cuenta la naturaleza no vidades en los años noventa: el parque nacional aleatoria de la creación de zonas protegidas y los Corcovado y el parque nacional La Amistad; efectos secundarios espaciales que pueden deri- varse de ella. En el estudio de casos se demues- 3. Comparación de la deforestación evitada tra que se pueden usar estimadores paralelos para en las zonas protegidas en las que el FMAM calcular la deforestación evitada en las zonas pro- financió actividades, y la deforestación evi- tegidas y sus alrededores. tada en zonas protegidas que no recibieron financiamiento del FMAM. 4.1 Alcance y metodología de la El proceso de equiparación consiste en identi- evaluación ficar, ex post, un grupo de comparación que es Se estableció por definición que las zonas prote- "muy similar" al grupo de aplicación, pero tiene gidas eran las tierras gestionadas en el marco del una diferencia importante: el grupo de compara- Sistema Nacional de Áreas de Conservación, que ción no participó en el programa bajo análisis (por incluye todos los parques y refugios públicos en ejemplo, la protección). Si el investigador logra Costa Rica. La información geográfica sobre los seleccionar características observables de manera límites de las zonas protegidas se obtuvo de las tal que dos unidades de tierra con el mismo valor capas de datos del sistema de información geo- para estas características generen respuestas simi- gráfica suministradas por el Laboratorio de Siste- lares al procedimiento aplicado, en ese caso el mas de Observación Terrestre de la Universidad efecto de la aplicación se podrá medir sin sesgo. de Alberta (Canadá). El grupo de aplicación para En el presente estudio de casos se analiza el uso analizar los efectos de todas las zonas protegidas incluyó las tierras pertenecientes a parques nacio- 2 Una parcela está forestada o deforestada (fores- nales, reservas biológicas, reservas forestales, tada = más del 80% de cubierta forestal). S-20 Informe anual sobre el impacto del FMAM 2007 del "proceso de equiparación" para estimar la 4.2 Conclusiones deforestación evitada en las zonas protegidas y sus Entre 1960 y 1997, Costa Rica desmontó más de alrededores. un millón de hectáreas de bosque y protegió unas El objetivo de este análisis mediante comparación 900.000 hectáreas. La evaluación de todas las consiste en determinar los factores que inciden zonas protegidas en Costa Rica permite estable- conjuntamente en el uso de la tierra y la proba- cer que, de no haber existido la protección, en ese bilidad de que una parcela sea seleccionada para período se habría deforestado un 10% (alrededor protección. Teniendo en cuenta la historia de las de 111.000 hectáreas) de bosque protegido. Estas zonas protegidas de Costa Rica, así como la litera- zonas se protegieron por varias razones, entre tura sobre deforestación tropical, se seleccionaron ellas, para evitar la deforestación, pero también variables que captan las posibilidades de acceso a para generar oportunidades de turismo, restringir la parcela (distancia de los límites del bosque, dis- la caza, proteger los medios de subsistencia rura- tancia de los caminos y pendiente) y las oportuni- les asociados con actividades extractivas de poca dades de uso de la tierra (una función del poten- monta o intensificar la conciencia ambiental de los cial de producción de la parcela y la distancia a los ciudadanos y las empresas. Consiguientemente, caminos y principales mercados). no se puede inferir que la red de zonas protegidas de Costa Rica ha generado pocos beneficios tan Para llevar a cabo este análisis, se elaboró un con- sólo porque las ganancias en términos de defores- junto de datos que incluye información histórica tación evitada han sido moderadas hasta la fecha. sobre la cubierta forestal, la situación en mate- ria de protección y las características biof ísicas, En la evaluación de las zonas protegidas con socioeconómicas y de infraestructura del paisaje. financiamiento del FMAM, que recibieron fondos Estas últimas características inciden tanto en la entre 1993 y 1998, se estima que la protección dio probabilidad de que una parcela de tierra reciba por resultado un 8% (alrededor de 19.000 hectá- protección como en la probabilidad de que la par- reas) de deforestación evitada entre 1986 y 1997. cela sea deforestada. En consecuencia, son varia- La superficie total de los bosques incluidos en las bles que pueden generar confusión y enmascarar dos zonas protegidas con financiamiento del el efecto de la protección en la deforestación. El FMAM ascendió a 230.689 hectáreas y 230.898 análisis mediante comparación proporciona los hectáreas en 1986 y 1997, respectivamente. En medios para controlar esas variables pues permite consecuencia, las estimaciones paralelas señalan asegurarse de que la comparación se lleve a cabo que, en el período 1986-97, entre 12.457 hectáreas únicamente entre parcelas protegidas y parcelas y 19.609 hectáreas, y en 1997 hasta 25.399 hectá- no protegidas cuyas características observables reas de bosques, no se deforestaron en estos dos son semejantes. parques debido a que estaban protegidas. En el período 1997-2005, la deforestación evitada a raíz Dado que a través del análisis no se detectó que de la protección de estas mismas zonas ascendió la creación de zonas protegidas entre 1960 y 1996 al 11% (unas 25.000 hectáreas). hubiera generado efectos secundarios importan- tes en la deforestación en las tierras no protegidas En la evaluación se ha comprobado que la dismi- aledañas, se llegó a la conclusión de que las esti- nución de la deforestación en las zonas protegi- maciones reflejan el pleno efecto de las zonas pro- das con financiamiento del FMAM fue levemente tegidas tanto dentro como fuera de dichas zonas. superior a la de otras zonas protegidas: entre dos 4. Análisis semiexperimental de la deforestación evitada en Costa Rica S-21 y siete puntos porcentuales para 1986-97 y hasta desarrollo sostenible de las zonas de conservación dos puntos porcentuales para 1997-2005. Dado de La Amistad y La Osa, el objetivo consistía en que, en 1997, las zonas protegidas con financia- "contribuir a la protección de importantes espe- miento del FMAM abarcaban 230.898 hectáreas cies y hábitats de biodiversidad". de bosques, esta estimación implica que estas Los limitados resultados obtenidos hasta la fecha zonas contribuyeron hasta 7.000 hectáreas más en lo que respecta a modificar las modalidades de de deforestación evitada que las zonas protegidas uso de la tierra en zonas protegidas en Costa Rica que no recibieron financiamiento del FMAM. nacen de la orientación administrativa de la pro- Cabe señalar que en el modelo no se incluye explí- tección hacia bosques cuya deforestación ofrecía citamente el efecto de los niveles de financia- pocos incentivos a los agentes privados. En otras miento sino, más bien, el efecto de la protección palabras, el Gobierno de Costa Rica decidió prote- de los bosques. En consecuencia, los efectos del ger tierras que, generalmente, tenían un bajo costo financiamiento del FMAM no se pueden aislar económico y político. completamente de los efectos de otras inversio- Aunque los mecanismos de selección contribu- nes realizadas en las mismas zonas protegidas. Si yeron claramente al bajo nivel de deforestación el Gobierno de Costa Rica hubiera considerado evitada a través de la protección, también pueden que el financiamiento del FMAM era un susti- haber incidido otros factores. Es probable que en tuto de sus propios fondos, podría haber asignado los años sesenta y setenta, las autoridades norma- a estas zonas un nivel de financiamiento inferior tivas de Costa Rica pensaran que las presiones por al que habría dispuesto de no existir los fondos deforestar se mantendrían de manera ininterrum- del FMAM (por lo tanto, nuestro análisis indica- pida durante los decenios de 1980 y 1990 y, en ría que el financiamiento del FMAM fue menos consecuencia, decidieran asignar carácter de zona eficaz). Por otra parte, el FMAM simplemente protegida a tierras cuya protección no resultaba podría haber invertido sus fondos en zonas pro- onerosa en ese momento (es decir, de baja presión) tegidas que ya tenían éxito sin ese financiamiento a fin de crear un baluarte contra tales presiones (por lo tanto, nuestro análisis indicaría que el después de 1980. No obstante, el reajuste estruc- financiamiento del FMAM fue más eficaz). Ade- tural que se llevó a cabo a mediados de los años más, se considera únicamente un aspecto de la ochenta puso fin a los subsidios a la agricultura, conservación: la deforestación evitada. Las inver- siones del FMAM podrían haber incidido en otros resultados que no se miden directamente en esta y Magnitud de la cobertura del hábitat (hectáreas) evaluación. Por cierto, los proyectos en zonas pro- por tipo de bioma conservado, medida en fun- tegidas suelen tener objetivos mucho más amplios ción de la cobertura y la fragmentación en los sistemas de zonas protegidas; que el de evitar la deforestación.3 En el caso del y Magnitud y aumento porcentual del nuevo hábi- proyecto de Conservación de la biodiversidad y tat protegido (hectáreas) por tipo de bioma en los sistemas de zonas protegidas que mejora la representación del ecosistema; 3Los objetivos estratégicos del programa de biodi- y Eficacia de la ordenación de zonas protegidas, versidad del FMAM para catalizar la sostenibilidad de medida utilizando tarjetas de puntuación de los sistemas de zonas protegidas, en el cuarto período zonas protegidas que permiten evaluar la ges- de reposición de los recursos del FMAM (GEF 2007) tión, la sostenibilidad financiera y la capacidad incluyen: del sitio. S-22 Informe anual sobre el impacto del FMAM 2007 lo cual, junto con el crecimiento de los sectores de no aleatoria y 2) el proyecto puede tener efectos manufacturas y servicios, redujo marcadamente secundarios espaciales en las zonas aledañas. las presiones por deforestar. La clave para aplicar con éxito este método de eva- Este análisis es retrospectivo. En el futuro, el papel luación es establecer casos hipotéticos válidos que que desempeñen las zonas protegidas de Costa midan los resultados que se habrían obtenido sin Rica para incidir en el uso de la tierra podría ser la intervención del FMAM. Para ello, es preciso diferente al que les cupo en el pasado (pero, para recabar datos en zonas no pertenecientes al pro- ello, sería necesario un cambio fundamental en los yecto, además de recopilar datos en las zonas del procesos históricos de deforestación). proyecto. Los principales datos que se requieren para aplicar esta metodología incluyen medicio- 4.3 Margen para ampliar la nes de los resultados o indicadores antes y después aplicación de las evaluaciones del de la ejecución del proyecto, y mediciones de las impacto características importantes que influyen poten- cialmente en los resultados tanto dentro como La metodología utilizada en esta evaluación de la fuera del lugar del proyecto. eficacia de las zonas protegidas se puede utilizar para mejorar las evaluaciones del impacto de las Este planteamiento se puede usar para evaluar inversiones del FMAM en proyectos tales como diversos resultados de un programa de conserva- los relativos a pagos por servicios ambientales, ción. Los mismos métodos son aptos para evaluar ecoturismo y ordenación forestal comunitaria. los efectos de las zonas protegidas en la reforesta- Si bien en el presente estudio de casos se pone el ción y en el bienestar humano en los alrededores acento en la utilidad de este planteamiento para de las zonas protegidas, así como los impactos de medir los impactos de programas sobre biodiver- otras políticas en materia de uso de la tierra, como, sidad, estos métodos también se pueden utilizar en por ejemplo, los pagos por servicios ambientales y las evaluaciones del impacto de los proyectos del la prohibición de construir caminos. Una vez que FMAM en otras esferas de actividad, entre ellas, se han establecido hipótesis adecuadas mediante las de cambio climático y aguas internacionales. la equiparación de zonas del proyecto y zonas no Este planteamiento es especialmente útil para pertenecientes al proyecto, el impacto de la polí- medir el impacto de las intervenciones del FMAM tica o el proyecto se obtiene midiendo las diferen- que reúnen dos características: 1) la ejecución se cias en los resultados, como se demuestra en el asigna a distintas zonas geográficas de manera presente estudio de casos. 4. Análisis semiexperimental de la deforestación evitada en Costa Rica S-23 Anexo. Impactos de los tres proyectos Cuadro B.1 Cambios en los niveles de estado de conservación antes y después del apoyo del FMAM: Conservación del Parque Nacional Impenetrable de Bwindi y del Parque Nacional del Gorila Mgahinga Estado de conservación Parámetro de Al finalizar el En la Atributo ecológico Indicador referencia proyecto actualidad Tendencia Gradación altitudinal continua del bosque/hábitat del bosque montano Superficie y magnitud del Zona de cubierta forestal no se registraron cambios en la superficie del bosque bosque desde 1987 Cubierta forestal Índices de calidad del Desde 2001, la calidad del agua es buena y agua parece estable Procesos de regeneración del Abundancia de árboles existen pocas señales de regeneración en los bosque jóvenes y plántulas en claros causados por explotación selectiva o los claros del bosque intensiva o por incendios; se observan indicios de regeneración en zonas previamente usurpadas Diversidad del hábitat no se dispone de información. especies esenciales no se dispone de información, salvo en lo que respecta a los gorilas de montaña (véase más abajo) Gorilas de montaña Tamaño de la población Tamaño total de la 300 320 340 población Distribución de la población ubicación de grupos de Para 2006, los grupos parecen estar más disemi- gorilas nados en todo el parque Hábitat forestal adecuado Zonas de hábitat no se registraron cambios en la superficie del inalterado bosque desde 1987 Tasas de encuentro de Véase el análisis de las amenazas; no existen indi- señales de alteración cios claros de una disminución de los disturbios Tasas de reproducción no se dispone de datos suficientes para comparar las tasas de reproducción en períodos diferentes Zorzalero de Grauer Bosque pantanoso Superficie y magnitud no se conoce ningún caso de degradación de los pantanos de Bwindi durante este período Tamaño de la población Tamaño total de la estable o en ? población aumento S-25 Cuadro B.2 Cambios en los niveles de amenaza antes y después del apoyo del FMAM: Conservación del Parque Nacional Impenetrable de Bwindi y del Parque Nacional del Gorila Mgahinga Nivel de amenaza Parámetro Al finalizar el En la Amenaza Indicador de referencia proyecto actualidad Tendencia Caza furtiva Tasa de encuentro de señales de caza 0.31 0.25 -- furtiva por día de patrullaje Tasa de encuentro de señales de caza Los datos de los censos de 1997, 2002 y 2006 furtiva por kilómetro caminado en sen- no indican un patrón homogéneo deros de reconocimiento censados Tala con sierras y Tasa de encuentro de árboles cortados Los datos de los censos de 1997, 2002 y 2006 corte de árboles por kilómetro caminado en senderos de no indican un patrón homogéneo reconocimiento censados usurpación Superficie de pérdida de vegetación alre- el análisis de las imágenes de satélites indica dedor de los límites de Bwindi que, entre 1987 y 2000, casi no hubo pérdida de cubierta forestal dentro del parque; desde 1995, se informaron usurpaciones en contadas ocasiones Incendio Frecuencia y magnitud de los incendios, Desde 2000, los incendios están disminuyendo respuesta de la comunidad cuando se y es mayor la cooperación de la comunidad producen para combatirlos; no se registran casos de incendio intencional desde 1992 Falta de regenera- Abundancia de árboles jóvenes y plántu- escasas señales de regeneración en los claros ción de los claros las en los claros del bosque causados por explotación selectiva o intensiva del bosque Comunidades Miembros de la comunidad adyacente al aledañas hostiles parque que no manifiestan apoyo al par- 53 24 -- que, como porcentaje de los miembros de la comunidad encuestados Falta de conecti- Superficie de pérdida de vegetación en el análisis de las imágenes de satélites indica vidad del bosque el cuello en Bwindi que, entre 1987 y 2000, casi no hubo pérdida en el cuello de cubierta forestal dentro del parque enfermedad no se dispone de información (gorilas) S-26 Informe anual sobre el impacto del FMAM 2007 Cuadro B.3 Cambios en los niveles de estado de conservación antes y después del apoyo del FMAM: Conservación de la fauna y flora silvestres en Lewa Estado de conservación Parámetro de Al finalizar En la Atributo ecológico Indicador referencia el proyecto actualidad Tendencia Rinoceronte negro Tamaño de la Magnitud de la población total de 29 40 54 población rinocerontes negros en Lewa Productividad Tasas de crecimiento anual en Lewa 12 13 15 (%) Hábitat seguro Magnitud del santuario de rinoceron- 22.000 22.000 25.000 adecuado tes de Lewa (hectáreas) Diversidad genética Grado de variación genética no se dispone de datos Cebra de Grevy Tamaño de la Magnitud de la población total de 497 435 430 población cebras de Grevy en Lewa Productividad Tasas de parición anual en Lewa (%) 11 11 12 Distribución de la número de subpoblaciones conoci- no se dispone de datos población das y conectividad Hábitat adecuado Reservas comunitarias destinadas a 3 4 15 (pastizales y agua conservación en el marco del nor- segura) thern Rangelands Trust Diversidad genética Grado de variación genética no se dispone de datos Anexo. Impactos de los tres proyectos S-27 Cuadro B.4 Cambios en los niveles de amenaza antes y después del apoyo del FMAM: Conservación de la fauna y flora silvestres en Lewa Nivel de amenaza Parámetro de Al finalizar En la Amenazas a los beneficios para referencia el proyecto actualidad el medio ambiente mundial Indicador (pre-2000) (2000-03) (2004-06) Tendencia Rinoceronte negro Caza furtiva y uso de trampas Rinocerontes negros caza- 0 0 0 dos y atrapados en Lewa Rinocerontes negros 2 15 15 cazados y atrapados en el (1998­99) (2000­02) (2003­06) ámbito nacional Zonas seguras insuficientes Zonas de rinocerontes 12 13 16 negros a nivel nacional (1993) Tierras asignadas para la conservación del rino- 6.749 7.376 8.607 ceronte negro en Kenya (1993) (km2) Pérdida de hábitat (a raíz de las Cambios en la densidad La densidad de la vegetación leñosa de Lewa densidad de la población de de la vegetación leñosa ha aumentado entre 1962 y 2000, como lo elefantes en Lewa) demuestran las fotografías aéreas Cebra de Grevy Caza furtiva Cebras de Grevy cazadas Los niveles de caza se redujeron en las reservas comunitarias gracias al personal de seguridad y la sensibilización de la comunidad enfermedad Cebras de Grevy fallecidas 0 0 5 a causa de carbunco (%) Depredación Leones en Lewa 0 25 16 Pérdida/degradación del Tierras obtenidas para hábitat (competencia con el conservación en la región 1.475 2.712 5.000 ganado) (km2) Zonas seguras insuficientes Reservas comunitarias creadas en el marco del 3 4 15 northern Rangelands Trust Hibridación con la cebra de Poblaciones híbridas 4 4 4 Burchell confirmadas S-28 Informe anual sobre el impacto del FMAM 2007 Cuadro B.5 Cambios en los niveles de amenaza antes y después del apoyo del FMAM: Nuevos enfoques para reducir la pérdida de biodiversidad en las zonas fronterizas de África oriental Amenaza a los Nivel de amenaza beneficios para el medio ambiente Parámetro de Al finalizar el En la mundial Indicador referencia proyecto actualidad Tendencia usurpación/conver- Incidencia de usurpación/con- no se registraron casos exitosos de usurpación sión de tierra forestal versión de la tierra o conversión de la tierra desde que se ejecutó el proyecto Adopción de medidas para evi- el proyecto comenzó a trazar nuevamente y demar- tar oportunidades de conversión car los límites de la reserva forestal, que se siguen en el futuro respetando y conservando explotación forestal Porcentaje de amenaza cubierto 25 70 -- (bosque de Minziro) Porcentaje de amenaza cubierto 40 85 -- (bahía de Sango) Persistencia de un nivel de ame- el levantamiento de la prohibición de explotar el naza reducido después del cierre bosque de Minziro y la disminución del nivel de del proyecto actividades de ordenación forestal comunitaria parecen indicar que el nivel de amenaza ha aumen- tado después del cierre del proyecto, aunque no ha llegado a los niveles anteriores Incendios Disminución del porcentaje de 40 90 -- descontrolados amenaza (bahía de Sango) Disminución del porcentaje de no se dispone de datos amenaza (Minziro) explotación exce- niveles de extracción sostenibles La evaluación de la reducción de las amenazas siva de especies (2003) indica que se logró poco éxito en reducir las seleccionadas amenazas en dos bloques forestales durante la eje- cución del proyecto, pero no se utiliza un sistema de seguimiento desde el cierre del proyecto Anexo. Impactos de los tres proyectos S-29 Bibliografía GEF (Global Environment Facility) Council. 2005. "Four --. 2007h. "Impacts of Creation and Implementa- Year Work Program and Budget of the Office of tion of National Parks and of Support to Batwa on Monitoring and Evaluation ­ FY06-09 and Results Their Livelihoods, Well-Being and Use of Forest in FY05." GEF/ME/C.25/3. Products." Prepared by A. Namara, EAGO Socio- Economic Research and Development Consultants --. 2007. "Focal Area Strategies and Strategic Pro- Ltd, Kampala. gramming for GEF-4." GEF/C31/10/revised. --. 2007i. "Methodological Challenges in Impact GEF EO (Global Environment Facility Evaluation Evaluation: The Case of the Global Environment Office). 2007a. "Approach Paper to GEF Impact Facility." Prepared by D. Todd and J. Vaessen. Evaluation." Prepared by J. Brann and D. Todd. --. 2007b. "Case Study: Bwindi Impenetrable --. 2007j. "Priorities and Indicators for Global National Park and Mgahinga Gorilla National Park Environment Benefits from Biodiversity: The Conservation Project." Prepared by Conservation Current International Architecture." Prepared by Development Centre. D. Nair. --. 2007c. "Case Study: Lewa Wildlife Conser- --. 2007k. "Protected Areas and Avoided Defor- vancy." Prepared by Conservation Development estation: A Statistical Evaluation." Prepared by Centre. K. Andam, P. Ferraro, A. Pfaff, and G. Sanchez- Azofeifa. --. 2007d. "Case Study: Reducing Biodiversity Loss at Cross-Border Sites in East Africa." Prepared by Millennium Ecosystem Assessment. 2005. Ecosystems Conservation Development Centre. and Human Well-Being: Policy Responses: Findings of the Responses Working Group of the Millennium --. 2007e. "Case Study Methodology." Prepared by Ecosystem Assessment. Washington, DC: Island Conservation Development Centre. Press. --. 2007f. "Final Report on Proposed Approach to ODCE (Organización para la Cooperación y el Desa- GEF Impact Evaluation." Prepared by Foundations rrollo Económicos) Comité de Asistencia para of Success. el Desarrollo, 2002. "Glosario de los principales --. 2007g. "GEF Biodiversity Policy Review." Pre- términos sobre evaluación y gestión basada en pared by Foundations of Success. resultados". S-30 GEF Evaluation Office Publications Number Title Year Evaluation Reports 46 GeF Annual Report on Impact 2007 2009 45 GeF Country Portfolio evaluation: Cameroon (1992­2007) 2009 44 GeF Annual Country Portfolio evaluation Report 2008 2008 43 GeF Country Portfolio evaluation: South Africa (1994­2007) 2008 42 GeF Country Portfolio evaluation: Madagascar (1994­2007) 2008 41 GeF Country Portfolio evaluation: Benin (1991­2007) 2008 40 GeF Annual Performance Report 2007 2008 39 Joint evaluation of the GeF Small Grants Programme 2008 38 GeF Annual Performance Report 2006 2008 37 GeF Country Portfolio evaluation: Samoa (1992­2007) 2008 36 GeF Country Portfolio evaluation: The Philippines (1992­2007) 2008 35 evaluation of the experience of executing Agencies under expanded Opportunities in the GeF 2007 34 evaluation of Incremental Cost Assessment 2007 33 Joint evaluation of the GeF Activity Cycle and Modalities 2007 32 GeF Country Portfolio evaluation: Costa Rica (1992­2005) 2007 31 GeF Annual Performance Report 2005 2006 30 The Role of Local Benefits in Global environmental Programs 2006 29 GeF Annual Performance Report 2004 2005 28 evaluation of GeF Support for Biosafety 2006 Third Overall Performance Study 2005 GeF Integrated ecosystem Management Program Study 2005 Biodiversity Program Study 2004 Climate Change Program Study 2004 International Waters Program Study 2004 Evaluation Documents eD-3 Guidelines for GeF Agencies in Conducting Terminal evaluations 2008 eD-2 GeF evaluation Office ethical Guidelines 2008 eD-1 The GeF evaluation and Monitoring Policy 2006 Evaluation Office G LOBAL ENVIRONMENT FACILITY Global Environment Facility Evaluation Office 1818 H Street, NW Washington, DC 20433 USA www.gefeo.org