OED EOD 32879 ЭФФЕКТИВНЫЕ ОЦЕНКИ: , ВЫРАЖЕНИя ПРИЗНАТЕЛЬНОСТИ Данная работа «Эффективные оценки» была подготовлена совместными усилиями многих участников, которые внесли значительный вклад. Главным исследователем и советником являлся Майкл Бамбергер, при поддержке Элайн Оои (консультант), которая также подготовила подробный практический пример по оценке лесной программы в Китае. Ниже приведены имена других авторов отдельных практических примеров, представленных в следующем томе «Эффективные оценки: Подробные практические примеры». С.П. Пал и Амар Сингх «Улучшение эффективности механизма обеспечения занятости в Индии» Ричард Хопкинс и Ниланджана Мукерджи «Оценка эффективности мер по улучшению водоснабжения и канализации во Флоресе, Индонезия» Мита Марра «Расширение критериев политической основы для оценки жизнеспособности крупных плотин» Джеймс Гаррет и Ясир Ислам, «Ликвидация лавок по продаже рационов пшеничной муки в Пакистане» Тодор Димитров, «Улучшение результативности крупномасштабного проекта охраны окружающей среды в Болгарии». ДОО хотел бы выразить благодарность всем авторам практических примеров оценки. За краткие описания, представленные в данном отчете, несут ответственность специалисты ДОО, а не авторы практических примеров. Руководителем задания по исследованию «Эффективные оценки» являлся Кит Макэй (OEDPK). Значительный вклад также внес д-р А. Равиндра, который подробно изучил эффект отчетных карточек граждан в Бангалоре; это исследование представлено в последующей работе ДОО. Ценную информацию и комментарии по отдельным практическим примерам предоставили Ананья Басу, Стивен Хоуз, Джикун Хуань, Ксу Джиньтао, Ума Леле, Радхика Найак, д-р Самюэл Пол, Ульрих Шмитт и Сьюзан Шеен. Рецензентами данной работы являлись Женьфань Ши и Сьюзан Стаут. Патрик Г. Грассо И.О. менеджера Развитие программ знаний и возможностей оценки Copyright © 2004 Междyнapoдный банк реконструкции и развития/ВСЕМИРНЫЙ БАНК 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Все права защищены. Произведено в Соединенных Штатах Америки. Мнения, выраженные в данном отчете, не обязательно представляют взгляды Всемирного банка или стран, которые являются его членами. Всемирный банк не гарантирует точность данных, включенных в данную публикацию, и не несет ответственности за какие-либо последствия их использования. ЭФФЕКТИВНЫЕ ОЦЕНКИ: , , D.C. www.worldbank.org/oed/ecd/ 2 СОДЕРЖАНИЕ Обзор . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Практические примеры Улучшение эффективности механизма обеспечения занятости в Индии . . . . . . . . . . . . . . . . . . . . 5 Использование отчетных карточек граждан для проверки качества услуг в Бангалоре, Индия . . . 8 Оценка эффективности мер по улучшению водоснабжения и канализации во Флоресе, Индонезия . . . . . . . . . . . . . . . . . . . . . . . . 11 Расширение механизма оценки жизнеспособности крупных плотин . . . . . . . . . . . . . . . . . . . . . . . . . 14 Ликвидация лавок по продаже рационов пшеничной муки в Пакистане . . . . . . . . . . . . . . . . . . . 17 Улучшение предоставления услуг начального образования в Уганде. . . . . . . . . . . . . . . . . . 20 Улучшение результативности крупномасштабного проекта охраны окружающей среды в Болгарии . . 23 Помощь в переоценке Национальной лесной политики Китая . . . . . . . . . . . . . . . . . . . . . 26 Разработка полезных оценок: полученный опыт . . . . . 29 Дополнительные ресурсы по мониторингу и оценке . . 32 3 ОБЗОР ЭФФЕКТИВНЫХ ОЦЕНОК: ОЦЕНКИ, КОТОРЫЕ УЛУЧШИЛИ РЕЗУЛЬТАТЫ РАБОТЫ И ЭФФЕКТ ПРОГРАММ РАЗВИТИЯ: ПРАКТИЧЕСКИЕ ПРИМЕРЫ И ПОЛУЧЕННЫЙ ОПЫТ ЦЕЛЬ При своевременном проведении и акцентировании на вопросах и проблемах, являющихся ключевыми для лиц, ответственных за выработку политики, и менеджеров, а также при предоставлении результатов в удобной для пользователей форме, оценки могут обеспечить эффективный в плане затрат способ улучшения результативности и эффекта политики, программ и проектов развития. Но оценки, не соответствующие таким критериям, могут не приносить полезных результатов ­ даже если они методологически обоснованны. В данном отчете приводятся 8 примеров оценок, которые оказали значительное воздействие. Во многих случаях можно было провести сравнение затрат на проведение оценки с полученной экономической выгодой, а также показать, что оценка является чрезвычайно эффективным в плане затрат инструментом управления. Примеры описывают следующие оценки: Улучшение эффективности механизма обеспечения занятости в Индии; Использование отчетных карточек граждан для проверки качества услуг в Бангалоре, Индия; Оценка эффективности мер по улучшению водоснабжения и канализации во Флоресе, Индонезия; Расширение механизма оценки жизнеспособности крупных плотин; Ликвидация лавок по продаже рационов пшеничной муки в Пакистане; Улучшение предоставления услуг начального образования в Уганде; Улучшение результативности крупномасштабного проекта охраны окружающей среды в Болгарии; Помощь в переоценке Национальной лесной политики Китая. В отчете приводятся краткие выводы по полученному опыту в отношении разработки полезных оценок, степени, в которой можно оценивать применение оценок, а также степени, в которой можно оценивать их эффективность в плане затрат. Во втором томе, который называется «Эффективные оценки: Подробные практические примеры» более подробно рассматриваются примеры. Также описываются методы, применяемые для определения эффекта оценок. В отдельной работе ­ М&О: Некоторые инструменты, методы и подходы ­ в кратком виде рассматриваются некоторые виды мониторинга и оценки, включая несколько видов, использованных в практических 4 примерах данного тома под названием «Эффективные оценки». В работе «Инструменты М&О» описывается цель, преимущества и ограничения мониторинга и оценки; необходимые затраты, навыки и время; а также приводится основной список литературы. С данной работой можно ознакомиться на веб-сайте ДОО «Развитие возможностей оценки» по адресу: http://www.worldbank.org/oed/ecd/ 5 Улучшение механизма обеспечения занятости в Индии Робота Механизма обеспечения занятости (МОЗ) в Индии была начата федеральным правительством в октябре 1993 г. в бедных и засушливых районах (блоках) по всей стране в целях обеспечения занятости во время неурожайных сельскохозяйственных периодов, а также для создания экономической и местной инфраструктур для поддержки непрерывной занятости и развития. Бюджет данного механизма составлял 518 млн. долларов США в 1997-98 г.г.; он был реализован при помощи департаментов по вопросам развития органов управления штатов под руководством Центрального министерства сельских районов и занятости (МСРЗ). Цель проведения оценки Комиссия по планированию Правительства обратилась в Организацию оценки программ (ООП) с просьбой о проведении оценки результативности МОЗ и о предложении мер в отношении улучшения результатов работы. Принимая во внимание неудовлетворительные показатели работы МОЗ и других механизмов сокращения бедности, на повестке дня правительства уже стояли реформы данных механизмов. Однако, было необходимо провести независимую оценку для того, чтобы сделать выводы относительно результативности на основе данных, полученных с местных уровней, и определить, каким конкретно образом будет проводиться реструктуризация. Методология оценки Проверка записей по программе и других вспомогательных источников. Многоэтапный многослойный пример, охватывающий 1120 бенефициариев в 112 деревнях, расположенных в 14 штатах. С бенефициариями, лидерами общин, а также официальными лицами местных органов управления и штатов проводились систематизированные интервью. От основных информаторов и в ходе непосредственного наблюдения была получена качественная информация. Были проверены учетные записи программ для того, чтобы сравнить фактический прогресс с отчетными данными по расходам, законченным проектам и количеством бенефициариев. 6 Результаты оценки Реализация программы При управлении МОЗ было проведено незначительное планирование до начала проекта, поэтому основной проблемой местных агентств явилось расходование максимально возможной суммы из выделенных средств в течение определенного года. Работа местных комитетов по мониторингу была неэффективной, поэтому имело место неправильное распределение средств и преувеличение количества реализованных проектов. Многие жители деревень не знали подробностей данного механизма. Использование средств Административные задержки явились главной причиной недоиспользования средств. Фактические темпы использования средств были ниже отчетных. Эффект программы Одна четверть всех бенефициариев не входила в целевую группу. Только порядка 5% целевой группы фактически получили работу, и бенефициарии были заняты в течение меньшего количества дней, чем это указывалось в отчетах. Стоимость и продолжительность оценки Стоимость оценки составила примерно 146 000 долларов США, а продолжительность ­ 15 месяцев. Рекомендации на основании результатов оценки Все механизмы сельской занятости необходимо объединить и интегрировать с механизмами обеспечения продуктов питания. Необходимо более активное участие жителей деревень в выборе, реализации и содержании активов. Усилить роль органов управления среднего уровня в оценке осуществимости предлагаемых механизмов. Необходимо ужесточить порядок бухучета. Необходимо выделение средств для самых бедных слоев населения и более нуждающихся областей (согласно определению «соотношения лишений/развития»). Определение эффекта, который принесла оценка Объединение программ обеспечения продуктов питания и сельской занятости увеличило объемы средств на создание рабочих мест на 1200 млн.долларов США. Постепенное использование избыточных государственных запасов зерновых сэкономит 72 млн. долларов США (3,6% бюджета МОЗ) 7 Последствия реструктуризации персонала сократят бюджет примерно на 20% от фонда заработной платы (100 000 долларов США). Строгое соблюдение соотношения планируемой зарплаты/материалов может увеличить занятость в рамках существующего бюджета на 85%. Вопрос отношения: определение степени эффекта в результате оценки Для оценки степени, в которой наблюдаемые эффекты относятся на счет оценки, а не прочих факторов, не имеющих к этому отношения. Практический пример определил конкретные ссылки на оценку в документах по планированию по реструктурированному Механизму сельской полной занятости (МСПЗ). Практический пример определил конкретные ссылки на оценку в соответствующих разделах Среднесрочной оценки Девятого национального плана развития. Проект практического примера проверялся специалистами в области социальной защиты и занятости из офиса Всемирного банка в Нью-Дели, в результате чего был внесен ряд изменений и разъяснений. Была ли оценка эффективной с точки зрения затрат? Несмотря на то, что данная оценка не была единственным источником информации, используемым для реформирования программы, рекомендации на основании результатов оценки внесли значительный вклад в вышеописанные эффекты. Даже если оценке и приписывается только 10% от вышеуказанного эффекта, то прибыль составила свыше 127 млн. долларов США при стоимости оценки порядка 146 000 долларов США. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: С.П. Пал и Амар Сингх «Оценка механизма обеспечения занятости в Индии», в ДОО, Эффективные оценки: Подробные практические примеры. 8 Использование отчетных карточек граждан для проверки качества услуг в Бангалоре, Индия В начале 1990-х годов в Бангалоре, как и во многих других городах Индии, наблюдалось низкое качество предоставления государственных услуг, таких как водоснабжение, электроснабжение, транспорт, больницы и регулирование государственных земель. Большая часть населения, которому предоставлялись эти услуги, была бедной, правительство не реагировало на эти проблемы, и единственным способом получения этих услуг были взятки. Цель проведения оценки при помощи отчетных карточек граждан (ОКГ) Независимая НПО ­ Центр общественных вопросов (ЦОВ) ­ решила провести оценку при помощи отчетных карточек граждан. Ее целью являлось следующее: Собрать и задокументировать мнения пользователей государственных услуг. Широко распространить результаты оценки. Использовать результаты оценки для того, чтобы заставить организации, предоставляющие государственные услуги, улучшить их качество. Методология оценки Было проведено обследование при помощи многослойной случайной выборки по 1130 семьям в Бангалоре в 1993-94 г.г. Данное обследование отдельно включало жителей трущоб. Респонденты предоставляли информацию по услугам, которыми они пользовались в течение последних шести месяцев, а также по всем агентствам, с которыми они взаимодействовали. Данное обследование охватывало телефонную связь, электроснабжение, водоснабжение и канализацию, государственные больницы, транспорт, государственные банки и регулирование государственной земли. Результаты широко распространялись через средства массовой информации, на общественных встречах, а также в ходе презентаций агентствам, предоставляющим государственные услуги. Обследование было повторно проведено в 1999 г. для оценки изменений с момента проведения первого обследования в отношении: общего качества услуг, поведения персонала и простоты взаимодействия между простыми гражданами и персоналом государственных агентств. 9 Результаты оценки Первое обследование 1993-94 г.г. выявило, что: Только 10,5% семей были «удовлетворены» (удовлетворены и в большой степени удовлетворены) услугами. Больницы, транспорт и государственные банки были единственными видами услуг, где степень удовлетворения достигла двузначных цифр. 37,5% семей были «не удовлетворены» (не удовлетворены и в большой степени не удовлетворены) услугами. Дальнейшее обследование 1999 г. выявило, что: Общие процент «удовлетворенных» граждан вырос с 10,5 до 40,1. Общие процент «неудовлетворенных» граждан снизился с 37,5 до 17,9. Улучшения были практически аналогичны для жителей трущоб и всех прочих семей. Наиболее значительные улучшения наблюдались в секторах государственных больниц и электроснабжения. По всем услугам процент удовлетворенных услугами семей увеличился, по крайней мере, наполовину. Не наблюдалось сокращения процента семей, которые платили взятки. Стоимость и продолжительность оценки Каждое обследование проводилось в течение примерно 7 месяцев, а их стоимость была в пределах 10 000 - 12 000 долларов США. Помимо этого, ЦОВ посвятил значительное время распространению результатов обследования, убеждению государственных департаментов в необходимости перемен, а также непосредственной поддержке нескольких департаментов, которые обратились за помощью. Рекомендации на основании результатов оценки Отчеты включали конкретные рекомендации для каждого агентства, которые передавались на отдельных встречах ЦОВ и каждого агентства. Общие рекомендации включали следующее: Агентства должны обсудить результаты обследований со своим персоналом и согласовать планы действий. Необходимо принять меры для получения систематической ответной реакции со стороны общественности. Необходимо направить усилия на улучшение прозрачности и эффективности в целях сокращения необходимости и возможностей для взяток. Определение эффекта, который принесла оценка ОКГ обеспечили информированность общественности по вопросу низкого качества услуг и побудили организации граждан направить работу на их улучшение. ОКГ также заставили агентства, предоставляющие государственные 10 услуги, усилить направленность на потребителя и улучшить качество услуг. По данным семей, уровень коррупции не снизился. Аналогичные обследования ОКГ были начаты в других городах Индии и других странах как прямое следствие первого обследования, проведенного в Бангалоре. Вопрос отношения: определение степени эффекта в результате оценки Интенсивные обсуждения результатов обследования в средствах массовой информации и отчеты общественности о последующих действиях указывают на высокую эффективность результатов ОКГ. Обследования, в которых приняли участие 19 старших должностных лиц муниципальных агентств и 5 старших должностных лиц правительства, представителей 7 НПО и 4 журналиста, подтвердили каталитический эффект, который имело обследование ОКГ на агентства, предоставляющие государственные услуги, и гражданское общество. Имели место значительные изменения в обязательствах различных агентств в отношении предлагаемых мер и долгосрочных изменений. Была ли оценка эффективной с точки зрения затрат? Имеющаяся информация свидетельствует о том, что, помимо прочих факторов, обследование ОКГ внесло важный вклад в улучшение качества государственных услуг. Затраты на проведение двух обследований ОКГ, которые составили примерно 22 000 долларов США, плюс последующее распространение информации и работа с государственными департаментами помогли добиться примерно 50-процентного улучшения уровня удовлетворения качеством основных государственных услуг. Таким образом, отчетные карточки были высоко эффективными с точки зрения затрат. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: «Использование отчетных карточек граждан в улучшении качества услуг в Бангалоре, Индия» в ДОО, Эффективные оценки: Подробные практические примеры. Самюэл Пол. 2002. Призываем государство к ответу: общественный мониторинг в действии. Книги для обмена. ACTIONAID, Карнатака, Индия. А. Равиндра, 2004. «Оценка эффекта отчетных карточек граждан на результаты работы государственных агентств в Бангалоре», ДОО РВО Рабочий документ 12. http://www.worlbank.org/oed/ecd/ 11 Оценка эффективности мер по улучшению водоснабжения и канализации во Флоресе, Индонезия В декабре 1992 г. на островах Флорес в Индонезии произошло крупное земле- трясение и цунами, которые унесли несколько тысяч жизней и разрушили большую часть существующей скудной инфраструктуры. Австралийское агентство международной помощи (AusAID) было одной из организаций, пред- принявших меры по ликвидации последствий чрезвычайной ситуации, после чего был начат совместный проект правительства/AusAID, рассчитанный на пять лет, который назывался Проект реконструкции водоснабжения и канализации во Флоресе (FLOWS). Целью проекта FLOWS явилась поддержка социального и экономического paзвитиe за счет улучшения обеспечения, доступа, эффектив- ного использования и непрерывности услуг водоснабжения и канализации, причем основной акцент ставился на укреплении управления проектом. Цель проведения оценки Целью оценки явилась поддержка новой государственной политики в секторе водоснабжения и канализации путем оценки результатов проекта FLOWS через пять лет после его завершения. Методология оценки Была проведена многослойная и представительная с географической точки зрения случайная выборка 63 объектов из общего количества 260 объектов, которые были охвачены проектом. Применялась Методология совместной оценки (МСА), с учетом местной культуры и языка. Она включала методы совместных исследований с проведением количественного анализа для оценки непрерывности предоставления и использования услуг водоснабжения и канализации, а также для оценки степени гендерного и социального равенства, достигнутого в ходе проведения проекта и на основе его результатов. При выборке в ходе МСА особое внимание уделялось отдельным группам, таким как женщины и бедные категории населения, которые, в противном случае, не участвовали бы в обсуждениях. Группы индонезийских исследователей, в которые вошли равное количество мужчин и женщин, обладающих техническими навыками и опытом проведения социальной оценки, начали проведение совместной оценки. В ходе исследования обращали внимание на изменения условий водоснабжения, канализации и гигиены как с точки зрения пользователей 12 из числа жителей общины, так и внешних исследователей, а также на пользование общинами услугами лучшего качества. Были изучены институциональные аспекты результатов проекта, их влияние на уровень бедности и гендерные вопросы, а также взаимосвязь с непрерывностью услуг. Результаты оценки Системы водоснабжения были созданы в 87% деревень, и большая часть все еще работает 3-8 лет спустя после окончания строительства. Работают почти все туалеты. Не было завершено строительство 13% систем водоснабжения, в основном, из-за неурегулированных социальных конфликтов между деревнями. Произошло значительное сокращения объема услуг на половине объектов. Каждый год 22% объектов предоставляют небольшие объемы воды или не предоставляют воду в течение квартала. Получили ли бедные слои населения доступ к улучшенным услугам водоснабжения и гигиены? При проектировании планировались только объекты водоснабжения, принадлежащие общинам, но многие состоятельные семьи также подключили свои дома. Бедные категории населения имели ограниченный доступ к туалетам, и многие продолжали устраивать туалеты «на природе». Правила, установленные проектом, запрещающие купание и мытье детей в общественных местах, препятствовали внедрению правил гигиены среди бедного населения. Принятие решений было монополизировано более состоятельными группами населения. Финансовая стабильность была под угрозой, и на бедное население легло бремя необоснованных расходов Тарифы за пользование услугами не покрывали текущих затрат или даже эксплуатационных затрат. В результате установленных единообразных ставок бедные платили те же суммы за меньшие объемы воды и за менее удобное водопользование, что и состоятельные семьи. Стоимость и продолжительность оценки Общая стоимость оценки составила примерно 150 000 долларов США (45 000 долларов международным консультантам и 105 000 долларов в эквиваленте местной валюты на местные затраты), и проект отчета на английском языке был подготовлен через 12 месяцев. Рекомендации на основании результатов оценки Основное внимание на гендерное и социальное равенство способствует улучшению эффективности и непрерывности услуг. 13 Уделять больше внимания механизмам проекта, направленным на проведение политики сектора в действие, ­ недостатки в реализации политики снижают результаты проекта. На этапе планирования уделять больше внимания урегулированию возможных социальных конфликтов между общинами. Предложение услуг и вариантов затрат и их обсуждение со всеми подгруппами в общинах может максимально сократить социальные конфликты в будущем. Определение эффекта, который принесла оценка Исследование способствовало укреплению новой национальной политики, показав, что акцент на гендерных вопросах и аспектах бедности улучшает непрерывность и эффективное использование услуг. Результаты обеспечили лиц, ответственных за выработку политики, о проблемах практической реализации политики на уровне общин. Вопрос отношения: определение степени эффекта в результате оценки Основные результаты оценки были включены в документ правительства по новой политике. При проведении анализа и национальное агентство по планированию, и донорские организации подтвердили вклад данного исследования, особенно в выявлении пробелов между положениями предыдущей политики и практической реализацией. Была ли оценка эффективной с точки зрения затрат? Учитывая, что затраты правительства на услуги водоснабжения и канализации в течение последующих 5-10 лет могли бы быть порядка 150-250 млн.долларов США в год, то затраты на оценку в объеме 150 000 долларов США были бы чрезвычайно эффективными, если бы реализация результатов оценки улучшила бы эффективность программ даже на несколько процентных пунктов. Последствия для вопросов равенства были бы еще значительнее, если бы рекомендации могли исправить выявленные недостатки в гендерных вопросах и аспектах бедности при улучшении услуг водоснабжения и канализации. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Ричард Хопкинс и Ниланджана Мукерджи «Оценка эффективности мер по улучшению водоснабжения и канализации во Флоресе, Индонезия», в ДОО, Эффективные оценки: Подробные практические примеры. Для более подробной информации cм. работу «Повторное посещение Флореса», написанную Кристин Ван Вийк, Кумала Сари и группой Прадипта Парамита, Ниной Шатифан, Рут Валуджан, Ишани Мукерджи и Ричардом Хопкинсом, проект от декабря 2002, WSP-EAP. 14 Расширение механизма оценки жизнеспособности крупных плотин Дебаты по вопросу роли крупных плотин в развитии В 1993 году Всемирный банк ввел новые расширенные механизмы оценки инвестиций в крупные плотины, причем особое внимание уделялось социальному и экологическому воздействию. Противоречия, существовавшие в вопросах строительства крупных плотин, приводили к нежеланию потенциальных заемщиков обращаться во Всемирный банк и другие агентства развития за помощью даже на обоснованные проекты. Многие развивающиеся страны не могут сами профинансировать собственные крупномасштабные инвестиции, необходимые для полноценного использования возможностей социально-экономического развития своих речных бассейнов и удовлетворить экстренные потребности в дополнительных водных и энергетических ресурсах, а также в контроле за наводнениями. Несмотря на устойчивое сокращение их доли в кредитовании Всемирного банка, в финансовом 2000 г. Банк выделил займы на сумму 1,064 млрд. долларов США на строительство крупных плотин. Цель проведения оценки В 1997 году Департамент оценки операций Всемирного банка (ДОО) провел оценку кредитов Банка на строительство крупных плотин в целях: Проведения оценки того, соответствовали ли финансируемые Банком проекты социальным и экологическим требованиям, существовавшим на момент утверждения проекта, а также тем требованиям, которые появились позднее. Определения вопросов, требующих проведения дополнительных исследований для дальнейшего прояснения роли Всемирного банка. Методология оценки Оценка была основана на данных исследования и обзора, поступивших от ряда стран-заемщиков и местных агентств по управлению плотинами. Анализ прибылей от затрат, проведенный по 50 профинансированным Всемирным банком крупным плотинам, построенным в период 1956-1987 г.г. Строительство всех плотин было начато до того, как Банк принял существующие положения о принудительном переселении, безопасности дамб, защите местного населения и окружающей среды. Оценка воздействия в результате выработки электроэнергии, подачи воды для орошения, принятия мер против наводнений, судоходства, распределения прибылей, а также мер по сокращению уровня бедности. 15 Результаты оценки 90% плотин соответствовали стандартам, существовавшим на момент утверждения проекта. Только четверть соответствуют текущей, более требовательной в отношении мер безопасности политике Банка. Снижение отрицательного социального и экологического воздействия плотин было осуществимо и экономически обоснованно в 74% всех случаев. Отчет не содержал выводов о том, могли ли плотины достичь соответствия приемлемым стандартам, если бы были приняты незначительные корректировочные меры, или о том, было ли необходимо принятие значительных технических мер для того, чтобы достичь соответствия экологическим и социальным требованиям и стандартам безопасности. Стоимость и продолжительность оценки Оценка проводилась в течение двух лет, а ее стоимость составила примерно 200 000 долларов США. Рекомендации на основании результатов оценки Укрепить требования к охране окружающей среды и безопасности плотин. Необходимо улучшить и сделать более направленными разработку механизмов компенсации в случаях принудительного переселения. Определение эффекта, который принесла оценка При проведении оценки основной акцент ставился на внимании международных заинтересованных лиц к широкому кругу вопросов и созданию возможностей проведения обсуждений между участниками. Оценка также явилась катализатором создания Всемирной комиссии по плотинам, которая разработала механизм интеграции социальных и экономических факторов в оценку крупных плотин. В рамках Всемирного банка оценка стимулировала большее внимание к планам переселения, оценкам воздействия на окружающую среду и вопросам безопасности. Оценка повысила внимание к минимизации технических и экологических эффектов устаревания и ухудшения состояния существующих плотин. Оценка улучшила условия для проведения оценок и отчетности в рамках Всемирного банка, которые тормозили выделение кредитов на строительство новых плотин. Условия сокращения рисков в результате более интенсивной оценки предлагаемых займов были представлены как один из факторов сокращения кредитования строительства крупных плотин. В настоящее время Всемирный банк уделяет большее внимание вопросам реабилитации и безопасности плотин. 16 Вопрос отношения: определение степени эффекта в результате оценки В ходе дальнейшего исследования были определены эффекты оценки; это исследование включало 18 полусистематизированных интервью с лицами, ответственными за принятие решений Банка, менеджерами, экспертами по плотинам и авторами Оценки крупных плотин ДОО. При проведении заседаний Банка использовались наблюдения участников. Также были изучены различные отчеты и публикации Банка, представленные различными участниками. Все источники предоставили последовательное мнение об эффекте оценки. Была ли оценка эффективной с точки зрения затрат? Большинство менеджеров программ выразили мнение, что четкий анализ и аргументы за и против строительства крупных плотин обеспечили аналитическую основу для принятия решений. Оценка также внесла большой вклад в создание всемирной комиссии по плотинам. Учитывая тот факт, что только Всемирный банк выделил на строительство новых плотин 1,064 млрд. долларов США в 2000 финансовом году, и, если предположить, что оценка внесла вклад, по крайней мере, в один из приведенных выше эффектов, то инвестиции в сумме 200 000 долларов США в проведение оценки можно считать высоко эффективными в плане затрат. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: См. Мита Марра «Оценка крупных плотин» в ДОО, Эффективные оценки: Подробные практические примеры. 17 Ликвидация лавок по продаже рационов пшеничной муки в Пакистане С момента получения независимости правительство Пакистана ввело систему лавок по продаже рационов пшеничной муки в целях субсидирования пшеничной муки для групп населения с низким уровнем доходов. В середине 1980-х годов усилилась критика данной системы, так как она была неэффективной, и большая часть дешевой муки фактически не доходила до целевых групп. Цель проведения оценки В 1985 году Международный институт по исследованиям политики в области продуктов питания (IFPRI) получил заказ на проведение независимой оценки системы лавок по продаже рационов пшеничной муки. Целью являлась оценка затрат и прибыли, а также предоставление рекомендаций относительно того, нужно ли ликвидировать эту систему. Правительство столкнулось с проблемой широкомасштабной коррупции в таких лавках и планировало сократить государственные субсидии в условиях отмены регулирования. Однако, лица, ответственные за выработку политики, неохотно шли на то, чтобы рассмотреть этот крайне деликатный вопрос, и надеялись, что независимый исследовательский институт с хорошей репутацией сможет оказать поддержку действиям правительства. Методология оценки Работа с местными исследователями из Пакистанского института экономики развития (PIDE), инновационными социологическими исследованиями и обследованиями семей были использованы для сбора первоначальных данных по наличию и использованию лавок по продаже рационов муки. Результаты были использованы для того, чтобы начать диалог между группой исследования и лиц, ответственных за выработку политики в Пакистане, относительно изменений системы. Результаты оценки Более 70% субсидированной пшеничной муки не доходила до потребителей рационов или субсидируемых булочных. Субсидии приносили пользу очень немногим бедным потребителям. Можно было принять альтернативные меры для снижения негативных последствий ликвидации программы для потребителей с низким уровнем доходов, владельцев лавок, торгующих пшеничной мукой, и дистрибьюторов. 18 Стоимость и продолжительность оценки Исследование стоило порядка 500 000 долларов США, а ключевые лица, ответственные за выработку политики, были проинформированы о первых результатах чрез год. Рекомендации на основании результатов оценки Ликвидация лавок, торгующих рационами, ­ это была одна из основных рекомендаций отчета. Необходимы меры для компенсации потери субсидий потребителям с низким уровнем доходов, владельцам лавок, торгующих пшеничной мукой, и дистрибьюторам за потерю дохода. Было подсчитано, что стоимость таких компенсационных мер будет намного ниже, чем величина субсидирования. Определение эффекта, который принесла оценка Оценка IFPRI предоставила надежные подтверждения решению правительства о ликвидации лавок по продаже рационов. Их ликвидация сэкономила правительству, по крайней мере, 40 млн. долларов США в год. Быстрое, неформальное информирование о результатах исследования до публикации официальных отчетов в момент обсуждения вопроса на самом высоком политическом уровне предоставило подтверждения, которые позволили ликвидировать программу. Вопрос отношения: определение степени эффекта в результате оценки Последующее практическое изучение было проведено IFPRI в 1997 г. для оценки эффекта исследования. Были выявлены ключевые заинтересованные лица, которым был задан вопрос о том, какие факторы заставили их принять решение о ликвидации лавок по продаже рационов, и какими соображениями политики они руководствовались. Каждый из них был опрошен относительно источника информации и роли исследования, проведенного IFPRI-PIDE. Также были изучены основные документы по данному вопросу для того, чтобы выявить эффект исследования. Опросы показали, что лица, ответственные за выработку политики, признали важный вклад данного исследования, и что, помимо предоставления важных подтверждений, исследование, проведенное независимым и объективным международным агентством, обеспечило политическую поддержку и упростило принятие трудного и политически деликатного решения о ликвидации лавок по продаже рационов. Несмотря на то, что лица, ответственные за выработку политики, опирались на многие источники информации, пакистанские исследователи признали, что объективные и четкие цифры, предоставленные исследованием IFPRI-PIDE, «забили последний гвоздь в гроб» лавок по продаже рационов. 19 Была ли оценка эффективной с точки зрения затрат? По расчетам, после принятия компенсационных мер, таких, как увеличение зарплаты государственным работникам с низким уровнем доходов, ликвидация лавок по продаже рационов принесла правительству ежегодную чистую экономию на сумму порядка 40 млн.долларов США в год. Несмотря на то, что, возможно, решение о ликвидации лавок по продаже рационов было бы принято и без исследования IFPRI, ясно, что вклад данного исследования в процесс принятия решения значителен. Если принять консервативную оценку о том, что исследование IFPRI, возможно, приблизило принятие решения на один год, то это сэкономило 40 млн. долларов США. Учитывая, что стоимость исследования составляла только 500 000 долларов США, данное исследование можно считать высоко эффективным. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Джеймс Гаррет и Ясир Ислам, «Ликвидация лавок по продаже рационов пшеничной муки в Пакистане», в ДОО, Эффективные оценки: Подробные практические примеры. 20 Улучшение предоставления услуг начального образования в Уганде В начале 1990-х годов в Уганде, как и во многих развивающихся странах, существовала проблема низкой результативности государственных услуг, таких как образование и медицинское обслуживание. Считалось, что основной причиной является «утечка» выделенных средств, которые не доходили до соответствующих агентств, но не было методов исследования для оценки важности таких утечек. В 1996 году Всемирный банк начал инновационную программу исследования в Уганде для отслеживания государственных средств и определения того, какую часть средств фактически получали школы и медицинские учреждения. В данном практическом примере рассматривается исследование по отслеживанию государственных расходов (ИОГР), которое проводилось в секторе начального образования в Уганде. Цель проведения оценки Целью ИОГР в секторе образования явилось получение надежных расчетов о доле государственных средств, выделенных центральным правительством, которые дошли до начальных школ, а также предоставление рекомендаций относительно способов улучшения использования утвержденных средств. Методология оценки ИОГР в секторе образования проанализировало сроки прохождения бюджетных средств через различные уровни правительства и сравнили объемы выделенных из бюджета средств с фактическими расходами на начальные школы. Не было доступа к соответствующим государственным счетам для того, чтобы получить данные о фактических расходах, поэтому было проведено обследование 250 государственных начальных школ в 19 районах, и были собраны общие данные по расходам и результатам за 1991- 1995 г.г.. Помимо ИОГР, было проведено комплексное исследование об услугах, предоставляемых конкретными школами, которые в данном отчете не обсуждаются. Результаты оценки Утечка средств Только 13% выделенных средств фактически дошли до школ в 1991- 1995 году. Оставшиеся 87% исчезли или были использованы районными официальными лицами для других целей. Примерно 20% средств, выделенных 21 на зарплаты учителям, были израсходованы на «мертвые души», которые вообще не существовали или не работали учителями. Важная роль родителей в финансировании образования Вместо застоя, как указывали данные официальной статистики, обследование школ показало 60-процентное увеличение численности учеников начальных школ в 1991-1995 г.г. Было обнаружено, что начальное образование финансировалось, в основном, родителями, которые в 1991 году внесли до 73% от общей суммы расходов школ. Удивительно, что взносы родителей продолжали увеличиваться в реальном выражении, несмотря на увеличение государственных средств. Влияние неравного доступа к информации о государственных расходах При отсутствии контроля со стороны центрального правительства, местное правительство и школы заключили сделку в отношении средств, выделяемых центральным правительством местным органам управления на нужды образования помимо зарплаты. Но было обнаружено, что более крупные школы получали большую долю выделенных средств (на учащегося), а в школах, где учатся дети более состоятельных родителей, также наблюдалась меньшая утечка средств. Результаты показали, что расширение информированности общественности, а также их возможности проведения мониторинга и борьбы с нарушениями в системе, важны для контролирования ситуации с коррупцией. Стоимость и продолжительность оценки Стоимость первого исследования в области начального образования составила примерно 60 000 долларов США. Исследования на местах проводились в течение 1-2 месяцев, а в целом исследование было завершено в течение 5-6 месяцев. Рекомендации на основании результатов оценки Необходимо распространять результаты исследования среди широкой общественности. Информацию о средствах, выделенных и полученных каждой школой, необходимо распространять через местные средства массовой информации и открыто показывать в школах. Необходимо периодически повторять исследования ИОГР для мониторинга успехов. Определение эффекта, который принесла оценка Правительство начало публикацию информации о ежемесячных межбюджетных трансфертах государственных средств в газетах и на радио и потребовало от начальных школ обнародовать информацию о потоках средств, чтобы все могли с ней ознакомиться. Это также явилось сигналом для местных органов управления, что центральное 22 правительство возобновило свои контролирующие функции. Два дальнейших местных обследования ИОГР показали, что поток средств помимо заработной платы, который доходил до школ, увеличился с 13% в 1991-1995 г.г. примерно до 80-90% в 1999 и 2000 г.г. До проведения исследования многие школы вообще не получали этих средств, тогда как в 1999 году менее 10% школ не получали гранты, а 90% получили их в полном объеме. Исследование также продемонстрировало влияние количественных данных на государственные услуги в качестве средства иммобилизации «голоса». Если отдельные жалобы можно отодвинуть в сторону, то реакцию общественности, подкрепляемую систематическими сравнительными данными, трудно проигнорировать, так как это может послужить толчком для действий со стороны общества. Вопрос отношения: определение степени эффекта в результате оценки Существует множество документальных подтверждений в виде отчетов правительства и публикаций, которые признают важность результатов ИОГР. Как только правительство получило результаты исследования, оно немедленно распространило их. Правительство Уганды недавно приняло решение о ежегодном проведении обследований ИОГР в каждом основном секторе услуг. Было ли исследование ИОГР эффективным с точки зрения затрат? По оценкам, ежегодные расходы правительства на начальное образование помимо зарплат (дотации на душу населения) в 1999 году составили порядка 27,7 млн. долларов США. Исследование определило, что процент средств, которые доходили до школ, увеличился с 13 до 80% ­ т.е. сумма увеличилась более чем на 18,5 млн. долларов США. Т.е. исследование ИОГР стоимостью 60 000 долларов США было чрезвычайно эффективным в плане затрат. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: «Уганда: Улучшение предоставления услуг начального образования за счет обследований по отслеживанию государственных средств» в ДОО, Эффективные оценки: Подробные практические примеры. Ритва Рейникка и Йакоб Свенссон. 2002. Оценка предоставления услуг на местах. Группа исследований по вопросам развития. Всемирный банк. www.worldbank.org/wbi/publicfinance/documents/Seco/reinikka_assessing%20frontline.doc 23 Улучшение результативности крупномасштабного проекта охраны окружающей среды в Болгарии До приватизации Болгарская металлургическая компания KCM была ответственна за загрязнение крупных жилых и сельскохозяйственных районов вредными веществами. В 2001 г. Черноморский банк торговли и развития (BSTDB) утвердил программу 6-летнего займа для KCM к размере 9,2 млн. долларов США на финансирование крупномасштабного Проекта улучшения состояния окружающей среды с внедрением усовершенствованных технологий и методов работы, не оказывающих отрицательное воздействие на окружающую среду. Цель проекта также заключалась в том, чтобы избежать ситуации, когда стало бы необходимо ограничить или даже прекратить операции, что ставило под угрозу 1 540 рабочих мест в районе с неблагоприятной экономической ситуацией и 1,3% годового объема экспорта Болгарии. Цель проведения оценки Оценка, которая проводилась в качестве проверки среднесрочного проекта, была направлена на определение соответствия плану действий по охране окружающей среды (ПДООС), чтобы избежать потенциальной потери рабочих мест и штрафов, а также определить способы улучшения эффективности и финансовой жизнеспособности проекта. Методология оценки Оценка являлась сочетанием проверки и 2-дневного посещения объекта заемщика и соседнего населенного пункта. Посещение объекта включало следующее: 2 фокусные группы в составе руководителей заемщика и представителей местного сообщества; 3 полусистематизированные интервью с руководителями/персоналом заемщика и основным подрядчиком по проекту; а также 3 сверки соответствия по выборочным компонентам проекта. Также было ненавязчиво проверено соблюдение мер безопасности, таких как запрет курения, использование касок и риск и мониторинг токсичных газов/ веществ. В целях обеспечения независимости оценки и для того, чтобы не создавалось впечатления, что оценка проводилась для того, чтобы обосновать заранее запланированные действия, такие как продолжение этого важного проекта, использовались следующие процедуры: 24 Четкое определение рисков проекта, обязательств заинтересованных лиц и полученного опыта. Триангуляция, т.е. получение и сравнение имеющих значение данных, как минимум, из трех независимых источников, т.е. от Банка, заемщика, подрядчика, прессы, НПО/местного населения, внешних аудиторов, а также результатов наблюдений/сверки. Использование Стандартов оценки передового опыта Совместной группы по проведению оценки, в которую вошли представители многосторонних банков развития. Результаты оценки Из-за того, что заемщик был обеспокоен сокращением воздействия падения товарных цен, реализации ПДООС не уделялось первоочередного внимания, и отчетные данные по успехам реализации были неясными. В попытке снизить воздействие на товарные цены заемщик нарушил хеджированные договоренности, что увеличило зависимость KCM от изменений цен на металл и химикаты. Слабое внедрение новых правил техники безопасности поставило KCM в ситуацию, когда возможно наложение больших штрафов за несоответствие нормам Евросоюза. Стоимость и продолжительность оценки Стоимость оценки была примерно 4 500 долларов США; она проводилась в течение 2 месяцев. Рекомендации на основании результатов оценки Необходимо укрепить системы отчетности и мониторинга ПДООС. KCM должен привести свою политику хеджирования в соответствие с промышленными нормами. KCM должен расширить финансовые стимулы и ускорить принятие прочих мер, направленных на обеспечение безопасности и охраны окружающей среды. Определение эффекта, который принесла оценка Дополнительная прибыль в размере 400 000-800 000 долларов США от ускорения начала производства цинка на 3 месяца. Дополнительная прибыль в размере 110 000-220 000 долларов США от ускорения начала производства H2S04 на 10 месяцев. Дополнительная прибыль в размере 14 500-29 000 долларов США за счет снижения суммы штрафов за несоответствие экологическим требованиям. Экономия средств на сумму 16 500-33 000 долларов США за счет сокращения количества аварий в результате введения требований техники безопасности. 25 Вопрос отношения: определение степени эффекта в результате оценки Для оценки степени отнесения наблюдаемого эффекта на счет оценки, а не прочих факторов, применялись следующие методы: Моделирование причинно-следственных тенденций проводилось на основе сценариев с применением результатов оценки и без них. Сценарий «без результатов оценки» определил, какое время было необходимо для того, чтобы необходимая информация достигла руководства, и чтобы руководство приняло решения, а также вероятность принятия такого решения. Использовали экстраполяцию для сравнения расчетов заемщика по документам проекта, финансового департамента заемщика и расчетов на основе ПДООС/сроков проекта, а также воздействия на каждый компонент, и провели независимую сверку при помощи департамента охраны окружающей среды BSTDB. Дальнейшее обследование с участием руководства KCM и BSTDB подтвердило, что обе организации признали полезность оценки и согласились с необходимостью реализации основных рекомендаций. Была ли оценка эффективной с точки зрения затрат? Оценка стоила 4 500 долларов США; она завершилась в течение 2 месяцев. Все основные рекомендации были приняты и реализованы BSTDB и заемщиком, и, по наиболее консервативной оценке, дополнительная прибыль и экономия составили, как минимум, 541 000 долларов США. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Тодор Димитров, «Улучшение результативности крупномасштабного проекта охраны окружающей среды за счет проведения фокусированной среднесрочной оценки: Проект Комбината цветных металлов (Kombinat za Czvetni Metali S.A. ­ (KCM) в Болгарии» в ДОО, Эффективные оценки: Подробные практические примеры. 26 Помощь в переоценке Национальной лесной политики Китая В 1999 г. Департамент оценки операций (ДОО) Всемирного банка завершил изучение Лесной стратегии Банка 1991 г. в целях определения (i) ее влияния на кредиты Банка в целом; и (ii) эффективность роли Банка и его влияние на результаты работы в лесном секторе. Были проведены детальные исследования в шести странах, включая Китай. Методология оценки Группа консультантов Банка, включая старшего исследователя со стороны Китая, провела работу в офисе и на местах в рамках оценки практического примера в Китае. Помимо портфеля лесных проектов Банка, были проверены шестьдесят соответствующих проектов в секторах сельского хозяйства, транспорта и других секторах. Работа на местах включала совместное посещение объектов проекта и семей с участием представителей Банка и китайской стороны, а также консультации с официальным лицами из сектора лесного хозяйства, Национальной комиссии по планированию, властями провинций и другими донорскими организациями. К анализу прилагались результаты опытной работы в Китае и данные Статистического департамента. Данный проект также получил выгоду от результатов семинара, который проводился для заинтересованных лиц в Пекине, экспертной оценки, проведенной Всемирным банком, и консультаций по Интернету. Результаты оценки Портфель лесных проектов Банка по Китаю на сумму 1 млрд. долларов США, хотя и был только частью лесной программы страны, усилил технические и управленческие возможности правительства в данном секторе; однако он добился меньших успехов в привлечении правительства к анализу и диалогу в отношении политики в области лесного хозяйства. В результате значительных общегосударственных усилий по сохранению лесов/облесению площадь лесного покрова увеличилась на 15%, в основном в полосах лесонасаждений и лесополос. В результате займов Банка дополнительные лесопосадки были высажены на площади 3,3 млн. га с использованием разнообразных видов деревьев, и эти программы способствовали вовлечению бедного сельского населения в лесоводство и агролесное хозяйство. Данная оценка также подчеркнула социально-экономическую стоимость 27 запрета правительства 1998 г. на вырубку леса ­ по оценкам самого правительства, на передислокацию 2,4 млн. рабочих было бы израсходовано, как минимум, 22 млрд. долларов США Стоимость и продолжительность оценки Оценка, которая проводилась в Китае, заняла примерно 18 месяцев, а ее стоимость составила 80 000 долларов США. Рекомендации на основании результатов оценки Китай должен проводить систематический мониторинг, оценку и исследования для того, чтобы в значительной степени улучшить политику и программы в области лесоводства. Необходимо расширить работу в лесном секторе для того, чтобы включить изменения в отношении сельскохозяйственных земель и воздействие политики в секторе лесного хозяйства на семьи фермеров. Хотя отчет и не являлся официальными рекомендациями, он ставил под сомнение запрет на вырубку леса и указывал на серьезные экономические последствия для бедных слоев населения. Определение эффекта, который принесла оценка Оценка проекта в Китае имела непосредственный эффект за счет: Помощи в проведении легальных дебатов между высокопоставленными чиновниками, исследователями и другими лицами в отношении лесной политики и недавно введенного запрета правительства на вырубку леса. Обеспечения согласия китайской стороны с необходимостью улучшения мониторинга и оценки, а также необходимостью детального исследования и анализа политики в отношении воздействия проектов, проводимых в лесном секторе, на бедные слои населения и биоразнообразие. Расширение участия местного населения Китая и фермеров-бенефициариев в лесных программах, а также укрепление сотрудничества среди ключевых лиц, которые ранее не взаимодействовали друг с другом. Оценка практического примера в Китае также внесла значительный вклад в создание Специальной комиссии по вопросам лесов и пастбищ (TFG) Китайского совета по охране окружающей среды и развитию, в условиях проведения внутренней переоценки собственной политики в отношении запрета на вырубку лесов и с учетом акцента на анализ и исследование политики. Китайский совет пригласил руководителей оценки ДОО Всемирного банка в секторе лесной стратегии быть сопредседателем и ведущим членом данной Специальной комиссии. В свою очередь, Специальная комиссия: Провела обследования 1400 семей в 10 провинциях для того, чтобы выяснить мнение местных жителей относительно эффекта лесных программ и политик. Убедительно и комплексно задокументировала многие сложные вопросы, которые влияют на действенность лесной программы правительства. 28 При помощи детальной опытной работы определила воздействие основных инициатив правительства на сохранение лесов и продемонстрировала некоторые непреднамеренные негативные последствия. Рекомендовала, чтобы подход правительства «сверху вниз» к планированию и управлению лесным хозяйством заменили на более активный и гибкий подход. Рекомендовала замену полного запрета на вырубку леса упреждающее планирование использования лесных земель для достижения последовательного управления лесным хозяйством. Успешно отстояла стратегический подход к проведению мониторинга и оценки в лесном секторе. В ответ на это правительство пересматривает лесную политику и программы в таких областях, как управление лесным хозяйством и собственность на землю/землепользование. Вместе эти инициативы представляют собой значительные изменения в применении запрета на вырубку леса. Вопрос отношения: определение степени эффекта в результате оценки Эффект оценки ДОО практического примера в Китае и последующая работа китайской Специальной комиссии по вопросам лесов и пастбищ определялся в рамках дальнейшего анализа, проводимого заинтересованными сторонами. Оценку проводил консультант ДОО в Вашингтоне, который связывался с китайской стороной и Всемирным банком по телефону и электронной почте для того, чтобы получить мнения об эффекте исследования ДОО. Также были изучены отчеты и публикации Банка о различных заинтересованных сторонах. Была ли оценка эффективной с точки зрения затрат? Стоимость оценки, проведенной ДОО и Специальной комиссией, составила порядка 80 000 долларов США и 1,02 миллиона долларов США соответственно, а вместе они помогли легализовать необходимость проведения детальной переоценки запрета на вырубку леса в Китае. Учитывая, что, по расчетам правительства, стоимость передислокации рабочих составила бы 22 млрд. долларов США, то обе оценки можно считать высокоэффективными. ДЛЯ БОЛЕЕ ПОДРОБНОЙ ИНФОРМАЦИИ: Элайн Оои, «Переоценка Национальной лесной политики Китая», в ДОО, Эффективные оценки: Подробные практические примеры. 29 Разработка полезных оценок: полученный опыт Стимулирование использования Следующие факторы увеличивают вероятность того, что оценка улучшит результативность и эффект политики, программ и проектов развития: Важность благоприятных условий для политики. Результаты оценки будут с большей вероятностью использоваться, если они рассматривают проблемы политики и если лица, ответственные за принятие решений, согласны принять политические последствия реализации результатов. Сроки проведения оценки. Оценка должна быть начата тогда, когда лица, ответственные за принятие решений, четко определили информационные потребности. Результаты необходимо предоставить вовремя, чтобы они повлияли на принятие решений, а относительно ключевых результатов необходимо предоставлять неофициальную информацию до того, как будет подготовлен заключительный отчет. Роль оценки. Оценка редко является единственным или даже наиболее важным источником информации, который оказывает влияние на лиц, ответственных за выработку политики, и руководителей. Успешная оценка должна соответствовать условиям, в которых она будет использоваться, и лицо, проводящее оценку, должно понять, когда и как можно применить результаты наиболее эффективным образом. Установление взаимоотношений с клиентом и эффективная передача результатов оценки. Важно установить хорошие отношения с ключевыми заинтересованными лицами, внимательно прислушиваться к их потребностям, понимать их восприятие политического контекста и информировать их о ходе оценки. Не должно быть «сюрпризов», когда будут представлены результаты оценки. Кто должен проводить оценку? Практические примеры определили два различных способа организации оценки, причем каждый из них обладает преимуществами и недостатками: Вариант 1: Оценку проводит отдел по проведению оценки руководящего или финансирующего агентства. Как правило, это дает преимущество лучшего доступа ключевых участников к данным и лучшего понимания политического и организационного контекста, в котором проводится оценка. Однако, существует потенциальный риск того, что лицо, проводящее оценку, станет чрезмерно прислушиваться к политическому контексту, выпуская из виду целостную картину, и для него будет сложно анализировать «деликатные» вопросы. Вариант 2: Оценку проводит внешняя организация или орган. Это может обеспечить независимость и объективность и привести к более легкому анализу «деликатных» вопросов, таких 30 как местное политическое давление или включение уязвимых групп. Тем не менее, внешние организации, проводящие оценку, могут иметь более ограниченный доступ к необходимым данным. Третий вариант, который не включен в данные практические примеры, ­ это попытка получить преимущества первых двух вариантов за счет управления и/или совместного проведения оценки, сочетая работу внешних агентств и работающего по программе персонала. Охват и методология оценки Не существует единой наилучшей методологии оценки; подход может быть адаптирован к конкретным условиям, вопросам и приоритетам оценки, а также имеющимся ресурсам. Лицо, проводящее оценку, зачастую рекомендует расширить предлагаемый охват оценки для того, чтобы, например, включить процесс реализации и результаты, либо провести более глубокое исследование социальных и политических условий, в которых функционирует программа. Большинство оценок также используют подход, включающий различные методы и сочетающий методы сбора и анализа количественных и качественных данных как для улучшения надежности результатов, так и для обеспечения более широкой основы для их интерпретации. Сколько должна стоить оценка? Необходимо определить стоимость оценки, как и расходов любого другого проекта или программы, с точки зрения эффективности в плане затрат. Кажущаяся на первый взгляд «дорогая» оценка может быть полностью оправданной, если она приведет к сокращению затрат или увеличению прибыли на суммы, намного превышающие стоимость оценки. Оценки, описанные в данных примерах, стоят от 4 500 до 500 000 долларов США, но в каждом случае задавали вопрос «Была ли оправдана оценка?» и сравнивали получаемую выгоду с затратами на проведение исследования. Несмотря на то, что в одних случаях можно монетизировать и затраты, и выгоду, в других случаях выгода может заключаться в улучшении объективности, экологического качества или общей эффективности программы ­ и в таком случае лица, ответственные за принятие решений, должны решить, стоило ли вкладывать средства в оценку для того, чтобы получить определенную качественную выгоду. Применение результатов оценки и определение их эффективности с точки зрения затрат Большинство оценок проводятся в условиях ограниченных сроков и бюджета, а зачастую даже в условиях политических ограничений того, с какими заинтересованными лицами можно устанавливать контакты и какие 31 вопросы можно задавать. В таких условиях реального мира редко когда удается провести тщательную оценку методологии или анализа соответствия оценки, которую рекомендуют учебники. Методология оценки применения результатов зачастую ограничивается изучением отчета по проведенному исследованию, обсуждениям с группой специалистов, которые проводили оценку (лично, по телефону или электронной почте), а в некоторых случаях выяснением мнения местных экспертов (например, персонала Всемирного банка или миссий других донорских организаций). Анализ того, в какой степени можно приписывать наблюдаемые результаты политики или программы эффекту оценки, сложно проводить даже в самых благоприятных условиях (и еще сложнее при наличии перечисленных выше ограничений). Методы, описанные в работе ДОО «М&О: Некоторые инструменты, методы и подходы», представляют собой ряд аналитических инструментов, которые обычно применяются для анализа такого рода. По возможности, оценка должна сочетать и сравнивать как можно больше существующих методов: Строительства, с описанием возможных противоположных результатов, которые были бы получены в случае, если бы оценка не проводилась (Болгария, Пакистан); Изучения ссылок на оценку в отчетах и документах по планированию правительства (Индия, Механизм обеспечения занятости; Филиппины, Уганда); Важный анализ положений, включенных в отчеты по оценке, в отношении эффекта оценки (Индия, Механизм обеспечения занятости; Болгария, Индонезия, Уганда) и интервью с лицами, проводившими оценку; Мнения участников, полученные либо в ходе систематизированных интервью (Индия, отчетные карточки граждан), либо чаще в ответ на запросы по электронной почте (Болгария, Индонезия). В большинстве практических примеров анализ эффективности с точки зрения затрат использовали для сравнения финансовых и численных выгод от проведения оценки с денежными затратами. В большинстве случаев было не сложно определить потенциальный эффект оценки (такой, как сокращение административных затрат, увеличение объемов продаж, сокращение штрафов, большее количество бенефициариев), и основной проблемой являлось определение соотношения наблюдаемых изменений, которые можно приписывать оценке. Основной опыт заключается в том, чтобы четко сформулировать допущения и методы оценки анализа эффективности с точки зрения затрат, чтобы читатель мог судить о действенности методов. 32 Дополнительные ресурсы по мониторингу и оценке Вебсайты Независимая оценка Всемирного банка: http://www.worldbank.org/oed/ Укрепление систем мониторинга и оценки в странах; работы, опубликованные в рамках данного отчета «Эффективные оценки»: http://www.worldbank.org/oed/ecd/ Новости мониторинга и оценки: http://www.mande.co.uk/news.htm 1818 H Street, N.W. Washington, D.C. 20433, U.S.A. Telephone: 202-477-1234 Facsimile: 202-477-6391 Telex: MCI 64145 WORLDBANK MCI 248423 WORLDBANK Internet: www.worldbank.org Operations Evaluation Department Knowledge Programs and Evaluation Capacity Development Group (OEDKE) E-mail: eline@worldbank.org Telephone: 202-458-4497 Facsimilie: 202-522-3125