Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00004281        IMPLEMENTATION COMPLETION AND RESULTS REPORT  ON A PROGRAM  IN THE AMOUNT OF US$ 874.9 MILLION  TO THE     PEOPLE'S REPUBLIC OF BANGLADESH     FOR THE  BANGLADESH ‐ HEALTH SECTOR DEVELOPMENT PROGRAM ( P118708 )    December 5, 2017      [ This ICRR replaces the version published in the Board Operations System on December 21, 2017.  Reference to the “Embassy of the Kingdom of Netherlands (EKN)” was added in paragraph 20, page 11  and reference to EKN was added on paragraph 92, page 31 ]                Health, Nutrition & Population Global Practice  South Asia Region          CURRENCY EQUIVALENTS     (Exchange Rate Effective December 04, 2017)    Currency Unit =    BDT  BDT 82.98 =  US$1  US$ 1.42 =  SDR 1      FISCAL YEAR  July 1 ‐ June 30                                  Regional Vice President: Annette Dixon  Country Director: Qimiao Fan  Senior Global Practice Director: Timothy Grant Evans  Practice Manager: E. Gail Richardson  Task Team Leader(s): Bushra Binte Alam  ICR Main Contributor: Andre C. Medici      ABBREVIATIONS AND ACRONYMS      ADP  Annual Development Program  AF  Additional Financing  APIR  Annual Program Implementation Report   APR  Annual Program Review  AusAID  Australia Agency for International Development  BDHS  Bangladesh Demographic and Health Survey  BoD  Burden of Diseases  CAS  Country Assistance Strategy  CASPR  Country Assistance Strategy Progress Report   CC  Community Clinic  CD  Communicable Diseases  CIDA  Canadian International Development Agency  CPF  Country Partnership Framework  CMSD  Central Medical Stores Depot of the MOHFW  DAAR  Disbursement for Accelerated Achievement of Results  DALY  Disability‐Adjusted Life Years  DFAT  Department of Foreign Affairs and Trade, Australia  DFID  Department for International Development of the Government of United Kingdom  DGDA  Directorate General of Drug Administration of the MOHFW  DGFP  Directorate General of Family Planning  DGHS  Directorate General of Health Services of the MOHFW  DHIS2  District Health Information System 2  DLI  Disbursement Linked Indicators  DLR  Disbursement Linked Results  DNS  Directorate of Nursing Services of the MOHFW  DPs  Development Partners  DPT3  Diphtheria‐ Pertussis Tetanus‐ 3.   EC  European Commission  EEP  Eligible Expenditure Program  EKN  Embassy of the Kingdom of Netherlands  ESP  Essential Health Services Package  FA  Financing Agreement  FM  Financial Management  FMAU  Financial Management and Audit Unit of the MOHFW  GDP  Gross Domestic Product  GIZ   Deutsche Gesellschaft für Internationale Zusammenarbeit  GOB  Government of Bangladesh  HED  Health Engineering Department of the MOHFW  HIS  Health Information System  HNP  Health Nutrition and Population  HNPSP  Health Nutrition and Population Sector Program  HPDP  Health and Population Development Program   HPNSDP  Health Population and Nutrition Sector Development Program  HSDP  Health Sector Development Project  IBRD  International Bank for Reconstruction and Development (World Bank)  IDA  International Development Association of the World Bank  IEG  Independent Evaluation Group of the World Bank  IFA  Integrated Fiduciary Assessment   IFR  Internal Financial Review  INT  Integrity Vice‐Presidency of the World Bank  IOI  Intermediate Objective Indicators  IPF  Investment Project Financing  LD  Line Directors of the MOHFW  KfW  Kreditanstalt für Wiederaufbau  KPI  Key Performance Indicators (or PDO indicators)  MCWC  Maternal and Child Welfare Centers  MDG  Millennium Development Goals  MDTF  Multi‐Donor Trust Fund  M&E  Monitoring and Evaluation  MIS  Management Information Systems  MOHFW  Ministry of Health and Family Welfare   MOLGRDC  Ministry of Local Government, Rural Development and Cooperatives   MTR  Mid‐Term Review  MWM  Medical Waste Management   NCD  Non‐Communicable Diseases  NGO  Non‐Governmental Institutions  NHA  National Health Accounts  NIPORT  National Institute of Population Research and Training  NPV  Net Present Value  OOP  Out‐of‐Pocket  OPs  Operational Plans  PAD  Project Appraisal Document  PDO  Project Development Objective  PFA  Project Financial Agreement  PHC  Primary Health Care  PMMU  Program Management and Monitoring Unit of the HPNSDP.  PRQR  Poorest/Richest Quintile Ratio  PWD  Public Works Department of the MOHFW  QER  Quality Enhancement Review  RBF  Results Based Financing  RF  Results Framework  SDG  Sustainable Development Goals  SDR  Special Drawing Rights  SDTF  Single Donor Trust Fund  SIDA  Swedish International Development Agency  SIL  Sector Investment Loan  SWAp  Sector Wide Approach  TB  Tuberculosis  THE  Total Health Expenditures  UESD  Utilization and Essential Services’ Delivery Survey  UHC   Universal Health Coverage  UHC  Upazila Health Complex  UHFWC  Union Health and Family Welfare Center  UNICEF  United Nations Children’s Fund  UNPFA  United Nations Population Fund  USAID  United States Agency for International Development  WHO  World Health Organization                TABLE OF CONTENTS    DATA SHEET ............................................................................................................................ 1  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 5  A.  CONTEXT AT APPRAISAL ....................................................................................................... 5  B.  SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) .................................. 11  II.  OUTCOME ...................................................................................................................... 13  A.  RELEVANCE OF PDOs ........................................................................................................... 14  B.  ACHIEVEMENT OF PDOs (EFFICACY) .................................................................................... 14  C.  EFFICIENCY .......................................................................................................................... 19  D.  JUSTIFICATION OF OVERALL OUTCOME RATING .................................................................. 20  E.  OTHER OUTCOMES AND IMPACTS (IF ANY) ......................................................................... 21  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 22  A.  KEY FACTORS DURING PREPARATION ................................................................................. 22  ........................................................................... 23  B.  KEY FACTORS DURING IMPLEMENTATION  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 24  A.  QUALITY OF MONITORING AND EVALUATION (M&E) .......................................................... 24  B.  ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE .................................................. 25  C.  BANK PERFORMANCE ......................................................................................................... 28  D.  RISK TO DEVELOPMENT OUTCOME ..................................................................................... 30  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 31  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 33  ANNEX 1A – RESULTS FRAMEWORK – EFFICACY ......................................................................... 45  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 50  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 52  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 53  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 64  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 72  ANNEX 7. MAP ...................................................................................................................... 74      The World Bank Bangladesh - Health Sector Development Program ( P118708 )        DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  BANGLADESH ‐ HEALTH SECTOR DEVELOPMENT  P118708  PROGRAM ( P118708 )  Country  Financing Instrument  Bangladesh  Sector Investment and Maintenance Loan  Original EA Category  Revised EA Category  Partial Assessment (B)  Partial Assessment (B)  Related Projects              Relationship  Project  Approval  Product Line  Additional Financing  P151070‐HSDP  24‐Jun‐2016  IBRD/IDA  Additional Finance  Organizations  Borrower  Implementing Agency  PEOPLE'S REPUBLIC OF BANGLADESH  Ministry of Health and Family Welfare  Project Development Objective (PDO)    Original PDO  To enable the Government of Bangladesh to strengthen health systems and improve health services, particularly for  the poor.      Page 1 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          358,900,000  358,045,515  342,842,064  IDA‐49540    327,970,432  327,264,127  327,263,551  TF‐11556    36,591,655  36,558,645  36,558,645  TF‐12281    150,000,000  150,000,000  145,205,880  IDA‐58690    1,478,552  1,478,552  1,478,552  TF‐A2917  Total    874,940,639  873,346,839  853,348,692  Non‐World Bank Financing        Borrower     0     0     0  Total     0     0     0  Total Project Cost  874,940,639  873,346,839  853,348,691        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  26‐May‐2011  23‐Oct‐2011  30‐Oct‐2014  31‐Dec‐2016  30‐Jun‐2017       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  25‐Jun‐2013  172.05    26‐May‐2016  339.67        KEY RATINGS      Outcome  Bank Performance  M&E Quality  Satisfactory  Moderately Satisfactory  Substantial    Page 2 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  21‐Sep‐2011  Satisfactory  Satisfactory  0  02  21‐May‐2012  Satisfactory  Satisfactory  95.32  03  08‐Jan‐2013  Satisfactory  Satisfactory  146.32  04  14‐Aug‐2013  Satisfactory  Satisfactory  172.05  05  15‐Feb‐2014  Satisfactory  Satisfactory  236.21  06  25‐Aug‐2014  Satisfactory  Satisfactory  264.80  07  02‐Feb‐2015  Satisfactory  Moderately Satisfactory  329.74  08  21‐Aug‐2015  Moderately Satisfactory  Moderately Satisfactory  329.44  09  25‐Feb‐2016  Moderately Satisfactory  Moderately Satisfactory  332.12  10  04‐Oct‐2016  Moderately Satisfactory  Moderately Satisfactory  340.08  11  21‐Apr‐2017  Satisfactory  Satisfactory  431.19  12  10‐Aug‐2017  Satisfactory  Satisfactory  468.17    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Health  100  Public Administration ‐ Health  10  Health  90      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Private Sector Development  10    Public Private Partnerships  10        Page 3 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Human Development and Gender  100    Health Systems and Policies  80    Health System Strengthening  40    Reproductive and Maternal Health  20    Child Health  20      Nutrition and Food Security  20    Nutrition  10    Food Security  10            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Isabel M. Guerrero  Annette Dixon  Country Director:  Ellen A. Goldstein  Qimiao Fan  Senior Global Practice Director:    Timothy Grant Evans  Practice Manager:  Julie McLaughlin  E. Gail Richardson  Task Team Leader(s):  Sameh El‐Saharty  Bushra Binte Alam  ICR Contributing Author:    Andre C. Medici                   Page 4 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES      A. CONTEXT AT APPRAISAL    Context  1. In the last decade prior to project appraisal, Bangladesh made significant progress in its fight against poverty  although the country still had a high proportion (5%) of the total number of the poor in the world and in South  Asia.    From  2000  to  2010,  Bangladesh  reduced  the  number  of  people  living  in  poverty  from  58.6%  to  43.3%.  Between 2001 and 2011, the yearly per capita income growth was 4.2%.1 The percentage of people living on less  than US$1.25 per day in Bangladesh reduced at a rate that is 60% faster than the rest of the developing world,  excluding China. The country also continued to have high population density and vulnerability to natural disasters.     2. Part of the Bangladesh’s success in reducing poverty is a result of strong macroeconomic management as well  as economic and social reforms which were put in place in the last ten years. Although governance in the public  sector remained a challenge, the Bangladesh Government (GOB) managed to maintain macroeconomic stability,  liberalize  trade, reform the financial sector and  moderate its  interference in business. The GOB also increased  investments  in  infrastructure  (electricity  and  transportation  services)  in  geographically  delimitated  economic  zones  through  fiscal  incentives  to  produce  goods  for  international  trade.    Thus,  Bangladesh  has  maintained  consistent growth over the last decade before project appraisal, with an average yearly growth of 5.8% of the  gross  domestic  product  (GDP)  between  2001‐2010,  avoiding  the  volatility  experienced  by  many  other  similar  economies,  especially  during  the  2008  global  financial  crisis.  In  2011,  the  country  was  on  track  to  achieve  the  Millennium Development Goals (MDG) by sharply improving its social indicators in areas such as poverty reduction,  primary education enrolment, gender parity in education, child mortality and maternal health, as well as HIV/AIDS,  malaria and tuberculosis (TB).     3. Despite impressive progress on the health related MDGs, there remained an unfinished agenda.   Bangladesh  saw major reductions in infant mortality from 87 per 1000 live births during 1989‐1993 to 43 per 1000 live births  during 2007‐2011. Also, under‐five mortality declined from 133 per 1000 live births to 53 per 1000 live births in  the same period. Likewise, maternal mortality ratio had impressively reduced from 320 per 100,000 live births in  2001 to 194 per 100,000 live births in 2010. Nutrition indicators had also improved in the last decade with a ten  percentage points decline in stunting from 51% in 2000 to 41% in 2011.  However, Bangladesh still had one of the  highest  stunting  rates  in  the  world.  Moreover,  the  health  sector  was  also  facing  the  rising  prevalence  of  non‐ communicable diseases (NCDs) in addition to continuing challenges in fighting communicable diseases (CDs). There  was inequity in healthcare access and utilization as well as health outcomes between the rich and poor, e.g., in  antenatal care and skill birth attendance. Despite the role of NGOs in providing the majority of antenatal care and  institutional  delivery,  in  the  lowest  two  quintiles,  most  of  these  services  were  already  provided  by  the  public  facilities in 2011.  1 Between 2012 and 2016 the average yearly per capita income growth was even bigger (5.2%)  Page 5 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   4. Health Spending in Bangladesh was very low and mostly concentrated among families. According to the National  Health Accounts (NHA) 2011, the total health expenditures in Bangladesh represented only 3.5% of the GDP with  a per capita spending of only US$27. Household out‐of‐pocket (OOP) spending represented the largest share, at  63.3%  of  the  total  health  spending  (THE)  while  government,  external  aid  and  voluntary  health  insurances  represented 23.1%, 8.4% and 5.3%, respectively. The urban health spending in urban areas of Dhaka was three  times higher than the health spending in rural areas of Sylhet, one of the poorest provinces of the country.     5. Structure of the Health System in Bangladesh: The pluralistic health sector of Bangladesh has four key actors that  define  the  structure  and  function  of  the  system:  government,  private  sector,  non‐governmental  organizations  (NGOs) and donor agencies. The (GOB) is the first key actor responsible for policy, regulation and the provision of  comprehensive health services, including financing and employment of health staff. The Ministry of Health and  Family Welfare (MOHFW), through the two Directorates General of Health Services (DGHS) and Family Planning  (DGFP), manages a dual system of general health and family planning services through district hospitals, Upazila  Health Complexes (with 10 to 50 beds) at sub‐district level, Union Health and Union Health and Family Welfare  Centers  (UHFWC),  at  union  level,  and  community  clinics  at  local  level.  In  addition,  the  Ministry  of  Local  Government,  Rural  Development  and  Cooperatives  (MOLGRDC)  manages  the  provision  of  urban  primary  care  services.     6. The for‐profit private sector provides marginally primary and specialized ambulatory care and hospital services.  Some international hospital networks operate in the country and private medical colleges provide clinical services  as part of their training for students. Private health care facilities are regulated by laws established in 1982 which  created a favorable environment to the increase of private health care since the 1990s. However, accessibility to  private health services is still limited to the middle and high income groups, particularly in urban areas.     7. At  project  appraisal,  there  were  almost  4,000  NGOs,  mostly  financed  by  donors.  Many  NGOs  provide  health  promotion and prevention activities, particularly at the community level, in their health centers and inpatient care  at some hospitals. An USAID‐funded network of NGOs provides primary care nationwide through its Smiling Sun  clinics.  In  selected  urban  areas,  NGOs  provided  health  promotion  and  prevention  activities,  particularly  at  the  community level, and in family planning, maternal and child health. Donor Agencies and some NGOs pull their  resources in Health Programs managed by the GOB.    8. The health sector in Bangladesh was facing several structural and management challenges. The MOHFW in 2011  had weak institutional capacity, shortage of human resources and unskilled health personnel, fragmented public  services delivery, inefficient allocation of public resources and poor regulation of private sector amid centralized  health system. Budget was historically allocated on an incremental basis and in the same proportions according to  line items and 10‐20% of Annual Development Program budget in the health sector was being unspent due to poor  planning,  delayed  procurement  processes  and  delayed  release  of  funds.  There  were  stock‐outs  of  drugs  and  medical supplies, weak procurement and supply chain management system and poor asset management.    9. To address these challenges, the MOHFW created the Health, Population and Nutrition Sector Development  Program (HPNSDP ‐  Program) to be implemented from 2011 to 2016. The Program’s goal was to “ensure quality  Page 6 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) and equitable health care for all citizens of Bangladesh”2. The Program was planned to devote 70% of its financing  to support delivery of priority health services and 30% to improve the health systems. The  Program  was jointly  prepared by MOHFW’s implementing agencies at the central and district (upazila) levels3, other GOB ministries,  development  partners  (DPs),  non‐government  organizations  and  other  civil  society  entities.  The  Health  Sector  Development Project (HSDP), financed by the Bank and several international donors, was prepared to support the  Program (HPNSDP) which prioritized both HNP care services and strengthening of critical health systems including  planning, health financing, human resource management, information systems, pharmaceutical management and  procurement  and  financial  management.  To  finance  critical  reforms  to  improve  health  outcomes,  a  multi‐year  integrated and consolidated technical assistance plan was developed and supported separately by the Department  for International Development of the Government of United Kingdom (DFID) and other DPs.    10. The  HPNSDP  represented  a  continuation  of  the  previous  Health  Nutrition  and  Population  Sector  Program  (HNPSP),  also  supported  by  the  World  Bank  and  other  donors,  and  which  was  also  implemented  through  a  sector‐wide  approach  (SWAp)  by  the  MOHFW4.  In  that  six‐year  program  of  US$4.3  billion,  the  HNPSP  had  mobilized a total of US$1.2 billion with DPs’ assistance which included US$681 million in pooled funds (US$293  million IDA credit plus and IDA‐administered multi‐donor trust fund (MDTF) of US$388 million from seven DPs).  The HNPSP had three components: (i) accelerating achievement of health, nutrition and population (HNP) related  MDGs and poverty reduction strategic goals; (ii) meeting emerging HNP challenges including injuries and NCDs;  and (iii) advancing HNP‐sector modernization through reforms such as decentralization and contracting out with  non‐state providers. The HNPSP outcome achievement as well as the Bank and Borrower performance were rated  as Moderately Satisfactory, according to the World Bank’s Independent Evaluation Group (IEG)5.     11. The new HSDP and the HPNSDP were fully aligned with the Bank’s Country Assistance Strategy (CAS) for the fiscal  years 2010‐20126, especially with the strategic objective 2, related to  improving social services delivery, with a  specific outcome of improved access to quality health, population and nutrition services, and with the strategic  objective  4,  related  to  enhancing  accountability  and  promoting  inclusion,  with  a  specific  outcome  of  increased  effectiveness of public services delivery at local level. An analysis of the accomplishments of this CAS, published in  20137, revealed that Bangladesh’s economic growth had been inclusive and the country was on track to promote  gender equality and empowerment of women (Goal 3), reduce child mortality (Goal 4), improve maternal health  (Goal  5)  and  partially  meet  the  eradication  of  extreme  poverty  and  hunger  (Goal  1).    Based  on  the  report’s  recommendations,  the  CAS  was  extended  from  2012  to  2015.  The  report  also  recommended  an  Additional  2 According the Annex I‐B of the HSDP Project Appraisal Document (PAD), the extended program goal was “increase availability  and utilization of user‐centered, effective, efficient, equitable, affordable and accessible quality health, population and nutrition  services”.  3 Upazilas are district health complexes or networks, managed by local level authorities.  4  In  fact,  the  HSDP  has  two  previous  programs  based  on  the  same  institutional  arrangements  between  the  Bank  and  other  Development  Partners  (DPs).  The  first  one  was  the  Health  and  Population  Sector  Program  (HPSP  1998‐2003)  with  a  total  investment amount of US$2.2 billion. The second was the HNPSP (2003‐2011), with a total investment of US$4.3 billion and the  third one was the HPNSDP (2011‐2017), with a total amount (at project closing) of US$6,6 billion. Along the time, the participation  of the Government funds in the total Programs’ financing increased as following: HPSP (62%); HNPSP (67%) and HPNSDP (78%),  indicating more commitment of the budgetary funds with the financing of health reforms.   5 World Bank/IEG, Implementation Completion and Results Report Review (ICRR No. 14043), posted in 10‐03‐2013.  6 Country Assistance Strategy for the People’s Republic of Bangladesh – FY10‐12, Report No. 54615‐BD, The World Bank, 2009.  7 Country Assistance Strategy Progress Report (CASPR) for the People’s Republic of Bangladesh for the Period FY11‐15, Report No.  73983‐BD, The World Bank, 2013.  Page 7 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Financing (AF) for the HSDP, while keeping the goal of improved quality of HNP services unchanged in the CAS,  and to increase commitment for analytical and technical assistance in the health sector.    Theory of Change (Results Chain)  12. The Project was consistent with the overall government’s HPNSDP, (the Program), and focused on improving  health  services,  especially  for  the  poor,  as  well  as  on  strengthening  health  systems.  It  was  structured  to  be  implemented  as  a  SWAp  of  the  HPNSDP  with  pooling  arrangements  to  finance  32  operational  plans  (OPs),  measured by 158 indicators. The diagram below shows the relationship between the activities (expressed in 32  OPs), the project outputs and outcomes and the long‐term project development objectives (PDO).         13. The  HSDP  funded  a  slice  of  the  MOHFW  ‘s  Health  Sector  Program  (HPNSDP).  The  activities  funded  by  HSDP  included  provision  of  all  commodities  (contraceptives,  vaccines,  medicines  etc.)  and  equipment  for  delivery  of  primary,  secondary  and  some  tertiary  health  care;  supported  national  public  health  programs  on  both  communicable (TB, Malaria, HIV&AIDS, Kala‐azar, etc.) and NCDs; capacity building for the health professionals  including  the  fiduciary  staff  in  the  ministry  and  different  directorates  dealing  with  financial  and  procurement  management; strengthening of monitoring through provision of necessary IT equipment combined with training;  Page 8 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) extension  of  the  existing  physical  facilities  with  repair  and  maintenance;  supported  the  strengthening  of  the  accountability of health service delivery through citizen participation and voice.     14. The results chain of the program required a combined action of the technical and operational departments of  the  MOHFW  and  DPs.  The  implementation  responsibilities  for  HPNSDP  were  shared  by  the  MOHFW  and  its  following  departments:  Directorate  General  of  Health  Services  (DGHS);  Directorate  General  of  Family  Planning  (DGFP);  Directorate  of  Nursing  Services  (DNS);  Directorate  General  of  Drug  Administration  (DGDA);  Health  Engineering  Department  (HED);  National  Institute  of  Population  Research  and  Training  (NIPORT)  and  other  relevant institutes/organizations. The DPs supported the program through their active participation in different  Task Group (Sector Wide Management; Financial Management; Procurement; Monitoring and Evaluation; Health  Financing; Maternal, Neonatal, Child and Adolescent Health and Family Planning; Nutrition; Gender Equity, Voice  and  Accountability).  The  program  was  regularly  reviewed  with  participation  of  GOB,  DPs  and  with  a  group  of  independent  consultants  for  different  thematic  areas.  These  Annual  Program  Reviews(APRs)  were  used  as  management  instrument  for  both  the  government  and  DPs  to  monitor  progress  in  the  implementation  of  the  Program. They supported the verification of management and policy responsibilities. These APRs proved to be  effective  and  useful.  The  APRs  were  followed  with  aide‐memoires  along  with  Priority  Action  Plans  that  were  monitored the following year by different task groups (consisted of GOB and DP members) and other monitoring  mechanisms  like  Local  Consultative  Group  (LCG)  ‐  Health  sub  working  group,  chaired  by  the  Secretary  of  the  MOHFW.  Project Development Objectives (PDOs)  15. The PDO, according to the Financing Agreement (FA), was:  to enable the Recipient to strengthen its health systems  and improve its health services, particularly for the poor.8 Key Expected Outcomes and Outcome Indicators  16. The  PDO  has  two  intended  outcomes  or  specific  objectives:  The  efficacy  of  both  outcomes  was  measured  separately according to its respective indicators: (i) Objective 1 ‐ Strengthened health systems and; (ii) Objective  2 ‐ Improved health services, particularly for the poor.     17. The Results Framework (RF) of the HSDP was a subset of the Government’s HPNSDP Program9.   The Program  included eight priority indicators and 33 program indicators, linked to two components (same as the HSDP) and  12 expected results10. According to the PAD, HSDP RF originally had 3 PDO level indicators (or key performance  indicators – KPI) and 11 Intermediate Outcome indicators (IOI) and 4 Core Sector Indicators.  The three KPIs are:  8  The  PDO  in  the  Project  Appraisal  Document  (PAD)  is:  to  enable  the  GOB  to  strengthen  health  systems  and  improve  health  services, particularly for the poor.  9  The  HPNSDP  had  a  robust  RF  and  M&E  systems  and  the  MOHFW  prepared  annual  reports  on  the  status  of  the  Program  indicators. However, the total HPNSDP indicators were not under supervision of the HSDP project, given that the project funded  only a small fraction of the Program resources. Considering this, this ICR will evaluate the efficacy of the project, based in the  achievement of the HSDP indicators and not in Program indicators  10 See Annex 1.B of the PAD (Results Framework and Monitoring of the GOB’s Program (HPNSDP), pages 22‐25.  Page 9 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) (i) proportion of delivery by skilled birth attendant among the lowest two wealth quintile groups; (ii) coverage of  modern contraceptives in the low performing areas of Sylhet and Chittagong, and; (iii) prevalence of underweight  among children under 5 years of age among the lowest two quintiles groups.     18. The PDO indicators measured outcomes related to improvements in health service delivery, particularly to the  poor, while the IOIs also measured health system improvements.  The reason for this design was to highlight the  priority given to the service delivery outcomes, with health system indicators being the underlying critical elements  required to achieve the main service delivery goals. Annex 1 (Results Framework) presents in details the KPIs and  IOIs, as well as their respective links with the two objectives (or parts) of the PDO.  Components  19. To maintain consistency with the HPNSDP, the HSDP had two broad components:     Component 1 ‐ Improving Health Services (IDA US$251.2 million) had two subcomponents: 1.1 Improving health  programs, including scaling up of reproductive, adolescent, maternal, neonatal, infant and child health and family  planning  services  through  quality  and  reliability  of  services,  focusing  on  selected  district  hospitals  and  upazila  health complexes; nutrition interventions for pregnant women and children by integrating nutritional services in  the  DGHS  and  DGFP  services;  control  and  treatment  of  communicable  (CDs)  and  non‐communicable  diseases  (NCDs); and interventions to promote healthy behavior and; 1.2 Improving Service provision: strengthening service  delivery  of  primary  health  care  (PHC)  for  a  continuum  of  care  by  piloting  universal  health  coverage  (UHC)  by  upgrading and equipping at least one upazila health complex (UHC) in each district and rehabilitating community  clinics; better management of hospitals at secondary and tertiary levels; and the provision of health, nutrition and  family planning services to the urban population by establishing a coordination mechanism between MOHFW and  the Ministry of Local Government, Rural Development and Cooperatives (MOLGRDC).    Component  2  ‐  Strengthening  Health  Systems  (IDA  US$107.7  million)  ‐  included  the  following  activities:  (i)  governance and stewardship; (ii) health sector planning and management; (ii) human resources for health; (iv)  health care financing; (v) health information systems (HIS), (vi) monitoring and evaluation (M&E) and research;  (vii) quality of health care; (viii) drug administration and  regulation;  (ix)  procurement  and  supply  chain  management,  and;  (x)  physical  facilities  and  maintenance.     20. The total estimated cost of the HPNSDP at appraisal  was  US$8,011  million,  including  development  and  non‐development  budgets.  The  estimated  development  budget  was  US$3,334  million  (41.6%  of  the  total  Program  cost),  of  which  the  GOB  provided  US$1,167  million.  The  remaining  amount  (US$2,167  million)  was  to  be  provided  by  the  DPs.  However,  at  project appraisal, only US$1,605 million were expected  to  be  contributed  by  the  DPs.  Graphic  1  shows  the  distribution of the estimated contribution of the DPs in the HPNSDP in four components: The World Bank (IDA),  USAID, other DP’s and non‐committed funds. The IDA contribution of US$358.9 million represented 16% of the  Page 10 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) HPNSDP development budget. The total estimated cost of the HPNSDP at appraisal was US$8,011 million, including  development and non‐development budgets. The Bank was the second major contributor among the DPs, second  to the USAID which committed US$450 million to the HPNSDP. As shown in Graphic 1 there was an estimated  financing  gap  of  US$560  million  during  appraisal  which  was  expected  to  be  covered  by  future  donors’  commitments.  To  support  the  GOB’S  HPNSDP,  some  DPs  and  the  GOB  agreed  to  establish  a  pooled  fund  administered and managed by the World Bank. The pooled fund included the IDA fund, the Multi‐Donor Trust  Fund (MDTF) contributed by DFID, UNFPA, Canada, Sweden, KfW, the Embassy of the Kingdom of Netherlands  (EKN) and Australia (Australia dropped after two tranches due to change in their development commitments) and  the Single Donor Trust Fund (SDTF) contributed by the USAID.  The pooled fund (estimated at US$724.9 million  before the additional financing) was to finance activities through a mutually agreed Annual Development Program  (ADP) and Operational Plans (OPs).   B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)    PDOs and Outcome Targets   21. The PDO remained unchanged during the project’s life. However, an Additional Financing (AF) in the amount  of US$150 million was approved by the Bank on June 24, 2016 to fill the financing gap in the last year of the  project implementation. According to the AF Project Paper11, the rationale for the AF included: (a) higher than  planned disbursements linked to accelerated achievement of results; (b) exchange rate fluctuations reducing the  expected amount of resources, and; (c) lower levels of the DPs co‐financing of the HSDP compared with their  original commitments.    22. The AF also included project restructuring with the following changes: (a) Extension of the Project Closing Date  from June 30, 2016 to June 30, 2017; (b) Disbursements earmarked to the results as measured by disbursement  linked  indicators  (DLIs);  (c)  Revision  of  the  RF  expanding  the  number  of  IOIs  from  11  to  13  to  place  greater  emphasis on health systems strengthening.  The 4 Core Sector indicators were officially recorded in the AF paper  although  they  were  added  during  early  stages  of  implementation  as  mandated  by  the  Bank  (not  requiring  restructuring).    The  changes  also  included  (d)  modification  of  components  and  costs;  (e)  changes  in  financial  management  (FM)  arrangements  due  to  the  introduction  of  DLIs,  and;  (f)  simplification  of  the  procurement  arrangements as the eligible expenditure program (EEP) did not include procurable items. The last two changes  were also related with the need to improve fiduciary mechanisms due to issues in procurement processes that  will be detailed in the section of fiduciary compliance. The changes in the HSDP RF are reflected in Annex 1A.    Revised Project Cost and Components  23. By  the  Project  Closing  Date,  the  total  HSDP  cost  increased  to  US$874.9  million.  This  amount  included  the  following  funds:  (a)  original  IDA  funds  of  US$358.9  million  (IDA‐49540);  AF  of  US$150  million  (IDA‐58690);  US$327.9  million  from  the  MDTF  (TF‐11556)  and  US$38.1  million  from  a  single‐donor  trust  fund  (SDTF)  11 Report No. PAD1383 of June 8, 2016.  Page 11 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) contributed by USAID (TF‐12281 and TF‐A2917) (Graphic 2). USAID had contributed this amount into the pooled  fund from their total support to the HPNSDP. The Project disbursed 99% of its commitments by October 10, 2017.     24. The distribution of the Project IDA funds by component  also  changed  during  project  implementation.  Annex  3  shows  that,  according  to  the  PAD,  70%  of  the  project  funds  would  originally  be  spent  in  Component  1  (Improving Service Delivery) meanwhile 30% should be  spent in Component 2 (Strengthening Health Systems).  The final distribution of the funds by component (after  the AF) showed an increased cost of Component 2 (from  30% to 43%) and a reduced cost of Component 1 (from  70%  to  57%).  These  changes  represented  a  bigger  commitment  of  the  Project  to  institutional  reforms  to  modernize and to improve governance and stewardship  of  the  MOHFW.  As  a  result,  health  management  and  planning, health financing mechanisms, human resources capacitation, health infrastructure, asset maintenance  and supply chain management were strengthened at central and local levels. At Project’s closing, the Component  1 represented US$291.2 million and Component 2 represented US$217.7 million, totaling US$508.9 million in IDA  financial contribution.     25. The  DLI‐based  disbursement  introduced  under  AF  established  results  associated  with  each  DLI  called  Disbursement Linked Results (DLR) or targets. When these DLRs were met, the Bank transferred to the GOB an  amount equivalent to the value of each target, according to Annex B of the AF Document. The entire amount of  the  AF  (US$150  million)  was  disbursed  against  DLRs.  Three  of  the  15  DLIs  were  focused  on  service  delivery  (numbers 1, 2 and 3) while 12 were to strengthen health systems (numbers 4 to 15). The AF RF used some DLIs  (numbers 1, 2, 3 and 15) as IOIs. Table 1 summarizes the 15 DLIs, their baselines, the corresponding DLRs and  their values.  Table 1– Project DLIs under the 2016 AF & Restructuring  Disbursement Linked Indicators (DLIs) Baselines DLRs Values (US$M) Measles Immunization Rate 86.1% 87.0% 10.0 Deliveries in Public Facilities 390,000 401,818 10.0 Tuberculosis (TB) notification rate for bacteriologically positive cases 68 per 100,000 79. per 100,000 20.0 Performance of District Health Information System (DHIS2) Additional 20 CCs Achieved 10.0 Strategic Investment Plan (SIP) for the health sector for the next five years Not approved Approved 20.0 Standard Guidelines for Medical Waste Management (MWM) Guidelines drafted Guidelines disseminated 20.0 MWM in district hospitals 10 15 3.0 Contract Management Guidelines for Bangladesh Health Sector No available Approved 5.0 New institutional organogram of the Central Medical Stores Depot No available Submitted 5.0 Strengthening of procurement procedures No available 3 actions identified 15.0 Restructuring of the financial management audit unit (FMAU) No action Proposal finalized 5.0 FY2014 internal audit of MOHFW with a time bound action plan On going Adopted 7.0 Assessment of MOHFW’s accounting needs Not available Completed 5.0 Asset Management pilot Designed Completed 5.0 MOHFW’s web-based complaint mechanism Established Maintained 5.0   Page 12 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Other Changes  26. The Project underwent a Mid‐Term Review (MTR), from August to October, 2014, guided by the MTR Steering  Committee consisting of GOB and DP representatives. The Midterm Program Implementation Report assessed  the program progress over the first three years, including updated targets for the RF, the Prioritized Action Plans  2012 and 2013, Governance and Accountability Action Plan, joint field visits, study reports, several rounds of task  group meetings, focused consultations with various stakeholders and a series of policy dialogue sessions.  The  process also included revisiting the 32 Operational Plans (OPs), the budget of HPNSDP and series of meetings to  review the revised OPs to undertake midterm course correction and reprioritization of activities in the OPs. The  RF review in the MTR included a downward revision of the target for the KPI#2 related to the use of contraceptives  in low performing areas, which was partially achieved, even though the figures for Sylhet and Chittagong were  considerably below the national coverage. This was reflected when the HSDP was restructured in 2016.    27. The GOB’s HPNSDP was extended from June 30, 2016 to December 31, 2016.  Subsequently, the HSDP was  restructured with AF and extended from December 31, 2016 to June 30, 2017 to allow for the completion of  the verification of the DLRs achieved six months beyond the Program’s completion date. The AF also allowed a  retroactive financing up to US$60 million (40% of the IDA credit) for past expenditures on salaries and allowances  of the officers and employees on an exceptional basis as it was beyond the maximum 20% of Credit amount that  is normally allowed.     Rationale for Changes and Their Implication on the Original Theory of Change  28. Rationale for the AF. The AF was requested by the Government to fill the financing gap in the Program.12 The use  of DLIs under the AF was justified by two points of view: to help the government enhance its focus on outcome  and  results,  and  to  improve  overall  governance  in  the  sector  (including  the  implementation  of  the  recommendations of the fiduciary assessment (see paragraph 70)). The AF also revised the RF, as discussed above,  to include a focus on achievement of results under the two project components.  In addition, the AF provided the  mechanism to sharpen the focus on results and paved the way for supporting the next GOB program (2017‐2021)  with a Bank‐financed DLI‐based operation13 which was approved on July 28, 2017.    II. OUTCOME    29. The assessment of outcomes is analyzed in two phases:  the first phase was from May 2011 to May 2016 when  the project was implemented under a sector investment lending (SIL) approach and the second phase was from  June 2016 to June 2017 when the project was financed using a DLI‐based financing model. The reason for using  the split rating approach is because the RF was changed and some RF targets were lowered.  12 PAD‐1383 June 6, 2016.  13 Health Sector Support Project (HSSP).  Page 13 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) A. RELEVANCE OF PDOs    Assessment of Relevance of PDOs and Rating  Rating: High for both phases    30. The  PDO  was  composed  of  two  objectives:  (PDO1)  strengthen  health  systems  and  (PDO2)  improve  health  services, particularly for the poor. The relevance of both parts of the PDO is High, given that they were perfectly  matched with the Bangladesh Health Programs and were directly reflected in objectives of the World Bank CAS  in Bangladesh14. The CAS progress report of 2013 highlighted the relevance of these two objectives, as part of  the HNP strategy in Bangladesh, as well as showed that the Bank has been responsive to the MOHFW’s needs of  improving  health  services  and  strengthening  health  systems.  The  PDO  remained  relevant  throughout  implementation and was closely aligned with the HNP Program in Bangladesh.  It was consistent with the CAS  2010‐2015 and remained highly relevant to the current Country Partnership Framework (CPF) 2016‐2015 as well  as with the HNP Strategic priority directions and the new health operation (The Health Sector Support Project ‐  P160846), approved in FY2018. The relevance of the PDO contributed to the CPF’s priorities of: (a) improving  the quality of public health service delivery; (b) increasing public funding for health, (c) moving towards universal  health coverage and (d) reducing the vulnerability of the poor and enhancing their ability to participate in the  labor markets. As a result, the PDO is also in line with the Bank’s twin goals of reducing poverty and boosting  shared prosperity by generating better health outcomes.     B. ACHIEVEMENT OF PDOs (EFFICACY)  Rating: Substantial for both phases    31. The overall efficacy rating of the HSDP is the result of the achievement of the indicators associated with the  two parts of the PDO during the two project phases, which are rated as Substantial (see details in Annex 1 and  Annex 1‐A as well as in the text below).     Assessment of Achievement of Each Objective/Outcome  32. Achievement of the objective 1: Strengthen health systems: Substantial in both phases. PDO1 was measured  by seven IOIs in phase 1. These IOIs measured the progress and compliance of the MOHFW in several aspects  of  governance,  such  as  improvement  of  health  infrastructure  to  provide  better  access.  Under  the  program  (2010‐2016),  the number  of health facilities providing antenatal  care increased by 217% and the number of  hospitals revitalized under the baby friendly health initiative increased by 840%. The number of skilled birth  attendants increased by 60%, according to UESD Surveys 2010‐2016. The project improved substantially the  health units’ planning processes and allocation of health spending. Table 4‐1 of Annex 4 shows more details on  improved  health  systems  indicators.  The  analysis  revealed  that  the  targets  in  five  out  of  seven  IOIs  were  surpassed, achieved or partially achieved, indicating a level of achievement of 78%. In phase 2, 8 of 10 IOIs were  14 Country Assistance Strategy for the People’s Republic of Bangladesh – FY10‐12, Report No. 54615‐BD, The World Bank, 2009.  Some preliminary progress on the achievement of the PDO could be seen in the Country Assistance Strategy Progress Report  (CASPR) for the People’s Republic of Bangladesh for the Period FY11‐15, Report No. 73983‐BD, The World Bank, 2013  15  Country Partnership Framework for Bangladesh for the Period FY16‐FY20, Report No. 103723‐BD, March 8, 2016.   Page 14 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) surpassed,  achieved  or  partially  achieved,  indicating  a  higher  level  of  achievement  (81%).  At  the  end  of  the  project,  the  MOHFW  health  systems  were  improved  substantially,  allowing  the  GOB  to  implement  the  new  project design based on DLIs. The achievement against this PDO is also supported by progress made against  DLIs, most of which were focused on strengthening health systems (see below). Considering this significantly  improved performance, the rating of PDO1 in both phases is considered Substantial.      33. Achievement of the objective 2: Improving Health Services, particularly for the poor. Substantial in phase 1  and high in phase 2. PDO2 was measured by three KPIs and four IOIs in phase 1. The KPIs measured progress in  mother  and  children  health  indicators,  such  as  birth  delivery  by  skilled  birth  attendant,  coverage  of  modern  contraceptives  and  prevalence  of  underweight  children  under  5  years  old  among  the  lowest  two  income  quintiles  and  low  performing  areas.  Two  KPIs  targets  were  surpassed,  and  one  not  achieved  (modern  contraceptive  use).  The  IOIs  measured  the  proportion  of  birth  in  health  facilities,  coverage  of  measles  immunization for children under one year, proportion of breastfed up to six months of age and proportion of  postnatal care for women within 48 hours. Of the seven IOIs, two were surpassed, two were achieved, one was  partially achieved and two were not achieved. In phase 2, the number of KPIs increased from three to four, and  the number of IOIs increased from four to eight. Three KPIs were surpassed and one was achieved. Of the eight  IOIs five were surpassed, two were achieved and one was partially achieved. The summary of achievements of  the PDO indicators (KPI) at the end of the project and for the two parts of the PDO in both phases of the project  is reflected in Tables 2 and 2A, respectively.     Table 2 –Achievement of the HSDP PDO Indicators (KPIs) ‐ (2011‐2017)  KPI Indicators  Baseline (2011)  Target   Results Achieved (2017)  Level of Achievement  KPI#1: Proportion of delivery by skilled birth attendant among  11.5%   31.0%  33.6%   Surpassed  the lowest two wealth quintiles  KPI#2:  Coverage  of  modern  contraceptives  in  the  low  35.7%   42.0%  42.6%  Surpassed  performance areas of Bangladesh (Sylhet)  KPI#3:  Coverage  of  modern  contraceptives  in  the  low  46.8%  48%  48.5%   Surpassed  performance areas of Bangladesh (Chittagong)  KPI#4:  Prevalence  of  underweight  among  children  under  5  48.3%  43.3%  43.3%  Achieved  years old of age among the lowest two wealth income groups    Table 2A – Summary of Indicators’ Achievement in the Two Phases of the Project  Rating Categories and Corresponding Points of Intervals Phase 1 Phase 2 KPIs IOIs KPIs IOIs Surpassed (>100%) - 1 - 2 Achieved (85% to 100%) - 4 - 2 Partially Achieved (65% to 84%) - 1 - 2 Not Achieved (<65%) - 2 - 2 Total PDO 1 – Strengthening Health Systems - 8 - 8 % Achieved, Surpassed and Partially Achieved - 78% - 81% Surpassed (>100%) 2 2 3 5 Achieved (85% to 100%) 2 1 2 Partially Achieved (65% to 84%) - 1 - 1 Not Achieved (<65%) 1 2 - - Total PDO 2 – Improving Health Systems 3 7 4 8 % Achieved, Surpassed and Partially Achieved 100% 82% 137% 128% Source: Tables 1A‐2 and 1A3 of Annex 1A. A weighted average was calculated using the following scale: Surpassed=1.5 times; Achieved=1.0  times and Partially achieved=0.75 times.    Page 15 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Other Aspects of the Achievement of the PDOs  34. Because the HSDP is part of the HPNSDP, it is important to evaluate the program as a whole.  Its RF included  results and intermediate indicators, and 32 OP indicators. In addition, since the HSDP project in its second phase  linked disbursement with results, it is also important to review progress against the DLI matrix.    35. Efficacy  of  the  Program:  Substantial.  Annex  1‐B  of  the  PAD  presents  the  RF  and  monitoring  of  the  MOHFW  Program.  Being  under  direct  responsibility  of  the  MOHFW,  the  HPNSDP  Program’s  RF  included  eight  result  indicators, associated with the Program goal and 32 intermediate indicators associated with its two components  (Service Delivered Improved and Strengthened Health Systems). Table 3 shows that two of eight key Program  indicators  did  not  fully  achieve  their  targets  and  only  one  nearly  achieved  its  target.    Both  indicators  are  associated with birth delivery quality at health facilities. All other six indicators’ targets were achieved or were  on track to be achieved before the stipulated time.    Table 3 – Level of Achievement of the Main 8 Indicators of the HPNSDP Program in Bangladesh (2011‐2016)  Main Indicators  Base Line, Year and  Target  Results, Year and Source  Level of  Source  for  Achievement  2016  Infant Mortality Rate (per 1000 live births)  52.0 (BDHS, 2007)  31.0  30.7 (United Nations, 2015*)  Achieved  Under 5 Mortality Rate (per 1000 live births)  65.0 (BDHS, 2007)   48.0  37.6 (United Nations, 2015*)  Achieved  Neo‐Natal Mortality Rate (per 1000 live births)  37.0 (BDHS, 2007)  21.0  23.3 (United Nations, 2015*)   Nearly achieved  Maternal Mortality Ratio  194.0 (BMMD, 2010)  <143.0  176.0 (United Nations, 2015**)  Not achieved  Total Fertility Rate (children per women)  2.7 (BDHS, 2007)  2.0  2.07 (United Nations, 2017***)  Achieved  Prevalence of stunting among children under 5  43.2% (BDHS, 2007)  38.0%  36.0% (BDHS, 2014)  Achieved  Prevalence of underweight among children under 5  41.0% (BDHS, 2007)  33.0%  33.0% (BDHS, 2014)  Achieved  Prevalence of HIV in most at risk population  <1% (SS 2007)  <1%  0.1% (SS, 2014)  Achieved  (*) Estimates developed by the UN Inter‐Agency Group for Child Mortality Estimation (UNICEF, WHO, World Bank, UN DESA Population Division)  at www.childmortality.org.  (**) WHO, UNICEF, UNFPA, World Bank Group, and the United Nations Population Division. Trends in Maternal Mortality: 1990 to 2015. Geneva,  World Health Organization, 2015  (***) According the Population Division of the United Nations (2017 Review) this is the value of the total fertility rate in Bangladesh for the  average period 2015‐2020 (see  https://esa.un.org/unpd/wpp/Publications/Files/WPP2017_KeyFindings.pdf). This value is very close to the  HPNSDP target.  36. Program Intermediate indicators: The last Annual Independent Program Report (APIR), issued by the MOHPW  in December 2016, showed that out of the 32 Program intermediate indicators, 24 were achieved or partially  achieved and 8 were not achieved and/or were off‐track to be achieved. Annex 1‐A shows the performance of  these indicators against the original baselines. However, many results for the Program indicators were based on  data  from  the  BDHS  2014,  evidencing  progresses  achieved  two  years  before  the  Program  closing.  Better  achievements of the Program indicators should be demonstrated when the BDHS 2017 data will be available in  2018.  On  the  positive  side,  there  is  an  impressive  progress  until  2014  in  indicators  such  as  skilled  birth  attendance, ante‐natal care coverage, unmet need for family planning, the upgraded union‐level facilities able  to  provide  normal  deliveries,  the  regulatory  framework  for  accreditation,  non‐pool  DPs  submitting  quarterly  expenditure reports and the proportion of serious audit objections settled16. On the negative side, the last APIR  16 Despite these good achievements, as recognized in the MTR, some of the indictors’ targets were clearly ambitious compared  to their baseline, such as those related to skilled birth attendance, ante‐natal care coverage, unmet need for family planning,  union facilities providing normal deliveries and the proportion of settled audit objections.    Page 16 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) identified 8 indicators with results worse than those of their baseline figures, including: TB case detection rate17;  children  fed  with  approximate  infant  and  young  child  feeding  practices;  proportion  of  the  MOHFW  budget  allocated to upazila’s level or below; number of comprehensive emergency obstetric care facilities working 24  hours/day‐  7days/week;  proportion  of  facilities  without  stock‐out  of  contraceptives;  utilization  rate  of  reimbursable project aid against revised annual development program and  proportion of OPs with expending  above 80% of ADP allocation.  37. The HSDP Project and the HPNSDP Program also improved the national response system for CDs.  After the  project interventions, this system is effective, particularly for HIV, filariasis, kala‐azar, leprosy and TB. During the  project  period,  services  for  prevention  and  control  of  CDs  have  been  scaled‐up.  An  integrated  surveillance  system  was  institutionalized  for  evidence  based  decision  making  towards  disease  prevention  and  control.  Targets for elimination of filariasis and kala‐azar were achieved. Leprosy control has been well sustained at 0.21  case per 10,000 population. TB notification rate increased from 74 cases per 100,000 population in 2010 to 130  cases per 100,000 in 2015. While the detection rate of TB is still low, the treatment success rate is more than 90  percent. The TB incidence rate has remained unchanged during the last decade, with the country ranking third  in the world for prevalence, despite having one of the highest TB case treatment success rates.  HIV has remained  at relatively low levels (at less than 5%) in the most at risk population groups. There is, however, a concentrated  HIV epidemic among drug‐injecting users. There is also a rise in NCDs like diabetes, hypertension and cancer. As  the country is experiencing an epidemiological transition from CDs to NCDs, there is a double burden of both  CDs and NCDs.    38. Efficacy of the OP Indicators:  Substantial. In addition to the RF of the HPNSDP Program, the MOHFW followed  a set of 32 operational plans (OPs) with performance linked to 158 indicators. OP level indicators had not been  ever introduced in the Bangladesh health sector in the HPNSDP before. Initially, there were 316 indicators to  evaluate  progress  of  these  32  OPs.  However,  in  the  first  year  of  the  program  (2012)  some  problems  were  identified, such as lack of baselines, duplication, unclear and/or ambitions targets and confused ways to record  the achievements. Following recommendation of an independent review team, the original set of indicators was  reviewed in the middle of 2012 and the number of indicators was reduced to 158.     Graphic 3: HPNSDP ‐ Level of Achievement of the OPs Indicators: 2011‐2016    17 This indicator, which coincides with on IOI#13, measured in the second phase of the Project (HSPD) was surpassed as June  2017.  Page 17 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   39. Graphic 3 shows the level of achievement of the OPs indicators along the Program execution. In the last three  fiscal years of the HPNSDP Program implementation, the level of achievement measured by indicators achieved  or partially achieved was 92%, 92% and 89%, respectively.     40. Overall, given the overall achievement against the eight Program key indicators, 32 intermediate indicators and  progress  against  the  158  OP  indicators,  the  efficacy  of  the  Program  to  which  the  project  contributed  is  considered to be Substantial.  41. Efficacy of the DLI Achievements is Substantial. The DLI approach introduced during the AF has been evaluated  as  part  of  the  assessment  of  the  Project  efficacy.  Project  disbursement,  after  the  AF,  was  based  on  the  achievement of the 15 DLRs following the Bank’s review and approval18. Some DLIs were a subset of the 158  indicators followed by the 32 OPs addressed by the Program. In August, 2017, all 15 DLR’s were accomplished  according  to  the  available  project  administrative  records,  as  shown  in  Table  4.    The  majority  of  these  DLIs  contribute to PDO1 in strengthening health systems. According to the Project documents19 and based on these  records, the efficacy of the DLI achievement is rated as Substantial.  Table 4 – Level of Achievement of the DLR’s targets at July, 2017, according the HSDP Project records  Disbursement Linked Indicators (DLIs) DLRs Targets DLR Achievement, Date and Source Level of Achievement 1. Measles Immunization Rate Achieved 86.1% 87.4 (CES 2015) 2. Deliveries in Public Facilities 401818 (November 2016, Reports from DGHS Achieved 400,000 and DGFP**) 3. Tuberculosis (TB) notification rate for 79.17 per 100,000 Achieved 69.0 per 100,000 bacteriologically positive cases (DLI 3 verification report) 4. Performance of District Health Increase by additional Increased by 11,449 CCs Achieved Information System (DHIS2) 20 CCs DLI verification report 5. Strategic Investment Plan (SIP) for the Achieved National (one) Approval letter of MOHFW health sector for the next five years 6. Standard Guidelines for Medical Waste Guidelines Prepared Achieved Guidelines Prepared and Disseminated Management (MWM) and Disseminated 7. Medical Waste Management in district Achieved 5 District Hospitals 5 DLR Verification Report hospitals 8. Contract Management Guidelines for Guideline approved according correspondence of Achieved Approved Bangladesh Health Sector July 2017 9. New institutional organogram of the Evidence submitted. Approved in May 2017 Achieved Submitted Central Medical Stores Depot (CMSD) (World Bank HSDP records) 10. Strengthening of procurement Actions were identified and new bidding packages Achieved 3 actions identified procedures were reviewed according these procedures 11. Restructuring of the financial Achieved Proposal finalized Proposal finalized. The DLR met on October 2016 management audit unit (FMAU) 12. FY2014 internal audit of MOHFW with Evidence submitted. Approved in April 2017 Achieved Adopted a time bound action plan (World Bank HSDP records) 13. Assessment of MOHFW’s accounting Bank verified the achievement Achieved Done needs 14. Asset Management pilot Completed Bank verified the achievement Achieved 15. MOHFW’s web-based complaint Maintained Achieved Maintained mechanism DLR 15 verification report 18 84% of the AF funds were disbursed by July 30, 2017, and the remaining US$20 million were disbursed by August 2017 upon  DLRs achievement’s verification. The disbursement mechanism of the DLIs will be explained in the Financing Management section  of this ICR.   19 Independent Program Report (APIR), MOHPW, December 2016  Page 18 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) 42. The overall efficacy of the Project is based on the combined achievement of the project’s indicators (KPIs and  IOIs)  performance  against  DLIs  and  the  overall  performance  of  the  Program’s  32  OPs.  The  project  not  only  improved health services but also contributed substantially to strengthening the health systems, improving in  large  scale  the  governance  of  the  health  institutions  at  central  and  local  levels.  Considering  all  these  complementary elements, the project Efficacy is rated as Substantial for both phases and both parts of the PDO.  C. EFFICIENCY  Assessment of Efficiency and Rating  Rating: Substantial  43. The  HSDP  provided  gains  on  efficiency  both  in  technical  and  allocative  terms.  A  complete  analysis  of  the  project efficiency is presented in Annex 4.  Technical efficiency (attaining the most output from a given set of  inputs)  was  achieved  by  increasing  the  supply  and  coverage  (scale  of  economies)  of  cost‐effective  health,  nutrition  and  reproductive  health  services,  such  as  skilled  maternal  and  obstetric  care,  contraceptive  unmet  needs, child/infant health and nutrition services. Table 4‐1 (Annex 4) shows substantial gains, between 2010‐ 2016,  in  supplying  these  services.  The  Program  allocative  efficiency  (an  optimal  distribution  of  goods  and  services, considering consumer’s needs, meaning spending on the right things) led to important reductions in  the targeted Burden of Diseases (BoD) in Bangladesh, averting 3.2 million of DALYs lost between 2010 and 2015  (see Table 4‐2, Annex 4).   44. With  regards  to  value  for  money,  the  overall  cost‐benefit  analysis  of  the  Program  showed  an  estimated  positive  internal  return  rate  (IRR).    The  gains  were  calculated  as  reduction  in  total  days  of  morbidity  and  mortality multiplied by average daily per capita GDP. The PAD describes both direct and indirect benefits arising  from improving health services and strengthening health system. The same framework was used as an exit point  in the economic and financial analysis. Based on the assumptions expressed in Table 4‐4 of Annex 4, and with  benefits  accruing  over  a  20‐year  period,  the  results  of  economic  analysis  show  a  net  present  value  (NPV)  of  US$14.9 billion, representing an IRR of 19 percent.     45. With  regards  to  equity,  the  Program  target  was  to  increase  the  poorest‐richest  ratio  for  access  to  some  essential  antenatal  care  services  and  trained  birth  delivery  by  2016.  The  analysis  of  the  Demographic  and  Health Survey (DHS 2011) and Utilization of Essential Service Delivery (UESD‐2016) survey showed that equity  was achieved in some relevant variables for maternal, child health and nutrition as reflected by reduced Gini  coefficient. Table 4‐5 and Graphics 1 to 6 in Annex 4 present detailed evidence about equity gains.    46. In  addition  to  the  gains,  the  Project  improved  the  administrative  efficiency  and  reduced  the  Program’s  transaction  costs,  by  supporting  the  GOB’s  SWAp  based  Program.  Policy  dialogue  and  regular  coordination  were done through thematic task groups that comprised GOB and DPs. Reliance on existing structures avoided  the  creation  of  new  set‐ups  and  their  associated  costs.  The  pooled  funding  arrangement  was  effective.  This  arrangement also ensured that the DP financing was coordinated to support the GOB’s health sector program  to achieve its results.  Pool funders’ meetings were held regularly to provide updates on utilization of resources  and fiduciary and implementation issues requiring co‐financiers’ interventions. With IDA credit of US$508 million  and grant funds of US$380 million, the pooled fund contributed 43.6% of the total development budget (US$2  Page 19 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) billion) of the sector program and played an important role in achievement of the outcome as well as health  care financing. By financing a slice of the GOB’s program, the project offered flexibility in the use of funds while  ensuring alignment to national priorities. The broad earmarking of funds has helped to ensure the availability  and  utilization  of  resources  for  the  intended  purposes.  The  Project’s  financing  was  fully  disbursed  and  implemented over the planned period. Allocative efficiency of the project (spending on right things) is significant  given  the  impressive  progress  made  in  achieving  project  outcomes  with  low  amount  of  resources  spent  on  health. Based on these achievements, the overall rating for efficiency is Substantial.     D. JUSTIFICATION OF OVERALL OUTCOME RATING  47. The  overall  outcome  rating  is  Satisfactory.  The  rating  considers  that  the  project  maintained  high  relevance  throughout  implementation,  the  activities  financed  by  the  project  were  substantially  efficient  and  the  project  efficacy was also substantial in both phases of the project. The project contributed to improving access and quality  of  public  health  services  in  several  dimensions  and  reduced  the  burden  of  disease  related  to  maternal  health  problems and improved access to health and nutrition services to children. Tables 5 and 6 summarize the overall  outcome ratings of the project by phase. The weighing criteria is the amount disbursed in each phase. The project  disbursed US$723 million (IDA+MDTF+SDTF) and US$150 million (IDA‐AF) in phases 1 and 2 respectively.    Table 5 – Summary of the Overall Outcome Ratings  Dimensions  Phase 1 (2011‐2016)  Phase 2 (2016‐2017)  Relevance of Objective  High  Efficacy  Substantial  Substantial  (1) PDO 1 (Health Systems strengthened)  Substantial  Substantial  (2) PDO 2 (Health Services improved, particularly for  Substantial  High  the poor)  Efficiency  Substantial  Overall Outcome  H/S/S=Satisfactory (5)  H/S/S=Satisfactory (5)    Table 6 – Overall Outcome Ratings Weighting Specification  Phase 1  Phase 2  total  1  Rating  S  S    2  Rating value  5  5    3  Total disbursed‐US$ million  US$723 million  US$150 million  US$873 million  4  Total disbursed/final disbursed   83%  17%  100%  5  Weigh value‐(2 X 4)  4.15  0.85  5  6  Final Outcome Rating  5.00 = S  Page 20 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) E. OTHER OUTCOMES AND IMPACTS (IF ANY)  Gender  48. Given  that  the  project  targeted  maternal  health  conditions  and  family  planning  needs,  the  project  had  a  substantial  impact  on  women’s  health  and  wellbeing.  The  project  was  focused  on  benefits  to  women  in  reproductive age as well as on improving job opportunities for women, such as training of nurses, midwifes and  community health workers at the village, upazila and district levels. Between 2010 and 2016, women benefited  by an increased access to at least 4 prenatal visits (60%), by having birth deliveries attended by trained providers  (89%), by receiving tetanus vaccines (35%), by receiving postnatal care for two days after delivery (105%) and by  increasing the use of modern contraceptive methods (average 12% in Sylhet and Chittagong areas).  Institutional Strengthening  49. Substantial improvements have been made to strengthen accountability mechanisms of the MOHFW.  These  improvements included: i) restructuring of the Financial Management and Audit Unit (FMAU) of the MOHFW,  strengthening fiduciary oversight and ensuring a robust internal control system; ii) development of a web‐based  asset management system to track and safeguard medical equipment installed in health facilities; iii) expansion  of the logistics information system to track stock and usage of family planning commodities in all service delivery  points  for  better  monitoring  and  optimum  utilization;  iv)  development  of  software  to  track  medicines  at  community clinics to prevent stock‐outs; v) strengthening of District Health Information System for better data  reporting, and vi) Implementation of a web‐based complaint mechanism at DGHS to improve  transparency and  bring forward citizen engagements in the health sector.    50. The contribution of the Project to the MOHFW institutional strengthening is also reflected in the improvement  of  the  hospital  management  systems.  The  Project  strengthened  secondary‐  and  tertiary‐level  health  care  especially in public hospitals by providing effective, affordable, client‐centered quality care to poor children and  women,  and  allowing  community  participation,  contributing  to  establishing  patients’  rights  for  health  care  access.  From  2011  to  2016,  the  number  of  hospitals  that  introduced  total  quality  management  techniques  increased  from  3  to  44  and  the  number  of  hospitals  with  standard  in‐house  medical  waste  management  increased from 14 to 20. The number of health units having telemedicine facilities increased from 18 to 59 from  2011 to 2016 and at the end of the project 95% of the health units were providing regular reports to the health  information system (HIS).    Poverty Reduction and Shared Prosperity  51. The  main  beneficiaries  of  HSDP  were  defined  as  poor  and  marginalized  populations.    The  PDO  indicator  on  contraceptive prevalence was specifically focused on the two low performing areas of Sylhet and Chittagong.  Also,  the PDO indicator on prevalence of underweight among children under five focused on the lowest two wealth  quintile groups.  The TB indicator added during the AF, is clearly a pro‐poor indicator. Considering the second  phase, the DLIs were mostly targeted to rural areas, where most of the poor people reside and utilize services  from the public health facilities. Last, but not the least, as was analyzed in Annex 4, the HSDP’s target was to  reduce inequity in health and some of the indicators show a substantial achievement towards this goal. In terms  Page 21 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) of  shared  prosperity,  Table  7  shows  the  improvement  of  the  40%  poorest  population  in  some  basic  women’s  health project indicators.  Table 7 – Impact of the HSDP project in some women’s health indicators of the 40% Poorest Population: 2010‐2016  Indicator  Data for the 40% Poorest  Population  2010  2016  Increase (%)  Percentage of pregnant women receiving antenatal care during pregnancy  52.0  68.4  31.5  Percentage of birth deliveries in health facilities  13.8  28.9  109.4  Percentage of birth deliveries assisted by medically trained provider  31.1  38.8  24.8      III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION    52. The GOB’s HPNSDP was jointly prepared by the GOB and the DPs. The Program, like the previous sector program,  was to be implemented using a SWAp. There was a high commitment from both the GOB and DPs to jointly support  and monitor the implementation of the Program.    53. The Project had strong linkages with the Program and was well designed with realistic, clear and appropriated  objectives. Project preparation used a simple and well‐sequenced design, including structured components in total  harmony  with  the  Program  objectives.  Risks  and  mitigation  measures  were  adequate,  up‐front  and  project’s  Quality Enhancement Review (QER) provided well balanced suggestions in the project design.     54. The background  analysis  undertaken for  the project preparation was sound. Lessons from previous programs  were taken. The Project prioritized HNP care services with a stronger emphasis on strengthening critical health  systems for mothers and children, including planning, health financing, human resource management, information  systems, pharmaceutical management and procurement and financial management.  To support reforms, a multi‐ year integrated and consolidated technical assistance plan was being developed and supported separately by DFID  and other DPs.  55. Project preparation was relatively fast. The Project Concept Note Review was held on July 1, 2010 and it was  approved by the Bank’s Board on May 26, 2011. A QER of the Project was conducted on January 12, 2010 which  provided  guidance  to  the  Bank  team  to  refine  the  Project  on  the  technical  design,  technical  assistance  arrangements, fiduciary arrangements and results based financing (RBF). Based on the experience of implementing  an RBF component under the previous project, the team included the flexibility of “disbursement for accelerated  achievement of results (DAAR)”. Accelerated achievement of these results were financed by front loading year 5  allocation of the IDA Credit. Under the DAAR modality, each year the MOHFW and the DPs would agree on a set of  results. The Bank would disburse “extra” funds additional to the expenditures incurred during the year for planned  activities  for  achievement  of  the  results  early.  A  total  of  around  US$43  million  was  disbursed  against  DAAR  achievements which implied that there would be the need for an AF for the fifth year to cover for the resource gap  if the DAAR indicators were met.  Page 22 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) 56. Given  the  SWAp  arrangement,  overall  implementation  of  the  project  rested  on  the  MOHFW  and  its  various  entities,  including  the  Directorate  General  of  Health  Services  (DGHS),  Directorate  General  of  Family  Planning  (DGFP), National institute of Population Research and Training  (NIPORT), Directorate of Nursing and Education,  Directorate  General  of  Drug  Administration  (DGDA),  Central  Medical  Stores  Depot  (CMSD),  Health  Engineering  Department (HED) and the Public Works Department (PWD). The implementation arrangement proved effective  with 32 Line Directors (LDs) being responsible for the elaboration of Operational Plans (OPs), their implementation,  monitoring and the disbursements under the OPs.    57. During preparation of the AF, a new modality was introduced.  DLIs were introduced two months prior to the  Board approval because of the Bank’s management considerable concern about weaknesses in the management  and fiduciary aspects of the health system, particularly in view of audit observations.  As a result, there was not  sufficient  time  to  absorb  the  new  modality  by  the  GOB  and  the  donors.  The  new  modality  did  not,  therefore,  received the same level of buy‐in as with the original SWAp. The ICR team interviews with GOB and DPs indicated  that: (a) the introduction of the DLIs was felt by the MOHFW authorities as a top‐down decision by the Bank and  did not create the right incentives for implementation; (b) the DPs suggested that the GOB was not sufficiently  prepared to implement the new financing modality and the DLIs chosen were weak. At the time when the GOB had  issued a decree to raise salaries, financing that part of the Program was a questionable approach.      58. According  to  the  Bank’s  perspective,  the  change  to  DLIs  was  an  opportunity  to  strengthen  the  fiduciary  and  managerial capacity of the MOHFW and to shift focus on results. At that time, Bangladesh was in the process of  being upgraded from an IDA to IBRD eligible country and thus financing should be more linked to results than to  inputs. Additionally, given the serious IFA observations, the Bank management was concerned about continuing to  rely on the same financing modality and wanted to place greater emphasis on getting results in critical areas of  financial management, procurement and safeguards. There was a strong sentiment that after years of using the  traditional  investment  financing,  the  AF  using  the  new  approach  was  the  right  instrument  to  strengthen  the  fiduciary capacity of the counterpart. Seven out of the fifteen DLIs (contract management guidelines; strengthening  of  procurement  procedures;  restructuring  of  the  financial  management  audit  unit  (FMAU);  internal  audits  of  MOHFW with a time bound action plan; assessment of MOHFW’s accounting units; asset management pilot; and  MOHFW’s web based complaint mechanism) were dedicated for this purpose. This would also pave the way to  design and implement future operations using the DLIs modality.  Specifically, the Health System Strengthening  Project (HSSP) using this new modality was under preparation at the same time and approved in July, 2017, right  after the closing of this Project.    B. KEY FACTORS DURING IMPLEMENTATION    59. There were some critical factors contributing to successful implementation of the HSDP Project. Firstly, there  was a strong commitment by the GOB and the DPs to the Program. They met regularly for joint reviews and policy  discussions.  The  joint  coordination  was  facilitated  by  various  task  groups  and  the  Local  Consultative  Group  on  Health. Besides the pooling partners, there were very good relations with the non‐pooled partners for resource  mobilizations.  Secondly,  agencies  which  could  provide  technical  assistance  including  USAID,  DFID,  UNICEF,  GIZ,  UNFPA and UNAIDS had harmonized their support to avoid duplication and enhance synergies. Thirdly, planning  Page 23 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) and budgeting were done through a participatory process following the Annual Program Review (APR). The process  included  consultations  between  MOHFW  and  the  pooling  DPs  to  reach  agreement  on  the  share  of  the  Annual  Development Plan (ADP) financed by the Project. This ensured evidence based planning and budgeting.     60. The  AF  of  US$150  million  provided  by  the  World  Bank  not  only  filled  the  financing  gap  but  also  gave  an  opportunity to restructure the Project for better outcomes. Firstly, the restructuring included a realistic revision  of the target for KPI#2. Secondly, it paved the way for a DLI‐based financing modality with results tied to improving  systems including procurement and financial management which had weaknesses as explained below.  61. During implementation, the Project and the Program were impacted by some broader systemic weaknesses and  risks related to the public financial management such as recurring financial irregularities and mis‐procurement.  There were limitations in the budget execution processes, linked with lack of skilled and trained staff in financial  management  in  the  MOHFW  or  in  the  OPs.  The  original  structure  of  the  FMAU  of  MOHFW  was  restructured  because  it  was  not  suitable  for  the  sector  program  implementation.  This  unit  had  to  coordinate  internally  and  externally with the Bangladesh Bank, the LDs and field offices and finally with the DPs to monitor expenditures and  finalize financial reports. Trained staff, with experience and skills, was difficult to recruit. When they moved to  other jobs or retired, it was hard to find their replacement. The FMAU needed to be reorganized with provision for  recruitment of skilled personnel in their own set‐up.  Some audits had identified some big irregularities, resulting  in refunds (Source: Assessing Options for Aid Modality 2014).    62. Following the IFA, risk mitigation measures were identified and an IFA Action Plan was developed jointly to be  implemented  by  the  MOHFW.  Some  activities  of  the  Plan  were  included  in  the  DLIs  but  most  of  them  were  introduced in the new HSSP operation supported by the Bank. The Action Plan also initiated reforms in the sector,  such as the restructuring of the FMAU.  IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)    Monitoring and Evaluation (M&E) Design  Rating: Substantial  63. The Program and the Project's RF were designed by using an extensive set of indicators collected through  household surveys and administrative records.   The Project RF provided a sub‐set of the broader RF of the  GOB's Program. This ensured availability of regular data from household surveys and administrative records to  update the RF.  This also avoided duplication of efforts and ensured sustainability of the M&E process.     64. The indicators of the HSDP Project (combined with those from the Program) reflected the main areas of the  project support. Although the project PDO indicators did not explicitly include any indicator on health systems,  the intention was to include health system indicators as part of the project IOIs. However, Program indicators  provided several key indicators associated with health systems improvement. Ideally, it would have been better  Page 24 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) to structure the PDO indicators in line with the two project intended outcomes even though the IOs provided  this opportunity.    M&E Implementation  Rating: Substantial    65. The GOB's management information systems (MIS) and surveys such as the Bangladesh Demographic and  Health Survey (BDHS) were used to monitor the indicators.  The information generated through the MIS was  supplemented by periodic household surveys including BDHS and UESD surveys.      66. The MOHFW introduced District Health Information Software version 2 (DHIS2) for collecting aggregated data  at all service delivery points of health services and family planning directorates, including community clinics.  This  was  expected  to  address  the  concern  around  data  administration  which  was  mostly  paper  based  and  compounded  by  the  fact  the  two  main  Directorate  Generals  (Health  Services  and  Family  Planning)  were  collecting information separately. The AF (as discussed in the subsequent section on "project status") supported  strengthening of the DHIS2 by increasing the number of functional community clinics submitting routine data  to DHIS2 in a timely manner. Further efforts are being directed to upgrade and strengthen DHIS2, under the  Bank’s new HSSP operation.    M&E Utilization  Rating: Substantial  67. The HPNSDP Program and the  Project teams used  the  data for  the  daily  activities  of the  MOHFW  and for  planning and interventions. The regular collection of administrative data to feed the MIS and the constancy in  the production, analysis and dissemination of the household surveys was improved significantly, not only in the  MOHFW but also at regional managers and local health units. As this would ensure regular data availability, the  process supported the GOB to design a new Bank financed Project using the DLI‐based financing modality.    Justification of Overall Rating of Quality of M&E  68. The  overall  Project  rating  for  M&E  is  Substantial.    The  Program  and  the  Project  introduced  changes  in  the  culture of using data, not only to monitor and evaluate the Program and the Project’s implementation, but also  in management and planning. The daily activities of the regional and local services were benefitted from this  approach as these units started to take care of data production and to analyze functional problems of the health  units and the needs of the beneficiaries based on local data.    B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  69. Financial  Management  –  Like  other  line  ministries  in  Bangladesh,  the  MOHFW  was  impacted  by  some  broader systemic weaknesses and risks related to public financial management. In response to these risks,  the MOHFW has pursued several reforms for better alignment with the country systems. Although there is  Page 25 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) scope  for  further  improvement  at  MOHFW,  the  reforms  have  helped  to  strengthen  financial  accounting,  reporting and internal audit oversights of the MOHFW. These reforms included:     a. Outsourcing internal audit review to a private audit firm, financed by the MOHFW. The MOHFW is the  only ministry in Bangladesh that has outsourced internal audit to an external audit firm, which indicates  great commitment of the ministry to improved accountability;     b. Restructuring the FMAU through increasing its staffing capacity, retaining qualified staff and raising its  profile  as  the  strategic  unit  for  risk  management  and  control  in  MOHFW.  The  proposal  has  been  approved  by  the  Health  and  Public  Administration  Ministry.  After  the  approval  from  Ministry  of  Finance, the recruitment of additional staff will start;     c. Approval of an audit strategy (2011‐2016) by the MOHFW, with a view to bring about improvement in  compliance with policies and procedures and enhanced performance of auditors in conducting annual  audit of HSDP, and;     d. Establishment  and  piloting  of  an  asset  management  system  to  address  concerns  of  misuse  and  underutilization of assets. The system is functioning in one district hospital in Sylhet and the MOHFW  has plans to roll‐out to all district hospitals in next few years.    70. A  significant  risk  area  affecting  the  program  performance  was  the  recurrence  of  financial  irregularities  during the project implementation period. Annual fiduciary reviews undertaken by the Bank, in addition to  the agreed Fiduciary Arrangements for the project (i.e. internal and external audit and procurement audit by  the MOHFW), helped in detecting irregularities in the project. The program has undergone several additional  fiduciary  reviews,  like  Integrated  Fiduciary  Review  (IFR),  FM  in‐depth  review,  Integrated  Procurement  Review,  Performance  Audit  of  HIV  NGOs,  carried  out  by  the  Bank  which  also  includes  forensic  audits  by  independent firms.     71. The  MOHFW  has  taken  various  measures  to  address  irregularities  relating  to  cash  management  and  payment  of  honoraria/allowances,  recovered  irregular  payments,  refunded  ineligible  expenditures  and  taken  disciplinary  action  against  officials.  Such  reviews  and  actions  have  had  positive  impact  on  certain  areas. Despite these progresses, key challenges remain for the future of program performance: (i) system for  identifying, reporting, investigating and prosecuting cases of fraud and corruption are formally in place, but  in  practice  are  not  functioning  effectively  (ii)  weak  staffing  capacity  at  the  FMAU  limiting  the  MOHFW’s  internal controls; (iv) underutilization of procured items; (v) slow or ineffective mechanisms for resolving  external audit findings; and (vi) inadequate monitoring and administration of procurement contracts.  72. Ineligible  expenditure  and  refund:  Approximately,  US$2.2  million  was  declared  as  ineligible  expenditure  during the implementation period due to financial irregularities and mis‐procurement identified by the GOB  and Bank audits. This represents 0.26% of the total financing of US$873 million (comprising IDA credit of  US$508 million and trust funds of US$365 million). The GOB has refunded the full amount to the Bank.  Page 26 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) 73. External audit: Based on the GOB’s audit reports for FY2012‐2016, the Bank identified a total of 153 material  observations  amounting  to  US$49.3  million,  representing  5.6%  of  total  financing  of  US$873  million  (comprising IDA credit of US$508 million and trust funds of US$365 million). The MOHFW has resolved most  of  the  audit  issues  relating  to  the  first  two  years  of  FY2012  and  FY2013).  Currently  there  are  still  75  outstanding  audit  issues  which  include  34  issues  in  FY2016,  21  in  FY2015  and  20  from  FY2014.  The  outstanding audit issues are approximately equivalent to US$22.7 million, which accounts for 2.6% of total  financing of US$873 million. These will be followed up by the Bank team during regular policy dialogue in the  sector.  74. Procurement: Significant progress has been made in strengthening the procurement functions of MOHFW.  As  noted  during  the  MTR,  there  were  no  stock‐outs  of  medicines  or  commodities,  reflecting  improved  procurement  planning  and  management.  Capacity  building  initiatives  have  resulted  in  reducing  the  procurement  lead  time  by  20  weeks.  Additionally,  the  MOHFW  has  taken  several  initiatives  to  improve  overall  governance  in  health  sector.  These  include:  (a)  development  of  a  Procurement  and  Supply  Chain  Portal  to  process  approval  of  procurement  plans,  monitor  processing  of  procurement  packages,  track  distribution  of  assets,  and  monitor  status  of  installed  equipment;  (b)  development  of  Standard  Table  of  Equipment for various tiers of facilities, identifying the medical equipment needed to deliver services at the  facilities; and (c) expansion of the Logistics Management Information System of the Directorate General of  Family Planning (DGFP) to service delivery points to track uptake of various family planning commodities and  forecast future requirements based on consumption. Given the improvements in the procurement systems,  the World Bank’s prior review threshold was increased in 2013.  75. The project remained susceptible to high risks relating to procurement.  The nature of procurement risks  changed  during  the  project  implementation  period,  from  weak  capacity  in  preparing  documents  to  fraudulent behaviors of bidders. The procurement risks can be characterized in two broad areas. First, there  was  the  upstream  process,  where  there  were  issues  in  the  transparency  and  efficiency  of  procurement,  raising concerns about the integrity of the process and about value for money. Second, a few risks needed  to be addressed at the downstream process. The Central Medical Stores Depot (CMSD) and the Directorate  General of Family Planning (DGFP), the two main procuring entities of the MOHFW, needed strengthening  to improve contract monitoring and management.  76. Environment  Safeguards:  The  Project  design  included  efforts  to  develop  infrastructure,  manpower,  and  operational  capacities  of  the  health  care  facilities  in  management  of  medical  waste.  In  response,  an  environmental assessment and action plan for HPNSDP was prepared in 2011 by the MOHFW, highlighting  the  major  environmental  issues  related  to  medical  waste  management  including  patient  protection,  community  protection,  disaster  management  and  hospital  preparation  in  emergency,  personnel  (Staff)  protection,  safe  drinking  water,  arsenic  contamination  of  drinking  water,  sanitation,  hazardous  insecticides/pesticides, construction management and climate change impact issues. In 2014, a review of this  Plan’s  implementation  was  undertaken  by  the  World  Bank  and  an  Environment  Safeguards  Assessment  Report was prepared. Other reports produced by the World Bank’s consultants in 2015 and 2016 revealed  that besides the issues of medical waste management, there has been lack of oversight of environmental  safeguards related to construction/rehabilitation/renovation activities carried out under the original project.  Page 27 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) The application of environmental regulations during construction activities carried out during  the project  period remained very vague. No documentation or progress reports were available to determine whether  the environment regulations and monitoring protocol had been adequately followed or applied.    77. Social Safeguards: The project design triggered Bank safeguard policy for OP 4.10 “Indigenous people”. A  Tribal  Peoples  Framework  was  developed  to  address  issues  of  inclusion,  participatory  design  of  project  intervention,  cultural  appropriateness,  issues  of  access,  through  meaningful  consultation  and  communication, awareness raising and mobilization keeping social and cultural norms, gender aspects at the  fore. During the Project implementation, several initiatives in social subjects were supported such as violence  against women, incorporation of citizens’ voice and partnership with NGOs to support pilots on gender equity  and inclusion. The Project, with the participation of DPs, supported several consultations meetings to address  issues  raised  by  local,  ethnic/tribal  communities  and  give  them  a  voice  in  project  design  through  the  incorporation of feasible recommendations and suggestions, especially with regards to access to community  clinics.  The final consultation was held at Dhaka on March 14, 2017, with representatives from different  districts.  During  these  meeting,  stakeholders  expressed  that  ethnic  and  gender  equity  has  improved  substantially due to the inclusion and gender mainstreaming in health sector specially after the issuance of  the 2014‐2024 Gender Equity and Action Plan. This plan will strengthen the gender and inclusion aspects in  line with policies. There is a recognition that the GOB has made progress in the health sector with regards to  access  to  services  for  vulnerable  groups.  However,  the  main  problem  is  the  acute  shortage  of  human  resources at every level of service delivery and the lack of arrangements for the distribution of necessary  medicines and supplies in a timely manner. While the preparation of site specific Tribal Peoples Plans did not  always follow the desired format or documentation requirements of the Bank’s approved Framework, the  client  did  develop  their  own  Tribal  Peoples  Health  Plan  and  effectively  implemented  as  a  GOB  plan.  This  covered the essential aspects of the Framework. No land acquisition, or involuntary displacement of people,  or adverse livelihood impacts occurred due to project interventions.    C. BANK PERFORMANCE    Quality at Entry  Rating: Moderately Satisfactory  78. The original project was prepared relatively fast with a solid design. As discussed above, the project was  prepared with lessons learned from previous two SWAps, and incorporated recommendations in the internal  Bank’s  quality  review  process.  The  project  incorporated  analytical  and  data  evidence  from  the  previous  projects. It was prepared in close collaboration with GOB and DPs and was well aligned with the GOB’s health  program.     79. Preparation of AF was lengthy and complicated. The AF took almost two years to be prepared and approved.  The GOB’s request was received in November 2014 and the Project was approved in April, 2016. There were  two project concept notes and two decision meetings prior to approval.  This was necessary because of the  changed modality of financing and also because of the concerns raised in the IFA which had to be addressed  using DLI‐based approach.  Before the AF approval, there was some disagreement between the GOB, DPs  Page 28 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) and the Bank. The Bank management requested the project team to change the disbursement modality to  DLIs to address the fiduciary concerns raised in the IFA. While the intention behind this request may have  been justifiable, this meant that with one year left in the project, the GOB had to shift to a new methodology  for project implementation.      80. The GOB and the DP’s were concerned with the Bank’s decision to move the disbursement modality to  DLIs.  Firstly,  there  was  not  enough  time  for  consultation  and  understanding  the  incentive  structure  for  MOHFW to implement the DLIs. Secondly, the DPs also felt that the targets proposed for the DLIs were not  sufficiently rigorous.  However, the AF was only intended for a year and hence the targets had to adjusted to  what could reasonably be achieved in one year.    81. Another issue raised by the DPs collectively was the decision to include the reimbursement against salaries  under categories of eligible expenditure.  The DPs said they simply could not support this because the GOB’s  decree was issued to increase salaries and hence it did not make sense to finance that part of the program.   The DPs also felt that this would not allow them to track the veracity of the expenditures linked to results.   In addition, the Bank requested the DPs to help verify some DLIs.  The DPs interviewed by the ICR mission  team felt that this was not appropriate and it should have been done by a third party.   Whether the DPs’  sentiments about the Bank’s methodology were justified, these were important inputs for the Bank team to  consider.     82. Overall, the rating for the Bank quality at entry is Moderately Satisfactory. The issues associated with the  delays in the AF approval and the relationship with the GOB and the DPs on the transition for a new financing  modality for the Project (DLIs) lead the Bank’s performance on the Project quality at entry to be classified as  Moderately Satisfactory.   Quality of Supervision  Rating: Satisfactory  83. Given the Project complexity, the Government and DPs recognized the good performance of the Bank’s  supervision. The management of the pooled funds under the MDTF and SDTF and the fiduciary oversight of  the HSDP was quite complex. This task represented a tremendous effort of coordination and diplomacy. The  Bank team conducted joint missions with the DPs for annual Program reviews and this coordination has been  highly recognized by all DPs as exemplary, except during the preparation of the AF, as discussed above. The  Bank team had a strong relationship with the donor community in Bangladesh, and all DPs commented that  the Bank team did excellent work leading the supervision of the HSDP.  This engagement formed a strong  relationship  with  the  Government  and  fostered  the  generation  of  a  single  voice  among  partners  during  technical and policy discussions.     84. The  Bank  team’s  efforts  on  technical  advisory  and  fiduciary  management  led  the  project  to  achieve  excellent  results.  The  Bank’s  team  oversight  was  a  critical  support  to  identify  and  manage  fiduciary  risk,  provide technical input to discussions and technical support to improve overall financial management of the  MOHFW.  Bank’s  role  was  noteworthy  for  establishing  more  transparent  procurement  systems,  creating  Page 29 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) different discussion platforms between the DPs and the government, initiating processes to improve sector  governance, M&E systems and health indicators and preparing the MOHFW for another wave of results.    Justification of Overall Rating of Bank Performance  Rating: Satisfactory  85. Considering the satisfactory Project outcome rating and the satisfactory quality of the project supervision,  the project rating is Satisfactory.    D. RISK TO DEVELOPMENT OUTCOME  Rating: Moderate    86. The risk to development outcome is assessed as Moderate. The   Government has approved a new five‐year  program in the health sector (January 2017‐ June 2022). The estimated budget for this program has greatly  increased in nominal terms from US$8.2 billion to US$14.7 billion. The GOB and the MOHFW are committed  to achieve the Sustainable Development Goals (SDGs) and to implement the requirement to achieve UHC,  tackling  the  emerging  problem  of  the  NCDs.  Given  that  the  Bangladesh’s  economy  is  growing  and  with  continued commitment of the GOB to increase the health budget and the continued support of the DPs and  the Bank to the health sector in coming years, the development outcomes are expected to be sustained.  87. The HSDP is followed by the forth Bank supported health sector project, namely HSSP which was approved  in July 2017, in the amount of US$500 million.  This new Project will support the new GOB sector program  2017‐2022. The overall objective of this new GOB’s Health, Population, and Nutrition Sector Program is “to  ensure  that  all  citizens  of  Bangladesh  enjoy  health  and  well‐being  by  expanding  access  to  quality  and  equitable health care in a healthy and safe living environment.” The MOHFW considers it as the first and  foundational program toward the achievement of the SDGs by 2030.  88. At the time of approval of the new project, the DPs are completing their country engagement and appraisal  process.  The expectation is that five DPs will contribute to a new Multi‐Donor Trust Fund, managed by the  Bank and to co‐finance the new operation in support of the GOB’s fourth HNP sector program.  The total  value of funds is expected to be up to $200 million equivalent.  The value is less than the previous program,  but remains a high commitment given Bangladesh’s increasing level of development and the changing foreign  aid priorities of different DPs. Considering the lessons learned during the AF phase of HSDP, the DPs were  consulted continuously during the preparation of the new operation.  Several DPs still have questions about  the DLI‐based modality of disbursement because this is different from the modality of their previous support  under the SWAp pooling arrangement and it is also relatively new to the client. The Bank and the DPs have  agreed to ensure continual consultation during implementation to help them improve their understanding  and build their confidence in the value of the DLI‐based financing mechanism.     89. Another  risk  to  the  sustainability  of  the  Project  is  related  with  the  capacity  of  the  health  system  in  Bangladesh.  Despite the institutional strengthening brought by the Project and the Program, the MOHFW  Page 30 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) still  needs  to  make  progress  in  coordination  within  the  public  sectors  (among  the  two  divisions  of  the  MOHFW and with other ministries) and the growing private sector ensuring proper skill mix within the human  resources for health and synchronizing the new/upgraded infrastructure with the required human resources  and other logistics. To mitigate this risk, the Fourth Health, Population and Nutrition Sector Program (January  2017 to June 2022) approved in March 2017 and costed at US$14.7 billion is expected to improve equity,  quality  and  efficiency  with  a  view  to  gradually  moving  towards  Universal  Health  Coverage  (UHC)  and  achieving health related Sustainable Development Goals (SDGs). Under this Program, the GOB’s share of the  has increased from 84% (compared to 62% in the first SWAP), representing more public funds to assure the  Project sustainability.    V. LESSONS AND RECOMMENDATIONS    90. The following lessons learned and recommendations from the Project and the Program are intended to inform  future World Bank financed operations.    Managing Pooled funds for Health    91. The long‐term partnership between the GOB and DPs has been key to providing confidence and funds for  implementing successful HNP programs in Bangladesh.  The HPNSDP was the third consecutive health sector  program in Bangladesh and has been implemented since July 2011. DPs had jointly developed the Program with  the GOB. The priorities for the sector were identified together with goals and targets defined for the five‐year  Program. This partnership provided confidence to DPs in financially and technically supporting the Program.     92. The Bank has accumulated experience in managing pooled funding arrangements in the health sector, and  the  experience  of  Bangladesh  should  be  a  benchmark  to  other  countries.    The  Bank  supported  the  GOB’s  Program through the HSDP. Others including CIDA, UNFPA, SIDA, KFW, EKN and DFID pooled their resources  into an MDTF, and USAID into a SDTF, to support the Program. The MDTF and the SDTF were both managed by  the Bank. The pooling partners relied on the Bank’s overall fiduciary expertise for their support to the Program.  This kind of aid modality to support major GOB programs works well when there is a consistent approach in  methods and goals.    93. Coordination  and  consultation  mechanisms  among  the  Bank  and  the  DPs  were  essential  to  avoid  fragmentation/duplication of efforts and to reduce transaction costs. The Bank minimized the risk of delays in  HSDP  implementation  by  conducting  joint  missions  and  providing  coordinated  technical  assistance  with  different  partners  leading  different  themes.  Having  a  Local  Consultative  Group  on  Health  was  essential  to  enhance  coordination  and  harmonization  of  support.  It  was  observed  that  in  large  programs,  with  multiple  pooling partners, it is critical to maintain regular engagement and dialogue through mission announcements,  joint meetings, consultations about changes and post mission letters.     94. In large programs, such as this, constant communication and engagement among the DPs and the GOB is  essential  to  introduce  any  change.  Collective  action  among  DPs  and  the  GOB  has  been  shown,  in  many  countries, as one of the key factors to increase efficiency by pooled financing, to avoid duplication on the use  Page 31 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) of the funds, to reduce transaction costs for the GOB and the DPs and to scale up the results of external aid.  Interactive  mechanisms  of  consultation  and  shared  decisions  are  the  most  essential  way  to  maintain  a  productive partnership based on trust and aligned with the country’s development needs.      Changing the Financial Modality in the Middle of Project Implementation    95. The  DLI  approach  should  be  based  on  budgetary  incentives  associated  with  the  achievement  of  results.   However, in Bangladesh budgets for the health sector program were pre‐financed by the Ministry of Finance  (MOF) in the beginning of each fiscal year. Some GOB officials expressed that this limited the staff’s incentive  to  work  on  the  DLIs.  Therefore,  teams  should  discuss  with  MOF  and  line  ministries  to  ensure  that  a  robust  incentive structure is in place.    96. The  DLI  approach  requires  an  outcome‐  focused  action  plan  and  critical  indicators  necessary  to  achieve  results. In this project, DLIs, despite having been fully achieved, might have been more rigorous. The reason for  this  relative  lack  of  rigor  may  have  been  due  to  the  fact  that  there  was  only  one  year  of  implementation  remaining  at  the  time  that  DLIs  were  introduced.  However,  for  any  system  reforms,  all  the  critical  actions  needed to sustain the reforms should be achieved in order for the reform to be successful.  In a DLI approach,  it is essential that all the milestones to achieve reform are integrated into the DLI targets.     97. The  successful  achievement  of  DLI  targets  is  enhanced  through  the  provision  of  technical  support.  The  achievement of the DLIs in the Project were effectively supported through the technical and analytical support  coordinated  by  the  DPs  for  improved  service  delivery  and  strengthened  health  systems.  To  support  the  achievement of results, future Bank operations using a DLI‐based approach should ensure the availability of  similar support for the government to enhance capacity, to strengthen the planning processes and to align the  right technical inputs with the execution of planned activities.     .    Page 32 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS         A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: The objective of the Project is to enable the GOB to strengthen health systems and improve health services, particularly for the  poor.  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Coverage of modern  Percentage  35.70  50.00  42.00  42.60  contraceptives in low  performing areas of    31‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  Bangladesh ‐‐ Sylhet    Comments (achievements against targets): Phase 1: NOT ACHIEVED (37%)  Phase 2: SURPASSED (110%)  The original indicator was split in two indicators after AF and restructuring covering separately the same areas. End target extended from June 2016 to  June 2017. End targets were reduced from 50% to 42% in Sylhet.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Coverage of modern  Percentage  46.80  50.00  48.00  48.50  contraceptives in low  performing areas of    31‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  Bangladesh ‐‐ Chittagong  Page 33 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )     Comments (achievements against targets): Phase 1: NOT ACHIEVED (6%)  Phase 2: SURPASSED (142%)  The original indicator was split in two indicators after AF and restructuring covering separately the same areas. End target extended from June 2016 to  June 2017. End targets were reduced from 50% to 48% in Chittagong.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of delivery by  Percentage  11.50  15.00  15.00  33.60  skilled birth attendant among  the lowest two wealth    31‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  quintile groups    Comments (achievements against targets): Phase 1: SURPASSED (328%)  Phase 2: SURPASSED (631%)  End target extended from June 2016 to June 2017.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Prevalence of underweight  Percentage  48.30  43.30  43.30  43.30  among  children under 5  years of age among the    31‐Dec‐2007  30‐Jun‐2016  30‐Jun‐2017  30‐Mar‐2017  lowest two wealth quintile  groups    Comments (achievements against targets): Phase 1: SURPASSED (134%)  Phase 2: ACHIEVED (100%)  End target extended from June 2016 to June 2017.  Page 34 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )         A.2 Intermediate Results Indicators        Component: Component 1: Improving Health Services  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Tuberculosis case notification  Number  68.00  69.00    76.95  rate for bacteriologically  positive cases    10‐Apr‐2016  30‐Jun‐2017    30‐Jun‐2017    Comments (achievements against targets): Phase 2: SURPASSED (900%)      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of births in health  Percentage  23.70  40.00  40.00  45.00  facilities    31‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: PARTIALLY ACHIEVED (84%)  Phase 2: SURPASSED (131%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Page 35 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Number of functional  Number  10323.00  13500.00  13500.00  13006.00  Community Clinics    31‐Jan‐2011  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: ACHIEVED  (90%)  Phase 2: ACHIEVED (85%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Coverage of Measles  Percentage  82.40  90.00  86.10  86.60  Immunization for children  under 12 months of age    31‐Dec‐2009  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: NOT ACHIEVED  (51%)  Phase 2: SURPASSED (114%)  End target extended from June 2016 to June 2017. End target reduced from 90 to 86.1 to be compatible with Project DLIs agreed with GOB.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of  infants  Percentage  43.00  50.00  50.00  60.00  exclusively breastfed up to 6  months of age    31‐Dec‐2007  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: SURPASSED (176%)  Page 36 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Phase 2: SURPASSED (243%)  End target extended from June 2016 to June 2017.          Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of postnatal care  Percentage  20.90  50.00  50.00  43.00  for women within 48 hours  (at least 1 visit)    31‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: NOT ACHIEVED (51%)  Phase 2: PARTIALLY ACHIEVED (76%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Births (deliveries) attended  Number  103229.00  134647.00  134647.00  206458.00  by skilled health personnel  (number)    30‐Dec‐2010  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: SURPASSED (329%)  Phase 2: SURPASSED (329%)  End target extended from June 2016 to June 2017.        Page 37 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Children immunized  Number  2964494.00  3719011.00  3719011.00  3719011.00  (number)    30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  30‐Mar‐2017    Children immunized ‐ under  Number  3359760.00  3670254.00    3670254.00  12 months against DTP3  (number)    30‐Dec‐2010  30‐Jun‐2017    30‐Jun‐2017       Children immunized ‐ under  Number  18755207.00  20488480.00    20488480.00  5 years against Polio  (number)    30‐Dec‐2010  30‐Jun‐2017    30‐Jun‐2017      Comments (achievements against targets): Phase 1: ACHIEVED (100%)  Phase 2: ACHIEVED (100%)  End target extended from June 2016 to June 2017.          Component: Component 2: Strengthened Health Systems  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  MOHFW's web‐based  Text  Web‐based complaint  Web‐based complaint  .  Web‐based complaint  complaint mechanism  mechanism  mechanism  mechanism  established  maintained by DGHS  maintained by DGHS.    10‐Apr‐2016  30‐Jun‐2017    30‐Jun‐2017    Page 38 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Comments (achievements against targets): Phase 2: ACHIEVED  MOHFW’s web‐based complaint mechanism managed by DGHS        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of physician  Percentage  45.70  22.80  22.80  37.80  positions vacant at  upazila/district level and    31‐Dec‐2009  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  below    Comments (achievements against targets): Phase 1: ACHIEVED (69%); average between Partially Achieved and Surpassed  Phase 2: NOT ACHIEVED (34%)  The original indicator was split in two indicators after AF and restructuring covering separately the same areas. End target extended from June 2016 to  June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of nurse positions  Percentage  29.90  15.00  15.00  19.30  vacant at upazila/district  level and below    31‐Dec‐2009  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: ACHIEVED (117%); average between Partially Achieved and Surpassed  Phase 2: PARTIALLY ACHIEVED (73%)  The original indicator was split in two indicators after AF and restructuring covering separately the same areas. End target extended from June 2016 to  June 2017.    Page 39 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of functional  Number  10323.00  13500.00  13500.00  13006.00  Community Clinics    31‐Jan‐2011  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: ACHIEVED  (90%)  Phase 2: ACHIEVED (85%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of annual work  Percentage  0.00  100.00  100.00  100.00  plans with budgets  submitted by LDs by defined    31‐Jan‐2011  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  time period (July/Aug)    Comments (achievements against targets): Phase 1: ACHIEVED (100%)  Phase 2: ACHIEVED (100%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of health  Percentage  66.10  75.00  75.00  78.70  Page 40 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   facilities, by type, without    31‐Dec‐2009  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  stock‐outs of  essential  medicines    Comments (achievements against targets): Phase 1: ACHIEVED (85%)  Phase 2: SURPASSED (142%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of serious audit  Percentage  7.00  80.00  80.00  68.00  objections settled within the  last 12 months    31‐Dec‐2009  30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: PARTIALLY ACHIEVED (84%)  Phase 2: PARTIALLY ACHIEVED  (84%)  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Proportion of Operational  Percentage  44.70  100.00  100.00  34.00  Plans with expenditure > 80%  of ADP allocation (annually)    31‐Jan‐2011  30‐Jun‐2017  30‐Jun‐2017  30‐Mar‐2017    Comments (achievements against targets): Phase 1: NOT ACHIEVED (44%) ‐ actual achieved lower than baseline  Page 41 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Phase 2: NOT ACHIEVED  (34%) ‐ actual achieved lower than baseline  End target extended from June 2016 to June 2017.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Health personnel receiving  Number  0.00  810000.00  810000.00  558587.00  training (number)    30‐Jun‐2016  30‐Jun‐2017  30‐Jun‐2017  30‐Jun‐2017    Comments (achievements against targets): Phase 1: SURPASSED (105%)  Phase 2: SURPASSED (105%)  End target extended from June 2016 to June 2017. The total number of the trained health personnel exceeded to 852, 215 (42,215 above target).        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of additional service  Number  0.00  3000.00    2025.00  providers trained in  midwifery at district and    30‐Jun‐2016  30‐Jun‐2017    30‐Jun‐2017  upazila health facilities    Comments (achievements against targets): Phase 1: NOT ACHIEVED (50%)  Phase 2: PARTIALLY ACHIEVED (68%)  End target extended from June 2016 to June 2017.            Page 42 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )    B. KEY OUTPUTS BY COMPONENT        Objective/Outcome 1 ‐ Improved Health services  1. Coverage of modern contraceptives in low performing areas of  Bangladesh ‐‐ Sylhet  2. Coverage of modern contraceptives in low performing areas of  Bangladesh – Chittagong   Outcome Indicators  3. Proportion of delivery by skilled birth attendant among the lowest  two wealth quintile groups  4. Prevalence of underweight among children under 5 years of age  among the lowest two wealth quintile groups  1. Tuberculosis case notification rate for bacteriologically positive  cases  2. Proportion of births in health facilities  3. Coverage of Measles Immunization for children under 12 months of  Intermediate Results Indicators  age  4. Proportion of infants exclusively breastfed up to 6 months of age  5. Proportion of postnatal care for women within 48 hours (at least 1  visit)  1. Children immunized (number)  Key Outputs by Component  2. Children immunized ‐ under 12 months against DTP3 (number)  (linked to the achievement of the Objective/Outcome 1)  3. Children immunized ‐ under 5 years against Polio (number)  4. Births (deliveries) attended by skilled health personnel (number)  Page 43 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )     Objective/Outcome 2 ‐ Strengthened Health Systems   Outcome Indicators  No outcome indicators   1. Proportion of physician positions vacant at upazila/district level and  below  2. Proportion of nurse positions vacant at upazila/district level and  below  3. Proportion of annual work plans with budgets submitted by LDs by  defined time period (July/Aug)  Intermediate Results Indicators  4. Proportion of health facilities, by type, without stock‐outs of   essential medicines  5. Proportion of serious audit objections settled within the last 12  months  6. Proportion of Operational Plans with expenditure > 80% of ADP  allocation (annually)    1. MOHFW's web‐based complaint mechanism   2. Health personnel receiving training (number)  Key Outputs by Component  3. Number of additional service providers trained in midwifery at  (linked to the achievement of the Objective/Outcome 2)  district and upazila health facilities  4. Number of functional Community Clinics      Page 44 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 1A – RESULTS FRAMEWORK – EFFICACY    Ratings Methodology  1. Levels of Achievement: The methodology to define the level of achievement of each indicator is the  following. For quantitative indicators, the actuals registered at the end of the project are compared  with  their  expected  targets.  If  it  results,  for  each  indicator,  an  achievement  above  100%  of  the  expected target, the level of achievement is surpassed. If it is between 85% and 100%, it is classified  as achieved. If it is between 65% and 84%, it is classified as partially achieved and if it is lower than  65 percent, it is classified as not achieved. For qualitative indicators (such as the issuance of a law  or  norm,  the  creation  of  an  institution  or  contracting  a  consulting  firm)  the  accomplishment  is  simply classified as achieved (target accomplished) or not achieved (target not accomplished).     2. Achievement calculation formula: The criteria used to calculate the achievement of each indicator  is the following. If the baseline is not zero, the percentage of achievement is the difference between  what was intended (baseline) and actuals, divided by the difference between the target and the  baseline. If the baseline is zero, the level of achievement is the coefficient between the actual value  and the target. If the target is lower than the baseline, it is the coefficient between the actual and  the baseline. 20    Results or the HSDP Efficacy Rating  3. Tables below summarize the results of the HSDP project efficacy, a can be seen, the level of the  achievement of the Project PDOs was considered substantial uniformly for each PDO in phase 1 and  substantial and high for PDO2, in phases 1 and 2, respectively. As result, the efficacy of the Project  is classified as Substantial.      Table 1A‐1 – Summary Table of Indicators’ Achievement (Based on Data from Tables 1A‐2 and 1A‐3)  Rating Categories and Corresponding Points of Intervals  Phase 1  Phase 2  KPIs  IOIs  KPIs  IOIs  Surpassed (>100%)  ‐  1  ‐  2  Achieved (85% to 100%)  ‐  4  ‐  2  Partially Achieved (65% to 84%)  ‐  1  ‐  2  Not Achieved (<65%)  ‐  2  ‐  2  Total PDO 1 – Strengthen Health Systems  ‐  8    ‐  8  % Achieved, Surpassed and Partially Achieved  ‐  78%  ‐  81%  Surpassed (>100%)    2  2  3  5  Achieved (85% to 100%)  2  1  2  Partially Achieved (65% to 84%)  ‐  1  ‐  1  Not Achieved (<65%)  1  2  ‐  ‐  Total PDO 2 – Improving Health Systems  3  7  4  8  % Achieved, Surpassed and Partially Achieved  100%  82%  137%  128%  (*1)  –  Success  rate  is  the  percentage  of  indicators  surpassed,  achieved  or  partially  achieved  as  a  share  of  the  total  project  indicators.  A  weighted average was calculated using the following scale: Surpassed=1.5 times; Achieved=1.0 times and Partially achieved=0.75 times.    Page 45 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Table 1A‐2. Status of the Indicators Per Achievement – Phase 1  Value and Date  Value of the  Actual Values of  Ratio of  Indicator Level of  Indicators   of the Indicator  Indicator  the Indicator (3)  Achievement  Achievement (5)  Baseline (1)  Target (2)  Mid‐2016  (4)  KPIs  KP1#1 ‐ Proportion of delivery by skilled  birth attendant among the lowest two  11.5%  15.0%  23%  328%  Surpassed  wealth quintiles (PDO2)  KPI#2A ‐ Coverage of modern  contraceptives in the low performing  35.7%  50.0%  41%  37%  areas of Bangladesh – Sylhet (PDO2)  KPI#2B ‐ Coverage of modern  Not Achieved  contraceptives in the low performing  46.8%  50.0%  47%  6%  areas of Bangladesh – Chittagong  (PDO2)  KPI#3 ‐ Prevalence of underweight  among children under 5 years of age  48.3%  43.3%  41.6%  134%  Surpassed  among the lowest two wealth income  groups (PDO2)  IOIs  IOI#1 ‐ Proportion of births in health  23.7%  40.0%  37.4%  84%  Partially Achieved  facilities (PDO2)  IOI#2 ‐ Number of functional  10323  13500  13194  90%  Achieved  Community Clinics (PDO1)  IOI#3 ‐ Coverage of measles  immunization for children under 12  82.4%  90.0%  86.1%  51%  Not achieved  months’ age (PDO2)  IOI#4 ‐ Proportion of infants exclusively  breastfed up to 6 months of age  43.0%  50.0%  55.3%  176%  Surpassed  (PDO2)  IOI#5 ‐ Proportion of postnatal care for  women within 48 hours (at least 1 visit)  20.9%  50.0%  36%  52%  Not Achieved  (PDO2)  IOI#6 ‐ Proportion of annual work plans  with budgets submitted by LDs by  0%  100%  100%  100%  Achieved  defined time period (July/Aug). (PDO1)  IOI#7A ‐ Proportion of physician  position vacant at upazila/District level  45.7%  22.8%  29.9%  69%  and below   Achieved  (PDO1)  (average between  IOI#7B ‐ Proportion of nurse position  PA and S)  vacant at upazila/District level and    29.9%  15.3%  12.8%  117%%  below  (PDO1)  IOI#8 ‐ Proportion of health services by  type without stock‐outs of essential  66.1%  75.0%  73.6%  85%  Achieved  medicines (PDO1)  IOI# 9 ‐ Number of additional service  providers trained by midwifery at  Not   0  3000  1487  50%  District and upazila health facilities  Achieved  (PDO1)  69IOI#10 ‐ Proportion of serious audit  objections settled within at least 12  7%  80%  68%  84%  Partially achieved  months (PDO1)  IOI#11 ‐ Proportion of OPs with  expending > 80% of ADP allocation  44.7%  100.0  69%  44%  Not achieved  (PDO1)  IOI#12 ‐ Health personal receiving  0  810000  852215  105%  Surpassed  training (number) (PDO1)  20 A= (Ia‐Ib)/(It‐Ib), where A is achievement, Ia is indicator’s actual; Ib is indicator’s baseline, and It is indicator’s target.  Page 46 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) IOI#13 ‐ Births (delivery) attended by  skilled health personnel (number)  103229  134647  206458  328%  Surpassed  (PDO2)  IOI#14 ‐ Children immunized – under 12  months – against DPT3 (number)  3359760  3670254  3670254  100%  Achieved  (PDO2)  IOI#15 ‐ Children immunized – under 5  18755207  20488480  20488480  100%  Achieved  years – against Polio (number) (PDO2)  Notes: (1) Baselines were obtained from the PADç (2) Value and date of the indicator final targets are obtained from the PAD; (3) According  Project ISR 2016; (4) A= (Ia‐Ib)/(It‐Ib), where A is achievement, Ia is indicator’s actual; Ib is indicator’s baseline, and It is indicator’s target; (5)  See rating categories at table 1A‐1.      Table 1A‐3. Status of the Indicators Per Achievement – Phase 2  Value and  Value of  Actual Values  Indicator Level  Ratio of  Date of the  the  of the  of  Indicators   Achievement  Indicator  Indicator  Indicator (3)  Achievement  (4)  Baseline (1)  Target (2)  Mid‐2017  (5)  KPIs  KP1#1 ‐ Proportion of delivery by skilled birth  attendant among the lowest two wealth quintiles  11.5%  15.0%  33.6%  631%  Surpassed  (PDO2)  KPI#2A ‐ Coverage of modern contraceptives in the  Surpassed  low performing areas of Bangladesh – Sylhet  35.7%  42.0%  42.6%  110%    (PDO2)  KPI#2B ‐ Coverage of modern contraceptives in the  low performing areas of Bangladesh – Chittagong  46.8%  48.0%  48.5%  142%  Surpassed  (PDO2)  KPI#3 ‐ Prevalence of underweight among children  under 5 years of age among the lowest two wealth  48.3%  43.3%  43.3%  100.0%  Achieved  income groups (PDO2)  IOIs  IOI#1 ‐ Proportion of births in health facilities  23.7%  40.0%  45.0%  131%  Surpassed  (PDO2)  IOI#2 ‐ Number of functional Community Clinics  10323  13500  13006  85%  Achieved  (PDO1)  IOI#3 ‐ Coverage of measles immunization for  82.4%  86.1%  86.6%  114%  Surpassed  children under 12 months’ age (PDO2)  IOI#4 ‐ Proportion of infants exclusively breastfed  43.0%  50.0%  60.0%  243%  Surpassed  up to 6 months of age (PDO2)  IOI#5 ‐ Proportion of postnatal care for women  Partially  20.9%  50.0%  43.0%  76%  within 48 hours (at least 1 visit) (PDO2)  Achieved  IOI#6 ‐ Proportion of annual work plans with  budgets submitted by LDs by defined time period  0%  100%  100%  100%  Achieved  (July/Aug). (PDO1)  IOI#7A ‐ Proportion of physician position vacant at  Not Achieved  upazila/District level and below  45.7%  22.8%  37.8%  34%    (PDO1)  IOI#7B ‐ Proportion of nurse position vacant at  Partially  upazila/District level and below  29.9%  15.3%  19.3%  73%  Achieved  (PDO1)  IOI#8 ‐ Proportion of health services by type  66.1%  75.0%  78.7%  142%  Surpassed  without stock‐outs of essential medicines (PDO1)  IOI# 9 ‐ Number of additional service providers  Partially  trained by midwifery at District and upazila health  0  3000  2025  68%  Achieved  facilities (PDO1)  69IOI#10 ‐ Proportion of serious audit objections  Partially  7%  80%  68%  84%  settled within at least 12 months (PDO1)  achieved  IOI#11 ‐ Proportion of OPs with expending > 80% of  44.7%  100.0  34%  Negative  Not achieved  ADP allocation (PDO1)  Page 47 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Web‐based  Web‐based  Web‐based  complaint  complaint  complaint  IOI#12 ‐ MOHFW’s web‐based complaint  mechanism  mechanisms  mechanisms  100%  Achieved  mechanism (PDO1)  established  maintained  maintained by  (2016)  by DGHS  DGHS  IOI#13 ‐ Tuberculosis case notification rate for  68%  69%  77%  900%  Surpassed  bacteriologically positive cases (PDO2)  IOI#14 ‐ Health personal receiving training  0  810000  852215  105%  Surpassed  (number) (PDO1)  IOI#15 ‐ Births (delivery) attended by skilled health  103229  134647  206458  329%  Surpassed  personnel (number) (PDO2)  IOI#16 ‐ Children immunized – under 12 months –  3359760  3670254  3670254  100%  Achieved  against DPT3 (number) (PDO2)  IOI#17 ‐ Children immunized – under 5 years –  18755207  20488480  20488480  100%  Achieved  against Polio (number) (PDO2)  Notes: (1) Baselines were obtained from the PADç (2) Value and date of the indicator final targets are obtained from the PAD; (3) According  last Project ISR; (4) A= (Ia‐Ib)/(It‐Ib), where A is achievement, Ia is indicator’s actual; Ib is indicator’s baseline, and It is indicator’s target; (5)  See rating categories at table 1A‐1.    Table 1A.4 – Changes in the HSDP Results Framework Introduced by the AF  Original Project Indicators According the PAD  Project Indicators after AF and  Comments  (2011)  Restructuring  (2016)  KEY PERFORMANCE INDICATORS (KPIs)  Proportion of delivery by skilled birth attendant  Proportion of delivery by skilled birth  End target extended from June  among the lowest two wealth quintiles  attendant among the lowest two wealth  2016 to June 2017.  quintiles  Coverage of modern contraceptives in the low  A. Coverage of modern contraceptives in  The original indicator was split in  performing areas of Sylhet and Chittagong  the low performing areas of Bangladesh –  two indicators after AF and  Sylhet  restructuring covering separately  B. Coverage of modern contraceptives in  the same areas. End target  the low performing areas of Bangladesh –  extended from June 2016 to June  Chittagong.  2017. End targets were reduced  from 50% to 42% in Sylhet and to  48% in Chittagong.  Prevalence of underweight among children under 5  Prevalence of underweight among  End target extended from June  years of age among the lowest two wealth income  children under 5 years of age among the  2016 to June 2017  groups  lowest two wealth income groups  INTERMEDIATE OUTCOME INDICATORS (IOIs)  Proportion of births in health facilities  Proportion of births in health facilities  End target extended from June  2016 to June 2017  Number of functional Community Clinics  Number of functional Community Clinics  End target extended from June  2016 to June 2017  Coverage of measles immunization for children  Coverage of measles immunization for  End target extended from June  under 12 months’ age  children under 12 months’ age  2016 to June 2017. End target  reduced from 90 to 86.1 to be  compatible with Project DLIs  agreed with GOB.  Proportion of infants exclusively breastfed up to 6  Proportion of infants exclusively breastfed  End target extended from June  months of age  up to 6 months of age  2016 to June 2017  Proportion of postnatal care for women within 48  Proportion of postnatal care for women  End target extended from June  hours (at least 1 visit)  within 48 hours (at least 1 visit)  2016 to June 2017  Proportion of annual work plans with budgets  Proportion of annual work plans with  End target extended from June  submitted by LDs by defined time period (July/Aug)  budgets submitted by LDs by defined time  2016 to June 2017  period (July/Aug)  Proportion of vacant service provider positions at  A. Proportion of physician position vacant  The original indicator was split in  upazila/District level and below, by category  at upazila/District level and below  two indicators after AF and  B. Proportion of nurse position vacant at  restructuring covering separately  upazila/District level and below  the same areas. End target  extended from June 2016 to June  2017  Page 48 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Proportion of health services by type without stock‐ Proportion of health services by type  End target extended from June  outs of essential medicines   without stock‐outs of essential medicines  2016 to June 2017  Number of additional service providers trained by  Number of additional service providers  End target extended from June  midwifery at District and upazila health facilities  trained by midwifery at District and  2016 to June 2017  upazila health facilities  Proportion of serious audit objections settled  Proportion of serious audit objections  End target extended from June  within at least 12 months  settled within at least 12 months  2016 to June 2017  Proportion of OPs with expending > 80% of ADP  Proportion of OPs with expending > 80%  End target extended from June  allocation  of ADP allocation  2016 to June 2017    MOHFW’s web‐based complaint  New Indicator   mechanism    Tuberculosis case notification rate for  New Indicator  bacteriologically positive cases  Health personal receiving training (number)  Health personal receiving training  No change  (number)  Births (delivery) attended by skilled health  Births (delivery) attended by skilled health  No change  personnel (number)  personnel (number)  Children immunized – under 12 months – against  Children immunized – under 12 months –  No change  DPT3 (number)   against DPT3 (number)   Children immunized – under 5 years – against Polio  Children immunized – under 5 years –  No change  (number)   against Polio (number)    Source: PAD and Additional Financing Documents        Page 49 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Bushra Binte Alam  Task Team Leader(s)  Ishtiak Siddique  Procurement Specialist(s)  Suraiya Zannath  Financial Management Specialist  Andre C. Medici  Team Member  Maria E. Gracheva  Team Member  Shahadat Hossain Chowdhury  Team Member  Hasib Ehsan Chowdhury  Team Member  Hisham A. Abdo Kahin  Counsel  Naoko Ohno  Team Member  Nkosinathi Vusizihlobo Mbuya  Team Member  Iffat Mahmud  Team Member  Sabah Moyeen  Social Safeguards Specialist  Ajay Ram Dass  Team Member  Manav Bhattarai  Team Member  Tanvir Ahmed  Environmental Safeguards Specialist  Shakil Ahmed  Team Member        Page 50 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )      B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY10  4.125  24,587.68  FY11  38.413  254,192.42  FY12  .400  4,736.67  Total  42.94  283,516.77    Supervision/ICR  FY12  39.108  167,171.57  FY13  57.025  213,720.36  FY14  13.714  82,835.31  FY15  64.827  319,390.93  FY16  0  3,544.78  FY17  7.367  31,826.65  Total  182.04  818,489.60                 Page 51 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 3. PROJECT COST BY COMPONENT      Amount at  Amount at Approval with  Percentage of  Actual at Project  Components  Approval   Additional Financing  Approval with AF  Closing (US$M)  (US$M)  (US$M)  Improving Health  291.20  251.20  291.20  100%  Services      Strengthening health  217.70  107.70  217.70  100%  systems  Total     358.90  508.90   508.90     100%        Page 52 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 4. EFFICIENCY ANALYSIS  Methodology to Assess the Project Efficiency  1. The  economic  analysis  in  the  Project  Appraisal  Document  (PAD)  was  presented  in  Annex  6.  It  comprised  two  analytical sections in the macro and socio‐economic context and health context, highlighting the project implications  for equity. The main section in that annex is the cost‐benefit analysis, which highlighted the direct benefits of the  program (reduction of out‐of‐pocket expenditure in medicines) and the indirect benefits (calculated as the increase  in productivity due to fewer days lost from illness, premature death and caring for the sick).    2. During implementation, the Project investments were spent in two components: (1) strengthening health systems  (US$217.7 million) and (2) improving health services (US$291.2 million) by enhancing health programs and service  provision.  The  first  component  was  supposed  to  generate  mostly  direct  benefits  (reduction  of  illness  and  improvement  of  wellbeing),  while  the  second  component  could  create  indirect  benefits  to  the  population  (productivity gains by the reduction of illness time). Considering the project commitment to target these benefits to  the poor, part of the efficiency analysis will evaluate the equity dimensions of the project investments. This annex  will  discuss  the  project  efficiency  in  four  dimensions:  (a)  technical  efficiency21;  (b)  allocative  efficiency22;  (c)  cost‐ benefits analysis; and, (d) equity analysis.  All tables and graphics associated with the analysis are at the end of the  annex.     Technical efficiency  3. Technical  efficiency  achieved  by  the  project  is  substantial.  The  program  financed  activities  that  contributed  to  improve the supply and the coverage of a set of health, nutrition and reproductive health services. These services  increased  the  access  to  skilled  maternal  and  obstetric  care  coverage,  unmet  family  planning  needs,  child/infant  health and nutrition and adult health among other benefits. Table 4‐1 shows substantial gains, between 2010‐2016,  in  supplying  services  such  as  antenatal  and  obstetric  care,  skilled  birth,  integrated  management  of  childhood  illnesses,  screening  for  NCDs  such  as  hypertension  and  diabetes,  safe  blood  transfusion  and  child  hospital  care.  Consequently, coverage and quality of health services for women and children were substantially improved. Services  such as postnatal care received within 48 hours after delivery doubled during the project life, contributing to reduce  the risk of maternal mortality. Other improved indicators, such as birth deliveries attended by trained providers and  average number of patients in community clinics per day reflect substantial gains in the technical efficiency on service  delivery.     4. The increase in the total supply and services coverage was effectively driven by investments in medical equipment  and human resources provided by the Program.  The total public health budget as a share of government budget in  21Technical efficiency is the effectiveness with which a given set of inputs is used to produce an output. Technical efficiency in  health increases when a set of integrated health services are produced with less input costs. It comprises scale economies brought  by increased coverage and integrated healthcare management.   22 Allocative efficiency occurs when there is an optimal distribution of goods and services, considering consumer’s needs, meaning  spending on the right things. This concept applies to public health investments, when the budgetary allocation per capita for a  set of health services equals the marginal costs of production of these target health services. This happens when the government  budget spent is lower or equivalent to the marginal utility got by the beneficiaries. Therefore, the optimal distribution is achieved  when the marginal utility of the good equals or is bigger than the marginal cost.  Page 53 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Bangladesh increased from 4.8% (2012‐2013) to 5.1% (2016‐2017) during the project life. On the supply side, the  Program’s effectiveness was achieved by providing    medical equipment and better trained personnel at district  levels.  Investment  in  health  has  important  economic  implications  at  population  level,  especially  where  health  services are not available. Health status gained from the Project investments contributed to social well‐being through  its impact on economic development and productivity. Training activities strengthened quality of care and the link  between outputs and outcomes. Approximately 558,000 health personnel were trained throughout the program, as  way to increase quality and productivity. An additional 2,000 service providers trained in midwifery were posted at  district and upazila health centers (UHCs).    5. The Project reduced the average expected costs of health services due to economies of scale. The HSDP contributed  to substantial improvements in health outcomes and had a positive impact in reducing the cost of the essential health  services package (ESP) per beneficiary.  As per the studies developed by the MOHFW23, the yearly average per‐capita  costs  to  deliver  the  ESP  in  2015,  by  type  of  health  unit,  would  be  US$3.96  (UHCs);  US$3.00  (UHFWC)  and  from  US$1.35 to US$2.18 (CC). Given that these costs were additive, the total average per‐capita cost (without considering  the per‐capita costs associated to district hospitals ‐ DH) varied from US$8.31 to US$9.14. According the World Bank  (2004)24,  the  project  cost  of  the  essential  package  of  services  in  Bangladesh  was  forecasted  from  US$16.90  to  US$20.60 in the period 2005‐2015. Given that, the MOHWF estimations represent a cost reduction of more than 50%  than expected25.     Allocative efficiency   6. Allocative efficiency of the program (spending on right things) is substantial, given better budget allocations on  health priorities, generating impressive progress in achieving the Program outcomes with reduction of DALYs with  the  amount  of resources  spent.  The Project reduced the Burden of Diseases (BoD) targeted by the Program. An  indirect way to create evidence on this is comparing the estimation of the BoD, in terms of DALY losses between  2010  and  201526.  Considering  this,  the  project  target  interventions  on  maternal  diseases,  neonatal  diseases,  nutritional deficient, diarrhea, neglected diseases, malaria, TB and HIV‐AIDS had an estimated benefit of 3.2 million  of DALY averted along the project life. The Program contributed to a reduction of these causes’ participation in the  total DALY’s losses from 34.5% to 30.0%, between 2010 and 2011. Table 4.2 shows the DALYs averted from 2010 and  2015 according the diseases targeted by the Program.    23  Government  of  the  People's  Republic  of  Bangladesh,  MOHFW,  “Estimating  costs  of  providing  the  ESP  in  Bangladesh”,  unpublished document, Ed. MOHFW, Dhaka, 2015.  24  The  World  Bank,  “Health  Financing  Revisited”,  chapter  7,  “Financing  Health  in  Low  Income  Countries”,  The  World  Bank,  Washington (DC), 1994.  25 All EPS costs estimations are based in a set of services composed by TB treatment, sick‐child cluster, prenatal and delivery  cluster, STD treatment, family planning, EPI interventions, school‐health, tobacco and alcohol control, aids prevention and other  public health services and primary care treatments. These interventions are based in a EPS calculated by the World Bank in 1994  for low‐income countries. See BOBADILLA, J.L, COWLEY, P, MUSGROVE, P and SAXENIEN, H.,  “The Essential Package of Health  Services in Developing Countries” The World Bank, 1994.  26 Data from the Institute of Health Metrics and Evaluation of the University of Washington State. The data could be consulted in  http://ghdxhealthdata.org/gbdresultstool.   Page 54 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) 7. The health interventions supported by the program were prioritized based on the international evidence of their  cost‐effectiveness27. Most of the health integrated interventions provided by upazila health complexes (UHC), union  health and family welfare centers (UHFWC) and community clinics (CC) were focused on reducing maternal, newborn  and child morbidity and mortality28.  The program also included health interventions in communicable diseases such  as TB, malaria, HIV‐AIDS, leprosy, kalazar and awareness campaigns on injuries and occupational health besides other  health promotive and preventive and cost‐effective approaches to achieve health gains29. The program registered  improvements in TB notification and an increase in trend of successful treatments (from 92% to 94% between 2012‐ 2015). It also increased the number of patients identified and managed with multidrug resistant TB (from 390 to 904  cases between 2012 and 2015). The number of health personnel yearly trained to attend HIV‐AIDS cases increased  from  400  to  2550  between  2011  and  2015.  The  number  of  HIV‐AIDS  testing  centers  providing  regular  services  increased to 76 to 100 in the same period.         8. To improve the allocative efficiency of the Program funds, MOHFW also began formulating criteria to distribute  resources among health facilities. The Health Economics Unit of the MOHFW in 2013, developed a mathematical  formula  to  allocate  incremental  budget  per  health  care  needs,  major  approaches  to  resource  allocation  and  negotiation and political compromise. This formula will shift the allocation method towards a need based approach.  MOHFW is working with the MOF to implement this approach for a synchronized planning and budgeting at local  levels.30    9.  Another contribution of the Project towards improved allocative efficiency was brought by  investing in priority  areas which were lagging. For instance, the weak fiduciary environment and environmental safeguards received due  attention.  The  Project  Additional  Financing  (AF)  had  DLIs  to  improve  governance  and  environment  safety  in  the  health  sector.  The  AF  supported  improvement  in  medical  waste  management  at  public  health  facilities  and  strengthening of district hospitals by increasing the number of functioning community clinics submitting routine data  to these hospitals in a timely manner. Besides, there was focus on areas such as health staff training, management  improvement,  and  efficient  drugs  supply  chain  management  and  equipment  maintenance  which  increased  the  availability, quality and access of the essential health services delivery in public health facilities.     10. Given improved criteria to resource allocation, there was substantial improvement in priority health conditions in  the  country,  such  as  maternal  and  child  health  status  and  reduction  of  the  prevalence  of  life‐threatening  communicable diseases. The Program interventions contributed to the reduction of maternal and infant mortality  27 Black, Robert E., Ramanan Laxminarayan, Marleen Temmerman, and Neff Walker, Editors. 2016., Reproductive, Maternal, Newborn, and child Health, Disease Control Priorities, Third Edition (Volume 2), Ed. Washington (DC): The International Bank for Reconstruction and Development/World Bank; Apr 5, 2016. ISBN-13: 978-1-4648-0348-2ISBN- 13: 978-1-4648-0368-0. 28 An essential package of health interventions (ESP) associated with these three kinds of facilities is composed by antenatal care  (ANC), Postnatal care (PNC), birth deliveries, immunization, integrated managed of childhood illnesses (IMCI), growth monitoring,  family planning adolescent health and monitoring of non‐communicable diseases (NCDs).  29 Immunization and preventing infectious diseases have been established as highly cost‐effective interventions in international  literature.   30 See MPHFW, Health Economics Unit, “Need Based Resource Allocation Formula for HPN Sector”, Unpublished by the MPHFW,  October 23, 2013.   Page 55 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) rates in Bangladesh, from 194 to 176 per 100,000 live births and from 52 to 38 per 100,000 live births between 2010  and 2014 respectively31, reflecting improvements in the health status.     11. Technical and allocative efficiency also improved after the Project additional financing (AF).  The implementation  progress of the entire GOB sector program with sector wide approach support, was successful.  Having achieved  several critical health outcome indicators (8 sector priority indicators), all proceeds from the original IDA credit and  the two trust funds have been disbursed fully (US$0.01 million left undisbursed under the original credit). All 15 DLIs  of the AF (US$150 million of IDA credit) were achieved and by the end of the 4‐month grace period, 100% of IDA  credit was disbursed.     12. The  Project  was  efficient  on  reducing  transactional  costs  associated  with  coordination.  Seven  DPs  pooled  the  resources together for sector Program, strengthened policy dialogue and regular coordination through thematic task  groups that comprised GOB and DPs representatives. Reliance on existing structures avoided the creation of new  set‐ups and their associated costs. The pooled funding arrangement was effective. This arrangement also ensured  that the DPs financing was coordinated and geared to provide support to the GOB’s health sector program to achieve  the results outlined in the program. Pool funders meetings were held regularly providing updates on utilization of  resources and fiduciary and implementation issues requiring co‐financiers’ interventions. With IDA credit of US$509  million and trust funds of US$366 million, the pooled fund contributed 43.6% of the total development budget of  the Program and played an important role in achievement of the outcome as well as health care financing. The broad  earmarking of funds has helped ensure that the program proceeds were utilized for the purposes intended.    13. Identified  irregularities  in  fiduciary  procedures  did  not  affect  the  overall  allocative  efficiency  of  the  project.  Approximately,  US$2.2  million  was  declared  as  ineligible  expenditure  during  the  implementation  period  due  to  financial irregularities identified by the Government and Bank audits. However, this represented only 0.26% of the  total Project financing (of US$873 million in IDA credit and grant from trust funds). Given these irregularities, the  Government  has  refunded  the  full  amount  and  the  Bank  trained  the  MOHFW  staff  on  financial  and  fiduciary  management procedures increasing MOHFW´s team skills to avoid future similar problems.    Project Cost‐Benefit Analysis  14. The Program benefit was measured by a cost‐benefit analysis, considering the impact of the Program on health  outcomes, household spending on drugs and increase in productivity due to fewer days lost from illness. The gains  were calculated as reduction in total days of morbidity and mortality multiplied by average daily per capita GDP. The  PAD  describes  both  direct  and  indirect  benefits  arising  from  improving  health  services  and  strengthening  health  systems. The same framework is used in this ICR’s economic and financial analysis. This section of this annex presents  the  ex  post  economic  evaluation  of  HPNSDP  Program  (July  2011‐June  2016)  and  restructuring  for  AF  (July  2016‐ December 2016).  Internal rate of return (IRR) and net present value (NPV) were estimated.     15. Cost‐benefit considerations. Same methodological approaches and indicators were considered in both ex ante and  ex post assessments. Table 4.4 presents the total sector program costs considered by this economic analysis.    31 Bangladesh Demographic and Health Survey Reports 2011 and 2014  Page 56 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) 16. The cost of implementation of the MOHFW’s Program (HPNSDP) has two elements: (i) the GOB’s contribution and  (ii) the Development Partners’ contribution.  The total Program cost was estimated as US$8,011 million over five  years  and  six  months  in  the  PAD.    This  economic  analysis  used  the  same  Program’s  total  cost  estimated  during  preparation of PAD and AF.     17. Direct  benefit.  This  was  computed  as  reduced  out‐of‐pocket  (OOP)  expenditure  on  medicines.  Per  capita  OOP  expenditure data from the Bangladesh National Health Accounts 1997–2012 and 2015 (draft report) were used. The  savings in expenditures were calculated as the total number of cases of treatment averted multiplied by the cost of  treatment.     18. Indirect  benefit.  This  benefit  was  calculated  as  the  increase  in  productivity  due  to  fewer  days  lost  from  illness,  premature death, and caring for the sick. The gains were calculated as the reduction in the total days of morbidity  and/or mortality multiplied by the average daily per capita GDP.    19. The Project would grant high economic return. Based on the assumptions expressed in Table 4.4, and with benefits  accruing over a 20‐year period, the results of economic analysis are a net present value (NPV) of US$14.88 billion,  representing and internal return rate (IRR) of 19 percent.     Equity Analysis    20. Methodology for the equity analysis. The equity analysis is focused on the access to services. It did not evaluate the  trends  associated  with  catastrophic  and  out‐of‐pocket  spending  due  to  limited  data  for  this  analysis  during  the  project life. The analysis   considered how the equity was improved between 2011 and 2016 in variables such as: (a)  women who had a live birth and received antenatal care during pregnancy; (b) birth deliveries in health facilities; (c)  birth deliveries assisted by a medically trained provider; (d) use of modern methods of contraception by women; (e)  breast‐feeding within one hour of birth among last born children and (f) vitamin A intake among children age 6‐59  months.  The  indicators  used  to  measure  equity  are  the  following:  poorest  quintile‐richest  quintile  ratio  and  Gini  coefficient. The comparison was also done by presenting Lorenz Curves for 2011 and 2016 for those variables. Table  4.5 present the data and equity results related to all the variables listed above.    21. There were two groups of variables to consider: (i) with high inequality and (ii) with little or no inequality.  The  variables  included  in  the  first  group  were  access  to  antenatal  care,  birth  deliveries  in  health  facilities  and  birth  delivered  by  medically  trained  professional.  The  population  in  the  poorest  quintiles  are  in  great  disadvantage  regarding the access to these kind of health services. In the second group the variables were use of modern methods  of contraception, breast‐feeding within one hour of birth and vitamin A intake among children. In these variables,  the poorest quintiles have equal or sometime more access to the services, even though the scores are behind the  adequate standards for all population income quintiles.    22. The HSDP improved equity for all considered variables along the project life, but in different proportions. Table  4.5  shows  the  distribution  of  the  access  to  these  variables  among  income  quintiles  and  the  results  of  the  three  considered indicators. All variables presented improvements in the poorest‐richest quintiles ratios (PRQR), showing  progress in reducing the access gap to health and nutrition goods and services. The gap was reduced in the variables  Page 57 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) of the first group in greater proportion than the variables of the second group where equity levels were high since  2011.  For example, between 2011 and 2016 the PRQR increased in 29%, 88% and 106% in the access to antenatal  care, birth delivery in health facilities and birth assisted by medically trained professionals but only 13%, 12% and  12% in the use of modern methods of contraception, breast‐feeding within one hour of birth and vitamin A intake  among children, respectively.    23. In the variables of group 1, Gini Coefficient32 was reduced substantially.  Table 4.4 shows reductions of 40%, 54%  and 29% in the Gini related to the access to antenatal care, birth delivery in health facilities and birth assisted by  medically trained professionals, between 2011 and 2016, respectively, which confirms the contribution of the project  to the increase in equity to crucial services for mother and baby care. Graphics 1, 2 and 3 shows the progress on  equity of the Lorenz curves associated with these variables.    24. However, in the variables of group 2, Gini Coefficient does not show progress given that these variables already  achieved high levels of equity in 2010.  Table 4.5 also shows that Gini coefficients for the use of modern methods of  contraception,  breast‐feeding  within  one  hour  of  birth  and  vitamin  A  intake  among  children  are  kept  very  low  (sometimes negative), demonstrating that, despite the increase in the access of these goods, behavior and services  in  all  income  quintiles  between  2011  and  2016,  there  is  some  room  to  improve  these  indicators  for  the  whole  population in Bangladesh.    25. Summing  up  the  evidence,  significant  equity  achievement  has  been  documented  in  improvement  of  health,  nutrition and population (HNP) services for the poor, which was the aim of the Program. The evidence is based on  the summary publication of the UESD 2016, which has a limited number of comparable variables with other previous  household surveys. However, similar analysis should be extended to other variables improved by the HSDP when the  full publication of the UESD 2016 results will be available.    Final Considerations  26. The present economic analysis demonstrated that the HSDP provided gains on efficiency (technical and allocative)  and  equity.  The  technical  efficiency  (effectiveness)  was  achieved  by  increases  in  the  utilization  of  cost‐effective  health care services, especially by poor, whose previous levels of health care utilization were considerably lower than  those  of  other  social  groups  in  the  country.  The  Program  allocative  efficiency  led  to  important  reductions  in  the  targeted BoD in Bangladesh, averting 3.2 million of DALYs lost between 2010‐2015. With regards to value for money,  the Program added value by increasing access and utilization of health services. The overall cost‐benefit analysis of  the Program showed an estimated positive IRR of 19%.  HPNSDP equity target was to increase the poorest‐richest  ratio for some essential antenatal care and trained birth delivery by 2016. The analysis of the DHS 2011 and UESD  (2016) data showed that this was achieved in some relevant variables related to health goods and services provision.  32  The  Gini  Coefficient  is  an  equity  indicator  to  measure  the  progressivity  or  regressivity  of  a  variable  (access  to  services,  for  example) regarding its distribution by income. For example, considering income quintiles, the variable is totally regressive, when  the richest quintile has all access to services and all other quintiles don’t have any access. In this case, the Gini Coefficient achieves  its maximum value of 1. If the variable is distributed in a total equitable way (all quintiles have de same access to services in the  same proportion) the Gini Coefficient is 0. If the services distribution is totally progressive (the poorest quintile has the total  access to services but the other quintiles don’t have any access), the Gini Coefficient assumes its minimum value of minus 1.    Page 58 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) The benefits had a strong equity dimension. Efficient program interventions contributed to reducing maternal and  infant mortality and improved the equity in accessing health care.       Table 4‐1: Main Improvements in the Supply and Coverage to Health Service Indicators in Bangladesh: 2010‐ 2016  Indicator  2010  2016   Improvement  Health supply improvement indicators  Health facilities providing antenatal and obstetric care 24 hours a day/7 days a week (number)  78  170  217.9%  Community skilled birth attendant trained (number)  7089  11330  59.8%  Upazila Health Complexes (UHCs) having integrated managed of childhood illnesses (number)  350  487  39,1%  UHCs providing hypertension and diabetes screening (number)  1  300  ‐  UHCs having trained personal and forms of report on nutrition services (number)  0  482  ‐  Facilities (UHC and above) with safe blood transfusion services (number)  191  219  14.6%  Hospitals under revitalization for the baby friendly health initiative (number)  63  592  839.7%  Health coverage improvement indicators  Pregnant women receiving at least 4 prenatal care visits (%)  20  32  60.0%  Birth deliveries attended by trained provider (%)  26  49  88.5%  Pregnant women receiving tetanus vaccine (5 doses) (%)    42  57  35.4%  Mothers receiving postnatal care within 2 days of delivery (%)  21  43  104.8%  Women using modern contraceptive methods – low performing areas (Sylhet Division) (%)  36  43  19.4%  Women using modern contraceptive methods – low performing areas (Chittagong Division (%)  47  49  4.2%  Children (12‐23 months) vaccinated by all scheduled vaccines by 12 months’ age (%)  80  90  12,5%  Children (6‐59 months) receiving A vitamin supplements (%)  62  77  24.2%  Children (6‐23 months) fed in appropriate practices feeding practices (%)  21  30  42.9%  School children of age 5‐12 years treated with deworming drugs (%)  68  99  45.6%  Average number of patients in community clinics per day (number)  19  38  100.0%  Source: UESD Surveys (2010 and 2016) and MOHFW (administrative records according APIR 2006).  Table 4‐2 – Disability‐Adjusted Life Years (DALY) losses in Bangladesh According the Targeted HSDP Causes of  Mortality and Morbidity: 2010‐2015  Main HSDP Targeted Causes of Mortality and  Number of DALY losses  Number of DALY losses  DALY losses averted  Morbidity  in 2010 (thousands)  in 2015 (thousands)  along the Program Life  Maternal Disorders  577.2  454.1  ‐123.1  Neonatal Disorders  6621.2  5206.5  ‐1414.7  Nutritional Deficiencies  1949.2  1656.5  ‐292.7  Neglected Diseases, Malaria and Tuberculosis  859,0  743,8  ‐115.2  Diarrhea  6131.5  4815.7  ‐1315.8  HIV‐AIDS  623.5  688.0  +64.5  TOTAL TARGET CAUSES   16761.6  13564.6  ‐3197.0  TOTAL BURDEN OF DISEASES (BoD)  48515.2  45147.8  ‐3367.4  TARGET CAUSES AS PERCENTAGE OF TOTAL BoD  34.5%  30.0%  94.9%  Table 4‐3 – HSDP ‐ Program Costs  Cost by source  Program Cost (US$ million)  MOHFW financing   6,264  DPs (Pooled and parallel financing)  1,747  Total costs  8,011      Page 59 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Table 4‐4. Parameters of Cost‐Benefit Analysis Key Parameters and Assumptions  Value  Source  Discount rate for life  3%  WHO Guide to Cost‐Effectiveness Analysis  Discount rate for monetary value  3%  http://www.who.int/choice/publications/p_2003_generalised_cea.pdf  World Bank Disease Control Priorities Study and the Global Burden of  Diseases Project both used a 3% discount rate. World Development Report  1993 also used a 3% discount rate.  GDP per capita growth (annual %)  5.22% (2015) increased to 6.75%  GDP and GDP per capita were taken from World Development Indicators for  (2032)  earlier years. GDP was projected based on the assumed 7.2% growth rate.  Per capita GDP was estimated dividing the projected GDP by the projected  population figure taken from world population estimates. Per capita GDP  growth was calculated based on that.  GDP per capita (2011–2032)  800 (2011) increased to 2,716  Per capita GDP was estimated by dividing the projected GDP by projected  (2032)  population figure taken from World Population estimates. Per capita GDP  growth was calculated based on that.  Annual GDP growth over 20 years  7.20%  GDP growth rate was taken from World Development Indicators 2015 for  available years and then assumed to be 7.2% based on the current trends.  Value of Statistical Life in US$  US$65,000  Consultancy Services for “Technical Feasibility Studies and Detailed Design  for Coastal Embankment Improvement Program (CEIP)” Contract Package  No. BWDB/D2.2/S‐3 (IDA CR. No. 4507). Final Report Volume I. June 2013,  Coastal Embankment Improvement Project, Phase‐I (CEIP‐I) Bangladesh  Water Development Board, Ministry of Water Resources, Government of the  People’s Republic of Bangladesh  MOHFW Budget Growth  5% (2016) increased to 9% (2032)  Assumption  Efficiency gain from DLI (a)  0.50%  Assumption  Average length of stay in hospitals  4 days to reduce by 1 day  Health Bulletin DGHS for actual admission figures. Projected admission  at the district level and below (b)  figures are based on assumed annual growth rate at 2%.    Increased productivity from each  0.5 day  Assumption  outpatient visit    Public sector contribution to  80%  Assumption  infants’ lives saved    Public sector contribution to  60%  Assumption  reduced maternal mortality    Of ill people, % seeking treatment   89.60% (2011) increased to  Based on trends from Household Income and Expenditure Survey (HIES)  91.50% (2032)  2000, 2005, and 2010  Of people seeking treatment, %  9.64% (2011) increased to 40%  Based on HIES 2010 and assumed  going to public facilities   (2032)  Per capita OOP spending on health  US$17 (2012) and US$24.84  Bangladesh NHA figures up to 2012 and WHO (2013–2014); estimated based  (2015) and to US$69.27 (2032)  on past trends  Per capita OOP spending on  US$11 (2012) and US$16 (2015)  Bangladesh NHA up to 2012, estimated keeping OOP spending on medicine  medicine  and to US$42.80 (2032)  as constant at 65%  Morbidity reduction among  30%  Assumption  children due to vaccination    Percentage of OOP spending for  10%  Chandrasiri, J., C. Anuranga, R. Wickramasinghe, R. P. Rannan‐Eliya. 2012.  children   The Impact of Out‐of‐pocket Expenditures on Poverty and Inequalities in Use  of Maternal and Child Health Services in Bangladesh: Evidence from the  Household Income and Expenditure Surveys 2000–2010. Country Brief.  Mandaluyong City, Philippines: ADB.  Maternal mortality ratio per  187 (2012) to176 (2015) reduced  Bangladesh Maternal Mortality and Health Care Survey 2010 and Maternal  100,000 live births  to 121 by 2021 (fourth sector  Mortality Estimation Inter‐Agency Group for actual figures.  program target) and then to 70    by 2032 (SDG target)   Infant mortality rate per 1,000 live  38 (2014) reduced to 20 (2032)  Figures are based on Bangladesh Demographic and Health Survey 2014  births  (figures between the years are interpolated)   Notes: a. Government health budget that is assumed to be US$2.67 billion per year and 5% growth rate for budget. Efficiency gain 0.5% for first  five years from 2017, then 1% for the next five years, and then 1.5%  until 2032 and 2% for the remaining years. b. Saved productivity loss through  reducing hospital stay by one day for the patient and for one attendant.  Page 60 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Table 4‐5 – Equity Results of the HSDP Project: 2011‐2017  Quintiles and Equity Indicators  2011  2016  Increase or Decrease (%)  Percentage of women who had a live birth and receive any antenatal care during pregnancy  Poorest  48.4  62.6  29  Poor  55.5  74.1  33  Middle  68.2  79.3  16  Rich  79.4  88.1  11  Richest  93.0  93.8  1  Average  67.9  79.8  18  Ratio poorest/richest  0.52  0.67  29  Gini Coefficient  0.321  0.192  ‐40  Percentage of birth deliveries in health facilities  Poorest  9.9  23.5  137  Poor  17.6  34.2  94  Middle  24.4  37.3  53  Rich  39.8  54.9  38  Richest  60.0  72.8  21  Average  29.0  43.4  50  Ratio poorest/richest  0.17  0.32  88  Gini Coefficient  0.139  0.064  ‐54  Percentage of birth deliveries assisted by medically trained provider  Poorest  11.5  28.3  146  Poor  18.6  38.8  109  Middle  28.2  40.6  44  Rich  43.2  59.0  37  Richest  63.8  76.5  20  Average  22.2  49.1  121  Ratio poorest/richest  0.18  0.37  106  Gini Coefficient  0.329  0.232  ‐29  Percentage of use of modern methods of contraception by women  Poorest  52.9  67.3  27  Poor  53.8  67.1  25  Middle  52.1  66.5  28  Rich  50.6  60.5  20  Richest  51.1  57.9  13  Average  52.1  63.7  22  Ratio poorest/richest  1.03  1.16  13  Gini Coefficient  ‐0.033  0.023  ‐  Percentage of breast‐feeding within one hour of birth among last born children  Poorest  49.9  52.3  5  Poor  46.6  57.7  24  Middle  49.1  58.0  18  Rich  48.0  50.6  5  Richest  40.6  37.7  ‐7  Average  47.1  51.0  8.2  Ratio poorest/richest  1.23  1.38  12  Gini Coefficient  ‐0,032  ‐0,102  ‐  Percentage of vitamin A intake among children age 6‐59 months  Poorest  53.2  68.8  29  Poor  60.6  76.6  26  Middle  69.6  79.4  14  Rich  68.3  78.6  15  Richest  69.6  80.6  16  Average  63.8  76.8  20  Ration poorest/richest  0.76  0.85  12  Gini Coefficient  0,000  0,031  ‐  Source: BDHS 2011 and UESD 2016  Page 61 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Page 62 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Graphic 6 ‐ Bangladesh: Lorenz Curve for  vitamin A intake according population by  income quintiles 1 0.8 0.6 0.4 0.2 0 0 0.2 0.4 0.6 0.8 1 Equity 2011 2016 Page 63 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS  Introduction    1. This  Annex  has  three  parts.  The  first  part  describes  the  summary  of  the  MOHFW’s  Report  on  End‐Line  Evaluation of Health, Population and Nutrition Sector Development Program (HPNSDP), July 2011‐ December  2016. The second part includes client’s (MOHFW) comments on Bank’s performance and the last part provides  the Development Partners’ comments on HPNSDP/HSDP implementation and Bank’s performance.      Part 1: MOHFW’s Summary Evaluation of the HPNSDP    2. At  the  end  of  the  implementation,  the  GOB  contracted  a  consultant  firm  to  assess  the  progress  and  performance  of  the  sector‐wide  health  program  and  to  identify  successes  and  challenges  to  assist  in  the  planning  and  implementation  of  the  next  health  sector  program.  The  Evaluation  Committee,  composed  of  representatives  from  different  ministries  and  departments,  conducted  the  evaluation  of  HPNSDP.  The  evaluation was based on extensive document reviews and field site visits for this evaluation.  Several meetings  of  the  Evaluation  Committee  were  held  to  discuss  and  agree  on  different  issues  to  be  addressed  in  the  evaluation. The evaluation team reviewed the Operational Plan (OP) level indicators to ascertain progress and  performances of the 32 OPs as well reviewed the RF indicators. The report is mainly based on the outcome of  the document review of available technical reports including all the Annual Program Implementation Reports  (APIRs), Annual Program Reviews (APRs), and Mid‐term Reports (MTRs) conducted during the implementation  of HPNSDP.    3. Overall, there were noticeable improvements in health indicators during HPNSDP as a majority of the relevant  RF goal level indicators were either achieved or on track to be achieved.  Bangladesh has made progress in  achieving  the  Millennium  Development  Goal  (MDG)  targets,  especially  those  related  to  maternal  and  child  health, family planning and nutrition. Progress of HPNSDP in maternal health was impressive. Bangladesh is on  track  to  achieve  MDG  5.  The  Maternal  Mortality  Ratio  (MMR)  fell  47%  between  2001  and  2013,  i.e.,  MMR  reduced from 194/100,000 live births to 170/100,000 live births. Skilled health professionals were attending  more  births  (births  by  skilled  birth  attendants  increased  from  21%  in  2007  to  42%  in  2014).  The  number  of  women  receiving  antenatal  care  (ANC)  improved  from  53.4%  in  2007  to  64%  in  2014  and  women  receiving  ANC+4 visits improved from 22% to 31% during the same period.     4. There has been significant progress in child health in terms of child mortality rates (CMR) and infant mortality  rates (IMR) during the HPNSDP period. The under five‐child mortality rate declined from 116/1000 live births  in 1996‐97 to 65/1000 in 2007 to 46/1000 in 2014. Similarly, the IMR also declined considerably, from 82/1000  live births in 1996‐97 and to 52/1000 in 2007 and to 38/1000 in 2014. Bangladesh is on the track to achieve  Millennium Development Goal (MDG)‐4, but further progress is necessary in child health in order to fulfill the  MDG‐4 or SDG 3.2.    5. The HPNSDP also achieved notable progress in implementing effective family planning services. The use of  family planning continued to increase during the HNPNSDP period.  The Contraceptive Prevalence Rate (CPR)  increased from 56% in 2007 to 62.2% in 2011 and to 64.2% in 2014. The Total Fertility Rate (TFR) also decreased  Page 64 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) remarkably from the HPNSP period (2.7 in 2007) to the HPNSDP period (2.3 in 2011), although the TFR did not  decrease according to the most recent Bangladesh Demographic and Health Survey (BDHS) in 2014.     6. Substantial progress was also made in nutrition. HPNSDP targets for both stunting and wasting (38% and 33%  respectively) were achieved and the level of stunting is now below the World Health Organization (WHO)  ‘critical’ threshold of 40%. Stunting (height‐for‐age) of children decreased from 51% in 2004 to 43% in 2007 to  41% in 2011 to 36% in 2014, while the proportion of underweight (weight‐for‐age) children decreased from 43%  in  2004  to  41%  in  2007  and  to  36%  in  2011  and  to  33%  in  2014.  Progress  on  reaching  the  MDG  target  for  underweight appears to be on‐track while there is a slowing down in the reduction of stunting.     7. The  analysis  of  the  cumulative  progress  of  the  158  indicators  of  the  32  OPs  for  HPNSDP  2011‐16  period  showed  that  65%  of  OP‐level  indicators  were  fully  achieved.  Another  32  indicators  (or  20%)  were  partially  achieved and 24 (15%) indicators were not achieved at all. Nearly one‐third of OPs were able to achieve 76% or  more OP indicators fully during the HPNSDP period. The majority of the OPs (47%) fully achieved 56%‐75% of  their respective OP indicators. OPs with weak progress included Human Resource Management (HRM), Physical  Facilities  Development  (PED),  Essential  Service  Delivery  (ESD),  Alternative  Medical  Care  (AMC),  Health  Economics  and  Financing  (HEF),  Health  Education  and  Promotion  (HEP),  Management  Information  System‐ Family Planning (MIS‐FP) with 55% or less of their respective OP‐indicators fully achieved.     8. Financial Progress:  The increasing trend in the Revised Annual Development Program (RADP) allocation and  expenditure over the allocation during the HPNSDP period reflects better budget planning and re‐appropriation  of funds by the Planning Wing of the MOHFW. The average RADP utilization rate against RADP allocation during  the  HPNSDP  implementation  period  stood  at  85%  while  utilization  rate  over  released  fund  was  93%.  The  percentage spent over RADP allocation in different financial years varied from 81% to 91% while the percentage  of spent over fund released in different financial years varied from 90% to 96%. The spending rate against fund  allocation was substantially higher for the Government of Bangladesh (GOB) fund than for the PA fund. The GOB  fund expenditure varied from 94% to 98% in different financial years while Project Aid (PA) fund expenditure  varied from 84% to 90%.     9. Technical  Support:  The  Program  Management  and  Monitoring  Unit  (PMMU)  with  the  help  of  Technical  Assistance Support Team (TAST) performed a significant role in performance monitoring and evaluation (M &  E), coordination and tracking for identification of achievements and shortfalls of the program at various stages  of HPNSDP.A great achievement of HPNSDP was the commitment of the MOHFW to ensure (for the first time)  a functioning M&E unit led by the GOB (with external donor support, e.g., TAST) and as such, was able to have  and use data to regularly assess program performance and make program and policy related decisions based  on evidence. In particular, the periodic reviews and preparation of six‐monthly, annual, and mid‐term program  implementation reports at regular intervals contributed substantially for the preparation of independent APRs  and MTR of the program.     10. Unlike the technical assistance through DPs, the Joint Donor Technical Assistance Fund (JDTAF) was more  effective and responsive to the demands for technical assistance from different Line Directors (LDs) through  the technical assistance committee (TAC) of the MOHFW.   Page 65 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   11. Areas  for  Special  Consideration  under  the  next  Sector  Wide  Approach  (SWAp):  In  spite  of  the  remarkable  achievements, the study revealed many challenges and opportunities for the Health, Nutrition and Population  (HNP) sector program of Bangladesh. These are mostly related to: a non‐functionality of logistics; a weak system  of  repair  and  maintenance  of  physical  facilities  and  assets;  a  need  for  strengthening  procurement,  budget  execution and internal audit control systems; the need to ensure availability of skill‐mix among service providers  and of medicines for imparting key HNP services; a lack of appropriate Behavior Change Communication (BCC)  campaigns on healthy behaviors; the need to ensure quality of care for different health services; the need to  develop  functional  linkages  among  different  information  systems;  and  the  need  to  improve  functional  coordination between the OPs, directorates and ministries. The details and recommendations for addressing  these challenges and opportunities are in the MOHFW’s Report on End‐Line Evaluation of the HPNSDP.    Part 2: Borrower’s Comments    12. During the design of both GOB’s HPNSDP and the World Bank’s HSDP, there was good coordination between  the DPs and the GOB.  It was a participatory exercise for aid harmonization including financial and technical  assistance  for  realizing  the  goals  and  targets  set  forth  in  the  Program  and  the  Project.  USAID’s  role  was  instrumental, together with the World Bank and DFID, in developing the M&E framework for the Program and  its implementation. There was a financing gap during the period of the HPNSDP Program, partly because the  GOB did not receive the full amount originally committed by some donors and partly because of exchange rate  fluctuations reducing the expected amount of resources. As per the request made by the GOB, the World Bank  could provide additional US$150 million with an extension of the HSDP.    13. During the implementation of the HPNSDP/HSDP, the World Bank had conducted fiduciary oversight of the  pooled funds on behalf of the donors. Overall, this helped to build the capacity of the GOB staff but at times it  had a high transaction cost because of back and forth between the GOB and the World Bank while retrieving no  objection at each step in the procurement process. During the last six months of the Program extension, DLIs  were introduced as part of the preparation of the Additional Financing (AF), to improve the procurement and  financial management functions of the Program. This was a sudden change by the World Bank of the financing  modality to DLIs for which the government was not well prepared as the Program was extended for just a period  of six months. The reasons given by the Bank for this change in modality, which included concerns raised by the  IFA report to be addressed, was well understood but the government was skeptical about whether the DLIs  could be achieved in the short period remaining in the HPNSDP. However, the government and Bank negotiated  and agreed on the DLIs which could be practically achieved during this short period. All the results associated  with the DLIs were achieved and the AF was fully disbursed.      14. DLIs  achievement  is  contingent  on  the  provision  of  adequate  technical  assistance  (TA)  from  the  partners  including the Bank.  TA would be required specifically for capacity building of the  focal units responsible for  achieving the DLIs, including the MOHFW’s structural reforms, and for the third‐party verification agency. The  government would need a strong technical support in the current new program to realize the DLRs achievement.  There is still a resource gap in the Fourth Health, Population and Nutrition Sector Program. The government is  seeking additional funds from the partners to contribute to the Development Budget.  Page 66 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   Part 3: Development Partners’ Comments33    Embassy of Sweden (International Development Section Bangladesh)    15. Initially the Government was a bit disorganized and started the preparation process with the PIP.  The WB along  with DPs recruited a consultant to prepare the SIP which is the primary document. Based on the SIP a new PIP  was developed. The Government was also at the beginning a bit confused about aid modality, whether they  should go for treasury model or MDTF.     16. We  have  witnessed  improvements  of  health  indicators  and  also  achieving  health  related  MDGs  so  we  considered that government is doing well when it comes to service delivery. The challenges are the poor quality  in  services  and  slow  progress  in  hard‐to‐reach  area  and  marginalized  population,  including  LGBT  and  tribal/minority populations. Changes in the structure of the health system are slower but we see progress on  for example developing IT‐based information systems. The use of information in decision‐making, planning and  budgeting  are  still  in  progress.  Human  resources  and  incentives  to  retain  staff  in  hard  to  reach  areas  and  strategies to address absenteeism in the public system are still a matter of concern. Other areas of concerns  are: Fragmentation and poor coordination of family planning division and health division needs to be improved;  Regulation and accreditation of the private sector.    17. In general, we think the WB has performed well. The SWAp is a very complex, consultation heavy with multiple  actors involved and we consider that the WB Bangladesh has played a key role bringing different stakeholders  together and has with a very competent staff. Although, information sharing with the DPs is still not satisfactory,  especially during the last year (January 2017 until now). No meetings of the MDTF have been held during this  year. It is Important to keep the leadership for the next program country based and we welcome the decision  to place the Task Team Leader in Dhaka.      Department for International Development ‐UK Aid  18. During preparation or design phase the then Secretary of Health took leadership of the process and the Planning  Wing engaged closely with stakeholders.  MOHFW managed to well utilize the TA offered by various donors  especially DFID and the World Bank.  A number of studies were carried out to set the baseline and ascertain TA  need  while  consultant  teams  were  assigned  to  develop  the  program  design  in  consultation  with  the  GoB  officials. All the reports were widely shared with all concerned.     19. The government’s performance was quite commendable during the first three years.  The opening up of the  over 13,000  Community  Clinics with necessary drugs and supplies and providers greatly increased access to  health  services.    In  terms  of  health  systems,  several  important  digital  information  systems  (HMIS,  FP  LMIS,  HRMIS etc.) were established and are still functioning; some commendable milestones were also achieved in  33 During the two ICR’s missions, the ICR team interviewed development partners of the following agencies: USAID, DFID, GTZ,  SIDA, CIDA, UNFPA and UNDP. Some of the DPs (SIDA, DFID, CIDA and UNFPA) sent written comments which are reproduced here  “in verbatim”.  Page 67 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) the area of procurement while budget execution also improved greatly.        20. This was largely due to the strong leadership of the Secretary, Health; support provided by the PMMU composed  of ex‐senior GoB officials to the Planning Wing as well as strong donor leadership through the health consortium  Chair.  The LCG meetings, held quarterly, provided space for raising issues and increasing accountability of the  line directors.  The TA Committee chaired by the JC, Planning Wing, and initiated mainly by DFID was introduced  as a platform for better coordination, complementation and accountability of all parties.  The mechanism was  well contributed by the World Bank and other donors and became quite successful. The TA request (ToRs) of  the line directors were reviewed by government and donor members, endorsed or modified and then sent to  the Secretary for approval.     21. The M&E Task group met regularly and developed a national strategy and action plan. The annual reviews were  organized jointly and joint field visits were made; independent consultants where engaged while the process  itself was a learning event for all concerned.  The priority action plans (PAP) following each AR became the crux  of monitoring for all.  These jointly agreed actions provided a clear direction to the most priority issues that  enhanced effectiveness, efficiency and sustainability of the sector reforms.  Implementation of the PAP was well  supported by TA especially by DFID.  The intra MOHFW program and budget review meetings were held by the  Planning  Wing  regularly  and  necessary  recommendations  were  made  following  the  Secretary’s  approval.    It  greatly  helped  in  addressing  priorities,  improving  performance,  and  re  allocating  budget  in  areas  of  need/  demand.  The process was well supported by the PMMU.    22. However, fiduciary risks could not be well mitigated due to a number of wider issues.  The deeper reforms in  FM of the health ministry depend on GoB’s commitment to update and modernize its FM system which varied  with the wider political context over the five years. The multi donor project SPEMP with the MoF was seen as a  panacea for improving the FM but it had to be stopped. HSDP as such had to depend on a number of ad hoc  mitigation actions like providing FM consultants to LDs with large budgets. In response to the Bank’s audit in  2015, a ‘FM improvement action plan’ was developed by the Bank engaging all donors (MDTF).  Many of the  actions  were  supported  by  DFID  TA  however  these  again  were  rather  largely  short  term  measures.  Lack  of  adequate  assurance  led  to  a  change  in  aid  modality  of  the  sector  program,  for  the  first  time,  from  input  to  ‘results’ based performance which the health ministry accepted with reluctance. This somehow changed the  entire MoHFW‐donor coordination environment and partners seemed to drift away in different directions!          23. The overall performance of the World Bank was commendable.  On the borrower’s need, the Bank carried out  extensive discussions, consultations, offered solutions and options time and again.  It worked quite closely with  the government leading the program financing and procurement task groups, which created opportunity for all  to  engage  and  have  dialogue  with  the  relevant  government  counter  parts.  A  number  of  capacity  building  activities  were  also  carried  out  but  these  were  mostly  for  better  understanding  of  the  Bank’s  systems  and  procedures.  World  Bank’s  experts  on  PFM  were  also  brought  in  as  and  when  needed.  In  the  area  of  procurement,  Bank,  UASID  and  DFID  worked  very  closely  with  the  MoHFW  counterparts.  Besides  specific  improvements (not seen before in the history of sector programs here) in the procurement and supply chain  management, the issues raised by Bank’s post procurement audit were responded to through TA provided by  USAID and DFID.    Page 68 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 )   24. A key observation in this regard is that the TA provided by the Bank were mostly on issues concerning Bank  operations while it depended heavily on other donors especially DFID and USAID for TA on capacity building of  the MoHFW.  A reasonable provision should ideally be made for carrying out essential TA while approving IDA  to fragile governments.      25. It is important to consider the time factor while developing any action plan especially where public reforms are  involved. As such, fiduciary action plans developed at the outset of the project should clearly mention, which  issues  will  be  dealt  with  realistically  and  which  will  be  addressed  through  stop  gap  arrangements;  this  will  increase  donor  confidence  in  Bank’s  operations.  Educating  partners  on  Bank’s  perspective  and  operations,  especially language/ terminology, is also very important and helpful.    26. While  reviewing  project  performance,  it  is  very  important  to  take  note  of  evolution  of  the  wider  political  environment.  The HSDP started in 2011 when a new government had taken over, after years of being in the  opposition.  The commitment for ‘doing something great’ for the people was quite strong in the first few years  which benefitted the HSDP.  However, it became more important to hang on to power rather than other things,  in the later years.  With frequent change of officials and leadership, accountability and engagement with donors  varied from time to time, which adversely affected sector program performance. Such ‘risks’ could be flagged  better while designing the program.      United Nations Population Fund (UNFPA)  27. The government’s performance during the preparation of the HSDP/HPNSDP was exemplified by consultation,  debate and consensus building. This consultative process was done at the behest of the Bank with active support  of all Development Partners. The implementation of the third sector program though delayed initially in lieu of  the  protracted  approval  process  of  PIP  and  operation  plans,  picked  considerable  momentum  once  implementation started. The Government supported by the Bank demonstrated willingness to strengthen its  fiduciary  practices  and  pursuit  for  greater  transparency.  This  willingness  manifested  in  the  development  of  PLMC (procurement and logistics management cell) in the Ministry, roll out of web based procurement process  and the formation of different task groups to review performance.      28. HPNSDP  introduced  OP‐level  indicators  and  bi‐annual  program  implementation  reporting  to  improve  monitoring and accountability within the SWAp. The birth of the Program Management and Monitoring Unit  (PMMU)  further  demonstrated  the  government’s  commitment  in  monitoring  performance  of  the  sector  program.  The MOH&FW reached important milestones by shortening the procurement lead time with tracking  arrangements,  online  and  by  utilizing  need  based  procurement  planning,  among  others.  During  the  implementation period the MOH&FW arranged GOB‐DP policy dialogues following every APR, which fostered  partnerships and demonstrated ownership and mutual commitment.      29. The  World  Bank  requires  special  mention  for  directly  contributing  to  strengthening  of  fiduciary  practices,  improving  overall  financial  management  of  the  ministry  of  health,  establishing  need  based  transparent  procurement  systems,  creating  different  discussion  platforms  between  the  DPs  and  the  government  and  in  Page 69 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) conducting APR to improve sector governance.     Canadian International Development Agency    30. During HSDP/HPNSDP preparation phase the then Health Secretary of Ministry of Health took leadership of the  process and the Planning Wing of MOHFW, PMMU (Program management and Monitoring Unit) was engaged  remarkably with stakeholders including all DPs.  The SWAp development process was quite participatory and  Canada was very much involved in the process.  A number of TA was engaged to support the preparation and  the  MOHFW  utilized  those  TAs  offered  by  various  donors,  especially  through  DFID,  World  Bank  and  USAID.  Although Canada was not directly providing TA support we were actively involved with the TA committee of  MOHFW.   A  team  of  consultants  was  assigned  to  develop  the  program  design  in  consultation  with  the  GoB  officials, and all these reports were widely shared with all concerned. The Government and DPs (including the  Bank) were satisfied with the results achieved but were concerned about the audit reports and GoB responses  to the audit observations which have not yet all been resolved.      31. GoB was spending more than anticipated outside the HPNSDP which was an issue donors raised on multiple  occasions in policy dialogue fora. GoB spending on health in general was below expectations. PFM was not as  strong  as  donors  would  have  liked  and  during  implementation,  several  audits  reflected  these  weaknesses.  Actions  on  PFM  that  were  part  of  the  HPNSDP  were  not  implemented  as  per  the  agreed  timelines  (new  organogram  for  internal  audit,  etc.)  In  light  of  audits,  Donor,  WB  and  GOB  agreed  on  a  Fiduciary  Risk  Management Action Plan to address these weaknesses, but PFM remained an area of significant concern for  GAC and having WB as administrator for the donor’s funds was a critical mitigation. DPs depended on the Bank’s  guidance and advice during the implementation of the SWAp.     32. There  was  strong  performance  and  good  results  in  many  areas  but  overly  centralized  planning  and  implementation, along with the division in the Ministry between health services and family planning, continued  to result in inefficiencies.  Limited Human resources was a major bottleneck with very limited progress during  implementation. In terms of health systems, digital information systems (HMIS, FP LMIS, HRMIS, etc.) were quite  commendable during HPNSDP implementation. Midterm Review of HPNSDP also shows some commendable  milestones achievement in the area of procurement and budget execution.  The fiduciary risk mitigation was  very  weak.   The  GoB  used  World  Bank  system  of  procurement.   The  financial  accounts  system  is  not  computerized.      33. Regarding the  management of fiduciary risk and for the follow‐up of audit observations, there was  concern  about  the  level  of  government  commitment  to  reply  or  to  do  follow‐up  to  the  audit  observations  on  funds  mismanagement and to do an enquiry. The GoB continued to express unwillingness to accuse people without  verification, but their investigations did not reach any conclusions.      34. DPs visited some District and Dhaka Hospitals as part of DLI verification to assist the Bank.  DPs were generally  satisfied with the progress of achievements.       35. Regarding the World Bank performance, the experience was positive. The WB kept us informed through the  Page 70 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) regularly scheduled Pooled Fund Donor meetings and through ad hoc meetings when issues arose that required  more extensive discussion.  The World Bank’s oversight (including on procurement) was a critical part of GAC’s  fiduciary risk management. Coordination was through the donor consortium which was not chaired by the WB  during a certain period but by WHO and USAID. WB was a regular presence at DP coordination meetings and  provided excellent technical input to discussions (particularly Bushra).     36. WB also provided much needed technical support to GoB and was viewed by Gov’t as a critical partner. WB had  one of the strongest voices at policy dialogue tables with GoB. Overall, Canada had a very good relationship  with the World Bank on the HPNSDP.     37. There were deficiencies and delays in implementation, and in the last year of implementation of the 3rd Health  SWAp, the Bank provided an additional US$150 million, extended the period of implementation by one year,  and unilaterally changed the implementation modality to Disbursement Linked Indicators (DLIs).  Canada and  other  Development  Partners  were  not  happy  about  this  unilateral  change  (without  or  with  very  little  consultation).  Canada wrote a letter to the Bank to this effect.     38. We also had some concerns related to the initial planning of the next phase of the health sector SWAP. In that  instance,  there  were  problems  with  WB  communication  with  both  DPs  and  the  GoB  around  the  move  to  performance based financing. World Bank Dhaka office did their best – the lack of communication came from  the Washington design team. For the 4th HPN there seems to be a lack of willingness by the WB to document  and follow‐up on the resolution of the audit observations from  the 3rd Swap and to inform DPs on what is  happening and how these will be resolved. We want to ensure that there is due diligence on the follow‐up and  the resolution of the audit information.     39. The  WB  should  continue  to  focus  on:  1)  Improving  the  governance  of  the  health  systems;  2)  improving  the  financial  and  audit  systems,  including  the  process  for  dealing  with  audit  observations;  and  3)  improving  the  MOHFW procurement systems. The Banks has been a key player during the implementation of the 3 Health  SWAps, which is over 15 years.                          Page 71 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)  Bangladesh Demographic and Health Survey Reports 2011 and 2014.  Black,  Robert  E.,  Ramanan  Laxminarayan,  Marleen  Temmerman,  and  Neff  Walker,  Editors.  (2016),  Reproductive,  Maternal,  Newborn,  and  child  Health,  Disease  Control  Priorities,  Third  Edition  (Volume  2),  Ed.  Washington  (DC):  The  International Bank for Reconstruction and Development/World Bank; Apr 5, 2016. ISBN‐13: 978‐1‐4648‐0348‐2ISBN‐13:  978‐1‐4648‐0368‐0.  Bobadilla, J.L, Cowley, P, Musgrove, P and Saxenian, H. (1994),  The Essential Package of Health Services in Developing  Countries, The World Bank, 1994.  Government of the People's Republic of Bangladesh, MOHFW – Health Economic Unit (2012) Expanding Social Protection  for Health Towards Universal Coverage – Health Financing Strategy 2012‐2032, Ed. MOHFW, Dhaka, September 2012.  Government of the People’s Republic of Bangladesh, MOHFW (2015). Bangladesh National Health Accounts 1997 – 2012.  Dhaka: Research Paper No. 42a. Dhaka: Health Economics Unit, Ministry of Health and Family Welfare, Government of  the People’s Republic of Bangladesh.  Government  of  the  People's  Republic  of  Bangladesh,  MOHFW  (2017),  Report  on  End‐Line  Evaluation  of  the  Health,  Population  and  Nutrition  Sector  Development  Program  (HPNSDP):  July  2011‐  December  2016,  Ed.  MOHFW,  Dhaka,  March, 2017.  Government of the People's Republic of Bangladesh, MOHFW (2015), Estimating costs of providing the ESP in Bangladesh,  unpublished document, Ed. MOHFW, Dhaka, 2015.  Government of the People’s Republic of Bangladesh, MOHFW (2016), Annual Program Implementation Report (APIR) of  the HSDP Project, Dhaka, 2016.  WHO,  UNICEF,  UNFPA,  World  Bank  Group,  and  the  United  Nations  Population  Division  (2015).  Trends  in  Maternal  Mortality: 1990 to 2015. Geneva, World Health Organization, 2015.  World Bank (1994),  Health Financing Revisited, chapter 7, Financing Health in Low Income Countries, The World Bank,  Washington (DC), 1994  World Bank (2009),  Country Assistance Strategy for the People’s Republic of Bangladesh – FY10‐12, Report No. 54615‐ BD, The World Bank, Washington (DC), 2009.  World Bank (2011), Health Sector Development Project (HSDP) Project Appraisal Document (PAD), Report No. 59979–BD,  The World Bank, Washington (DC), May 3, 2011.  World  Bank/IEG  (2013),  Implementation  Completion  and  Results  Report  Review  (ICRR  No.  14043),  Washington  (DC),  March 10, 2013.  World Bank (2013), Country Assistance Strategy Progress Report (CASPR) for the People’s Republic of Bangladesh for the  Page 72 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) Period FY11‐15, Report No. 73983‐BD, The World Bank, Washington (DC), 2013  World Bank (2016),  Country Partnership Framework for Bangladesh for the Period FY16‐FY20, Report No. 103723‐BD,  March 8, 2016.  World Bank (2016), HSDP Additional Financing, Report No. PAD1383, The World Bank, Washington (DC) June 8, 2016.  World Bank (2017), Health Systems Strengthening Project (HSSP), Report No: PAD2355, The World Bank, Washington  (DC), July 7, 2017.  World Health Organization – WHO (2015), Bangladesh Health System Review, Ed. WHO, Geneva, 2015.  United Nations (UN) Inter‐Agency Group for Child Mortality Estimation (UNICEF, WHO, World Bank, UN DESA Population  Division) at www.childmortality.org.  UN – Population Projections https://esa.un.org/unpd/wpp/Publications/Files/WPP2017_KeyFindings.pdf)  Institute  of  Health  Metrics  and  Evaluation  –  IHME  (2017),  Burden  of  Diseases  Data   http://ghdxhealthdata.org/gbdresultstool, University of Washington State (assessed in October, 2017)           Page 73 of 74 The World Bank Bangladesh - Health Sector Development Program ( P118708 ) ANNEX 7. MAP        Page 74 of 74