Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00002349        IMPLEMENTATION COMPLETION AND RESULTS REPORT  TF Number: 010024  ON A  GRANT    IN THE AMOUNT OF $114.12 MILLION  TO THE     Islamic Republic of Afghanistan     FOR A  PUBLIC FINANCIAL MANAGEMENT REFORM II ( P120427 )     June 28, 2018      Governance Global Practice  South Asia Region          CURRENCY EQUIVALENTS     (Exchange Rate Effective June 1, 2018)    Currency Unit  =   Afghani (AFN)  71.20 AFN =  US$1      FISCAL YEAR  July 1 ‐ June 30                                  Regional Vice President: Hartwig Schafer  Country Director: Shubham Chaudhuri  Senior Global Practice Director: Deborah L. Wetzel  Practice Manager: Ismaila B. Ceesay  Task Team Leader(s): Syed Waseem Abbas Kazmi, Adenike Sherifat Oyeyiola  ICR TTL: Bernard James Haven  ICR Main Contributor: Sati Achath      ABBREVIATIONS AND ACRONYMS    ADB  Asian Development Bank  KPI  Key Performance Indicator  ACCA  Association of Chartered Certified  LTO  Large Taxpayer Office  Accountants  ACSI  Afghanistan Civil Service Institute  M&E  Monitoring and Evaluation  ADB  Asian Development Bank  IAD  Internal Audit Department   AF  Additional Financing  IDA  International Development  Association  AFMIS  Afghanistan Financial Management  ISR  Implementation Status  Information System  Report  ANDS  Afghanistan National Development  MOF  Ministry of Finance  Strategy  ARDS  Afghanistan Reconstruction and  PFC  Procurement Facilitation  Development services  Consultant  ARTF  Afghanistan Reconstruction Trust Fund  PEFA  Public Expenditure and  Financial Accountability  ATP  Audit Training Program  PFM  Public Financial Management  CAS  Country Assistance Strategy  PMIS  Procurement Management  Information System  CAT  Certified Accounting Technician  PPU  Procurement Policy Unit  DFID  Department for International  RIMU  Reform Implementation and  Development  Management Unit  DG  Director General  SAO  Supreme Audit Office  EA  Environmental Assessment  SBD  Standard Bidding Document  FM  Financial Management  SIGTAS  Standard Integrated  Government Tax  Administration System  FMC   Financial Management Consultant  SDU  Special Disbursement Unit  GDP  Gross Domestic Product  STO  Small Taxpayer Office  HR  Human Resources  TA  Technical Assistance  NPA          National Procurement Authority  TOR  Terms of Reference  NPC  National Procurement Commission  USAID  United States Agency for  International Development   NPI  National Procurement Institute  UNDP  United Nations Development  Program  NPV  Net Present Value  VAT  Value Added Tax            TABLE OF CONTENTS    DATA SHEET ............................................................................................................................ 1  ................................................................................................................................ 5  ABSTRACT  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 6  A. CONTEXT AT APPRAISAL ........................................................................................................... 6  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION ................................................................. 9  II.  OUTCOME ...................................................................................................................... 11  A. RELEVANCE OF PDOs .............................................................................................................. 11  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 12  C. EFFICIENCY ............................................................................................................................. 15  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 18  E. OTHER OUTCOMES AND IMPACTS .......................................................................................... 18  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 21  A. KEY FACTORS DURING PREPARATION..................................................................................... 21  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 23  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 24  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 24  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 24  C. BANK PERFORMANCE ............................................................................................................. 25  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 26  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 26  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 28  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 44  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 46  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 47  ANNEX 5. BORROWER’S ICR .................................................................................................. 50  ANNEX 6. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 66  ANNEX 7. SUPPORTING DOCUMENTS .................................................................................... 67  ANNEX 8. SPLIT RATING CALCULATION .................................................................................. 68       The World Bank Public Financial Management Reform II (P120427)       DATA SHEET     BASIC INFORMATION   Product Information  Project ID  Project Name  P120427  Public Financial Management Reform II  Country  Financing Instrument  Afghanistan  Investment Project Financing  Original EA Category  Revised EA Category  Not Required (C)  Not Required (C)  Related Projects              Relationship  Project  Approval  Product Line  Additional Financing  P150632‐Second Public  10‐Feb‐2016  Recipient Executed Activities  Financial Management  Reform Project (PFMRP  II) ‐ Additional  Financing  Organizations  Borrower  Implementing Agency  Islamic Republic of Afghanistan  The Islamic Republic of Afghanistan  Project Development Objective (PDO)    Original PDO  The proposed PDO is to strengthen public financial management through effective procurement, treasury and audit  structures and systems in line with sound financial management standards of monitoring, reporting and control.    Revised PDO  To further strengthen the efficiency and effectiveness of Afghanistan’s procurement, treasury, and audit systems.      Page 1 of 68 The World Bank Public Financial Management Reform II (P120427) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          73,000,000  114,070,775  109,209,939  TF‐10024  Total    73,000,000  114,070,775  109,209,939  Non‐World Bank Financing        Borrower     0     0     0  Total     0     0     0  Total Project Cost  73,000,000  114,070,775  109,209,939        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  14‐Jun‐2011  09‐Aug‐2011  01‐Nov‐2013  31‐Dec‐2014  31‐Dec‐2017       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  01‐Sep‐2014  45.47    19‐Dec‐2015  66.20  Change in Loan Closing Date(s)  27‐Jan‐2016  68.72  Additional Financing  19‐Apr‐2017  90.49  Change in Loan Closing Date(s)      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Satisfactory  Substantial    Page 2 of 68 The World Bank Public Financial Management Reform II (P120427) RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  20‐Sep‐2011  Satisfactory  Satisfactory  0  02  18‐Apr‐2012  Satisfactory  Satisfactory  7.00  03  24‐Dec‐2012  Moderately Satisfactory  Moderately Satisfactory  15.89  04  24‐Jun‐2013  Moderately Satisfactory  Moderately Satisfactory  27.58  05  17‐Dec‐2013  Moderately Satisfactory  Moderately Satisfactory  33.73  06  30‐Jun‐2014  Moderately Satisfactory  Moderately Satisfactory  43.39  07  02‐Feb‐2015  Moderately Satisfactory  Moderately Satisfactory  49.81  08  30‐Jun‐2015  Moderately Satisfactory  Moderately Satisfactory  57.82  09  08‐Feb‐2016  Moderately Satisfactory  Moderately Satisfactory  68.72  10  21‐Jun‐2016  Moderately Satisfactory  Moderately Satisfactory  73.37  11  16‐Nov‐2016  Satisfactory  Satisfactory  77.90  12  15‐May‐2017  Satisfactory  Satisfactory  91.88  13  18‐Apr‐2018  Satisfactory  Satisfactory  106.21    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Financial Sector   100  Public Administration ‐ Financial Sector  100      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Page 3 of 68 The World Bank Public Financial Management Reform II (P120427) Public Sector Management  101    Public Finance Management  48    Public Expenditure Management  48      Public Administration  53    Transparency, Accountability and Good  53  Governance            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Isabel M. Guerrero  Ethel Sennhauser  Country Director:  Nicholas J. Krafft  Shubham Chaudhuri  Senior Global Practice Director:  Onno Ruhl  Deborah L. Wetzel  Practice Manager:  Jennifer K. Thomson  Ismaila B. Ceesay  Syed Waseem Abbas Kazmi,  Task Team Leader(s):  Paul Edwin Sisk  Adenike Sherifat Oyeyiola  ICR Contributing Author:                       Page 4 of 68 The World Bank Public Financial Management Reform II (P120427) Abstract    The  Second  Public  Financial  Management  Reform  Project  (PFMR‐II,  2011‐2017)  sought  to  enhance  public  financial  management  by  strengthening  Afghanistan’s  procurement,  treasury,  and  audit  systems.  A  revenue  mobilization component was added to the project in 2016. The project was completed in 6.5 years at a total cost  of  $106.2  million,  which  included  a  three‐year  extension  and  $41.13  million  additional  financing.  The  project  achieved measurable results across the targeted areas in a challenging context.     Procurement  –  A  National  Procurement  Commission  and  National  Procurement  Authority  were  established  during the project. This was a two‐dimensional reform model which addressed political and technical dimensions  of procurement reform and has proven beneficial in the fight against corruption.      Treasury ‐ The implementation of an upgraded Afghanistan Financial Management Information System (AFMIS)  was  completed,  providing  real‐time  access  to  financial  data  allowing  organizations  to  manage  budgets  and  financial transactions. The AFMIS is built around a centralized payment‐processing model, in which all budget  executions are managed at the Central Treasury in Kabul, and the ‘Mustofiats’ in the provinces.     Audit  ‐  The  project  provided  employees  with  training  in  Internal  Audit  through  the  Professional  Certification  Program (PCP), raising employee skills and abilities within the Ministry of Finance (MOF) and the line ministries.  External audit coverage increased, including coverage of on‐budget donor financing.     Revenue ‐ The Afghanistan Revenue Department adopted a new organizational structure. Risk‐based compliance,  audit, legal and HR reforms were either fully completed or are at an advanced stage. The decline in domestic  revenue collection was reversed and revenues have recovered.     As  a  result  of  the  outcomes  achieved  under  these  project  components,  donor  confidence  in  procurement,  treasury and audit systems grew. At the time of project design, approximately $1.8 billion of donor financing was  off budget. By the end of the project, 65% of this baseline off‐budget ODA was shifted on‐budget.    The  lessons  learned  in  this  project  will  inform  similar  operations  in  the  sector  in  Afghanistan  and  in  other  countries.  For  example:  (i)  reducing  aid  dependency  requires  a  long‐term  transition  plan;  (ii)  the  shift  from  projects to programs should be planned from the outset; and (iii) PFM is a key ingredient for a transition to on‐ budget support, and (iv) in a fragile context, activities should be primarily driven by problem solving, rather than  international best practices.    While project objectives  have largely  been  met, the sustainability of some activities remains a challenge. For  example, while the project successfully transitioned many tasks from advisors to government employees, many  of those employees are paid a significant premium through donor funding.     Even though the project has met and is likely to meet all its targets, the overall outcome is rated as ‘Moderately  Satisfactory’,  because  of  separate  outcome  ratings  based  on  the  share  of  actual  disbursements  made  in  the  periods before and after the restructuring.    Page 5 of 68 The World Bank Public Financial Management Reform II (P120427) I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES    A. CONTEXT AT APPRAISAL  Context  1. Building an effective state was at the heart of the reconstruction effort in Afghanistan at the time of  project  design.  After  decades  of  war  and  civil  strife,  Afghanistan  remained  fragile  and  security  was  a  serious  obstacle  to  the  implementation  of  reconstruction  programs.  Strengthening  public  financial  management  to  accelerate aid utilization, deliver faster and better services, and to improve transparency and accountability of  public expenditure was a priority for the government from the outset of reconstruction.     2. The Government had made progress in establishing its Public Financial Management (PFM) system by  the time of project design. The legal framework underpinning financial management was established with the  adoption of the PFM law in 2005. Over the period that followed, international firms were engaged to support  the Treasury Department, the former Afghanistan Reconstruction and Development Services (ARDS), and the  Control and Audit office (CAO) in the areas of treasury operations, procurement, and audit.     3. While  this  progress  was  encouraging,  Public  Expenditure  and  Financial  Accountability  (PEFA)  Assessments in 2006 and 2007 highlighted important PFM weaknesses.  Critical actions were proposed in the  following areas: (i) development of PFM capacity in the line ministries (outside MOF); and (ii) strengthening of  internal  and  external  audit  capacity,  including  formal  academic/professional  training;  and  revision  of  legal  foundation based on international standards.    4. The macroeconomic context provided a significant challenge during project implementation.  Economic  growth averaged 9.4 percent per year from 2003 to 2012 and key social and infrastructure indicators, including  school enrollment, life expectancy, and access to water improved. However, economic growth fell sharply to 1.5  percent in 2014 following an international military transition and a fiscal crisis unfolded with declining revenues  leading to depleted cash reserves and accumulation of arrears.     Rationale for the Project    5. During the reconstruction period, support for the PFM was coordinated between multiple donors. The  Bank led provision of technical assistance in Treasury, Procurement, and Audit. USAID, US Treasury, DFID, UNDP,  and  ADB  provided  assistance  for  budget,  revenue  management,  and  decentralization.  The  government  and  donors requested that the project be financed under ARTF with IDA providing supervision and implementation  support  as  it  represented  a  natural  continuation  and  deepening  of  reforms  supported  by  prior  IDA  grant  operations. After another donor concluded financing for support for revenue management, this component was  added to the project.     6. Building  core  PFM  capacity  in  the  government  was  a  key  component  of  the  Bank’s  interim  support  strategy for Afghanistan. The Bank had gained valuable insight on PFM issues in Afghanistan through the IDA‐ funded  technical  assistance  projects  and  through  extensive  analytical  work  on  PFM.  The  Bank  was  well‐ positioned  to  assist  the  government  in  implementing  the  PFM  Roadmap  that  called  for  reforms  to  ensure  efficient, transparent and accountable use of public resources, increase aid absorption capacity and secure on‐ budget donor aid, and improve development outcomes.  Page 6 of 68 The World Bank Public Financial Management Reform II (P120427) Theory of Change (Results Chain)  7. The  original  project  development  objective  was  “to  strengthen  the  efficiency  and  effectiveness  of  Afghanistan’s  procurement,  treasury,  and  audit  systems  to  ensure  transparent  use  of  public  resources.”  The  project  was  divided  into  four  components  to  meet  this  overall  objective:  procurement,  treasury,  audit,  and  reform  management.  This  fourth  component  supported  improvement  in  monitoring  and  management  of  technical assistance and human resources in the MOF. Addressing these areas of reform together was seen as a  complementary approach that would strengthen PFM throughout the budget cycle within the context of support  provided by other donors. Consequently, a Results Framework was prepared which articulated project’s pathway  from planned interventions to the intended outcomes. The logic of this results chain was valid and prudential.  See diagram below:    Theory of Change  PDO: to strengthen public financial management through effective procurement, treasury and audit structures and systems  Strengthen Procurement Efficiency    Activities  Outputs  PDO/Outcomes  o Consultancy Services for PFC to  o Procurement Law passed by the  o Implementation of Procurement Reform Framework to  assist ARDS  Parliament   achieve more economical public procurement and greater  o Capacity Building in line  o Procurement rules of procedures  transparency  ministries and Provinces  approved, including debarment,  o Ministries fully capable of independent procurement  o Institutional Development for  appeal and review, domestic and  processing and facilitating transparent utilization of donor  legal framework  foreign preference policy, and zero  resources for reconstruction and development  corruption tolerance policies  o Procurement capacity built in Line Ministries and Provinces    o Procurement regulation and oversight strengthened;   o Procurement responsibility transferred to all Line Ministries  Underlying Assumptions: These outcomes will result in more economical public procurement and greater transparency Strengthen Treasury  Activities  Outputs  PDO/Outcomes  o Treasury Operations Support and  o FMIS Maintenance and  o Improved Treasury procedures to achieve full benefits of  System Development Activities  Enhancement in all line ministries  enhanced AFMIS  o Treasury HR Capacity Building  and provinces    Activities   o Production of Qatia (statutory govt.  o Professional Accounting  FM statements)  Organizations Development  o Moving to web based freelance  Version 7  Underlying Assumptions: These outcomes will result in High level PFM performance with improved capacity  Strengthen Audit System  Activities  Outputs  PDO/Outcomes  o Capacity Building Activities  o Professional Certifications:   o Improved "Internal” and “External” Audit coverage   o Institutional Development  o 50 Internal Auditors    o IT Support  o 20 Fraud Examiners  o 10 IS Auditors  o 20 Project Mgmt. Professionals    Underlying Assumptions: These outcomes will result in sound standards of monitoring, reporting and control  Project Development Objectives (PDOs)  8. The  original  project  development  objective  was  “to  strengthen  public  financial  management  through  effective  procurement,  treasury  and  audit  structures  and  systems”  in  line  with  sound  financial  management  standards of monitoring, reporting and control.  Page 7 of 68 The World Bank Public Financial Management Reform II (P120427) Key Expected Outcomes and Outcome Indicators  Indicator Name  Baseline  End of Project Target  1.  Donors shift 20% of their off‐budget official      development assistance to Afghanistan to on‐ 0% (at $1.8 billion)  20% cumulative increase  budget  2.  PEFA ratings for internal audit improve to B  Rating of C: coverage under 50%, not  75% cumulative coverage of expenditure  done to recognized standard and no  and 75 % revenue done to recognized  action by management  standard and responses given to all  audits done by MoF and action taken on  most  3.  PEFA ratings for external audit improve to B  Rating of C: coverage under 50%, not  75% cumulative coverage of expenditure  done to a recognized standard and no  done to an acceptable standard and  evidence of follow‐up  evidence presented of follow‐up  4.  At least 50% of procurement under the    Procurement under these should equal  budget is done by line ministries conducting  Two ministries  50% of procurement   stand‐alone procurement       5.  Increased number of functions carried out      by regular ministry staff that were previously  0  20 separate functions in MOF     carried out by contracted staff    Components  9. Component 1: Procurement Reform (Original estimated cost: $21.47 million; actual cumulative cost  $32.46 million): The component provided support to build procurement management capacity throughout the  government and institutional capacity in the public and private sectors.  There were three sub‐components:    Sub‐component  1.1  ‐  Procurement  Facilitation:  The  activities  included  consultancy  services  of  a  Procurement  Facilitation  Consultant  (PFC)  to  assist  the  ARDS  in:  (i)  processing  civilian  on‐budget  public  procurement;  (ii)  completing procurement regulatory and institutional frameworks; and (iii) capacity building through knowledge  transfer to staff in the Line Ministries.      Sub‐component 1.2 ‐ Capacity Building: The activities included (i) support to the former Procurement Policy Unit  (PPU) and Afghanistan Civil Service Institute (ACSI) to lead capacity building and institution building activities;  and (ii) deployment of three groups of procurement specialists in the Line Ministries to: (a) liaise with the central  authorities on training and support the application of training in operations; (b) act as procurement controllers  to  contribute  to  the  preparation  of  procurement  plans,  report  on  progress  and  coordinate  input  into  the  procurement management information system (PMIS); and (c) as procurement facilitators, assist on complex  procurement and accelerate budget execution.     Sub‐component  1.3  ‐  Institutional  Development:  Support  was  provided  to  complete  the  legal  framework,  preparing a collection of all relevant legal documents and for operation of the Appeal & Review Committee, and  training on dispute resolution. Support was also provided for designing an effective and strategic communication  and procurement disclosure policy to raise awareness, and to enhance and operate PMIS.    10. Component  2:  Financial  Management  Reform  (Original  estimated  cost:  $23.88  million;  actual  cumulative cost $39.84 million): The component supported high level PFM performance; and building staff and  institutional PFM capacity throughout government through training, systems development and process renewal.  There were four sub‐components:    Page 8 of 68 The World Bank Public Financial Management Reform II (P120427) Sub‐component  2.1  ‐  Treasury  Operations  and  Systems  Development:  Through  the  services  of  a  Financial  Management Consultant, support was provided to develop treasury functions and strengthen internal controls  and to provide counterpart training. Specific activities included establishment of a disaster recovery plan and  equipping the Afghanistan Financial Management Information System (AFMIS) IT back‐up facility.    Sub‐component  2.2  ‐  Human  Resource  Capacity  Development:  Support  was  provided  to  develop  job‐specific  certifiable finance and general skills of treasury and finance staff of MOF and the line ministries. Support was  also provided to develop a Treasury Communications Plan and to implement support reforms.    Sub‐component  2.3  ‐  Professional  Accountants  Organization  Development:  The  activities  included  support  to  establish the legal framework and structures for development  and regulation of the accounting and auditing  profession and for training of professional accountants in Afghanistan.    Sub‐component 2.4 ‐ Line Ministry PFM Assessments: This sub‐component financed a detailed review of internal  control and PFM performance of seven line ministries.    11. Component  3:  Audit  Reform  and  Performance  (Original  estimated  cost:  $24.70  million;  actual  cumulative  cost:  $34.27  million).  The  component  improved  public  sector  governance  through  nine  sub‐ components, grouped under the following Internal and External Audits:    Internal Audit: Through three sub‐components, support was provided for institutional reforms in the internal  audit and capacity building activities to improve management oversight. Support was also provided to develop  information systems and training in automated auditing tools.    External  Audit:  Through  six  sub‐components,  support  was  provided  for  capacity  building  and  carrying  out  of  independent reviews of on‐budget donor‐funded operations, including all operations under the budget of nine  line ministries over the project period. Additional support was provided for the Public Accounts Committee and  the purchase of the office and IT equipment for the new Chief Audit Officer.    12. Component 4: Reform Management (Original estimated cost: $2.95 million; actual cumulative cost:  $3.72  million).  The  component  supported  activities  to  improve    monitoring  and  management  of  technical  assistance  and  human  resources  in  MOF,  through:  (i)  strengthening  monitoring  and  evaluation  (M&E);  (ii)  strengthening MOF Human Resources (HR) Management Department; (iii) project management; and (iv) other  institutional strengthening and capacity building to strengthen M&E, HR management development, and project  executive  management  functions  in  the  MOF  in  addition  to  other  related  technical  assistance  and  analytical  work.  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION    Revised PDO, Results Framework, and PDO Indicators  13. Revised Project Development Objective: The PDO was revised to make it more specific and measurable  by  linking  it  to  the  PFM  Strategy  as  follows:  “To  further  strengthen  the  efficiency  and  effectiveness  of  Afghanistan’s procurement, treasury, and audit systems.”     14. Revised  Results  Framework:  During  implementation,  the  Results  Framework  was  revised  to  reflect  organizational  changes  in  the  government.  Most  notably,  the  National  Procurement  Authority  (NPA)  was  Page 9 of 68 The World Bank Public Financial Management Reform II (P120427) included  as  the  successor  organization  to  ARDS/PPU.  Changes  were  also  introduced  to  enhance  results  monitoring to reflect citizen engagement and gender issues.     15. Revised PDO Indicators: Revisions were introduced to audit reform indicators to eliminate any reference  to the Public Expenditure and Financial Accountability methodology. The new wording of the indicators focused  more on the quality and scope of audit coverage that was in the spirit of the original PDO indicators. A new, more  relevant indicator related to the Procurement Reform component, was introduced to replace the one that had  become irrelevant and difficult to measure. Another indicator was introduced on the theme of accountability  and  transparency  in  publishing  procurement  decisions.  The  indicator  pertaining  to  the  increased  number  of  functions  carried  out  by  regular  ministry  staff  was  further  refined  to  focus  on  the  development  and  implementation  of  plans  to  transit  posts  to  programs  such  as  Capacity  Building  for  Results.  The  Results  Framework and monitoring indicators were revised and updated as below:    Indicator Name  Baseline  End Target (2017)  Donors shift their off‐budget official development assistance      to Afghanistan to on‐budget.  0%  20%  Reduction in number of days taken by the National      Procurement Commission to dispose of cases presented to it.   10 days  7 days  Establish a database of, and publicly disclose, National      Procurement Commission decisions.  2 days  1 day  The Supreme Audit Office commences development of a  No Citizen  Preparation for citizen participation in audit  mechanism for citizen participation in audit.  participation in  during FY16 leading to development of  audit  mechanism for citizen participation in audits  and issuance of policy governing citizen  participation in public oversight of public funds  by June 30, 2017.  Increased number of functions carried out by regular ministry  Plans currently  Plan in place for FY17 to modify Tashkeel to  staff that were previously carried out by contracted staff.  work in progress  include functions currently undertaken by  national consultants. FY16 Plan implemented.  Improved coverage and quality of internal audit  49  50  Improved coverage and quality of external audit  49  75    16. Revised  Components:  The  original  components  were  not  revised  during  implementation.  However,  a  new component related to ‘Revenue Mobilization’ was added to the project design. DFID‐financed support for  revenue  concluded  in  2015,  and  follow‐on  assistance  was  requested  by  Government  and  donors  in  this  area  following a significant decline in revenues. This component complemented revenue mobilization targets under  the ARTF incentive program and the IMF program. The activities supported were related to the maintenance of  computerized tax systems (SIGTAS), the implementation of risk‐based compliance, preparation for value added  tax (VAT), and establishing a new organizational structure. The  new Revenue Mobilization component ($3.85  million) was added under the Additional Financing when another donor concluded its program in this area.   Other Changes:  17.  Additional  Financing  (AF):  Additional  Financing  of  $41.13  million1/  was  provided  to  finance  costs  associated  with  scaling  up  of  successful  activities  and  to  sustain  achieved  results  under  the  project.  The  government requested the Bank to develop a follow‐on project to support the implementation of key aspects of  the new PFM Strategy. The AF acted as a bridge to avoid any gap in the Bank’s PFM support and losing momentum  1 Effective on January 27, 2017  Page 10 of 68 The World Bank Public Financial Management Reform II (P120427) on key results that had been achieved under the project. The AF was also utilized to finance the new component  (Revenue Mobilization), which was at the top of the government’s priorities, requiring around $3.85 million.    18. Extension of Grant Closing Dates: The project was extended three times: (i) from the original December  31, 2014 closing to December 31, 2015, to provide the government more time to complete implementation of  ongoing activities; (ii) from December 31, 2015 to June 30, 2017 to give additional time to complete ongoing  activities, and to prepare AF for the project; and (iii) from June 30, 2017 to December 31, 2017, as some activities  were still unfinished and required additional time to be completed while a follow‐on project was prepared.     19. Revised Cost Estimate: With the inclusion of AF, the original costs were revised as below:    Comparison of Original Amount vs. Revised Costs by Component (US$ Million)  Overall    %         Percentag Original  AF  of Total  Revised   Components  % of Total   e  Amount  with AF  Total  Financing  1: Procurement Reform   21.47  29.4%  11.00  26.8%  32.47  28.4%  2: Financial Management Reform   23.88  32.7%  15.96  38.8%  39.84  35.0%  3: Audit Reform and Performance   24.70  33.8%  9.57  23.2%  34.27  30.0%       Comprising:                      Internal Audit   09.60  13.2%  4.07  9.8%  13.67  12.0%         External Audit   15.10  20.6%  5.50  13.4%  20.60  18.0%  4: Reform Management   2.95  4.1%  0.77  1.9%  3.72  3.3%  5: Revenue Mobilization   ‐  ‐  3.84  9.3%  3.84  3.3%  Total   73.00  100%  41.13  100%  114.13  100%  Rationale for Changes and their Implication on the Original Theory of Change  20. The  provision  of  AF  did  not  have  any  major  implication  on  the  theory  of  change.  In  fact,  it  provided  additional resources that contributed to more effective linkages in the result chains. It also addressed a shift in  complementary financing from other donors, as revenue was moved from DFID support into PFMR‐II.     II. OUTCOME    A. RELEVANCE OF PDOs  21. The relevance of the project development objective is rated as High. The PDO was relevant to the Bank’s  goals and donor‐supported PFM reform objective. It reflected government’s key priorities as given in the PFM  Roadmap presented at the Kabul Donor Conference in June 2010. The PDO remains highly relevant to the Country  Partnership Framework (2017‐20). The PDO was also in line with the government’s Strategic Plan, prepared by  MOF (as custodian of PFM), that proposed reforms to produce greater efficiency in managing public resources  and  maintaining  standards  for  oversight  and  governance.  The  strategy  called  for  a  participatory  process  and  regular  support  to  MOF  decision‐makers  to  ensure  alignment  of  actions,  improved  management  of  technical  assistance (TA), and regular contact and communications with partner ministries and agencies. However, two  gaps were identified in the coverage of PDO indicators. Treasury operations were not sufficiently covered by the  indicators and the addition of support for revenue mobilization with additional financing did not result in the  addition of any indicators.   Page 11 of 68 The World Bank Public Financial Management Reform II (P120427) B. ACHIEVEMENT OF PDOs (EFFICACY)  Assessment of Achievement of Each Objective/Outcome    22. Since  the  original  PDO  and  some  of  its  associated  outcome  targets  were  formally  revised  through  restructuring, separate outcome ratings have been weighted in proportion to the share of actual disbursements  made in the periods before and after the restructuring. Based on the two ratings, as shown Annex 7, the overall  achievement  of  the  project  is  rated  Moderately  Satisfactory.  The  project’s  achievements  in  terms  of  PDO  indicators before and after restructuring are given below:    Original Project   After Restructuring/AF  PDO Indicators  Target  Actual  Target  Actual  Plans currently work in  progress.   Plan in place for FY17 to  On target: Treasury has  1.  Increased number of  modify Tashkeel to  succeeded in transitioning some  functions carried out by  20 separate  include functions that  Plans work in  key functions from advisors to  regular ministry staff that  functions in MOF  are currently undertaken  progress  civil servants; NPA now carries  was previously carried out    by national consultants.  out key managerial functions  by contracted staff  Equivalent FY16 Plan  through civil servants and  implemented.  number of Tashkeel staff now  exceed the number of TAs.   2.  Donors shift their off‐ budget official  20% cumulative  62% cumulative  20% cumulative increase  65% cumulative increase  development assistance to  increase  increase  Afghanistan to on‐budget  Preparation for citizen  SAO has developed a  participation in audit  mechanism for citizen  during FY16 leading to  participation in audit / issued a  3.  The Supreme Audit  development of  policy governing citizen  Office commences  mechanism for citizen  participation in public oversight.  development of a  participation in audits  N/A  N/A  SAO has also developed the  mechanism for citizen  and issuance of policy  annual work plan for public  participation in audit  governing citizen  participation in audit process,  (New Indicator)  participation in public  and is organizing a one‐day  oversight of public funds  seminar for relevant  by June 30, 2017.  stakeholders    4.  Establish a database of,  and publicly disclose,  National Procurement  N/A  N/A  One  One  Commission (NPC)  decisions (New Indicator).  5.  Reduction in number of  days taken by the National  Procurement Commission  10 Days   7 Days  N/A  N/A  to dispose of cases  to dispose of cases  to dispose of cases  presented to it (New  Indicator).   75% cumulative  MOF IAD audits 50% of  6.  Improved coverage and  56% coverage of expenditure  coverage of  budgeted expenditure &  quality of internal audit  50 Audits  and 42% coverage of revenue  expenditure and  (for entities which  (Revised)  completed.  75% revenue done  collect) revenue 25%,  Page 12 of 68 The World Bank Public Financial Management Reform II (P120427) to recognized  within its mandate, as  standard and  per recognized standards  responses given to  such as International  all audits done by  Standards for the  MOF and action  Professional Practice of  taken on most.  Internal Auditing, issued  by the Institute of  Internal Auditors.   Unit of Measure = %  75% cumulative  coverage of  expenditure done  7.  Improved coverage and  to an acceptable  quality of external audit  74%  75%  71%  standard and  (Revised)  evidence  presented of  follow‐up  8.  % of procurement done  by LM using stand‐alone  50  48  N/A  N/A  procurement (Deleted)  9.  Number of functions  carried out by regular  20  17  N/A  N/A  ministry staff (Deleted)    23. Project  outcomes  before  Restructuring:  The  original  PDO  had  three  components.  “To  strengthen  the  efficiency  and  effectiveness  of  Afghanistan’s  (1)  procurement,  (2)  treasury,  and  (3)  audit  systems  to  ensure  transparent  use  of  public  resources.”  The  overall  theory  of  change  was  that  these  reforms  would  have  more  impact when implemented together, in concert with budget and revenue support provided by other donors.     24. Since effectiveness, the project performed well and disbursed nearly $68.72 million (94%) out of the total  original commitment of $73 million. Satisfactory progress was made on three of the five PDO Indicators. Overall,  the indicator on donor contributions to the budget was satisfactory (62% of baseline off‐budget ODA was shifted  on‐budget, against 20% targeted).    25. Outcome 1 – Procurement – Substantial: Standalone procurement capacity was satisfactory. Although the  NPC had 28 days to decide on a case in law, it was taking on average one week for a case to go NPC against seven  days targeted. NPA was carrying out key managerial functions through civil servants, meeting its planned target  in 2017. The NPA began posting all procurement on a single website, improving transparency.     26. Outcome 2 – Treasury – Substantial:   PDO indicators did not cover the implementation of the upgraded  treasury  systems.  However,  Treasury  was  successful  in  transitioning  some  key  functions  from  advisors  to  civil  servants, albeit civil servants paid a special premium (the National Technical Assistance (NTA) pay scale) leading  to gains in cost efficiency. Transaction time was reduced as ministries and agencies have been able to directly  access Treasury systems.     27. Outcome 3 – Audit – Modest: Only moderate progress was made on the internal and external audits2/ and  on the  development of the professional accountancy organization. The Professional Accountants  Organization  2 Mainly due to the change in the legal framework on internal audit and a delay in mobilizing technical assistance for the external audits  of the line ministries  Page 13 of 68 The World Bank Public Financial Management Reform II (P120427) Development sub‐component faced considerable challenges in establishing a legal framework and structure for  development and regulation of the profession and training of professional accountants. The draft Accountancy  Law  remained  pending  with  the  Ministry  of  Justice  for  approval  as  it  stayed  with  the  President’s  office  for  extensive discussions. Furthermore, the change of mandate of the Internal Audit Department adversely affected  the prospect of achievement of the PDO Indicator for internal audit.3 Regarding the external audit subcomponent,  while good progress was observed, there were delays in mobilizing TA for the external audits of the Line Ministries.     28. The project results framework and component activities were amended through restructuring and for  Additional Financing to accommodate the performance issues discussed above. Project performance was rated  ‘Moderately Satisfactory’ for PDO and Implementation Progress.    29. Project  outcomes  after  Restructuring:  After  restructuring,  PDO  had  three  components.  “To  further  strengthen the efficiency and effectiveness of Afghanistan’s (1) procurement, (2) treasury, and (3) audit systems.”  The overall theory of change remained the same ‐‐ these reforms would have more impact when implemented  together.    30. Progress after restructuring improved and most targets have been met. Overall, the indicator on shifting  off‐budget  official  development  assistance  on‐budget  met  its  target  ‐  65%  achieved  against  65%  targeted.  Additionally,  the  increased  number  of  functions  carried  out  by  regular  ministry  staff  previously  carried  out  by  contracted staff (consultants) met its target. Many functions of the MOF previously carried out by consultants are  now performed by civil servants. However, many positions continue to require special pay arrangements, and  consultants  continue  to  advise  on  key  functions  in  the  ministry.  It  is  not  clear  from  the  PDO  indicator  what  percentage of key functions of the MoF have been transitioned. This issue is discussed further in Lessons Learned.     31. Outcome 1 – Procurement – Substantial: The targets for procurement were met. Establish a database of,  and  publicly  disclose,  National  Procurement  Commission  (NPC)  decisions.  This  target  is  fully  met.  The  NPC  decisions are reported immediately after each session, against one day targeted. The NPA has made substantial  progress  in  improving  transparency  through  the  publication  of  tenders,  awards,  standard  bidding  documents,  debarments, decisions, and laws on a comprehensive website. Decision forms are available on the NPA website  within  the  same  day.  Reduction  in  number  of  days  taken  by  the  NPC  to  dispose  of  cases  presented  to  it.  This  indicator has exceeded its target. On average now, seven days is taken against seven days targeted. By law, NPC  has 28 days to decide on a case unless the package is submitted incomplete. In FY2017, the NPC held 51 weekly  meetings, approving 446 projects with a total value of $2.2 billion.      32. Outcome  2  –  Treasury  –  Substantial:  In  Treasury,  the  presence  of  civil  servants  has  increased  for  all  functions including FM activities, allotment and commitment, cash management, debt management as well as  AFMIS operation. Hiring of local Tashkeel staff is ongoing. As Treasury Department capacity increased, reliance on  external firms was reduced. No external firms have been contracted for treasury operations since 2014. However,  many civil servants with technical capacity in these areas continue to be paid special premiums. This is discussed  further  in  Lessons  Learned.  Development  partners  have  received  the  AFMIS  dataset  for  seven  fiscal  years,  providing for a detailed review of transactions (over 400,000 lines of data) and increased confidence in on‐budget  financing. This data has been used to improve third‐party monitoring such as employment verification to improve  public perceptions of the use of public resources. The web‐based system allows for real‐time access to live data  3 As a consequence of the amendment of Article 61, responsibility for internal audit remains a subject of discussion between MoF and  SAO.   Page 14 of 68 The World Bank Public Financial Management Reform II (P120427) eliminating previous delays in relaying information to ministries and agencies.     33. Outcome  3  –  Audit  –  Substantial:  The  Supreme  Audit  Office  (SAO)  commences  development  of  a  mechanism for citizen participation  in audit. This target is fully met. The SAO has issued a policy in this regard.  Improved coverage and quality of “internal audit”. This target is fully met. The progress was initially slower than  expected as limited audits were performed in the provinces due to factors outside of the control of the Bank;  however,  the  improved  expenditure  coverage  is  now  56%  and  improved  revenue  coverage  is  42%.  Improved  coverage and quality of “external audit”. This target is not fully met. The improved audit coverage now stands at  71% against 75% targeted. The SAO is presently working to increase the audit coverage.    34. Rating Before Project Restructuring (August 9, 2011 ‐ January 1, 2016):  The Efficacy before restructuring  is  rated  as  Modest.  While  there  was  satisfactory  progress  on  three  of  the  five  PDO  Indicators,  only  moderate  progress was achieved on internal and external audit aspects due to a change in the legal framework on internal  audit procedures and delay in mobilizing TA for external audits of the Line Ministries. As a result, the project team  continued  to  rate  the  project’s  performance  as  ‘Moderately  Satisfactory’,  for  both  PDO  and  Implementation  Progress.    35. Rating After Project Restructuring (January 2, 2016 – December 31, 2017): The Efficacy after restructuring  is rated Substantial. Despite political challenges, the project responded well by keeping its focus on developing  PFM systems in the Line Ministries and providing intensive training in procurement, financial management and  audit, across various government departments. Targets were mostly fully met, and in few areas, exceeded goals.    Justification of Overall Efficacy Rating     36. The overall efficacy is rated as Substantial. This is based on individual ratings of Relevance of PDO (High),  and Achievement of PDO (Substantial).    C. EFFICIENCY  Assessment of Efficiency and Rating  37. The  Efficiency  is  rated  as  Substantial.  The  implementation  of  the  project  is  considered  efficient.  An  economic analysis was not performed at appraisal and there is no original projection for the Net Present Value  (NPV)  or  Economic  Rate  of  Return  (ERR).  This  limits  the  extent  to  which  a  comprehensive  analysis  can  be  performed at the ICR stage. Credible economic benefit calculation leading to NPV and external rate of return is  challenging  with  broad‐based  PFM  reforms,  as  it  is  difficult  to  claim  attribution  to  all  downstream  benefits.  Nevertheless, an estimate of project costs and benefits is estimated in Annex 4. The main benefits of the project  include efficiencies gained from shifting ODA on‐budget and savings from efficiency of public procurement. The  shift  in  ODA  depended  on  implementation  of  all  project  components.  The  NPV  of  the  project  at  a  5  percent  discount rate is $1,021 million and at a 12 percent discount rate is $832 million. The EIRR is calculated at 236.5  percent. As discussed in the annex, this approach provides an indicative analysis only, as the outcomes supported  in this project cannot be solely attributed to project activities.    38. The project also yielded non‐financial benefits. Line Ministries are increasingly able to execute budget and  deliver services more efficiently and Government is increasingly empowered to manage and direct development  partner  resources  through  the  budget  cycle.  Procurement  is  more  transparent,  treasury  management  is  more  Page 15 of 68 The World Bank Public Financial Management Reform II (P120427) efficient  and  is  accessible  within  line  ministries,  and  audit  coverage  and  quality  has  increased.  Data  access  in  AFMIS is now real‐time, with no delays after data entry. These reforms have supported increased use of national  systems by donors with a higher proportion of ODA flowing through the budget. Capacity building of civil servants  to operate PFM systems has contributed to the sustainability of these systems. Below are the benefits realized  under various components:    Procurement Efficiency    39. Structural Efficiency: The procurement structure in the MoF and the Ministry of Economy was scattered  prior to initiation of reform. The of functions under the NPA, as one single regulatory body, resulted in an efficient  structure. Also, NPA acting as the Secretariat of the NPC has further strengthened the efficiency.    40. Efficiency in Accountability (Cultural Efficiency): Because of NPC oversight and the follow up activities by  NPA, there is more responsiveness and accountability within procurement entities and the Line Ministries.    41. System/Process  Efficiency:  By  law,  the  service  standard  for  NPC  to  decide  on  award  of  a  project  submission of documents is 28 days; however, track records show that award decisions are made more efficiently  and in less than 28 days. Moreover, Bid Evaluations are now done by procurement entities, which in the past were  an open‐ended process, which generally took more than two years. After the reform, the service standard is set  to be 30 days plus one‐time possibility of extension.    42. Savings,  Safeguarding  and  Contribution  to  Revenue:  The  establishment  of  the  NPA  has  resulted  in  increased confidence in national procurement systems. The use of unified Rules of Procedures required vendors  who participate in the bidding to settle their tax arrears as a condition of participation. This has positively affected  revenues.    43. NPA is also in early stage of initiating the assessment of Afghanistan’s readiness for, and implementation  of,  Electronic  Government  Procurement  (eGP)  as  part  of  the  government’s  vision  and  efforts  toward  e‐ governance.      Treasury Efficiency    44. The upgraded AFMIS is providing real‐time access to financial data which allows organizations to keep  track  of  their  budgets  and  financial  transactions.  The  web‐based  AFMIS  system  was  implemented  in  all  34  provinces  and  all  line  ministries  in  Kabul.  The  system  was  built  and  deployed  around  a  centralized  payment‐ processing model, where all budget executions are managed at the Central Treasury in Kabul and the ‘Mustofiats’  in the provinces.    45. Based on the continued efforts of Treasury General Directorate, local banks have been able to integrate  their systems with communication companies, which provide their customers with access to their salary accounts  by using mobile banking facility. This is particularly helpful in areas that do not have access to the bank branches.     46. The Pilot project of mobile banking started in Kapisa province in north of Kabul in July 2015, and the first  payment of salary to Afghan Local Police through mobile took place in August 2015. The new payment mechanism  is  greatly  appreciated  by  Afghan  Local  Police  leadership  and  the  funding  donor,  and  the  Combined  Security  Page 16 of 68 The World Bank Public Financial Management Reform II (P120427) Transition Command Afghanistan (CSTCA), as the process helps remove ghost employees and strictly limits the  payment of salary to a second party by capturing the employees fingerprint into the system.     Audit Reform and Performance Efficiency    47. The  project  supported  the  adoption  of  good  practices  in  internal  audit  through  the  adoption  of  the  Institute  of  Internal  Auditors  (IIA)  standards.  Manuals,  guidelines  and  similar  materials  have  been  developed,  resulting in a common approach to internal audit amongst audit professionals employed at the Ministries and the  Independent Directorates. Skills were improved through the Professional Certification Program (PCP) provided to  around  100  staff,  including  cadres  of  Internal  Auditors  of  the  MOF,  all  the  Line  Ministries  and  the  State  Administered Directorates.4/     48. This  program  has  resulted  in  immediate  cost  savings  for  government.  In  2017,  962  staff  were  trained  against 500 envisaged and 175 internal audits were performed per standards as compared with 34 envisaged. As  a result, out of $11.2 million collectable revenue, around $0.9 million was already recovered and deposited into  the government’s account. Similarly, 52 civil servants were terminated due to fraudulent activities.       Revenue Mobilization Efficiency    49. The revenue component was introduced to the project in 2016. Following a significant reduction during  the military transition, revenues recovered during project implementation, increasing 18% in 2016. In percent of  GDP, the revenues increased from 8.7% in 2014 to over 11% in 20165/, which may be attributed to the revenue  administration reforms, simplified returns filing requirements (5 steps to 3), functional appeals department, as  well  as  some  policy  reforms  undertaken  by  ARD  (increase  in  Business  Receipts  Tax  from  2%  to  4%,  and  introduction of a 10% fee on telecommunications in 2015). The decline and recovery of revenues is presented in  the chart below.   4 (i) Certified Internal Auditors (50); (ii) Certified Fraud Examiner (20); (iii) Certified Information Systems Auditor (10); and (iv) Project  Management Professionals (20).  5 Afghanistan’s fiscal year runs from approximately December 21 to December 20.  https://www.usip.org/publications/2017/02/revenue‐growth‐afghanistan‐continues‐strong‐future‐uncertain  Page 17 of 68 The World Bank Public Financial Management Reform II (P120427)   50. Notable achievements under this component are:   Domestic Revenues as  Percentage of GDP  A  clear  strategy  and  roadmap  developed  for  its  12% reorganization to sustain reforms;  11%  SIGTAS  implementation  in  all  major  tax  offices  in  10% Kabul  and  the  provinces  has  helped  progressively  9% 8% increase  transaction  volume  as  core  functions  are  7% automated;  6%  Fast‐track filing system completed to facilitate large  5% 4% taxpayers;  3%  Risk‐based audit implemented;  2% 1%  Local  capacity  built  in  ICT,  audit,  legal  and  HR  0% reforms;   Taxpayers’  awareness  and  education  program  Direct taxes Sales tax (BRT) conducted.    Customs duty Non‐tax revenues Other Factors    51. There were only two Task Team Leaders (TTLs) for the implementation period of the project. Both were  based in Kabul, which enabled them to maintain regular contact with the government and stakeholders.  This  factor  was  critical  for  providing  the  client  with  timely  and  consistent  technical  and  operational  support  and  capacity building, as well as facilitating project implementation significantly.    D. JUSTIFICATION OF OVERALL OUTCOME RATING  52. The overall outcome is rated as Moderately Satisfactory.  This is based on: (i) High rating for Relevance  of PDO (based on relevance at closing); (ii) Modest rating for Efficacy before restructuring; (iii) Substantial rating  for Efficacy after restructuring; (iv); Substantial rating for Efficiency (based on efficiency at closing). Using the ICR  Guidelines Annexes H and I, the overall outcome rating is (v) Moderately Unsatisfactory before restructuring; (v)  Satisfactory after restructuring. Annex 8 of this report presents the split rating calculation.     Split  Relevance of  Efficacy  Efficiency  Overall Outcome  Ratings  Development Objectives  Assessment  Assessment  Rating  Moderately  Before Restructuring  Modest  High  Substantial  Unsatisfactory  After Restructuring  Substantial  Satisfactory  Moderately  Overall Outcome Rating        Satisfactory    E. OTHER OUTCOMES AND IMPACTS  Gender  53. The  original  project  did  not  specifically  target  women,  however  during  restructuring;  changes  were  introduced in the Results Framework to include monitoring of gender involvement. Under the Audit Reform and  Performance component, internship programs targeting women were offered to 60 female graduates from the  MOF, four Line Ministries, and various Directorates. Under the Procurement Reform component, tailored courses  Page 18 of 68 The World Bank Public Financial Management Reform II (P120427) were offered to 3,024 personnel in the National Procurement Institute (NPI), which included 329 women (10%).  Similarly, under Financial Management Reform component, 527 Treasury employees were offered Masters and  Bachelor level courses of which 77 were female (15%).   Institutional Strengthening    Procurement  54. The  NPA  is  implementing  reforms  to  professionalize  and  digitize  public  procurement  to  address  corruption and enhancing accountability. These efforts are divided into the restructuring of procuring entities,  the  recruitment  of  procurement  professionals  and  the  professionalization  of  procurement  cadres  through  training.     55. Restructuring procurement entities ‐  Under the leadership of the Presidency, the NPA and the National  Procurement Institute (NPI) were established to lead these reforms. The NPA is the main body for strengthening  of procurement systems in Afghanistan. NPA staff, many of which are consultants, are being moved into the civil  service. The NPI works with 56 procuring entities to focus on capacity building activities.     56. Recruiting  procurement  professionals  ‐  To  professionalize  the  procurement  profession,  a  mass  recruitment of civil service staff was completed in 43 procuring entities of the government agencies. Out of 36,787  applicants, 8,175 completed written exams and 697 procurement professionals were hired.     57. Professionalization ‐  To build the capacity of the procurement profession, an intensive capacity building  program has been undertaken. The NPA staff was trained on World Bank procurement procedures. Key staff have  been selected to complete master’s degree in sustainable procurement contract management, e‐procurement,  and  supply  chain  management  in  various  countries  including  India,  Italy,  and  Afghanistan.  The  NPI  has  been  established  to  sustainably  continue  capacity  building  in  Afghanistan  by  providing  institutional  support  and  Training,  developing  a  training  curriculum  and  training  trainers.  Training  of  Trainers  has  been  completed  on  training techniques, procurement skills enhancement, and selected procurement topics. The NPI plans to conduct  regular  and  special  procurement  training  for  the  newly  hired  procurement  personnel  through  the  mass  recruitment.    Treasury  58. AFMIS has been upgraded and a web‐based payroll system was developed. Study visits were organized to  Timor‐Leste  and  Kosovo,  countries  which  have  upgraded  Free‐balance  system  to  the  web‐based  version.  Subsequently, MoF implemented the upgraded system in Afghanistan. Additionally, an electronic payroll system  was implemented. All 34 provinces now have unified payroll data for Treasury, including all the Line Ministries,  except the Ministry of Education.    59. Treasury  coverage  extended  to  Kabul  Municipality.  The  extension  of  AFMIS  to  Kabul  Municipality  has  improved efficiency and compliance. Payroll calculations have been automated. It now takes only a day to process  all  salaries  as  compared  to  ten  days  previously.  Legal  changes  to  rates  of  pay  have  now  been  implemented.  Workers who were not present were removed from the payroll, resulting in cost savings.     60. A capacity building program has been introduced for employees.  Treasury employees can pursue their  Bachelor’s  and  Master’s  degrees  in  Accounting,  Finance,  Business  Management  and  Computer  Science  after  working hours, with reimbursement of tuition costs. The scheme aims to increase self–reliance,  confidence and  Page 19 of 68 The World Bank Public Financial Management Reform II (P120427) skills of government staff and decrease the organization’s dependency on outside consultants. Over the past five  years, more than 600 employees have enrolled in the program and 260 employees have successfully completed  their course at universities across Afghanistan. As a result of this program, employees have been able to take on  progressively higher responsibilities. Under civil service rules, employees at Grade 5 and above require a degree  in  relevant  field.  As  a  result  of  this  program,  capacity  within  the  Treasury  Department  is  improving  and  core  functions have been carried out by staff (rather than consulting firms) since 2014.     Employees moving to higher positions within treasury/ MoF  40  Employees gaining higher positions in other ministries  10  Employees retaining positions post‐graduation course  210    61. Technical Support to Develop Afghanistan Accountancy law: The Accounting Law was developed and  approved with technical support from the project. The Afghanistan CPA was formed under the Professional  Accountants Organizations Development component.    62. Scholarship  programs  for  Association  of  Chartered  Certified  Accountants  (ACCA)  students:  MOU  were  signed with the Kabul University to establish an Accounting Department for curriculum development. A long‐term  contract with the University of Malaysia has also been signed for capacity development of lecturers.  So far, more  than  1,000  people  have  begun  the  process  of  qualifying  (around  a  third  of  them  women)  for  the  scholarship  program, which is encouraging in a country where less than fifth of the women over the age of 15 are in the  workforce.  Audit  63. Internal  Audit  ‐  Establishment  of  Internal  Audit  Committee:  The  Internal  Audit  Department  has  established an Audit Committee in the MOF. Technical Audit Manuals, Audit Tool Kits, step‐by‐step guidelines on  performing audits, including audit planning, programming, risk assessment, and preparing reports were provided.  Audit  report  template  based  on  5‐Cs  (criteria,  conditions,  cause,  consequence,  and  corrective  actions)  were  developed. Digitized audit reports were also introduced.    64. External Audit ‐  Institutional Development for SAO: Auditing standards with baseline for all audits were  provided; professionalized audit unit were set‐up in each department – grant audit, specific audit, local budget  audit, municipal audit. Twelve departments now have their own audit units; Audit follow‐up unit were established  to follow‐up on compliances issues; Citizen engagement in audit; Information dissemination, citizen consultation,  reporting fraud and investigation units have been established.    65. Support to Public Accounts Committee (PAC): The project supported establishment of PAC, which meets  daily. Once SAO submits report, PAC must approve it before the next budget.   66. The SAO has completed the entire audit of World Bank projects for the fiscal year 2015, and submitted  the report to World Bank and MOF. The SAO has completed the audit of Grants project and issued nine audit  reports for various line ministries.     Revenue  67. IT  System  Operational  Nationally:  The  implementation  of  Standard  Integrated  Government  Tax  Administration System (SIGTAS) has been completed in all major tax offices in Kabul and the provinces. Together  with the installation of the new system and procurement of the required IT equipment (laptops, desktops etc.),  the field staff were provided on‐the‐job training in effectively using the system. This has helped progressively  Page 20 of 68 The World Bank Public Financial Management Reform II (P120427) increase transaction volume as core functions are automated. As a result of this system, the reliability of taxpayer  information  has  increased  and  audit  and  enforcement  measures  have  been  reinforced  while  simplifying  procedures for taxpayers. This has underpinned an increase in revenues while supporting an improved business  climate.     68. Risk‐based  Audit  Introduced  in  the  Revenue  Department:  During  the  project,  operating  guidelines/manuals were developed; risk criteria were established; and compliance improvement plan and risk  register  were  finalized.  A  compliance  improvement  committee  was  established  to  provide  guidance  in  case  selection for audits. Performance Indicators have been developed to monitor performance over 3‐year period. As  a result of this reform, audit resources can be targeted on high‐risk taxpayers. This is supporting increased revenue  while supporting an improved business climate.   Other  69. The PFMR‐II Reform Implementation Management Unit (RIMU) supported initialization of good practices:  Since the outset of the project, the RIMU has supported training and policy development to institutionalize good  practices  developed  under  the  project.  At  the  provincial  level,  human  resource  policies  and  procedures  were  developed  and  training  on  these  policies  was  completed.  Policies  included  code  of  conduct;  merit  based  appointment; leave management; guidelines relatives’ employment; occupational health and safety; job rotation;  overseas  training  management;  performance  appraisal;  employment  incentives;  internship  policy;  policy  for  contracted staff employment; and policy for scholarship committee. Induction Manuals were prepared in three  languages – Dari, Pashto, and English. A “Questions Bank Book” was also prepared which was comprised of 2,700  questions on various subject matter, along with “answer‐key” from the MOF.  Poverty Reduction and Shared Prosperity  70. It is difficult to attribute the effect of the project on poverty reduction as it is an enabling function for  service delivery. The project provided tools to the government to better plan, execute and monitor the budget.  Improvements in internal and external audits provide better assurance on the use of budget and address waste  and abuse. The SAO has also started performance audits that evaluate economy, efficiency and effectiveness of  government  spending.  In  the  long  run,  the  project  would  benefit  the  poor  with  improved  public  finance  performance and investment in social sectors.  Other Unintended Outcomes and Impacts  71. The  number  of  approved  learning  providers  and  institutions  for  the  courses  offered  by  ACCA  has  increased from one to seven during project period, which is mainly attributed to the scholarships provided by the  project to ACCA students, which has led to more demand for this course. This increase in the supply of training is  likely to support the nascent accounting profession in Afghanistan.      III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION  72. In the context of weak public sector governance, the project preparation team recognized the challenges  of  implementation  and  prepared  the  project  design  with  sound  background  analysis  and  comprehensive  assessment of the government’s commitment. Lessons learned during the PFM operations in other jurisdictions  as well as from the ongoing operations, at the time, were also considered to assess potential risks and mitigation  measures.  Page 21 of 68 The World Bank Public Financial Management Reform II (P120427) Lessons Learned during project preparation    73. The ICR of the Public Administration Capacity Building Project (IDA‐H1440) highlighted several issues that  persisted under the then ongoing PFMR project that were considered in the design of this project. The issues and  lessons learned are as follows:    (i)  Inadequate  Human  Resources  Capacity  in  PFM:  Engaging  international  firms  and  local  consultants  to  perform basic PFM functions was a default strategy. Sustainability was difficult as local specialized advisors moved  from the ministries to work on projects outside the budget or in the private sector while civil servants could not  take over related duties.     (ii)  Durability  of  PFM  Reforms:  The  Government,  while  generally  dedicated  to  making  improvements,  has  taken unilateral action to reverse or restrain progress in the legal framework. Donor coordination around the ARTF  Incentive Program and consultations on the PFM Roadmap have led to firm commitments to maintain and improve  the legal framework.    (iii)    Limited  Automation  of  PFM  Processes:  The  prevailing  systems  to  support  service  delivery  were  largely  manual, and lacked some basic functions. The project supported the development of the related service delivery  administrative processes.     (iv)   Corruption  Risk:  The  country  environment  carries  high  risk  to  perceived  corruption.  Strengthening  of  procurement and audit of Public Accounts Committee should reduce this risk.     (v)  Internal  Audit:  Management  oversight  is  constrained  by  lack  of  effectively  operating  internal  audit  function, except in the MOF. Building internal audit capacity cannot be done in the short term so implementing the  approach  provided  in  the  Public  Expenditure  and  Finance  Law  which  entrusts  MOF  to  establish  internal  audit  throughout the government would be the most effective and expeditious route to establish the function across  government, while at the same time supporting the development of internal audit in the line ministries, where  feasible.     (vi)  External Audit: The external accountability of the executive must be strengthened. Many achievements in  PFM are discounted because there is little independent oversight or assurance that the reports and decisions of  the executive deserve credibility, particularly given the perception of rising corruption. A new legal framework,  training for members of a public accounts committee and training and technical support to the CAO are needed.     (vii)  Accounting Profession: There is a limited accounting and audit profession in Afghanistan due to an acute  shortage  of  qualified  professionals.  There  is  no  recognized  body  that  represents  or  promotes  the  profession  in  Afghanistan,  nor  regulation  of  the  profession.  Accounting  and  auditing  services  are  provided  by  expatriate  accountants,  without  any  oversight.  Support  is  needed  to  develop  the  capacity  of  accounting  and  auditing  in  Afghanistan and establish a sustainable structure of effective regulation and oversight of the profession.     74. Risks and Risk Mitigation Measures: During project preparation, the Bank’s task team identified key risks  and adopted appropriate mitigation measures. The overall risk rating for implementation was considered  high.  Based on the experience of the then ongoing IDA projects in Afghanistan, major challenges the project could face  were related to the capacity and coordination within the government and among donors, as well as delays in  procurement  or  mis‐procurement.  The  deteriorating  security  could  also  slow  down  implementation  and  discourage contractors from bidding, and agencies may not be able to source high level TA on a timely basis  and/or at reasonable cost. The project oversight and adequate Bank supervision helped address the issues that  Page 22 of 68 The World Bank Public Financial Management Reform II (P120427) arose  and  specific  steps,  including  long  lead‐times  and  engagement  of  specialist  support  for  procurement  addressed potential delays were considered. The project was designed to specifically address capacity issues in  accounting, auditing in general and PFM specifically.    75. Adequacy of government commitment: After decades of wars and civil strife, building an effective state  ‐ one that could provide security and services to the people ‐ was at the heart of the reconstruction effort in  Afghanistan. The government in this context made significant progress in establishing a functioning PFM system  under the direction of MOF, which is the single most crucial enabling factor for the budget implementation. The  legal framework underpinning PFM (Public Finance and Expenditure Management Law and Public Procurement  Law)  was  established.  Through  a  series  of  IDA  grant  operations,  the  government  had  engaged  specialized  international  firms  to  provide  direct  operational  support  to  the  Treasury  of  MOF,  the  ARDS  for  public  sector  procurement management, and the CAO for carrying out external audits for all IDA and ARTF funded operations  in Afghanistan.    B. KEY FACTORS DURING IMPLEMENTATION  Positive Factors  76. The government’s ownership of PFM reform program was noteworthy. Effective PFM remained of key  importance to the government as it openly promoted the reform agenda, proclaiming this was the backbone of  the country and that the government would support the agenda. Despite challenges of fragility, the government  was successful in making significant progress in establishing a functioning PFM system under the direction of the  MOF. In particularly, the support from the President of Afghanistan, as the head of the National Procurement  Commission, was a major positive factor during implementation.     77. As a follow‐on project, the agencies involved in the implementation of each component had experience  in implementing Bank projects and following Bank procedures.    78. The two task team leaders were based in Kabul, which enabled them to maintain regular contacts with  the government and the stakeholders. This facilitated project implementation significantly.     Negative Factors    79. Delays were experienced in the procurement of goods and consultancy packages as the government was  not able to prepare a timely and comprehensive procurement plan. Requests for procurement plan revisions  were  made  only  on  ad  hoc  basis  which  resulted  in  duplication  of  procurement  of  similar  items.  Had  these  packages been combined, the benefit from the economy of scale could have been realized.    80. In the NPA, staff faced implementation challenges because of non‐familiarity with Bank’s procurement  policies and procedures, which improved with time as the staff gained experience. Implementation was by close  coordination between the Bank and the RIMU and hiring of competent and professional staff familiar with Bank’s  procurement guidelines.     81. Because of the country’s unstable and volatile security concerns, field visits outside of Kabul were difficult  or impossible. Similarly, because of fragile country environment, interest from foreign contractors for bidding  contracts  remained  limited  which  resulted  in  the  Bank  adjusting  procurement  methodology  aligning  to  the  Page 23 of 68 The World Bank Public Financial Management Reform II (P120427) market realities during implementation.    82. Revenue mobilization was relatively a new component and experienced implementation delays because  of  inadequate  coordination  between  MOF  and  ARD;  staff  turnover;  and  low  capacity  of  staff  in  handling  procurement complexities.    IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design  83. M&E  Design:  The  project’s  Results  Framework  was  prepared  as  per  the  Bank’s  guidelines.  The  PDO  indicators and targets were compatible with the government’s approach, donor inputs, and overall PFM reforms  agenda. This approach ensured that M&E framework was grounded in reality and evolved during the reform  process. Additional changes in the Results Framework were introduced through project restructuring to enhance  monitoring.   M&E Implementation  84. M&E  Implementation:  The  project  was  subject  to  eleven  implementation  support  missions  that  monitored detailed progress and provided extensive support. The progress and the guidance was recorded in  the Implementation Status Reports (ISRs) and Aide Memoires. The task team regularly collected detailed data,  updated  progress  against  the  baseline,  and  highlighted  issues  for  the  Bank  management’s  attention.  Reform  Implementation and Management Unit (RIMU) was responsible for the M&E functions. The M&E specialists at  RIMU conducted M&E of the MOF strategic plan, with the focus on institutionalization of the system and creating  a permanent M&E Unit within the MOF. The RIMU regularly reported to the MOF’s top management, to the  Steering Committee, and the Bank on the project progress  M&E Utilization  85. M&E Utilization: Based on the analyzed M&E data, the Bank successfully restructured (Level 2) thrice,  on September 2014; December 2015; and April 2017. The project’s Results Framework was also revised to align  PDOs  with  actual  delivery  and  project  outcomes.  Data  was  also  used  to  analyze  reasons  for  implementation  delays and appropriate corrective measures were taken where necessary.  Justification of Overall Rating of Quality of M&E  86. The overall quality of M&E is considered Substantial.  The M&E design was flexible, because of which  the  project  team  adequately  adjusted  indictors  and  target  values  during  implementation.  M&E  reports  were  prepared in a timely manner to keep track of project status at any given time.    B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE    87. The Environmental and social safeguards compliance: The project did not include activities that involved  significant  social  risks  or  dealt  directly  with  the  population  at  large.  The  project  financed  consulting  services,  goods, training and workshops. No civil works or activity that could have negative environmental implications  was undertaken. The project was classified as Category C.    Page 24 of 68 The World Bank Public Financial Management Reform II (P120427) 88. Fiduciary Compliance: The project complied with all fiduciary covenants during implementation. Internal  control arrangements were put in place, and adequate financial management, procurement, and disbursement  systems were maintained.    89. Financial Management: The financial management performance rating for the project is ‘Satisfactory’.  The  FM  Manual  (updated  and  revised,  by  RIMU,  when  necessary),  incorporated  necessary  internal  control  guidelines using country finance system. The internal controls of the project worked as intended. All key project  staff attended a training workshop to fully understand the approved Manual. The quarterly interim unaudited  financial  reports  were  submitted  to  the  Bank  on  time.  The  final  audit  for  the  project  was  carried  out  by  an  internationally  affiliated  firm,  in  full  compliance  with  the  international  standards.  The  auditors  expressed  ‘unqualified audit opinion’ on the financial statements of recent years, which indicates financial statements gave  a true and fair view on the financial state of the project.    C. BANK PERFORMANCE  Quality at Entry  90. The overall quality of Bank performance in ensuring quality at entry was Satisfactory. The identification  team focused on the gaps and opportunities for interventions in Afghanistan’s public sector to reach efficiency  and  transparency  targets  of  similar  transforming  countries  in  the  region.  During  project  preparation  and  appraisal, the Bank considered the adequacy of project design and all major relevant aspects, including technical,  financial,  institutional,  and  procurement.  Major  risk  factors  and  lessons  learned  from  earlier  projects  were  considered and incorporated into the design.  The project was well grounded in the realities of Afghanistan, its  problems  in  the  public  sector,  and  was  well‐focused  on  developing  PFM  systems  in  the  line  ministries.  An  experienced and committed task team was constituted to provide technical support to the project, which was  critically important, given that FMIS implementation is complex and challenging.  Quality of Supervision  91. The quality of supervision was Satisfactory. The Bank’s full team included the TTL, technical experts,  FM and procurement specialists, and consultants who consistently engaged closely with the counterparts,  particularly with the MOF, the Procurement Committee and the Public Accounts Committee. The task team  responded appropriately and timely to the government’s requests. The Bank’s technical and fiduciary teams,  including FM and procurements teams, provided regular support to focus on maximizing project's development  impact, which resulted in adjustments, including project restructuring, additional financing, and extending the  project closing date. As part of this support, extensive sector expertise was provided. For example, the Bank  team provided detailed, high‐value technical guidance through FMIS procurement, indispensable to the success  of the project. Extensive, in‐depth, hands‐on support, including accounting entry details and business processes  analysis in some areas, was also provided. The project team utilized resources adequately, with the scaled‐up  project funds and the revised indicators, and conducted regular supervision missions, on average every six  months, to take stock of progress. ISRs were candid, detailed and well targeted to outline important events and  formulate clear and complete picture. The team also produced clear and detailed aide‐memoires.  Justification of Overall Rating of Bank Performance  Rating: Satisfactory   92. With  a  Satisfactory  rating  for  quality  at  entry  and  a  Satisfactory  rating  for  quality  of  supervision,  the  overall Bank performance is considered Satisfactory.  Page 25 of 68 The World Bank Public Financial Management Reform II (P120427)   D. RISK TO DEVELOPMENT OUTCOME  93. The project supported a partial transition from external provision of key functions to civil service delivery  of key functions. While reliance on external consultants is gradually being reduced, this transition is incomplete.  Consultants continue to provide key services throughout the PFM cycle. For example, MOF has indicated that  technical staff working in the Internal Audit Department (IAD) are required to continue providing guidance on  technical issues. In another example, 75 national advisers in NPA that are currently under contract have not yet  been absorbed as civil servants.    94. Once  transitioned  into  the  civil  service,  sustainability  concerns  persist.  Many  of  the  staff  performing  technical work are paid significant salary top‐ups to the National Technical Assistance (NTA) rates of pay, which  are  significantly  higher  than  civil  service  compensation.  However,  without  measures  to  retain  technical  staff,  there  is  a  high  risk  of  not  sustaining  the  achievements  made  so  far.  Furthermore,  it  is  also  difficult  for  the  government to provide resources to sustain existing systems that have been developed, such as AFMIS, which  requires annual license payments.    V. LESSONS AND RECOMMENDATIONS    95. The project offers several important lessons, some specific to Afghanistan, and others that are broader  and generally applicable. These are summarized below:    96. Reducing aid dependency requires a long‐term transition plan. Under PFMR‐II, a gradual transition was  made  from  reliance  on  external  firms  to  manage  procurement,  treasury,  and  audit  functions  to  the  use  of  government systems and personnel for these functions. Comparing the outcomes of this project with the ICR of  the previous project (see page 21) illustrates this significant transition. Nevertheless, sustainability remains the  primary risk to development outcomes, as the transition of consultants to the civil service is not complete and is  uneven between partner institutions. The NTA rates of pay of technical staff remains a significant affordability  challenge, which is being addressed under other IDA projects. PFMR‐II would have benefited from a stronger  long‐term transition plan with clear principles to guide and accelerate this transition. The urgent request for a  follow‐on project (with no gap in support) illustrated that dependency on external support continues.     97. The  shift  from  projects  to  programs  should  be  planned  from  the  outset.  PFMR‐II  did  not  outline  a  pathway from a standard IPF project to a ‘deprojectized’ programmatic approach. As a result, the orientation of  partners  remained  firmly  grounded  in  project‐based  modalities.  Moving  from  this  modality  requires  the  institutionalization of functions performed by consultancies. Although some functions have been moved from  consultants to the civil service, the extensive use of NTA salary top‐ups retains the dependency characteristics of  previous arrangements. A longer‐term plan for the introduction of professional cadres and outsourcing of some  technical functions could be examples of a longer‐term plan that could guide a more sustainable transition.     98. PFM  is  a  key  ingredient  for  a  transition  to  on‐budget  support:    By  building  government  capacity  in  procurement,  treasury,  and  audit,  this  project  contributed  to  increased  confidence  in  the  use  of  on‐budget  systems.  An  increasing  proportion  of  ODA  was  channeled  through  government  systems,  including  by  donors  previously reluctant to use government systems. The lesson here is that a sound PFM system must be one of the  first priorities of a fragile state.  Page 26 of 68 The World Bank Public Financial Management Reform II (P120427)   99. In a fragile context, activities should be primarily driven by problem solving, rather than international  best practices. In large part, this was the approach adopted by the project to address the key problems identified  by government partners in procurement, treasury, audit and revenue. However, at the margins of the project, it  is unclear that some ‘best practices’ implemented by the project were relevant. For example, it is unclear that  inclusion  of  citizen  participation  in  audit  during  the  project  restructuring  was  relevant  in  Afghanistan,  where  citizen capacity to participate is severely impaired. An additional example is the relevance of the PEFA ratings  originally included in the PDO indicators. It was not clear that a change in specific PEFA ratings would address the  most pressing PFM challenges in the context of Afghanistan, and the indicators were modified to be more tailored  to the context.     100. A mix of policy and investment programming can accelerate reforms.  While this may be an obvious  lesson, it was critical to the success of some elements of this project. For example, the revenue targets included  in the ARTF Incentive Program (DPG) generated demand for technical assistance to rapidly implement reforms.  Fiscal reliance on policy grants resulted in high‐level interventions to ensure project bottlenecks were rapidly  resolved.     101. Flexibility  is  needed  in  Bank’s  engagement  to  respond  to  emerging  priorities:  Although  high‐level  ownership  ensures  continuity  of  reforms  over  medium  term,  some  flexibility  is  required  to  timely  mobilize  assistance  (or  reallocate  idle  funds)  in  areas  of  emerging  priorities.  It  is  also  important  to  ensure  inter‐ departmental (between MOF and ARD) and intra‐departmental (between HQ and regional offices) coordination.   The Bank team need to show flexibility and willingness to go beyond usual supervision mode and provide regular  mentoring/training in the procurement and other areas.     .    Page 27 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS           A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: To strengthen public financial management through effective procurement, treasury and audit structures and systems in line with  sound financial management standards of monitoring, reporting and contro  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Donors shift their off‐budget  Percentage  0.00  60.00  20.00  65.00  official development  assistance to Afghanistan to    01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017  on‐budget.    Comments (achievements against targets): Target achieved. Based on updates from the Aid Management Directorate, on‐budget development assistance  as of December 6, 2017, donors' assistance development budget has changed to 65%         Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Reduction in number of days  Days  10.00  7.00  7.00  7.00  taken by the National  Procurement Committee    31‐Oct‐2015  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017  (NPC) to dispose of cases  Page 28 of 68 The World Bank Public Financial Management Reform II (P120427)   presented to it.    Comments (achievements against targets): Target achieved. The NPC has shown strong performance with an average of 7 days for cases to be processed.  The NPC has held 125 sessions as of Nov 27th, 2017, and has reviewed over 2800 cases worth 440 billion AFN. Out of the reviewed cases, 2435 cases have  been approved worth 399.6 billion AFN. The savings stand at 18.3 billion AFN and more than 50 billion AFN have been safeguarded that could have been  wasted. NPA has completed design of an online mechanism for tracking submitted cases to NPC. This mechanism will create user accounts for PEs, NPC  members and even Donor agencies to track submitted cases and share comments and information.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Establish a database of, and  Days  2.00  1.00  1.00  1.00  publicly disclose, National  Procurement Committee    01‐Dec‐2015  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017  (NPC) decisions.    Comments (achievements against targets): Target achieved. A database has been prepared for NPC and made public on the website. The NPC decisions  are reported immediately the next day after the NPC meetings. All NPC decisions are public on NPA website in a tabulated format.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  The Supreme Audit Office  Text  No citizen  Preparation for citizen  Preparation for citizen  SAO has developed a  commences development of  participation in audit  participation in audit  participation in audit  mechanism for citizen  a mechanism for citizen  during FY16 leading to  during FY16 leading to  participation in audit /  participation in audit.  development of  development of  issued a policy  mechanism for citizen  mechanism for citizen  governing citizen  participation in audits  participation in audits  participation in public  and issuance of policy  and issuance of policy  oversight. SAO has  governing citizen  governing citizen  also developed the  Page 29 of 68 The World Bank Public Financial Management Reform II (P120427)   participation in   participation in public  annual work plan for  13 public oversight pf  oversight pf public  public participation in  public funds by June  funds by June 30  audit process, and is  30  2017.  organizing a one day  seminar for relevant  stakeholders.    01‐Dec‐2015  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved. SAO developed the citizen's participation mechanism in audit process in 2016 and developed  an annual plan for its implementation in 2017.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increased number of  Text  Plans currently work  Plan in place for FY17  Plan in place for FY17  Plans currently work  functions  carried out by  in progress.  to modify Tashkeel to  to modify Tashkeel to  in progress. On target:  regular ministry staff that  include 12 functions  include functions that  Treasury has  were previously carried out  that are currently  are currently  succeeded in  by contracted staff.  undertaken by  undertaken by  transitioning some key  national consultants.  national consultants.  functions from  Equivalent FY16 Plan  Equivalent FY16 Plan  advisors to civil  implemented.  implemented.  servants; NPA now  carries out key  managerial functions  through civil servants  and number of  Tashkeel staff have  crossed over no of TAs  comparatively  meaning that Tashkeel  Page 30 of 68 The World Bank Public Financial Management Reform II (P120427)   staff are more than  the TAs compared to  the previous year in  which TA was way  more than Tashkeel  staff, so NPA has  made significant  progress in its  Tashkeel agenda.    01‐Dec‐2015  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Improved coverage and  Number  49.00  50.00  50.00  30.00  quality of internal audit.    01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved. The internal audit covers 56 percent of expenditure and 42 percent coverage of Revenue.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Improved coverage and  Number  49.00  75.00  75.00  71.03  quality of external audit.    01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017    Page 31 of 68 The World Bank Public Financial Management Reform II (P120427)   Comments (achievements against targets): This target is partially achieved. During 1395 SAO covered 71.03% of annual government expenditure. Of this  47.62% was covered by central budgetary audit directorate and 23.41% was by local budgetary audit directorate. The SAO is presently working to increase  the number of the audit coverage. Fiscal Year 1396 ended on December 21, 2017 and SAO completes the audit within 6 months of the close of the fiscal  year i.e. June 21, 2018. The audit is underway and audit reports will be submitted to the legislature by June 21, 2018            A.2 Intermediate Results Indicators        Component: Component 1: Procurement Reform   Component 2: Financial Management Reform   Component 3: Audit Reform and Performance          Internal Audit          External Audit   Component 4: Reform Management     Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Legal framework, legal  Text  Legal framework in  Semi‐annual report on  Semi‐annual report on  The committee  documentation and  place but not  Appeal and Review  Appeal and Review  successfully started  disclosure policy completed  operational  Committee activity.  Committee activity.  operation in early  and Appeal and Review  Debarment notices, if  Debarment notices, if  September 2015. As of  Committee and the dispute  any publicly disclosed.  any publicly disclosed.  Nov, 2017, the ARC  resolution system is  has received and  functioning  reviewed 650 cases.  81 Debarment notices  are updated weekly  Page 32 of 68 The World Bank Public Financial Management Reform II (P120427)   and published in a  separate section on  NPA website.  Debarment  Committee online. As  of Nov 2017, 213  Debarment Cases had  been received, out of  which 145 have been  debarred, 35 have  been rejected, and 33  are under debarment  process.  A half yearly Appeals  and Review  Committee disclosure  report for each period  now needs to be  published in  accordance with the  agreed PDO indicator.  A comprehensive  section on ARC will be  included in NPA’s  Annual Report        01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017    Page 33 of 68 The World Bank Public Financial Management Reform II (P120427)   Comments (achievements against targets):         Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of line ministry and  Number  0.00  7800.00  7800.00  7938.00  mustofiats procurement staff  completing duty‐specific    01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017  procurement training.    Comments (achievements against targets): Target achieved. As of Nov 2017, NPA has provided training to 3024 staff of line ministries.  Number of Male Staff Trained: 2695  Number of Female Staff Trained: 329  2354 Staff have been trained in Kabul and 670 staff in 14 Provinces        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Numbers of human resource  Number  0.00  750.00  750.00  1809.00  management staff  completing duty‐specific    01‐Sep‐2011  30‐Jun‐2017  31‐Dec‐2017  31‐Dec‐2017  training in their respective  specialties    Comments (achievements against targets): Target achieved. Through the project life, several short and long term trainings were carried out in various  fields and specialties.  From the initial stage of PFMRII, RIMU has conducted numerous training programs across the ministry of finance (MoF) and Mustofiats) (Provincial level)  During the last two months (Oct, Nov) 16 trainings have been conducted at Kabul and provinces, in which 418 staff (375 male and 42 female) participated.  Page 34 of 68 The World Bank Public Financial Management Reform II (P120427)         Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  LM PFM assessment  Text  2 assessments  14 assessments  14 assessments  14  underway  completed  completed    01‐Sep‐2011  31‐Dec‐2015  31‐Dec‐2015  31‐Dec‐2017    Comments (achievements against targets): Target achieved.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of internal audits  Text  4  34  34  138. In FY 1395 115  done to acceptable  audits were  standards.  undertaken and in the  first quarter of 1396,  23 audits have been  undertaken. Total =  138    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Page 35 of 68 The World Bank Public Financial Management Reform II (P120427)   Number of external audits  Text  Just WB grant audits  All WB grant audits  All WB grant audits  SAO has completed  verified as done to  and 9 compliance  and 9 compliance  the audit of all World  international auditing  audits  audits  Bank ARTF projects for  standards  the fiscal year 2015,  and submitted the  reports to World Bank  and MOF. SAO is now  in the process of  conducting the audits  for fiscal year 2016.  The reports will be  submitted by end June  2017. SAO with the  assistance of its  contractor has, to  date, completed 9  audits in line  ministries (‐MOD,  MOI, MOE, MRRD in  first year‐ MOMP,  MOEW, MOHE in  second year‐ MAIL,  MOPW in third year) .       01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): This target was achieved      Indicator Name  Unit of Measure  Baseline  Original Target  Formally Revised   Actual Achieved at  Page 36 of 68 The World Bank Public Financial Management Reform II (P120427)   Target  Completion  Timely dissemination of in‐ Text  30 days from month  14 days  14 days  15 days  year budget execution  end  reports.    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved. The current figure of 15 days is the median. Reports are posted between 12 and 18 days.          Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  AFMIS upgrade to web based  Text  Web based version of  Implementation of  Implementation of  The AFMIS web based  version evaluated  AFMIS not  recommendations of  recommendations of  system (v7) is being  implemented  the assessment  the assessment  implemented in all  completed  completed.  budgetary units in  center and in  provincial mustofiats.  The first stage  activities as specified  in contract with  vendor were almost  complete as at 31st  March 2017.    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): The target has been achieved. Treasury has rolled out web based version 7.0 of the Free Balance      Page 37 of 68 The World Bank Public Financial Management Reform II (P120427)   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Legal framework and  Text  no legal or oversight  Training of  Training of  Target partially  structures for development  framework  accountants  accountants  achieved. The law has  and regulation of an  underway.Monitoring  underway. Monitoring  now been approved  accounting profession  Reports, detailing  Reports, detailing  by the Parliament but  drafted and  training plans  performance against  performance against  regulations are still in  for professional accountants  target to be split by  target to be split by  draft. The local  established  gender in order that  gender in order that  variants of tax and  baseline can be  baseline can be  company law are  established.  established.  being developed. The  Cabinet has approved  a new Accountancy  Law to establish the  legislative basis for a  regulated accounting  profession in  Afghanistan and  submitted the new  law to Parliament. It  has been approved by  the Lower House as  well as currently  waiting for approval of  Upper House. It is  expected that  approval will be  received before FY  1396. CPA Afghanistan  has offered 1,054  ACCA scholarships to  Page 38 of 68 The World Bank Public Financial Management Reform II (P120427)   develop auditing and  accountancy  profession in  Afghanistan. The  scholarships are  awarded to every  Afghan subject to  passing the papers.  Out of 1,054  scholarships 171  (17%) students are  female. CPA  Afghanistan is  planning to increase  the number of female  students in year 2018  deadline.    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): The target was partially achieved. The law has now been approved by the Parliament but regulations are still  in draft. The local variants of tax and company law are being developed.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Timeliness and quality of  Text  Audited Qatia  Qatia and Annual Cash  Qatia and Annual Cash  Qatia audit report for  annual audited financial  statements submitted  Based Financial  Based Financial  FY 1394 was  statements submitted to the  to National Assembly  Statements and info  Statements and info  submitted to the  legislature and donors  within 6 months of the  on liabilities, assets  on liabilities, assets  president and  close of the financial  and cash position  and cash position  parliament on  Page 39 of 68 The World Bank Public Financial Management Reform II (P120427)   year   submitted to the  submitted to the  31/3/1395 as per the  but they do not  legislature within 6  legislature within 6  legal requirement. The  include cash position  months of the close of  months of the close of  Qatia audit team is  of  the financial year.  the financial year.  currently auditing the  consolidated Qatia  controlled entities,  accounts of the fiscal  third party payments  year 1395. The Qatia  and information about  audit report is  assets & liabilities  completed and  submitted to the  national assembly and  president by:  31/3/1396.      01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved. The Bank has received audited financial statements of all projects and there has been an  improvement in the quality. SAO has been submitting the audited financial statements of the government to the legislature within 6 months of the close  of the fiscal year.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Disaster recovery plan and  Text  no plan in place  Disaster recovery plan  Disaster recovery plan  Disaster Recovery plan  testing  tested and in   tested and in  has been prepared.  19  place/implemented.  place/implemented.    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017  Page 40 of 68 The World Bank Public Financial Management Reform II (P120427)     Comments (achievements against targets): Target achieved. Disaster recovery plan is prepared and in place          Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number  of internal audit  Number  112.00  546.00  546.00  997.00  staff trained and accredited    01‐Sep‐2011  30‐Jun‐2017  30‐Jun‐2017  31‐Dec‐2017    Comments (achievements against targets): Target achieved.                     Page 41 of 68 The World Bank Public Financial Management Reform II (P120427) B. KEY OUTPUTS BY COMPONENT    Component 1: Procurement Reform (Original estimated cost: $21.47 million; actual cumulative cost $32.46 million): The component provided  support to build procurement management capacity throughout the government and institutional capacity in the public and private sectors.  There  were three sub‐components:    Sub‐component 1.1 ‐ Procurement Facilitation: The activities included consultancy services of a Procurement Facilitation Consultant (PFC) to assist  the ARDS in: (i) processing civilian on‐budget public procurement; (ii) completing procurement regulatory and institutional frameworks; and (iii)  capacity building through knowledge transfer to staff in the Line Ministries.      Sub‐component 1.2 ‐ Capacity Building: The activities included (i) support to the former Procurement Policy Unit (PPU) and Afghanistan Civil Service  Institute (ACSI) to lead capacity building and institution building activities; and (ii) deployment of three groups of procurement specialists in the  Line Ministries to: (a) liaise with the central authorities on training and support the application of training in operations; (b) act as procurement  controllers to contribute to the preparation of procurement plans, report on progress and coordinate input into the procurement management  information system (PMIS); and (c) as procurement facilitators, assist on complex procurement and accelerate budget execution.     Sub‐component 1.3 ‐ Institutional Development: Support was provided to complete the legal framework, preparing a collection of all relevant legal  documents and for operation of the Appeal & Review Committee, and training on dispute resolution. Support was also provided for designing an  effective and strategic communication and procurement disclosure policy to raise awareness, and to enhance and operate PMIS.    Component 2: Financial Management Reform (Original estimated cost: $23.88 million; actual cumulative cost $39.84 million): The component  supported  high  level  PFM  performance;  and  building  staff  and  institutional  PFM  capacity  throughout  government  through  training,  systems  development and process renewal. There were four sub‐components:    Sub‐component 2.1 ‐ Treasury Operations and Systems Development: Through the services of a Financial Management Consultant, support was  provided  to  develop  treasury  functions  and  strengthen  internal  controls  and  to  provide  counterpart  training.  Specific  activities  included  establishment of a disaster recovery plan and equipping the Afghanistan Financial Management Information System (AFMIS) IT back‐up facility.    Sub‐component 2.2 ‐ Human Resource Capacity Development: Support was provided to develop job‐specific certifiable finance and general skills  of  treasury  and  finance  staff  of  MOF  and  the  line  ministries.  Support  was  also  provided  to  develop  a  Treasury  Communications  Plan  and  to  implement support reforms.    Page 42 of 68 The World Bank Public Financial Management Reform II (P120427) Sub‐component 2.3 ‐ Professional Accountants Organization Development: The activities included support to establish the legal framework and  structures for development and regulation of the accounting and auditing profession and for training of professional accountants in Afghanistan.    Sub‐component 2.4 ‐ Line Ministry PFM Assessments: This sub‐component financed a detailed review of internal control and PFM performance of  seven line ministries.    Component 3: Audit Reform and Performance (Original estimated cost: $24.70 million; actual cumulative cost: $34.27 million). The component  improved public sector governance through nine sub‐components, grouped under the following Internal and External Audits:    Internal Audit: Through three sub‐components, support was provided for institutional reforms in the internal audit and capacity building activities  to improve management oversight. Support was also provided to develop information systems and training in automated auditing tools.    External Audit: Through six sub‐components, support was provided for capacity building and carrying out of independent reviews of on‐budget  donor‐funded operations, including all operations under the budget of nine line ministries over the project period. Additional support was provided  for the Public Accounts Committee and the purchase of the office and IT equipment for the new Chief Audit Officer.    Component 4: Reform Management (Original estimated cost: $2.95 million; actual cumulative cost: $3.72 million). The component supported  activities to improve  monitoring and management of technical assistance and human resources in MOF, through: (i) strengthening monitoring  and evaluation (M&E); (ii) strengthening MOF Human Resources (HR) Management Department; (iii) project management; and (iv) other  institutional strengthening and capacity building to strengthen M&E, HR management development, and project executive management  functions in the MOF in addition to other related technical assistance and analytical work.    Page 43 of 68 The World Bank Public Financial Management Reform II (P120427)   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION      A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Syed Waseem Abbas Kazmi, Adenike Sherifat Oyeyiola  Task Team Leader(s)  Rahimullah Wardak, Aimal Sherzad  Procurement Specialist(s)  Syed Waseem Abbas Kazmi  Financial Management Specialist  Shankar Narayanan  Social Safeguards Specialist  Mohammad Arif Rasuli  Environmental Safeguards Specialist  Irum Touqeer  Team Member  Raul Felix Junquera‐Varela  Team Member  Anand Kumar Srivastava  Team Member  Wazhma Khalili Raheem  Team Member  Najla Sabri  Team Member  Leah April  Team Member  Zohra Farooq Nooryar  Team Member  Pragya Shrestha  Team Member  Charles Victor Blanco  Team Member  Bernard James Haven  Team Member  Zakir Hussain Gulzari  Team Member  Shughla Hellali  Team Member                    Page 44 of 68 The World Bank Public Financial Management Reform II (P120427) B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY11  15.875  141,131.48  FY12  9.200  64,660.24  FY13  0   222.20  FY14  .600  4,039.92  FY15  1.400  9,494.64  FY16  0  4,440.00  Total  27.08  223,988.48    Supervision/ICR  FY12  .400  2,011.36  FY13  16.750  126,709.88  FY14  20.975  131,335.94  FY15  23.219  136,404.55  FY16  19.492  80,891.46  FY17  15.810  34,701.37  FY18  9.780  45,021.91  Total  106.43  557,076.47                 Page 45 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 3. PROJECT COST BY COMPONENT        Amount at Approval   Actual at Project  Percentage of Approval  Components  (US$M)  Closing (US$M)  (US$M)  Reform Management  0  3.72  0  Procurement Reform  0  32.46  0  Audit Reform and  0  34.27  0  Performance  Financial Management  0  39.84  0  Reform  Revenue Mobilization  0  3.84  0  Total     0.00   114.13     0.00          Page 46 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 4. EFFICIENCY ANALYSIS      1. The economic benefits of PFMR‐II are estimated below. An economic analysis was not performed  at appraisal and there is no original projection for the Net Present Value (NPV) or Economic Rate of Return  (ERR).  This  limits  the  extent  to  which  a  comprehensive  analysis  can  be  performed  at  the  ICR  stage.  Additionally, the project targeted institutional outcomes, such as public transparency, which may have  non‐economic benefits that cannot be quantified.     2. Limitation of Estimates.  Credible economic benefit calculation leading to NPV and external rate  of  return  is  challenging  with  broad‐based  PFM  reforms,  as  it  is  difficult  to  claim  attribution  to  all  downstream benefits. Other projects have also contributed to the improved reliability of PFM systems.  The scope of these estimates excludes transaction cost reductions, savings realized through more efficient  working capital allocation, and savings through reduction in waste and corruption due to transparency of  public  accounts.  Additionally,  political  and  security  issues  may  potentially  affect  accrual  of  benefits  in  future years. Nevertheless, an estimated CBA is presented below.     3. Benefits  of  shifting  ODA  on‐budget.  During  the  project  implementation,  65%  of  baseline  off‐ budget ODA (approximately $1.8 billion) was shifted on‐budget (approximately $1.17 billion). There is no  reliable literature on the efficiency of off‐budget versus on‐budget expenditure in Afghanistan. However,  anecdotal  evidence  suggests  that  the  security  and  payroll  expenditure  of  off‐budget  donor  programs,  which often  rely on a  large group of international consultants, are significantly higher than on‐budget  programs. Assuming a modest savings of 10% of on‐budget expenditure yields an annual return of $117  million.     4. Procurement  cost  savings.  Since  the  establishment  of  the  NPC  and  NPA  in  2015,  external  watchdogs have lauded the cost savings associated with this reform. Transparency International has called  the NPA, “one bright spot” in the anti‐corruption efforts of the government, citing savings of $200 million  realized  by  2016.6  These  savings  have  also  been  recognized  by  the  US  Special  Inspector  General  for  Afghanistan  Reconstruction  (SIGAR),  which  is  an  observer  at  the  NPA’s  weekly  meetings.7  The  NPA  estimated annual cost savings of $160.8 million in FY2017, and $426 million over the three years since its  inception.8 This estimate was derived by comparing the estimated price against the average price of all  awarded projects. The methodology of this calculation was not reviewed. Assuming continued savings in  line with the three‐year average yields an annual cost savings of approximately $142 million. This assumes  a similar level of public procurement in future years.     5. Treasury efficiency. Building the capacity of civil servants to operate PFM systems has contributed  to the sustainability of the AFMIS and has reduced reliance on contractors to operate the system. Treasury  6 Transparency International, “Afghanistan Must Refocus Efforts to Fight Against Corruption to Safeguard US$12 Billion in New  Aid.”    7 SIGAR, “Quarterly Report to the United States Congress, Jan 30, 2017” https://www.sigar.mil/pdf/quarterlyreports/2017‐01‐ 30qr‐intro‐section1.pdf  8 NPA, “NPC & NPA Annual Report Synopsis (Fiscal Year 2017)”  Page 47 of 68 The World Bank Public Financial Management Reform II (P120427) management is more efficient and is accessible within line ministries, and audit coverage and quality has  increased. Data access in AFMIS is now real‐time, with no delays after data entry. The primary impact of  this reform is to increase the use of on‐budget donor support, which is quantified above. Additionally,  cost savings have been realized in the operations of AFMIS. The precision of estimating these savings is  limited without a procurement process. However, it can reasonably be estimated that annual savings of  $2 million in international contracted staff costs and expenses will continue.     6. Audit  savings.  The  internal  and  external  audit  functions  yield  an  economic  return  through  identifying ineligible expenditures to be reimbursed by third parties, by reducing waste and corruption  through prevention, and by eliminating the costs formerly associated with hiring a third party to audit  ARTF accounts. It is too early to reliably quantify the first two elements of savings, although the audit  function is a key component in the shift to on‐budget donor financing. Cost savings from ARTF audits can  be estimated at $0.5 million per year.     7. Revenue mobilization.  The project intervention was added only in 2016 and was preceded by  World  Bank  technical  assistance  in  2015.  Although  revenues  rose  significantly  during  the  period  of  implementation, the economic analysis is primarily concerned with operational costs, administrative cost  savings,  and  taxpayer  cost  savings.  Insufficient  data  on  the  baseline  and  outcome  were  collected  to  accurately  complete  this  analysis  for  the  short  period  of  project  implementation.  Anecdotally,  the  electronic  filing  modules  developed  during  the  project  implementation  have  been  implemented  in  a  subsequent project. However, the returns associated are not included in this analysis and the associated  costs are excluded from the analysis.     8. Cost‐Benefit Analysis. To calculate CBA, the annualized benefits outlined above are compared to  total project expenditure over a five‐year period. Two scenarios are provided, with a 5 percent and 12  percent discount rate respectively. The NPV of the project under the 5 percent scenario is $1,021 million  and under the 12 percent scenario is $832 million. The EIRR is calculated at 236.5 percent. As discussed  under limitations, this approach provides an indicative analysis only, as the outcomes supported in this  project cannot be solely attributed to project activities.    Total Project Expenditure (USD millions)  Components  Revised Total  1: Procurement Reform   32.47  2: Financial Management Reform   39.84  3: Audit Reform and Performance   34.27  4: Reform Management   3.72  5: Revenue Mobilization (excluded)  [3.84]  Total   110.29    Estimated Benefits (USD millions)  Components  Annual Benefit  On‐budget ODA efficiency  117.00  1: Procurement Reform   142.00  2: Financial Management Reform   2.00  3: Audit Reform and Performance   0.50  4: Reform Management   0.00  Total   261.50  Page 48 of 68 The World Bank Public Financial Management Reform II (P120427)   Results of CBA   Annual Benefit  Annual Benefit  Components  Discount rate 5%  Discount rate 12%  NPV (USD millions)  1,021.87  832.36  EIRR (percent)  236.5            Page 49 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 5. BORROWER’S ICR    Project Financing   World Bank Financing    Original Amount (US$)  Revised Amount (US$)  Actual Disbursed (US$)    114,125,000  114,070,775  100,407,638  TF‐10024  Total  114,125,000  114,070,775  100,407,638  Total Project Cost  114,125,000  114,070,775  100,407,638    Project Background  The  Project  Development  Objective  is  to  further  strengthen  the  efficiency  and  effectiveness  of  Afghanistan’s procurement, treasury and audit systems.    The  project’s  investments  include  support  for  (i)  procurement  reform  which  includes    procurement  facilitation  support  and  procurement  capacity  building  and  institutional  development  under  National  Procurement  Authority  (NPA),  (ii)  financial  management  reform  which  includes  support  for  Treasury  operations and systems development, human resources capacity development, professional accountants  organization development and line ministries public finance management (PFM) assessment, (iii) audit  reform  and  performance    which  includes  support  for  external  and  internal  audit    and  (iv)    reform  management    including    project  management,  monitoring  and  evaluation  and  strengthening  Human  Resources Management Department (HRMD), (vi) Afghanistan Revenue Mobilization (new component).  The original Project amount was $73 million; (with two grant agreements signed on August 9, 2011 and  May 29, 2012 for US$60 million and US$13 million respectively); and the Additional Financing is $41.125m  on  December  14,  2015  a  total  commitment  of  US$114.125  million.  The  project  is  funded  from  the  Afghanistan Reconstruction Trust Fund and implemented by the Ministry of Finance and the actual closing  data of the project was 31‐Dec‐2017.  The objective of this evaluation is to collect and analyze information that assesses the achievements and  impact of the intervention on project’s beneficiaries.  It will ascertain whether the project development  objectives  and  activities  under  the  components  were  achieved.  The  evaluation  will  also  highlight  key  lessons  learnt  from  implementation  of  the  project  and  make  recommendations  that  may  help  the  Government of Islamic Republic of Afghanistan and the World Bank in future public financial management  projects of this nature.     1. The overall scope of this evaluation includes the following:  i. A  review  of  all  the  expected  activities  undertaken  under  the  various  components  of  the  PFMRII  Project for the implementation period and to what extent they were fully implemented;  ii. Whether the outputs and expected deliverables required under the individual components were  achieved and are likely to be sustained beyond the project closing date;  iii. The suitability of the implementation arrangements put in place for the project;  Page 50 of 68 The World Bank Public Financial Management Reform II (P120427) iv. What activities were successfully implemented and what contributed to their success and for those  activities which were not successful what were the factors;  v. The sustainability arrangements put in place within the project to ensure that activities are able to  be carried out after closure of project;  vi. Identify possible lessons that should be taken in account for any future similar interventions.   Executive Summary  The  Second  PFMR  was  effective  and  enhanced  the  public  financial  management  by  strengthening  the  Afghanistan’s procurement, treasury and audit systems and added to their efficiency and effectiveness.  The PFMR has helped the Afghan Government to establish the National Procurement Authority (NPA) as  the biggest achievement of the PFMR. NPA is very effective in fighting against corruption in the country.   Another big achievement of Second PFMR is the Afghanistan Financial Management Information System  (AFMIS) which is providing the organizations with the real‐time data on financial transactions and allowing  them keep track of their budgets and financial transactions.   Also, the Second PFMR was able to provide employees with the different capacity building programs and  institutional  strengthening  that  Professional  Certification  Program  was  one  of  those  that  raised  the  employees’ skills and abilities in the Ministry of Finance.   The Project key lessons learnt are as following:   ‐ Strengthening  the  legal  framework  for  the  NPA  has  helped  to  strengthen  the  procurement  integrity and the Project reform agenda implementation in NPA  ‐ Utilizing from the IT systems or support provided in this regard is helpful in having automated  auditing tools, strengthening e‐procurement and electronic financial transactions.    The Performance Management i.e. M&E and reporting tasks are critical in documenting and reflecting the  progress  on  reforms  and  taking  timely  decision  in  meeting  the  changing  reform  needs  of  the  implementers.  There  is  still  shortage  of  ACCA  and  CIA  in  the  country  and  most  of  the  accounting  and  auditing  services  are  provided  by  the  expatriate  accounts,  without  any  oversight.  Further  support  is  required to develop the capacity and auditing profession in Afghanistan  Methodology   The methodology for the Second PFMR project evaluation was designed in such a way to capture both  qualitative and quantitative data from the project implementer. The methodology used for this Evaluation  was  explained  in  the  Evaluation  terms  of  reference  (ToR).  The  data  was  collected  from  the  five  components’ leads through key informant interviews while the quantitative data was collected from the  component  staff  through  individual  interview  forms  to  make  sure  that  the  findings  not  only  rely  on  qualitative but also gather the data through quantitative approach as well. In addition, two focus group  discussions were conducted to further strengthen the findings. Furthermore, extensive desk review of the  project  documents  i.e.  quarterly  progress  reports,  project  results  framework  and  components  presentations were undertaken to make sure that the findings are backed up with the actual evidence of  the  progress  made  under  the  Project.      In  this  evaluation  a  total  of  five  key  informants,  14  individual  interviews and two focus groups which had a total of nine members in the groups were conducted with  Page 51 of 68 The World Bank Public Financial Management Reform II (P120427) the project Recipients that the staff was randomly selected for the interviews. The number of interviews  conducted may not represent an overall picture or be representative of the entire views but it can be a  benchmark for understanding of the perceptions on what has happened and what impact the project has  made on the routine functions, systems development and improvement in the procedures and processes  to strengthen the Public Financial Management Reform in the implementing units.  Second PFMR Objectives  The Second PFMR objective was to assist government in further strengthening efficiency and effectiveness  of Afghanistan’s procurement, treasury, and audit systems to ensure transparency in the use of public  resources. The procurement reform component helped to build the procurement management capacity  in the government, and complete the institutional and legal framework for the procurement. The financial  management reform helped in building the staff and institutional public financial management capacity.  The audit reform supported public sector governance including internal and external audit capacity. And  the  reform  management  component  supported  improvement  in  monitoring  and  management  of  technical assistance and human resource in the Ministry of Finance.   Consistency of Outcomes and Outputs with Objectives   The Second PFMR outputs and outcomes were consistent with the Project Development Objectives as the  following results chain illustrates the linkages of the project logic and results layers.       Activities  Outputs  Outcomes  1. Institutional Development for  1. Procurement rules or procedures  1. Implementation of Procurement reform  legal framework  approved including debarment,  framework to achieve more economical  Strengthening Procurement  2. Capacity Building in line  appeal and review, domestic and  public procurement and greater  ministries and provinces  foreign preference policy, and zero  transparency  Consultancy services for PFC to  corruption tolerance policies  2. Ministries will be capable of independent  assist ARDS  2. Procurement Law passed by the  procurement processing and facilitating  Parliament  transparent utilization of donor resources  for reconstruction and development  3. Procurement capacity built in the line  ministries and provinces  4. Procurement regulation and oversight  strengthened  5. Procurement responsibility transferred to  all line ministries   1. Treasury operations support  1. AFMIS maintenance and  1. Improved treasury procedures to achieve  Strengthening  and system development  enhancement in all line ministries  full benefits of enhanced AFMIS  Treasury  activities  and provinces  2. Treasury HR capacity building  2. Production of Qatia (Financial  activities  Management statement)  3. Professional accounting  3. Moving to web‐based freelance  Organizations development  version 7  Strengthening  audit System  1. Institutional Development   1. 50 certified internal auditors  1. Improved internal and external audit  2. IT support  2. 20 certified fraud examiners  coverage  3. Capacity building activities  3. 10 IS auditors  4. 20 Project management  professionals     The PFMR activities, outputs and outcomes were designed in such a way that led to achievement of the  Page 52 of 68 The World Bank Public Financial Management Reform II (P120427) Project Development Objectives. This has been backed up by the staff survey results that the majority  93% respondents agreed on the consistency of the Second PFMR results while only 7% remained neutral.   Changes During Implementation    The Second PFMR has faced some significant changes during the implementation that were key to the  project  objectives’  attainment  and  those  changes  made  sure  that  the  project  is  moving  towards  its  intended outcomes. The key changes were 1) The Project Development Objectives were revised to make  sure that it is more specific and measurable against the PFMR strategy, 2) the Project Results Framework  was  also  revised  to  make  sure  that  it  reflects  the  organizational  changes  and  PFM  needs,  and  3)  The  Project Development indicators were also revised and modified in wording to make sure that they are  measurable and achievable in the course of the project implementation.   The PDO indicators which were revised are as following:         Indicator Name  Baseline  End Target (2017)  Donors shift their off‐budget official development assistance      to Afghanistan to on‐budget.  0%  65%  ( % of off‐budget ODA baseline shifted on‐budget)  Reduction in number of days taken by the National      Procurement Committee to dispose of cases presented to it.   10 days  7 days  Establish a database of, and publicly disclose, National      Procurement Committee decisions.  2 days  1 day  The Supreme Audit Office commences development of a  No Citizen  Preparation for citizen participation  mechanism for citizen participation in audit.  participation in  in audit during FY16 leading to  audit  development of mechanism for  citizen participation in audits and  issuance of policy governing citizen  participation in public oversight of  public funds by June 30 2017.  Increased number of functions carried out by regular ministry  Plans currently  Plan in place for FY17 to modify  staff that was previously carried out by contracted staff.  work in progress  Tashkeel to include functions  currently undertaken by national  consultants. FY16 Plan  implemented.  Improved coverage and quality of internal audit  49  50  Improved coverage and quality of external audit  49  75    In  addition,  the  Project  has  revised  its  components  as  well  during  its  implementation  that  a  new  component “revenue mobilization” was added  to  the project. This new added component  was mainly  supporting the revenue mobilization efforts. Furthermore, this component helped in the maintenance of  the SIGTAS, risk‐based audit and preparation of value added tax (VAT).   The project was also provided with the Additional Financing with a total of $41.124 million to pave the  way for successful implementation of the activities and to make sure their sustainability under the project.  Also,  the  government  was  provided  with  the  project  extension  three  times  to  give  more  time  for  the  completion of all the activities.   Under the Additional Financing, the cost project costs were revised for each component that is illustrated  Page 53 of 68 The World Bank Public Financial Management Reform II (P120427) as following:     Comparison of Original Amount vs. Revised Costs by Component (US$ Million)  Overall  Original  Additional  Components  Revised Total  Percentage  Amount  Financing  Financing  1: Procurement Reform   21.47  11.00  32.47  28.4%  2: Financial Management Reform   23.88  15.96  39.84  35.0%  3: Audit Reform and Performance   24.70  9.57  34.27  30.0%  Comprising:           Internal Audit   09.60  4.07  13.67  12.0%  External Audit   15.10  5.50  20.60  18.0%  4: Reform Management   2.95  0.77  3.72  3.3%  5: Revenue Mobilization   ‐  3.84  3.84  3.3%  Total   73.00  41.13  114.13  100%    Factors Affecting Implementation  During the Second PFMR implementation there were some factors positively affected the project which  were 1) a positive factor was that the Second PFMR was a follow up project and the involved entities had  previous  experience  of  the  World  Bank  projects  and  working  procedures,  2)  the  PFM  reform  agenda  remained as the key importance to the government and it was highly supported and the government had  significant progress towards establishing the PFM system under the guidance and direction of Ministry of  Finance,  and  3)  this  project  had  significant  support  from  the  President  of  the  Islamic  Republic  of  Afghanistan  as  he  is  heading  the  National  Procurement  Commission  which  is  counted  as  the  factor  positively affected the implementation of this project.   In addition to the above, there were some factors which affected the project implementation negatively  that are listed as below:   1‐ Shopping procurement belonged to RIMU which was $15000 and ICB and NCB belonged to NPA.  The  documents  for  procurement  were  not  properly  organized  by  the  departments  that  it  was  causing rejection in the NPA. Also, sometimes when RFPs were announced by NPA, there were  lack  of  bidders  in  the  market  or  because  of  security  concerns  foreign  companies  were  not  interested.   2‐ Provision  of  inappropriate  items’  specifications  that  were  unavailable  in  the  market  i.e.  IT  equipment and etc. and this was causing delays. In the other hand, there were delays in delivery  of items by the suppliers.   3‐ Late payments to the suppliers; however suppliers should have been paid a month after delivery  of items but sometimes it was delayed for even two to three months.  4‐ Direct communication of PFMR components with the World Bank TTL that have paved the way  for temporary opportunity for them while it created problems later on that Treasury has been  over‐budgeted  almost  $2,000,000.00.  However,  these  kinds  of  communication  needed  to  be  coordinated by RIMU as a coordination body for PFMR.   Page 54 of 68 The World Bank Public Financial Management Reform II (P120427) 5‐ Article 61 of PFM law was also a barrier that MoF was not allowed to conduct audit of the line  ministries.   1‐ Reform Components  The Second PFMR consisted of the four components outlined as below:  1.1 Procurement Reform   This  component  consisted  of  sub  components  of  procurement  facilitation,  capacity  building  and  institutional development.   1.1.1. Procurement  Facilitation:  The  activities  under  this  sub  component  included  of  a  consultancy  services  to  procurement  facilitation  consultant  (PFC)  in  processing  the  on‐budget  public  procurement,  completing  procurement  regulatory  and  institutional  frameworks  and  capacity  building through knowledge transfer to the staff in the line ministries.     1.1.2. Capacity  building:  The  activities  under  this  sub  component  consisted  of  support  to  the  procurement  policy  unit  (PPU)  and  Afghanistan  civil  service  Institute  (ACSI)  to  lead  capacity  building and institutional building activities. Also, deployment of three groups of procurement  specialists in the line ministries to liaise with the central authorities on training and support the  application of training in operations and in the other hand to act as procurement controllers to  contribute to the preparation of procurement plans, report on progress and coordinate input  into the procurement management information system (PMIS). In addition those groups to act  as procurement facilitators and assist on complex procurement and expedite budget execution.     1.1.3. Institutional development: Through this sub component support was provided to complete the  legal framework, preparing a collection of all relevant legal documents and for operation of the  appeal and review committee, and training on dispute resolution.     1.2 Financial Management Reform     This component had four three sub components which supported high level PFM performance through  Treasury  Operations  and  Systems  Development,  Human  Resource  Development  and  Professional  Accountants Organization development.     1.2.1 Treasury  Operations  and  Systems  Development:  Through  this  sub  component  a  disaster  recovery plan was established and the Afghanistan Financial Management Information System  was equipped with the IT back facility.   1.2.2 Human  Resource  Development:  The  Project  supported  the  educational  programs  for  the  Treasury staff that 211 enrolled to the Master’s that 54 already graduated. Also, 289 enrolled in  Bachelors that 206 already graduated.   1.2.3 Professional Accountants Organization Development: The activities under this sub component  led to the establishment of the structures and legal framework for the accounting and auditing  profession and training for professional accountants in Afghanistan.     1.3 Audit Reform    This component had different components which were categorized by internal and external audits:  Page 55 of 68 The World Bank Public Financial Management Reform II (P120427)   1.3.1   Internal  audit:  it  was  supported  by  three  sub  components  of  institutional  development,  IT  support  and  capacity  building  activities.  Those  activities  aimed  to  improve  management  oversight.    1.3.2   External audit: The external audit activities were capacity building and independent reviews of  the on‐budget donor funded operations that nine line ministries’ operations were audited over  the  project  period.  In  addition,  support  was  also  extended  towards  the  public  accounts  committee and purchase of office and IT equipment for the Supreme Audit Office.     1.4 Reform Management    This  component  was  mainly  supporting  the  activities  to  Develop  Human  Resource  Management  and  improving monitoring and evaluation system in the Ministry of Finance that specific activities were:  - Strengthening monitoring and evaluation  - Strengthening MoF human resource management department (HRMD)   - Project management and other institutional strengthening and capacity building to improve M&E,  HR management development and project executive management functions in addition to other  technical assistance and analytical works    2‐ PDO Indicators Achievement     - The Project PDO indicators’ achievements are illustrated in the below table:     Before Restructuring   After Restructuring  PDO Indicators  Target  Actual  Target  Actual  Plans currently  work in progress.  On target:  Treasury has  succeeded in  transitioning some  key functions from  Plan in place for  advisors to civil  FY17 to modify  servants; NPA now  Tashkeel to  20 functions in  carries out key  1.  Increased number of functions  include functions  MoF  managerial  carried out by regular ministry  Plans work in  that are currently  functions through  staff that was previously carried  progress  undertaken by  civil servants and  out by contracted staff    national  number of  consultants.  Tashkeel staff have  Equivalent FY16  crossed over no of  Plan implemented.  TAs comparatively  meaning that  Tashkeel staff are  more than the TAs  compared to the  previous year in  which TA was way  Page 56 of 68 The World Bank Public Financial Management Reform II (P120427) more than  Tashkeel staff, so  NPA has made  significant  progress in its  Tashkeel agenda.  2.  Donors shift their off‐budget  20% cumulative  62% cumulative  20% cumulative  65% cumulative  official development assistance to  increase  increase  increase  increase  Afghanistan to on‐budget  SAO has  Preparation for  developed a  citizen  mechanism for  participation in  citizen  audit during FY16  participation in  leading to  audit / issued a  development of  policy governing  mechanism for  citizen  3.  The Supreme Audit Office  citizen  participation in  commences development of a  participation in  public oversight.  mechanism for citizen  N/A  N/A  audits and  SAO has also  participation in audit (New  issuance of policy  developed the  Indicator)  governing citizen  annual work plan  participation in  for public  public oversight of  participation in  public funds by  audit process, and  June 30 2017.  is organizing a one  day seminar for    relevant  stakeholders  The Database has  been established.  The NPC decisions  4.  Establish a database of, and  are reported  publicly disclose, National  immediately after  N/A  N/A  One Database  Procurement Committee (NPC)  the session takes  decisions (New Indicator).  place and the  decision forms are  uploaded on NPA  website  By law NPC has 28  days to decide on  a case; however,  on average one  week is the  milestone for a  5.  Reduction in number of days  case to go NPC  taken by the National  unless the package  Procurement Committee to  N/A  N/A  7 Days  is submitted  dispose of cases presented to it  incomplete or NPA  (New Indicator).   review comments  are not addressed  on a timely basis  which even for  NPA has created  follow up  Page 57 of 68 The World Bank Public Financial Management Reform II (P120427) mechanisms to  push and fast  track.  75% cumulative  coverage of  expenditure and  75 % revenue  done to  6.  Improved coverage and quality  recognized  50 Audits  50 Audits  50 Audits  of internal audit (Revised)  standard and  responses given to  all audits done by  MOF and action  taken on most  75% cumulative  coverage of  expenditure done  7.  Improved coverage and quality  to an acceptable  74%  75%  71%  of external audit (Revised)  standard and  evidence  presented of  follow‐up  8.  % of procurement done by LM  using stand‐alone procurement  50  48  N/A  N/A  (Deleted)  9.  Number of functions carried  out by regular ministry staff  20  17  N/A  N/A  (Deleted)    Second PFMR Efficiency    The  Project  activities  under  each  component  got  achieved  and  the  benefits  realized  under  various  components are outlined as following:  1.2. Procurement Efficiency:  Previous procurement structures in MoF and Ministry of Economy  were  not  well‐functioning,  to  resolve  this  problem  the  NPA  was  established    in  order  to  replace them. In addition, NPA is assisting the NPC that further enhances its efficiency. As the  result of NPA establishment, the line ministries and other procurement entities are feeling  more responsive and accountable towards the procurement issues.     1.3. Financial  Management  Efficiency:  AFMIS  is  providing  timely  data  to  the  entities  on  their  budgets and financial transactions. In addition, the electronic payment processing has been  made operational that less than 50% of the government staff salaries in Kabul are processed  through  this  system.  Furthermore,  the  mobile  salary  payments  have    been  successfully  implemented in 50 districts in 10 provinces of Afghanistan which is greatly appreciated.     1.4. Audit  Reform:  Before  commencement  of  the  Second  PFMR,  the  government  audit  mechanisms  or  approaches  did  not  function  well    and  they  were  inconsistent  with  the  international audit standards. However, now the internal audit tasks are performed using the  best practices in the auditing profession. In addition, development of manuals, guidelines and  Page 58 of 68 The World Bank Public Financial Management Reform II (P120427) other materials changed the way the government officials undertake auditing assignments in  the  Ministries  and  independent  agencies.  In  addition  to  this,  the  professional  certification  programs also enhanced the skills and abilities of the staff in the MoF and the line ministries.     1.5. Revenue Mobilization Efficiency: This component has completed the majority of its activities.  The  key  achievements  under  this  component  are:  development  of  clear  roadmap  for  its  reorganization for sustaining reforms, SIGTAS implementation in major tax office in Kabul and  provinces  helped  in  increase  of  transaction  volume,  implementation  of  risk‐based  audit,  taxpayers’ awareness and education programs and capacity building in audit, legal and HR  reforms.    3‐ Institutional Development/Strengthening    The Second PFMR contributed substantially to the institutional capacity of government entities which are  illustrated as following:    1.6. Institutional Development to Supreme Audit Office: The support provided to SAO has helped  it to implement the INTOSAI level 3 standards which was a great achievement for them. Now  SAO  is  able  to  conduct  grant  and  budget  audits.  Another  notable  achievement  of  SAO  is  establishment of audit follow up unit to follow on compliance issues, citizen engagement and  consultation  in  the  audit  process  and  information  dissemination  mechanism  has  been  established.     1.7. Educational  Support  to  Treasury  and  Internal  Audit:  The  Second  PFMR  has  extensively  supported the Treasury and Internal Audit Departments to build their staff capacity through  provision  of  education  support.  Treasury  department  has  enrolled  211  staff  to  Master's  degree programs, out of which a total number of 54 staff  already have completed. In terms  of  Bachelor's  programs,  from  289  employees  enrolled  in  the  programs,  206  employees  completed their education.  In addition, 135 employees are continuing their under‐graduate  and post‐graduates studies in the Internal Audit department while 25 already completed their  Master’s  program.  Furthermore,  in  order  to  further  strengthen  the  Internal  Audit,  100  employees are pursuing the professional certification program from MoF and 12 other line  ministries.    1.8. Provision  of  TA:  The  Second  PFMR  project  hired  international  advisers  to  help  the  implementers  on  provision  of  guidance  in  the  areas  of:  1)  building  capacity  of  auditors  in  different aspects of tax audit, 2) provide support in installing and maintaining IT system to  ensure satisfactory IT services, 3) reviewing, drafting and interpretation of existing laws, 4)  development of ARD organizational structure and institutionalization of new HR policies, and  5)  the  international  advisers  were  hired  to  build  the  capacity  and  to  ensure  continuity  of  reforms.     1.9. Technical  Support  in  Development  of  Accountancy  Law:  The  Second  PFMR  has  helped  in  development  of  Accountancy  Law  which  was  approved.  And  the  Certified  Professional  Accountants Organization was formed.   Page 59 of 68 The World Bank Public Financial Management Reform II (P120427)   1.10. Establishment  of  NPA:  The  Second  PFMR  had  a  great  role  in  establishment  of  NPA  that  currently it works with 56 procurement entities and focuses on capacity building activities.  The NPA staff has been trained on different topics i.e. World Bank procurement procedures,  contract management, supply chain management and e‐procurement. As the result of these  efforts, NPA is working to recruit procurement professionals as civil servants in the Tashkeel  of the NPA.    1.11. Training provided by Reform Management Unit (RIMU): RIMU in close collaboration with  HRMD conducted extensive series of capacity building/training programs to a total of 9024  Staff on different topics in Kabul and provinces. Those trainings were very effective that now  Mustofiat staff and provincial HR staff are demonstrating improved understanding of tax law  and HR functions.     1.12. IT Support: The SIGTAS has been implemented under the IT support in major tax offices. Also,  in order to functionalize this new system, Technology equipment i.e. laptops were purchased  and  the  field  teams  received  on‐the‐job  training  in  using  the  system.  In  addition,  ARD  is  implementing the e‐filing in large tax‐payers office to ease the works of the tax‐payers in the  related aspects i.e. file returns, calculating tax liabilities and others.     1.13. Support provided to ARD:  Through the tax awareness sessions, citizens were benefited that  the public could show increased knowledge on  the  taxation laws. Apart from  this, the  Tax  Identification  Number  (TIN)  issuance  has  been  simplified  that  previously  citizens  were  travelling to major cities to obtain TIN while now this service is extended to 15 provinces.    4‐ Monitoring and Evaluation (M&E) Performance    The  Second  PFMR  project’s  Results  Framework  was  developed  in  accordance  to  the  World  Bank’s  guidelines and the PDO indicators and targets were in line with the government’s approach and overall  PFM agenda. The approach made sure that the Results Framework was implemented during the reform  process.     The Reform Implementation Management Unit (RIMU) was the implementing body for the Monitoring  and Evaluation activities of the Second PFMR as it was collecting and compiling the quarterly progress  reports  from  the  components  and  submitted  on  timely  basis  to  World  Bank.  In  addition,  RIMU  was  updating the Project Results Framework as required and taking care of some of the M&E functions of the  MoF which included updating of the CBR Results Framework, preparation of MoF TA monitoring reports,  Monitoring and Evaluation of MoF annual plan and Monitoring on MoF anti‐corruption plan. Therefore,  RIMU role was key in the results reflection of the project that helped the decision makers to adjust the  project in its course of implementation to meet the changing needs of the implementing entities.     5‐ Environmental and Social Compliance    The Second PFMR did not have any activities involved or had significant social risks or dealt directly with  the population. The Project mainly financed consulting services, goods, training and workshops and no  Page 60 of 68 The World Bank Public Financial Management Reform II (P120427) civil works that could have environmental implications were undertaken.     6‐ Assessment of Risk to Development Outcome    There is not high risk to development outcome of the project as the funding stops from the donor side  since adequate number of civil servants’ capacity has been built in the implementing entities to maintain  and  sustain  the  brought  changes  by  the  project.  For  instance,  Treasury  has  the  least  reliance  on  the  consultants and almost all the functions are operated by the civil servants. In addition, it is an honor for  the consultants and professional staff to be absorbed in the Tashkeel of NPA since it is strongly supported  by the President of Islamic Republic of Afghanistan. However, the government can continue to absorb  more professional staff in their Tashkeel to further improve and add to the processes functionality.     7‐ Assessment of Bank’s Performance    The World Bank high performance in regards to the Project implementation and results’ attainment was  key that the task team was well responsive to the implementing entities’ requests and providing timely  no  objections.  In  addition,  the  World  Bank  was  supporting  the  implementing  entities  to  build  their  capacity in terms of the Bank procurement procedures and guidelines. Furthermore, the Bank was open  to realize the government needs in terms of the reform implementation as it provided with the Additional  Financing,  restructuring  the  project  and  extension  of  the  closing  dates  to  make  sure  all  the  reform  activities are implemented in each of the entities.      8‐ Suitability of Implementation    The Second PFMR activities and outputs were smoothly implemented under various components as PFMR  followed a flexible approach in meeting the implementers changing reforms needs. As the Second PFMR  revised its PDO and provided with the additional financing to meet the government changing operations  for  bringing  reforms  in  strengthening  the  public  financial  management.  In  addition,  World  Bank  has  provided extensive support on building the implementers’ capacity on different aspects to allow smooth  implementation  of  the  Project.  Furthermore,  the  reform  agenda  under  the  Second  PFMR  was  highly  supported by the National Unity Government particularly by the H.E. the President. So, the above points  played major role in helping the Project to achieve all its planned activities and expected deliverables.     9‐ Sustainability Arrangement   The Second PFMR sustainability arrangements are summarized as below:   1‐ Capacity Building:  The Project has undertaken extensive capacity building programs and hired  international consultants and TAs to build the capacity of the civil servants through provision of  on‐the‐job trainings and knowledge transfer.     2‐ Educational  Support  to  Implementers:  The  Project  has  helped  the  implementers’  employees  particularly  civil  servants  to  have  better  education  at  the  level  of  Bachelors,  Masters  and  Professional Certification programs.    Page 61 of 68 The World Bank Public Financial Management Reform II (P120427) 3‐ Hiring Professionals as Civil Servants in the Tashkeel:  The Project supported and the works are  under way in several of the components to hire professionals as civil servants that Treasury and  NPA has made great success in this regard. For instance, the current Treasury Senior Manager has  been  hired  as  civil  servant  from  his  previous  position  of  being  a  TA.  As  the  result  of  his  commitment and works, the internet price has dramatically brought down from 94,000,000 AFs  to 12,000,000 AFs per year by the change of methodology he proposed for the AFMIS database.  Also, it is counted as honor for professionals and TAs to be hired as civil servants in NPA.     4‐ FSP  Program  Support:  The  following  Project  of  FSP  will  further  support  some  of  the  PFMR  activities to make sure their long‐term sustainability.    5‐ Government  Support:  The  Government  high  determination  for  integrity  of  processes,  accountability,  and  transparency  and  anti‐corruption  plans  helps  the  achieved  outputs  and  outcomes under the Second PFMR to be maintained beyond the Project closure.   All of the above points are supporting the Project to maintain its achieved outputs and outcomes beyond  its closure. Now the various components are able to operate their routine functions confidently as they  have improved skills and abilities.     10‐  Perceived Successful Activities     The  Second  PFMR  activities  were  successful  under  various  components  and  the  staff  survey  of  the  implementers  has  confirmed  this  as  well.  The  respondents  were  asked  to  rank  the  most  successful  activities in the project that half 50% mentioned audit reform activities as the most successful, while 43%  of them said financial management reform activities, 14% of them cited M&E activities while 7 percent of  the respondents said that the capacity building, institutional development and technical assistance were  successful in the life of the project.9    Other activities which were also ranked successful are as following:  ‐ Establishment of Procurement Institute   ‐ Risk based compliance   ‐ It Infrastructure  ‐ Payments through Mobile Banking  ‐ Professional accountancy program  ‐ Development of manuals and guidelines particularly development of accountancy law  ‐ Establishment of accountancy board    11‐  Future Recommended Activities    During the key informant interviews results revealed that the following activities to be considered in the  future funding or similar programming.   9 The percentage is exceeding 100% as the respondents selected more than one option.   Page 62 of 68 The World Bank Public Financial Management Reform II (P120427) ‐ EGP implementation  ‐ Procurement facilitation   ‐ Capacity building   ‐ Professional certification  ‐ Academic support program  ‐ Institutional development  ‐ Audit of Line Ministries  ‐ IT support to computerize things    12‐  Best practices    The overall practices during the PFMR implementation; from receiving No Objection to others was very  good. Also, it was really good that the PFMR implementation team was able to work and met with the  World Bank in team‐wise and good rapport was kept in this regard. In the other hand, World Bank was  also  responsive  to  the  needs  of  the  involved  departments.  In  addition,  during  the  program  implementation, results oriented attitude was expanded and appreciated by PFMR within the involved  recipient  entities.  Other  detailed  practices  which  were  praised  within  a  focus  group  are  illustrated  as  following:  ‐ Web‐based payment, in the initial stage there was concerns on leakage of information but later  on it worked very well and all those concerns have been removed.   ‐ Automated transactions and functions of the treasury department   ‐ Improved cash management; adequate cash resources to meet expenditures and budget  execution across the country.   ‐ A world class data center that supports AFMIS and to support treasury operations.     13‐  Conclusions     The PFMR program was very effective in its design, scope, implementation and its produced outcomes  that it brought the changes which was expected of this program. This program not only reformed and  improved  the  inconsistent  processes,  procedures  and  systems  in  the  implementing  agencies  but  also  helped  the  involved  entities  have  simplified  processes  to  deliver  efficient  and  timely  services  to  the  people. In addition, the change introduced by the Second PFMR was very effective at its type that assisted  the agencies in being more accountable on their operations to the people. Continuity of such programs in  similar  or  altered  design  or  scope  are  of  high  value  to  make  sure  that  the  obtained  results  are  more  sustainable in the benefited agencies.     14‐   Recommendations    The  key  informants  and  the  data  suggest  the  following  recommendation  that  can  be  considered  to  improve future similar programming.   ‐ If future funding is secured for similar programs, having one focal point from each components  are appreciated to be hired within RIMU structure or future similar structures to further assist in  coordination between components.  Page 63 of 68 The World Bank Public Financial Management Reform II (P120427) ‐ Equal budget allocation for each component in consideration of its scope.   ‐ Three months reviews will be useful to the various components in obtaining better understanding  of activities and achievements under each components to make sure that all engaged parties are  on the same page.  ‐ Databases or systems like AFMIS should be developed in Afghanistan and the implementer should  be source coded and they should not be required to pay on annual basis (if applicable).     15‐   Lessons learnt   ‐ The  various  components  under  Second  PFMR  are  having  improved  understanding  of  their  roadmap for the reform agendas  ‐ Strengthening  the  legal  framework  for  the  NPA  has  helped  to  strengthen  the  procurement  integrity and the Project reform agenda implementation in NPA  ‐ Utilizing from the IT systems or support provided in this regard is helpful in having automated  auditing tools, strengthening e‐procurement and electronic financial transactions.  ‐ The  Performance  Management  i.e.  M&E  and  reporting  tasks  are  critical  in  documenting  and  reflecting  the  progress  on  reforms  and  taking  timely  decision  in  meeting  the  changing  reform  needs of the implementers.   ‐ There is still shortage of ACCA and CIA in the country and most of the accounting and auditing  services  are  provided  by  the  expatriate  accounts,  without  any  oversight.  Further  support  is  required to develop the capacity and auditing profession in Afghanistan.   ‐ Direct provision of tuition fee to the employees to study ACCA in one of the private universities  that later that was conditioned on the satisfactory results of the exams attempted on each paper  of the ACCA.   ANNEX 1: OUTPUTS BY COMPONENT  Component 1: Procurement Reform  ‐ Preparation of Appeal and Review Procedure   ‐ Preparation of monitoring reports on the performance against the targets   ‐ Preparation of work plan for staffing   ‐ Preparation of work plan for training facilities  ‐ Preparation of work plan for IT services   ‐ Revision of policy on standard bidding  ‐ The mechanism for the provincial procurement has been developed  ‐ Procurement management information system has been developed   ‐ The procurement regulation has been prepared  ‐ Preparation of concept paper for the establishment of national procurement institute  Component 2: Financial Management Reform  ‐ Preparation and submission of IPSAS compliant financial statement for World Bank Projects  ‐ Improvements  to  financial  control  framework  through  modified  vendor  registration  and  management  ‐ Moving from paper checks to Electronic Payments (less than 50% for government staff in Kabul)  Page 64 of 68 The World Bank Public Financial Management Reform II (P120427) ‐ Expansion of Salary Distribution to Employee Bank accounts and addition of mobile banking to  distribution modes  ‐ AFMIS is maintained in all line ministries and all provinces  ‐ Treasury Primary data center is made functional and all AFMIS functions are migrated to the Data  Center  ‐ Development of Treasury Emergency Operations  ‐ Moving to Web‐based Free balance version 7 of AFMIS  ‐ Web based payroll system developed, staff trained and the system is implemented  ‐ Decentralization of bank account opening process to line ministries  ‐ Successful implementation of salary payment through mobile (50 districts in 10 provinces)  ‐ 211 Treasury employees currently enrolled in Masters and 54 employees graduated  ‐ 289 employees enrolled in Bachelors program and 206 have already received degrees  Component 3: Audit and Reform Performance  ‐ Training of 332 internal auditors of the line ministries   ‐ Providing of academic support to 37 employees of MoF and line ministries at Bachelor level  ‐ Providing of academic support to 98 employees of MoF and line ministries at Master level  ‐ Training of 50 Certified Internal Auditors, 20 Certified Fraud Examiners, 10 Certified Information  Systems Auditor and 20 Project Management Professional  Component 4: Reform Management   ‐ RIMU  has  provided  numerous  technical  support  to  Ministry  of  Finance  Human  Resource  Directorate  in  different  forms  such  as  provision  of  trainers,  policy  making,  advisers  and  consultants  ‐ RIMU has provided to HRMD with office supplies, logistics as per their needs  ‐ Capacity  building  of  more  than  7,000  employees  on  different  topics  i.e.  general  management,  monitoring and evaluation, time management, computer skills and etc.  ‐ RIMU trainers delivered 17 training programs to MoF’s staff that 391 were trained (68 female)  ‐ Strengthening of the Results based M&E in MoF  ‐ Preparation of procurement plan and procurement assistance to all implementing units of Second  PFMR  Component 5: Revenue Mobilization  ‐ Maintenance of computerized tax systems (SIGTAS)  ‐ Implementation of initiatives such as risk‐based compliance  ‐ Preparing of value added tax (VAT)  ‐ HR reform and restructuring  ‐ Preparation of VAT manual  ‐ Updating of VAT implementation plan  ‐ Preparation of VAT Steering Committee ToR  ‐ Risk Based Compliance unit established  Page 65 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 6. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS          Page 66 of 68 The World Bank Public Financial Management Reform II (P120427) ANNEX 7. SUPPORTING DOCUMENTS    1. Project Information Document, Report No.: PIDA46270  2. Project Paper, dated April 25, 2011  3. Project Paper, Additional Financing, Report No.: PAD 1710, dated January 27, 2016  4. Implementation Status & Results Reports (ISRs): September 2011 through May 2017 (1 thru 12)  5. Aide‐Memoires:   a.February 2012  b.December 2012  c.June 2013  d.November 2013 (MTR)  e.December 2014  f.July 29, 2015  g.November 2015  h.April 2016  i.July 2016  j.December 2017    6. Mid‐Term Review Report, November 2013  7. Memos regarding amendments to the Grant Agreements  8. Report on RIMU Performance  9. Presentation on Revenue Mobilization component  10. Presentation on Financial Management Reform progress  11. Presentation on Procurement Reform progress, dated Nov. 28, 2017  12. Presentation on Project Performance Report, dated October 16, 2017  13. Presentation on Project Completion Report, dated November 28, 2017  14. Presentation on SAO Status Update, dated November 28, 2017  15. Borrower’s Quarterly Progress Report, dated November 6, 2017  16. Borrower’s Evaluation Report, dated February 2018          Page 67 of 68 The World Bank Public Financial Management Reform II (P120427)   ANNEX 8. SPLIT RATING CALCULATION      Before  After  Restructuring  Restructuring  Relevance of Objective (at closing)  High  Efficacy (PDO)  Modest  Substantial  Efficiency (at closing)  Substantial  Moderately  1  Outcome Ratings (ICR Guidelines, Appendix H)  Satisfactory Unsatisfactory 2  Numerical Value of the outcome ratings 1/  3  5  3  Disbursement  $66.2 Million  $38.8 Million  4  Share of Disbursement  0.63  0.37  5  Weighted value of outcome rating (Row 2 x Row 4)  1.89  1.85  Moderately Satisfactory   6  Final Outcome Rating  (1.89 + 1.85 = 3.74 rounding it to 4)  /  Highly Unsatisfactory (1); Unsatisfactory (2); Moderately Unsatisfactory (3); Moderately Satisfactory (4);  Satisfactory (5); Highly Satisfactory (6)    Page 68 of 68