ROMÂNIA Acord privind Serviciile de Asistenţă Tehnică privind îmbunătățirea capacității de monitorizare și evaluare în contextul programelor finanțate din fonduri UE în România (2021-2027) (P174133) Livrabilul 1a Notă sintetică Septembrie 2020 1 Declinarea responsabilității Acest raport este un produs al Băncii Internaționale pentru Reconstrucție și Dezvoltare / Banca Mondială. Constatările, interpretările și concluziile exprimate în această lucrare nu reflectă neapărat opiniile directorilor executivi ai Băncii Mondiale sau ale guvernelor pe care le reprezintă. Banca Mondială nu garantează pentru exactitatea datelor incluse în această lucrare. Acest raport nu reprezintă în mod obligatoriu poziția oficială a Uniunii Europene sau a Guvernului României. Declarație privind drepturile de autor Conținutul prezentului document este protejat prin drepturi de autor. Copierea și/sau transmiterea unor părți din această lucrare fără permisiune poate reprezenta o încălcare a legilor aplicabile. Pentru permisiunea de a copia sau retipări orice parte a acestei lucrări, vă rugăm să transmiteți o solicitare cu informații complete către: (i) Ministerul Fondurilor Europene (Șos. București-Ploiești nr. 1-1B, Victoria Office Building, Sector 1, București, România)sau (ii) Grupul Băncii Mondiale în România (Strada Vasile Lascăr nr. 31, et. 6, Sector 2, București, România). 2 MULȚUMIRI Această notă de politică publică a fost transmisă în septembrie 2020, în conformitate cu prevederile Acordului privind serviciile de asistență tehnică pentru Îmbunătățirea capacității de monitorizare și evaluare în contextul programelor finanțate de UE în România (2021-2027), încheiat între Ministerul Fondurilor Europene și Banca Internațională pentru Reconstrucție și Dezvoltare la 30 iunie 2020, și a fost elaborată sub îndrumarea și supravegherea lui Cem Mete (Manager direcție, Protecție Socială și Locuri de Muncă, Europa și Asia Centrală) și a Tatianei Proskuryakova (Manager de țară, Ungaria și România). Această notă a fost elaborată sub coordonarea lui Victor Sulla (Economist principal), Maddalena Honorati (Economist principal), liderii echipei de proiect, și Annette M. Richter (Specialist senior monitorizare și evaluare), cu contribuții tehnice primite de la Adina Iorganda (Specialist Protecție Socială și Ocupare), Alina Bosoi (Expert), Elena Botezatu (Expert) și Ludovica Cherchi (Specialist Protecție Socială și Ocupare). Echipa a fost susținută de Andrei Zambor. Echipa își exprimă recunoștința pentru cooperarea excelentă, îndrumarea și feedback-ul oferite de reprezentanții Biroului de Evaluare Programe din cadrul Ministerului Fondurilor Europene, în special doamnelor Claudia Magdalina, Alexandra Voiculescu și Maria Mălureanu. 3 ABREVIERI FC Fondul de Coeziune RDC Regulamentul privind dispozițiile comune Fondurile ESI Fondurile Europene Structurale și de Investiții UE Uniunea Europeană FEDR Fondul European de Dezvoltare Regională FSE Cadrul de Mediu și social FEAD Fondul de ajutor european pentru persoanele cele mai defavorizate GR Guvernul României IEV Instrumentul European de Vecinătate DG Directori generali OI Organism Intermediar M&E Monitorizare și Evaluare AM Autoritatea de Management MFE Ministerul Fondurilor Europene PO Programul Operațional AP Acordul de Parteneriat RAS Servicii de asistență tehnică rambursabile SMART Specific, măsurabil, realizabil, relevant, ancorat în timp OT Obiectiv Tematic BM Banca Mondială 4 Cuprins Rezumat .......................................................................................................................................... 6 1. Context ................................................................................................................................. 7 2. Prezentare generală a programului de investiții sprijinite de Fondurile ESI și a sistemului de M&E........................................................................................................................................... 7 3. Abordare propusă pentru analiza sistemului de M&E a fondurilor ESI .............................. 9 4. Instrumentele propuse și instrumentele evaluării .................................................................. 11 5. Analiza și lecțiile învățate din această evaluare ................................................................. 12 6. Plan de lucru al evaluării: coordonare și sprijin solicitat ................................................... 13 5 Rezumat Această notă are scopul de a rezuma metodologia propusă de Banca Mondială (BM) pentru a evalua sistemul de monitorizare și evaluare (M&E) a fondurilor europene structurale și de investiții (fondurile ESI) din România. Abordarea generală, instrumentele și etapele evaluării sunt detaliate într-un raport metodologic, care a fost elaborat în faza pregătitoare. Atât raportul, cât și această notă sintetică sunt realizate în cadrul Acordului privind serviciile de consultanță rambursabile (RAS) cu Guvernul României (GR) privind Îmbunătățirea capacității de monitorizare și evaluare în contextul programelor finanțate de UE în România (2021– 2027). Guvernul României își propune ca prin această analiză să identifice opțiunile posibile pentru a accentua orientarea către rezultate a sistemului de M&E a fondurilor ESI în perspectiva următoarei perioade de programare și pentru a îndeplini cerințele de M&E a Uniunii Europene (UE) pentru politica de coeziune. Evaluarea va fi efectuată de Banca Mondială, în colaborare cu Ministerul Fondurilor Europene (MFE) și ministerele de resort cheie. Evaluarea este motivată de obiectivul Guvernului României de a identifica ce a funcționat și ce nu a funcționat în perioada de programare 2014-2020, pentru a consolida M&E a programelor cofinanțate în cadrul politicii de coeziune a UE pentru perioada de programare 2021–2027. Analiza acoperă cele 19 programe operaționale (PO) implementate în perioada de programare 2014-2020 și este orientată spre construirea unei mai bune înțelegeri a modului în care funcționează sistemul de M&E a fondurilor ESI, punctele sale forte și punctele sale slabe. Activitățile de M&E desfășurate la nivelul Acordului de Parteneriat (PA), la nivelul PO vor fi luate în considerare, precum și cele din prioritățile de investiții selectate în cadrul fiecărui PO, pentru a aduce o dimensiune sectorială analizei. Evaluarea servește ca bază pentru elaborarea de recomandări pentru îmbunătățiri pe care GR le poate explora pentru sistemul de M&E al fondurilor ESI în perioada de programare 2021–2027. Această cercetare își propune să abordeze întrebări cheie despre funcționarea și performanța sistemului de M&E, inclusiv: • dacă sistemul îndeplinește cerințele de reglementare ale UE; • dacă baza juridică, politică și instituțională a sistemului e adecvată pentru a susține o orientare către rezultate; • dacă ajută factorii de decizie să utilizeze informațiile de M&E pentru a îmbunătăți performanța PO; • dacă sistemul este funcțional în ansamblu; • care este capacitatea administrativă a entităților din sistemul de M&E și care sunt principalele lacune; • care este perspectiva și capacitatea beneficiarilor în ceea ce privește cerințele de raportare. Cadrul metodologic a fost dezvoltat pentru a evalua în mod cuprinzător sistemul de M&E a fondurilor ESI. Cadrul a fost conceput pentru a determina în ce măsură sistemul de M&E a fondurilor ESI a sprijinit o abordare de M&E bazată pe rezultate. A fost dezvoltat un set de instrumente pentru a colecta informații de la diferiți actori implicați în activitățile de M&E, prin studiul documentelor relevante, interviuri cu actori cheie, focus grupuri și sondaje online. Prin combinarea acestor surse de date diferite, evaluarea va oferi o imagine holistică a performanței sistemului de M&E a fondurilor ESI. 6 1. Context România va gestiona aproximativ 30,6 miliarde de Euro din fondurile ESI în perioada de programare 2021–2027. Aceste fonduri vor sprijini intervențiile în obiectivele politicii de coeziune ale UE și vor acoperi domenii-cheie, inclusiv capitalul uman, dezvoltarea durabilă, infrastructura și dezvoltarea sectorului privat. Alături de acest program ambițios, Guvernul României va trebui să își alinieze practicile de M&E la cerințele UE orientate spre M&E armonizată și simplificată. Guvernul României a lansat o evaluare comprehensivă a sistemului utilizat pentru monitorizarea și evaluarea programelor finanțate de fondurile ESI în perioada 2014-2020. Această evaluare are ca scop atât identificarea provocărilor și succeselor înregistrate, cât și stabilirea modului de ajustare a sistemului în viitor, în lumina viitoarelor cerințe ale UE. Prin urmare, Guvernul României și, în special, MFE, au angajat BM printr-un acord RAS menit să îmbunătățească capacitatea de M&E în contextul programelor finanțate de UE în România. Obiectivul acestui RAS este de a sprijini Guvernul României în dezvoltarea capacităților pentru dezvoltarea și operaționalizarea unui sistem de M&E pentru urmărirea și monitorizarea programelor cofinanțate din fondurile UE în perioada de programare 2021- 2027. Raportul metodologic face parte din prima dintre cele trei activități menite să sprijine Guvernul României în procesul de a identifica care sunt componentele sistemului de M&E a fondurilor ESI care au funcționat și care nu în perioada 2014-2020. Concret, prima activitate constă într-o evaluare a capacității sistemelor M&E existente – în cadrul MFE, precum și în ministerele de resort – de a urmări, măsura, raporta, disemina și utiliza rezultatele investițiilor cofinanțate de UE pe baza experienței din perioada de finanțare 2014-2020. A doua și a treia activitate a RAS sunt orientate spre dezvoltarea soluțiilor pentru îmbunătățirea sistemului M&E a fondurilor ESI și consolidarea capacității Guvernul României de a implementa aceste opțiuni. 1 Această evaluare a sistemului de M&E existent se bazează pe următoarele trei subactivități: 1.1 Analiza performanței sistemului de M&E a fondurilor ESI în MFE și în alte ministere și agenții de resort relevante. Această subactivitate va include o analiză calitativă și cantitativă a indicatorilor cheie de performanță selectați la nivel de PO, indicatori sectoriali relevanți, date administrative, precum și informații din sondaje. 1.2 Evaluarea cadrului instituțional și de reglementare a M&E. Echipa BM va sprijini MFE în evaluarea modului în care cadrul național instituțional, legislativ și procedural de M&E pentru fondurile ESI (respectiv instrumentele de colectare a datelor, gestionarea datelor și sisteme de raportare) încorporează cerințele și orientările UE. 1.3 Evaluarea feedback-ului de la beneficiar cu privire la cerințele, procedurile și instrumentele de raportare. Echipa va sprijini MFE în colectarea și analiza perspectivei și capacității beneficiarilor, prin intermediul sondajelor, interviurilor și discuțiilor în focus grupuri pe baza unui eșantion de beneficiari ai programului și alți stakeholderi instituționali relevanți, cu privire la cerințele de raportare, procedurile și instrumentele utilizate în perioada 2014-2020. Rezultatele studiilor relevante efectuate anterior de MEF vor fi, de asemenea, luate în considerare. 2. Prezentare generală a programului de investiții sprijinite de Fondurile ESI și a sistemului de M&E Evaluarea propusă vizează sistemele de monitorizare și evaluare a investițiilor sprijinite de fondurile ESI în perioada de programare 2014-2020 și include 19 PO. Tabel 1 prezintă sintetic 1 Activitatea 1: Evaluarea sistemului de M&E existent al măsurilor finanțate de UE; Activitatea 2: Opțiuni de îmbunătățire a sistemului de M&E al investițiilor cofinanțate de UE în România; Activitatea 3: Propunere de îmbunătățiri în sistemul de M&E. 7 programele incluse în Acordul de Parteneriat 2014-2020, prin care au fost stabilite obiectivele și utilizarea fondurilor ESI pentru această perioadă. Tabel 1 : Programe operaționale, 2014–2020 Programul operațional Fondul UE Alocarea UE Ministerul Regulament (milioane €) Responsabil ul relevant Obiectivul privind investițiile pentru creștere 1303/2013 economică și ocuparea forței de muncă 1 Capitalul uman (POCU) FSE+IOFM 4.326,84 MFE 1304/2013 T 2 Competitivitate (POC) FEDER 1.329,78 MEF 1301/2013 3 Infrastructură mare (POIM) FEDER+FC 9.418,53 MFE 4 Asistență tehnică (POAT) FEDER 212,76 MFE 5 Regional (POR) FEDER 6.700,00 MLPDA 6 Capacitate administrativă (POCA) FSE 553,19 MLPDA 1304/2013 7 Sprijinirea persoanelor defavorizate (POAD) POAD 440,0 MFE Obiectivul de cooperare teritorială MLPDA 1303/2013 8 Programul Interreg V-A România-Bulgaria FEDER 258,5 MLPDA 1299/2013 9 Programul Interreg V-A România-Ungaria FEDER 231,8 MLPDA 10 Programul Transnațional Dunărea FEDER 262,9 MLPDA 11 INTERREG EUROPA FEDER 432,3 MLPDA 12 URBACT III FEDER 96,3 MLPDA 13 INTERACT III FEDER 39,3 MLPDA 14 ESPON 2020 FEDER 48,6 MLPDA 15 INTERREG IPA România-Serbia IAP II 88,1 MLPDA 231/2014 & 447/2014 16 România-Ucraina IEV 66,0 MLPDA 232/2014 & 17 România-Moldova IEV 89,1 MLPDA 897/2014 2 18 Bazinul Mării Negre IEV 53,9 MLPDA 19 Ungaria-Slovacia-România-Ucraina IEV 81,3 MLPDA Sursa: Ministerul Fondurilor Europene Obiectivul Fondurilor ESI în România este acela de a reduce disparitățile economice și sociale dintre România și Statele Membre ale UE, contribuind în același timp la obiectivele tematice ale UE. Așa cum e descris în Acordul de Parteneriat, finanțarea sprijină investițiile care abordează principalele provocări de dezvoltare și sunt aliniate la prioritățile strategice naționale ale României. În acest fel, aceste investiții contribuie la reducerea decalajului dintre România și Statele Membre mai dezvoltate ale UE, atât în ceea ce privește inegalitatea veniturilor, cât și diferențele de competitivitate. Investițiile sprijinite din fondurile ESI contribuie, de asemenea, la toate cele 11 OT ale Politicii de Coeziune a UE3, care vizează crearea de locuri de muncă, competitivitatea întreprinderilor, creșterea economică, dezvoltarea durabilă și îmbunătățirea calității vieții cetățenilor. 2 https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=legissum:28020103_1 3 Politica de coeziune a UE – finanțată din FEDR, FSE și Fondul de coeziune – este cea mai mare sursă de investiții bugetare directe ale UE în perioada 2014-2020. Politica de coeziune a instituit 11 OT pentru a viza mai bine fondurile, pentru a permite crearea de sinergii între proiectele finanțate și pentru a evita fragmentarea excesivă: (i) consolidarea cercetării, a dezvoltării tehnologice și a inovării; (ii) îmbunătățirea accesului la TIC, utilizarea și calitatea acestora; (iii) creșterea competitivității IMM-urilor; (iv) sprijinirea trecerii la o economie cu emisii scăzute de dioxid de carbon în toate sectoarele; (v) promovarea adaptării la schimbările climatice, a prevenirii riscurilor și a gestionării; (vi) conservarea și protecția mediului și promovarea eficienței resurselor; (vii) promovarea transportului 8 Strategia de investiții a fondurilor ESI constă în două niveluri: (i) Acordul de parteneriat; și (ii) PO. Acordul de parteneriat descrie provocările generale de dezvoltare, modul în care acestea vor fi abordate prin principalele domenii de politică și modul în care investițiile în diferite domenii de politică se completează reciproc. PO oferă detalii cu privire la modul în care investițiile vor fi puse în aplicare prin intermediul priorităților de investiții. Aceste priorități de investiții vizează, de cele mai multe ori, domenii specifice de politică publică, ceea ce înseamnă că un PO poate include priorități de investiții, asociate diferitelor sectoare. La rândul său, structura de implementare include și ea mai multe niveluri. La nivelul AP, MFE joacă un rol cheie în coordonarea întregului sistem de fonduri ESI, iar această coordonare se extinde la toate activitățile de M&E. Programele Operaționale sunt implementate prin intermediul Autorităților de management (AM), care sunt structuri în cadrul ministerelor. Organismele intermediare (OI) sprijină implementarea și se poziționează între AM și beneficiarul final, cel care implementează proiectele finanțate prin fondurile ESI. Design-ul sistemului reflectă structura de implementare, cu activități de M&E desfășurate la diferite niveluri. De exemplu, responsabilitățile de monitorizare și raportare sunt stabilite la fiecare nivel, iar un sistem integrat de raportare face legătura de la proiect, la PI, la axa prioritară și, în cele din urmă, la nivelul AP. Cu toate acestea, acest sistem complex este vulnerabil la provocările de coordonare, la lipsurile de capacitate și riscă să fie împovărătoare pentru stakeholderi. Funcția de evaluare este mai concentrată, MFE având un rol cheie în procesul de coordonare. Cu toate acestea, adoptarea rezultatelor evaluării și cultura generală a evaluării par să fie încă limitate. Sistemul de M&E a Fondurilor ESI este modelat în acord cu cerințele UE care vizează orientarea către rezultate. Regulamentul privind dispozițiile comune (RDC) al UE și reglementările specifice fondurilor stabilesc cerințele de M&E, iar Comisia Europeană urmărește continuu dacă aceste reglementări sunt puse în aplicare. Orientarea către rezultate presupune faptul că PO sunt programate pentru a contribui la obiectivele AP și ale UE și includ o logică a intervenției care arată modul în care intervențiile vor conduce la rezultatele vizate. De asemenea, este necesar ca programele să fie implementate într-o manieră care să asigure obținerea rezultatelor preconizate, prin urmărirea progresului pe parcursul implementării. Luarea deciziilor bazate pe dovezi este, de asemenea, esențială pentru orientarea către rezultate: factorii de decizie ar trebui să utilizeze cercetări și dovezi din trecut (cum ar fi informații colectate despre programe) atunci când programează noi intervenții sau iau decizii cu privire la modul de gestionare a implementării programelor. 3. Abordare propusă pentru analiza sistemului de M&E a fondurilor ESI Cadrul general pentru această analiză utilizează conceptul privind un sistem integrat de M&E. Utilizarea M&E pe tot parcursul ciclului de politici publice contribuie la o gestionare îmbunătățită orientată spre rezultate, prin conectarea intervențiilor la rezultatele așteptate ale acestora, prin sporirea transparenței și asumarea responsabilității. Indicatorii de performanță reflectă nivelul implementării, astfel încât măsurile implementate la nivelul cel mai de jos (participant sau beneficiar) să se reflecte mai sus la nivelul fondului. Pentru a evalua sistemul de M&E a fondurilor ESI, metodologia propusă definește parametrii unui sistem eficient de M&E bazat pe rezultate. Pe baza bunelor practici internaționale și a contextului UE, sunt identificate următoarele trei proprietăți ale unui sistem bine creionat și performant de M&E bazat pe rezultate. durabil și eliminarea blocajelor din infrastructurile-cheie ale rețelei; (viii) promovarea locurilor de muncă durabile și de calitate și sprijinirea mobilității forței de muncă; (ix) promovarea incluziunii sociale, combaterea sărăciei și a oricărei discriminări; (x) investiții în educație, formare și formare profesională pentru competențe și învățare pe tot parcursul vieții; și (xi) consolidarea capacității instituționale a autorităților publice și a stakeholderilor și a unei administrații publice eficiente. 9 În primul rând, rezultatele trebuie integrate în toate etapele planificării, implementării și luării deciziilor. Progresul în atingerea obiectivelor indicatorilor sau a rezultatelor evaluării trebuie să furnizeze informațiile necesare pentru discuții relevante și în procesul decizional care are loc la nivelul managerilor de nivel superior sau factorilor de decizie politică. Acest tip de discuție trebuie să aibă loc la toate nivelurile de implementare. Și pentru a face acest lucru, rezultatele - de obicei sub formă de indicatori - trebuie identificate și urmărite la fiecare nivel de implementare. Mai mult, rezultatele trebuie să fie corelate între nivelurile de implementare (reprezentând în esență logica intervenției). Analizând aranjamentele instituționale și legislative, evaluarea va determina în ce măsură sistemul actual de M&E respectă cerințele legislative. Echipa va analiza, de asemenea, dacă actuala organizare legislativă și instituțională este adecvată pentru a se asigura că activitățile de M&E sunt conforme cu cerințele UE. În al doilea rând, fiecare componentă a sistemului de M&E trebuie să funcționeze corect și să existe sinergii între acestea. Având în vedere scopul sistemului fondurilor ESI, abordarea propusă constă în cartografierea și examinarea tuturor componentelor sistemului de M&E, inclusiv: (i) sfera de acoperire și obiectivul acestuia; (ii) fundamentele politice și juridice; (iii) aranjamente instituționale, funcții, roluri și responsabilități; (iv) instrumente; și (v) capacitate și stimulente. După identificarea a ceea ce sunt acestea și având o imagine bună a sistemului, echipa poate analiza cât de bine funcționează componentele sale, precum și legăturile slabe. În al treilea rând, activitățile de M&E trebuie realizate în timp util, în mod consecvent și la un nivel calitativ ridicat. Cei Zece pași către un sistem de monitorizare și evaluare bazat pe rezultate4 sunt folosiți pentru a ghida analiza activităților de M&E la toate nivelurile, acordându-se o atenție deosebită etapelor relevante pentru sistemele mature (6-9), ca punct de plecare pentru revizuirea documentelor cheie de M&E, procedurilor, ghidurilor, indicatorilor, planurilor de evaluare și evaluărilor individuale. La cartografierea sistemului de M&E și identificarea zonelor sale slabe, bunele practici internaționale de M&E vor contribui cu informații pentru a stabili cel mai bun mod de a aborda punctele slabe. De asemenea, echipa va face referire la experiența internațională, pentru a stabili cum se poate răspunde cel mai bine nevoilor de evaluare ale României. În ansamblu, această abordare este orientată spre identificarea bunelor practici internaționale care pot fi aplicate contextului românesc: obiectivul este acela de a efectua „cea mai potrivită” M&E mai degrabă decât „cea mai bună practică”. Analiza va avea în vedere rolurile și capacitatea principalilor stakeholderi în îndrumarea, coordonarea sau utilizarea sistemului de M&E. Întrebările relevante avute în vedere vor să identifice dacă sistemul de M&E răspunde nevoilor utilizatorilor și dacă utilizatorii au un canal prin care participă la activitățile de M&E (de exemplu dacă oferă feedback) și dacă sistemul este transparent în ceea ce privește schimbul de informații și claritatea modului în care este gestionat. În plus, echipa va examina modul în care informațiile de M&E sunt diseminate și utilizate de către factorii de decizie și în ce măsură M&E este integrat în activitățile de zi cu zi, modul în care sunt acceptate activitățile de M&E de către stakeholderi și dacă consideră că aceste activități sunt importante. În cele din urmă, analiza va aborda problema capacității și resurselor umane din întregul sistem de M&E a fondurilor ESI pentru a vedea dacă acestea sunt adecvate pentru desfășurarea activităților de M&E în conformitate cu cerințele și procedurile în vigoare. La nivelul PO, echipa de RAS va analiza dacă indicatorii (și cadrul de performanță/rezultate) au fost concepute eficient și dacă activitățile de M&E sunt implementate corespunzător. În ceea ce privește proiectarea M&E, prima întrebare vizează completitudinea cadrului rezultatelor și măsura în care indicatorii stabiliți la nivel de intervenție au surprins cele mai importante rezultate ale acesteia. Alte întrebări vizează calitatea indicatorilor și capacitatea lor de a monitoriza eficient rezultatele. Colectarea și acoperirea datelor vor influența, de asemenea, calitatea monitorizării și a raportării. În cele din urmă, la fel ca la nivelul AP, evaluarea va analiza modul în care informațiile de M&E sunt utilizate și comunicate și dacă ele influențează luarea deciziilor. 4 Kusek și Rist 2004. 10 Pentru beneficiari, întrebările de evaluare se vor concentra pe experiența lor în legătură cu raportarea la nivelul proiectului. Datele vor fi colectate printr-un sondaj menit să reflecte opiniile beneficiarilor cu privire la procedurile de raportare pe care trebuie să le efectueze, indiferent dacă aceștia înțeleg cerințele de raportare, dacă se simt capabili să îndeplinească aceste responsabilități sau dacă raportarea reprezintă o povară administrativă. Sondajul va lua în considerare, de asemenea, dacă beneficiarii respectă obligațiile de raportare și dacă pot accesa sistemele de informații pentru a automatiza colectarea și raportarea datelor. 4. Instrumentele propuse și instrumentele evaluării Analiza va răspunde la trei întrebări cheie: (i) cât de adecvate sunt aranjamentele instituționale și legislative ale sistemului de M&E a fondurilor ESI; (ii) cât de bine funcționează sistemul, aprofundând detaliile activităților de M&E; și (iii) care sunt perspectivele beneficiarilor privind raportarea și cerințele de M&E. Pentru a răspunde la aceste întrebări cheie, cinci instrumente de colectare a datelor au fost dezvoltate, cu scopul de a colecta informații de la stakeholderii sistemului de M&E a fondurilor ESI: (i) analiza documentară; (ii) interviuri cu persoane care dețin informații cheie; (iii) sondaje online; (iv) o analiză cantitativă a indicatorilor; și (v) discuții în focus grupuri. În plus, echipa va compara și combina informațiile colectate din fiecare dintre aceste instrumente printr-o abordare care utilizează metode mixte - ceea ce înseamnă că informațiile calitative și cantitative sunt utilizate împreună pentru a forma o imagine completă și a răspunde la fiecare întrebare specifică. Analiza documentelor relevante presupune o colectare sistematică de date, precum și o analiză a procedurilor, studiilor și rapoartelor care sunt relevante pentru sistemul de M&E a fondurilor ESI. Aceste documente vor include legislația națională și reglementările relevante, ghiduri UE și naționale cu privire la M&E, rapoarte anuale de implementare a PO, textele PO și AP, precum și planurile de evaluare, printre altele. Revizuirea documentară oferă informații de fond critice pentru celelalte instrumente de colectare a datelor. Apoi, instrumente precum interviurile și sondajele cu persoane cheie vor arăta cât de bine funcționează aceste aranjamente și dacă acestea sunt adecvate pentru îndeplinirea cerințelor UE și implementarea M&E bazate pe rezultate. Mai mult, constatările din analiza documentară vor fi organizate sistematic, astfel încât să permită triangularea cu alte surse. Interviurile cu actori cheie vor fi punctul de intrare pentru a colecta informații mai detaliate despre experiența factorilor de decizie cu sistemul de M&E a fondurilor ESI. Vor fi efectuate interviuri detaliate cu persoane de la care se așteaptă să aibă informații detaliate cu privire la un subiect. Respondenții cheie identificați includ reprezentanți ai MFE, membri ai Grupului de lucru funcțional pentru evaluarea performanței la nivelul AP și directorii generali (DG) ai AM. În timp ce interviurile cu MFE și cele din grupul de lucru funcțional vor oferi informații despre cât de bine funcționează sistemul de M&E a fondurilor ESI la nivelul AP, interviurile cu directorii generali se vor concentra pe nivelul AM. Prin acestea din urmă, echipa de RAS își propune să afle și cum utilizează DG informațiile de M&E, inclusiv rezultatele evaluării, în procesul de luare a deciziilor. Directorii generali pot furniza informații suplimentare cu privire la detaliile tehnice ale M&E la nivel de PO. În timpul acestor interviuri, echipa intenționează să identifice și alți respondenți care sunt implicați activ în operațiunile zilnice de M&E. În unele cazuri, echipa RAS va desfășura interviuri mai detaliate cu aceștia. Sondajele sunt al treilea instrument pentru colectarea informațiilor privind experiența utilizatorului cu sistemul de M&E a fondurilor ESI, iar echipa își propune să administreze două tipuri de sondaje. 5 Primul este sondajul instituțional la nivelul stakeholderilor, care este adaptat diferiților respondenți de la AM, OI și comitetele de monitorizare a AM. Acest sondaj va oferi o imagine 5 Un sondaj listează o secvență de întrebări care vizează extragerea datelor specifice dintr-un anumit grup de persoane. Sursă: https://www.samhsa.gov/data/sites/default/files/standards_stat_surveys.pdf (OMB 2006). 11 generală a experienței fiecărui grup de utilizatori cu sistemul de M&E a fondurilor ESI, împreună cu informații specifice care completează detaliile despre modul de desfășurare a activităților de monitorizare. Al doilea tip de sondaj se va adresa beneficiarilor și intenționează să obțină informații de la un număr mare de respondenți pentru a obține o imagine reprezentativă a experienței lor de M&E. Acest sondaj va include întrebări despre beneficiari: (i) dacă își cunosc sarcinile lor de raportare; (ii) îndrumarea sau instruirea primită de la AM cu privire la sarcinile lor de raportare; (iii) capacitatea de a respecta obligațiile de raportare; (iv) resursele necesare pentru a răspunde cerințelor de raportare; și (v) soluții posibile pentru îmbunătățirea procedurilor de raportare pe care le-ar fi putut sugera și răspunsul AM. Al patrulea instrument pentru colectarea informațiilor despre sistemul de M&E a fondurilor ESI este analiza cantitativă a indicatorilor. Această analiză va contribui la evaluarea calității generale a indicatorilor incluși în sistemul de M&E a fondurilor ESI. Având în vedere numărul mare de indicatori monitorizați la nivelul tuturor PO, va fi selectat un set de indicatori, astfel încât să fie reprezentativ pentru întregul sistem. Echipa va evalua calitatea indicatorilor în raport cu un set de caracteristici predefinite, utilizând criterii SMART (specifice, măsurabile, realizabile, relevante și încadrate în timp). Un exemplu este furnizat în Caseta 1 de mai jos. Caseta 1: Utilizarea criteriilor SMART pentru evaluarea indicatorilor La evaluarea indicatorilor, criteriile SMART presupun ca indicatorul să fie Specific, Măsurabil, Adecvat, Relevant și ancorat în Timp. Un exemplu pentru un indicator SMART nespecific unei țări este „Creșterea procentuală a numărului de angajați absolvenți ai școlilor de afaceri susținute de proiect în primul an după finalizarea instruirii”. Este specific, deoarece se referă exact la absolvenții școlilor de afaceri. Este măsurabil, deoarece nu este ambiguu faptul că măsurăm ocuparea forței de muncă, este realizabil și face referire în mod specific la ceea ce cauzează sau este corelat cu ocuparea forței de muncă (absolvirea școlii de afaceri) și este ancorat în timp, referindu-se la intervalul de timp de un an după finalizarea perioadei de formare. Cel de-al cincilea instrument utilizat pentru colectarea informațiilor vor fi discuțiile în focus grup. În aceste focus grupuri, un facilitator format va conduce aproximativ 10 participanți într-o discuție deschisă ghidată de subiecte identificate până la acel moment în evaluarea sistemului de M&E a fondurilor ESI. Se vor desfășura două tipuri de discuții în focus grupuri cu stakeholderi instituționali și cu alți beneficiari. În aceste sesiuni, echipa RAS va prezenta concluziile inițiale ale evaluării, cu concluzii specifice grupului de focus (de exemplu, principalele provocări de M&E în cadrul PO finanțate de FSE). Apoi facilitatorul va coordona discuția, va solicita răspunsuri de la toți participanții și va sprijini grupul pentru a ajunge la un consens privind principalele provocări ale sistemului de M&E. Mai mult, discuția va fi orientată către validarea concluziilor sondajului și obținerea unei înțelegeri mai profunde a provocărilor. Aceste discuții vor identifica, de asemenea, punctele forte și opțiunile de îmbunătățire. 5. Analiza și lecțiile învățate din această evaluare Informațiile colectate prin intermediul celor cinci instrumente descrise mai sus vor fi analizate pentru a ajunge la o evaluare holistică a sistemului de M&E a fondurilor ESI. Analiza va fi, de asemenea, baza livrabilului RAS 1b, Raport privind analiza instituțională, procedurală și legislativă. Din analiza informațiilor colectate, BM va compara sursele de date printr-o abordare numită triangulare a datelor. Triangularea datelor presupune colectarea informațiilor din surse multiple și prin abordări multiple. Apoi, aceste informații sunt comparate pentru a construi o imagine completă a subiectului abordat. Această abordare permite echipei să privească sistemul din perspectiva multiplelor grupuri de stakeholderi. Mai mult, această tehnică se dovedește cea mai eficientă atunci când informațiile sunt agregate pe o anumită temă. În acest caz, datele vor fi triangulate pentru a fi introduse în evaluare la nivelul AP, la nivelul PO și, dacă este posibil, de către fiecare prioritate de investiție selectată în cadrul PO. Apoi aceste informații vor fi folosite la fiecare nivel pentru a răspunde la întrebările evidențiate în a treia secțiune a acestei note, pentru a trage concluzii generale despre punctele forte, punctele slabe și 12 opțiunile de îmbunătățire la fiecare nivel al evaluării și pentru a specifica concluziile atât pentru funcția de monitorizare, cât și pentru cea de evaluare. Împreună cu MFE, vor fi identificate și elaborate studii de caz privind provocările și punctele slabe ale actualului sistem de M&E. BM va colabora cu MFE pentru a selecta un studiu de caz din fiecare fond (programe finanțate din FSE, inclusiv FEAD; programe finanțate din FEDR și FC, cu excepția programelor transfrontaliere; și programe ale Obiectivului de cooperare teritorială). În cadrul fiecărui fond, accentul va fi pus pe o prioritate de investiții sau pe un set mic de priorități reprezentative pentru fiecare categorie de PO. În cele din urmă, studiile de caz vor fi selectate astfel încât să prezinte bune practici de M&E și să genereze lecții învățate pentru toți stakeholderii sistemului de M&E a fondurilor ESI. În plus, studiile de caz vor fi concepute pentru a oferi o analiză detaliată pe subiecte specifice de M&E. Aceste subiecte pot include: costuri asociate cu M&E, inclusiv povara administrativă; calitatea datelor colectate; sistemul electronic; utilizarea rezultatelor M&E pentru a informa elaborarea politicilor. Mai mult, studiile de caz se vor baza pe informațiile deja colectate prin intermediul celor cinci instrumente, completate cu rezultatele unor interviuri suplimentare la un nivel mai redus. În cele din urmă, BM va colabora cu MFE pentru a sintetiza rezultatele evaluării la fiecare nivel: nivelul AP, nivelul PO și pentru a selecta prioritățile de investiții în cadrul fiecărui PO. Evaluarea va aborda adecvarea generală a aranjamentelor legislative și instituționale pentru întregul sistem de M&E a fondurilor ESI. Apoi, la nivelul AP și PO, evaluarea va prezenta concluzii asupra funcției de monitorizare și, respectiv, de evaluare. În plus, echipa va evidenția principalele provocări, puncte forte, puncte slabe și opțiuni de îmbunătățire. După cum s-a menționat în secțiunea 3 a acestei note, bunele practici internaționale, inclusiv planurile de evaluare, vor fi prezentate când se vor propune opțiuni de îmbunătățire. Echipa RAS va compara lacunele identificate cu experiențele internaționale în ceea ce privește M&E și va evidenția lecțiile din alte țări care se aplică contextului românesc. 6. Plan de lucru al evaluării: coordonare și sprijin solicitat Pe parcursul celor trei etape ale evaluării, echipa RAS va sprijini MFE în coordonarea mai multor activități de colectare și analiză de date. Figura 1 prezintă planul de lucru al echipei pentru a elabora Livrabilul 1b, Raportul privind evaluarea instituțională, procedurală și legislativă. Acest plan de lucru este provizoriu, iar echipa RAS va lucra împreună cu MFE și AM pentru colectarea datelor conform calendarului stabilit. Figura 1: Diagrama Gantt pentru elaborarea Livrabilului 1b Activități ale Oct 20 Nov 20 Dec 20 proiectului S1 S2 S3 S4 S5 S6 S7 S8 S9-11 Analiză documentară Interviuri Analiza cantitativă a indicatorilor Focus grupuri Sondaj în rândul actorilor instituționali Sondaj în rândul beneficiarilor 13 Studii de caz Livrabilul 1b - elaborarea raportului Pentru ca BM și MFE să elaboreze această analiză, va trebui să fie asigurată coordonarea și participarea eficientă a stakeholderilor în cadrul sistemului de M&E a fondurilor ESI. Coordonarea va fi esențială, având în vedere multiplele activități și instrumente care vor fi utilizate pentru a colecta informații de la mai mulți stakeholderi diferiți. Echipa va planifica și implementa cu atenție activitățile pentru a colecta informațiile necesare și se va baza pe sprijinul continuu din partea conducerii MFE și AM. În mod specific, BM va beneficia de următorul sprijin din partea MFE: (i) furnizarea accesului la documente relevante; (ii) participarea la interviuri, care vizează actorii MFE; (iii) asistență pentru finalizarea sondajelor și încurajarea răspunsului din partea respondenților; (iv) coordonarea accesului la bazele de date relevante pentru analiza cantitativă a indicatorilor; (v) furnizarea de informații cu privire la obiectivele focus grupurilor, grupurile țintă și participanții; și (vi) oferirea de feedback cu privire la materialele elaborate. În al doilea rând, va fi nevoie și de sprijinul conducerii din cadrul autorităților de management. Acest sprijin ar trebui să includă: (i) încurajarea personalului AM să transmită documente și informații; (ii) participarea la interviuri și identificarea respondenților din cadrul structurilor pe care le conduc; (iii) diseminarea sondajului la nivel instituțional și a sondajului în rândul beneficiarilor, și încurajarea răspunsului acestora; (iv) sprijinirea accesului la sursele de date pentru analiza cantitativă a indicatorilor; (v) identificarea și invitarea participanților la focus grupuri; și (vi) furnizarea de informații suplimentare și interviuri pentru studii de caz. În concluzie, analiza urmează să reprezinte o bază solidă pentru activitățile de îmbunătățire a sistemului de M&E a fondurilor ESI. În acest sens, va fi elaborat un set de recomandări pentru îmbunătățirea sistemului M&E, așa cum se prevede prin Activitățile 2 și 3 din RAS. 14 ROMÂNIA Proiectul „Implementarea planului de evaluare a Programului Operațional Capital Uman 2014- 2020” Beneficiar: Ministerul Fondurilor Europene Data publicării: Octombrie 2020 Proiect finanțat din Fondul Social European prin Programul Operațional Capital Uman 2014- 2020, Axa prioritară 7: Asistență tehnică „Conținutul acestui material nu reprezintă în mod obligatoriu poziția oficială a Uniunii Europene sau a Guvernului României”. 15