Page 1 Report No.: 47925-MX MEXICO Expansion and Strengthening of Information, Monitoring, and Evaluation in SEDESOL April 2009 Poverty and Gender Unit Poverty Reduction and Economic Management Latin America and the Caribbean Region Document of the World Bank Page 2 ACRONYMS ACSI American Customer Satisfaction Index APF Administración Pública Federal CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social CONEXUS Control de Expedientes Unitarios COPLADES Comités Estatales de Planificación para el Desarrollo COPLADEMUN Comités Municipales de Planificación para el Desarrollo CORETT Comisión para la Regularización de Tenencia de la Tierra CURP Clave Única de Registro de Población DGAP Dirección General de Análisis y Prospectiva DGEMPS Dirección General de Evaluación y Monitoreo de Programas Sociales DGGPB Dirección General de Geoestadística y Padrones de Beneficiarios DGI Dirección General de Informática DGO Dirección General de Organización DGPP Dirección General de Programación y Presupuesto DGS Dirección General de Seguimiento DICONSA Distribuidora e Impulsora Comercial CONASUPO Sociedad Anónima DOF Diario Oficial de la Federación FONART Fondo Nacional para el Fomento de las Artesanías FONHAPO Fondo Nacional de Habitaciones Populares HGM Herramientas para la Gestión de Microdatos INAPAM Instituto Nacional de las Personas Adultas Mayores INDESOL Instituto Nacional de Desarrollo Social IMSU Índice Mexicano de Satisfacción de Usuarios INEGI Instituto Nacional de Estadística, Geografía e Informática LICONSA Leche Industrializada CONASUPO Sociedad Anónima M&E Monitoreo y Evaluación MI Matriz de Indicadores MML Metodología de Marco Lógico OM Oficialía Mayor PAL Programa de Apoyo Alimentario PAZAP Programa de Apoyo a las Zonas de Atención Prioritaria PMG Programa de Mejora de la Gestión (SFP) PND Plan Nacional de Desarrollo PROGRESA Programa Federal de de Educación Salud y Alimentación, antecesor del programa OPORTUNIDADES. Vicepresidente: Director de País: Director de Sector: Gerente de Sector: Economista Líder: Gerente de Proyecto Pamela Cox Axel van Trotsenburg Marcelo Giugale Jaime Saavedra David Rosenblatt Gladys López-Acevedo Page 3 ROPF Reglas de Operación para Programas Federales SED Sistema de Evaluación del Desempeño SEDESOL Secretaría de Desarrollo Social SEDSOL Sistema de Evaluación del Desempeño de SEDESOL SEMBR Sistema de Evaluación y Monitoreo Basado en Resultados SEMBR Sistema de Monitoreo y Evaluación del Desempeño de SEDESOL SFP Secretaría de la Función Pública SHCP Secretaría de Hacienda y Crédito Público SIAFF Sistema Integral de Administración Financiera Federal SICA Sistema Integral de Control de Archivos SICOPA Sistema de Control del Padrón de Beneficiarios SIDI Sistema Integral de Información SIIPSO Sistema Integral de Información de los Programas Sociales SIPREC Sistema Integral de Presupuesto y Contabilidad de la SEDESOL SIPREC Sistema Integral de Presupuesto y Contabilidad SISEE Sistema Integral de Seguimiento a las Evaluaciones Externas SNEIG Sistemas Nacionales de Estadística y de Información Geográfica SSPPE Subsecretaría de Prospectiva, Planeación y Evaluación SSDSH Subsecretaría de Desarrollo Social y Humano SSDUOT Subsecretaría de Desarrollo Urbano y Ordenación del Territorio PBR Presupuesto Basado en Resultados PET Programa de Empleo Temporal PIS Plan Indicativo Sectorial PMG Programa de Mejora de la Gestión PSDS Programa Sectorial de Desarrollo Social UPRI Unidad de Planeación y Relaciones Internacionales Page 4 ACKNOWLEDGEMENTS This study was carried out by a team led by Gladys López-Acevedo. The team was integrated by Manuel Fernando Castro Quiroz, Ray Rist, Alejandro Medina Giopp, Gilberto Moncada Vigo, Gita Beker Busjeet, Lucy Bravo, Jonna Lundwall, Irene Clavijo and Rosa María Hernández. This task was carried out with the valuable information and comments from several Government Officials. We thank Mr. Gustavo Merino, UnderMinister of Prospective, Planning, and Evaluation for his comments and support to the project. We appreciate the support offered by the former Minister of Social Development Mr. Felix Vélez, and by the former General Director of Evaluation Gloria Martha Rubio Soto, as the principal counterparts of this project. We thank to the working teams in SEDESOL, especially Mr. Gerardo Franco Parrillat, Director of Monitoring of Social Programs, and Mr. Ricardo Javier Juárez Cruz, Director de Monitoreo. We would like to acknowledge the participation and support offered by the following entities: Unidad de Coordinación de Delegaciones; Oficialía Mayor (Direcciones Generales de Programación y Presupuesto, Informática, y Organización); Subsecretaría de Desarrollo Social y Humano (Direcciones Generales de Opciones Productivas, Política Social, Seguimiento, Atención a Grupos Prioritarios y a la Unidad de Microregiones); Subsecretaría de Desarrollo Urbano y Ordenación del Territorio (Dirección General de Equipamiento e Infraestructura en Zonas Urbano Marginadas); Direcciones Generales de Análisis y Prospectiva, and Geoestadística y Padrones de Beneficiarios de la Subsecretaría de Prospectiva, Planeación y Evaluación. Also, we would like to thank the Delegación de Querétaro, del Fondo Nacional de Habitaciones Populares (FONHAPO) and the following programs: Abasto Social de Leche ; Oportunidades ; Rescate de Espacios Públicos; Guarderías y Estancias Infantiles Page 5 TABLE OF CONTENTS Introduction...................................................................................................................................1 Informe 1:.......................................................................................................................................4 SEDESOL: Consolidación del Sistema de Monitoreo y Evaluación basado en Resultados para el periodo 2008-2012 Manuel Fernando Castro Informe 2: ....................................................................................................................................40 SEDESOL: Priorización de indicadores estratégicos de acuerdo al SEDSOL y nuevas directrices nacionales Alejandro Medina Giopp Informe 3: ....................................................................................................................................63 SEDESOL: Bases para establecer una agenda de información para el monitoreo y evaluación Gilberto Moncada Vigo References....................................................................................................................................86 Page 6 1 INTRODUCTION While social programs have been in place for decades in Mexico, systematic social program evaluation did not begin to take root until 2000 . Between 1970 and 2000 there were roughly MX$9.4 billion pesos spent on “social expenditure” items. However, the impacts of such programs on the beneficiary population and on poverty remained unclear. In 2000 the Mexican Congress mandated that social programs be externally evaluated annually in order to inform program funding and design. Mexico does not have a national M&E system, and prior to 2000, one of the only examples of rigorous social program evaluation was the case of Progresa. Following the successful evaluation of that program, the feedback obtained from the process was used to facilitate improvements in the project design. Currently, SEDESOL has relied upon a case by case strategy in order to evaluate its programs. Between 2002-2005 SEDESOL contracted 66 external evaluations which were submitted to Congress, and launched 10 long term impact evaluations. One of the primary accomplishments of SEDESOL is that social programs have been modified based on the external evaluation results. 1 SEDESOL’s goal in building a comprehensive M&E system was to move beyond the case-by-case evaluation framework of social programs that has been in place since 2000. This is due to significant challenges that complicated past monitoring and evaluation efforts. First, separate evaluation results for all SEDESOL programs are not integrated into a system that can provide feedback on social program design or efficiency. Secondly, the evaluation budgets have been small in the past which can affect the quality of such evaluation efforts. Thirdly, as all programs, even those operating within close proximity, are evaluated separately, evaluation costs are high. Lastly, the annual requirement for program impact evaluations required by law is a timeframe that is too constrained to perform a meaningful evaluation. In order to strengthen the M&E system, the National Social Development Law (2003) provided for the creation of the National Council for the Evaluation of Social Development Policies (CONEVAL). The Council was officially created by a presidential decree in August 2005 and the Executive Secretary was appointed by the President in November 2005. The council counts among its objectives three primary areas: poverty measurement, the regulation and coordination of the Federal Government’s evaluation of social development policy, and the systemization of results and information regarding social policy. 2 IDF: Technical support, M&E system, impact evaluation technical support The WB-SEDESOL has tackled many of the challenges faced by the prior SEDESOL external evaluation system through an IDF grant . The IDF, Improving SEDESOL’s Institutional Capacity and Building an Integrated Monitoring and Evaluation of Social Programs System , was launched in December of 2003. In July 2004, the WB presented a Readiness Assessment in order to evaluate SEDESOL’s capacity to design an M&E system. In regards to achievements, SEDESOL had achieved “islands of excellence” with regards to a few well-regarded impact evaluations; Progresa and Liconsa are prominent examples. Yet, the limitations faced by SEDESOL were noteworthy. At the time of the evaluation, SEDESOL had 8 separate management information systems in place. And, although the levels of complexity varied amongst the systems, none were geared towards tracking “performance outcomes.” Moreover, the SEDESOL divisions, within themselves, were not coordinating toward a unified empirically based strategy. 1 Information taken from the presentation made by Gonzolo Hernández Licona entitled, “National Council for the Evaluation of Social Development Policies: Origin and Challenges” 2 Ibid Page 7 2 Five “implications” for the construction of a “performance based information systems” were identified by the WB Readiness Assessment . First, the assessment notes that the construction of a “performance- based” M&E system is likely to be an incremental process; it highlights the piloting approach as one avenue to accomplish this. Secondly, SEDESOL must have performance goals that are “clear and legitimate” in order to construct a useful and relevant M&E system. Thirdly, technical capacity in the ministry in regards to M&E is a significant part of the equation. Fourthly, the verification of data, analysis of data, as well as reporting are activities that are required under a new system. And, lastly, there is a need for coordination beyond SEDESOL in the area of M&E in order to guide future reforms government- wide. This requires the managerial capacity to drive internal reforms and external coordination. As can be seen by the IDF design and implementation, these implications have been taken into account. 3 The standardization of social policy evaluation has been an area of intense collaboration between the GoM and the WB; the IDF was one of the central instruments for facilitating such collaboration. The goal in designing a results-based M&E system was “to provide accountability, the objective assessment of policies and programs, and a feedback mechanism to improve the design of social policy interventions.” SEDESOL, through consultations with the WB, identified the desirable characteristics of a social policy M&E system. The system would a) strengthen the evaluation process of SEDESOL; b) focus on program themes and outcomes instead of specific program characteristics; c) create an integrated multi-year framework for evaluation; and d) be transparent and accessible. The WB approved IDF grant explicitly provided for four activities directly related to creating an integral M&E system. These include: · The development of a strategic action plan for SEDESOL. · The design of an integrated M&E system as well as training to build technical capacity in order to operate the M&E system. · Testing of the integrated M&E system. · The release of SEDESOL survey data and evaluations to the public. Fee for Servces for Expansion and Consolidation of M&E This compilation of documents in the present report was a “Fee for Services” contract held with the Secretaria de Desarrollo Social (SEDESOL) in Mexico between 2007 and 2008. The services’ objective was to provide support to SEDESOL in expanding and consolidating its Monitoring and Evaluation (M&E) system based on the IDF experience. The project was conducted within the frame of a long term partnership between SEDESOL and the World Bank (WB). Previously, between 2003 and 2006, an IDF supported the first phase of construction of the M&E system within SEDESOL, focusing on four pilot programs involving M&E activities. The FFS reports included in this document were requested by SEDESOL in 2007 with the specific objective of developing a strategy for the M&E system throughout the 2008-2012 period, to consolidate the achievements made between 2004 and 2007. SEDESOL’s request in 2007 was also driven by changes at the Federal level in the M&E and results-based budgeting policy. In 2007, the Secretaría de Hacienda y Crédito Público (SHCP), the Secretaría de Función Pública and the Consejo Nacional de Evaluación de la Política de Desarrollo Social de Mexico (Coneval) issued the General Guidelines for the Evaluation of Federal Programs. These Guidelines had significant implications for the M&E system within SEDESOL. 3 The World Bank. Readiness Assessment: Toward Performance-Based Monitoring and Evaluation in Mexico: The Case of SEDESOL.” Mexico City: July 2004 Page 8 3 In order to address SEDESOL’s strategic needs the World Bank team developed the following three separate reports, aimed at providing an integral strategy for the consolidation the Secretariat’s M&E strategy: Consolidation of the M&E system based on Results for the 2008- 2012 period; Prioritizing Strategic Indicators according to SEDESOL and the new government guidelines; and Foundations to establish an Information Agenda for monitoring and evaluation. As part of the project two other important complimentary studies were carried out. The first study was “ Análisis del Plan Indicativo, Matrices de Indicadores y Alineación de los Programas de SEDESOL ”. This study was completed in partnership with CIDE ( Centro de Investigación y Docencia ). The second tranche of work consisted of organizing a seminar on ‘Information for M&E’ for SEDESOL staff. The results of these activities are not included in the present document due to lack of space, but they may be requested directly by the Team Task leader, Gladys López Acevedo. Page 9 4 Informe 1: SEDESOL: Consolidación del Sistema de Monitoreo y Evaluación basado en Resultados para el periodo 2008-2012 Autor principal: Manuel Fernando Castro Introducción Este documento presenta los resultados de la consultoría “Consolidación del Sistema de Evaluación y Monitoreo Basado en Resultados en la Secretaría de Desarrollo Social (SEDESOL) para el Periodo 2008 – 2012”. El objetivo de la consultoría es desarrollar una estrategia para la Secretaría que impulse el actual Sistema de Evaluación y Monitoreo Basado en Resultados (SEMBR) hacia una nueva etapa en su evolución. La solicitud de SEDESOL para la realización de esta consultoría forma parte de un esfuerzo que la Secretaría ha desarrollado progresivamente en los últimos diez años en materia de monitoreo y evaluación (M&E). El trabajo responde igualmente a un momento de importantes cambios al interior de la Secretaría y fuera de ella en el proceso de desarrollo de las funciones e instrumentos de monitoreo, evaluación y gestión basada en resultados en el país. La primera fase del SEMBR tuvo lugar entre 2004 y 2008, y se concentró en su implantación en cuatro programas pilotos (Opciones Productivas, Hábitat, Coinversión Social y Apoyo Alimentario). A partir de 2008, la Secretaría se encuentra lista para iniciar una segunda fase del Sistema con un alcance mayor. Para ello, se han identificado importantes desafíos transversales en el ámbito institucional, técnico-operativo y de información, mismos que deberán ser abordados para asegurar un SEMBR de alta calidad. Un elemento fundamental para el nuevo modelo de monitoreo y evaluación en SEDESOL es el contexto nacional en el que éste se inserta. Iniciativas como el Sistema de Evaluación del Desempeño (SED), el Programa de Mejora de la Gestión (PMG) y los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal se han convertido en referentes centrales, reforzando la necesidad de contar con sólidos sistemas de monitoreo y evaluación al interior de las secretarías. Es dentro de este contexto en el que se desarrolla esta consultoría, la cual tiene como fin proponer las bases principales de una estrategia sostenible para la implementación del SEMBR en la Secretaría, asegurando su consistencia y correspondencia con el nivel externo, particularmente, en cuanto a las iniciativas mencionadas. Los resultados de la consultoría se organizan en tres documentos individuales. Este primer documento presenta una propuesta de modelo integrado en materia de gestión basada en resultados, expone las bases del diagnóstico que lo soportan y sugiere un plan estratégico con objetivos y actividades para su optimización y profundización en los próximos cuatro años. El enfoque integral de la consultoría incluye otros dos reportes que analizan a detalle áreas específicas del nuevo modelo del SEMBR, estos son: a) priorización de indicadores estratégicos de los programas sociales, y b) fortalecimiento de la capacidad para generar información de Page 10 5 calidad para el monitoreo. Cada uno de estos documentos incluye un diagnóstico de la situación actual, así como las estrategias concretas a desarrollar que abordan los desafíos identificados. Los documentos son fruto de la revisión de información secundaria y de entrevistas con responsables de las funciones de planificación, presupuesto, información, seguimiento y evaluación de SEDESOL, la Presidencia de la República, y las Secretarías de Hacienda y Crédito Público (SHCP), y de la Función Pública (SFP). 4 E L M&E Y LA G ESTIÓN BASADA EN RESULTADOS EN SEDESOL SEDESOL ha realizado desde 1999 un esfuerzo por incorporar un enfoque de gestión orientado hacia el logro de resultados y con ello ha hecho hincapié en el desarrollo y fortalecimiento de sus funciones e instrumentos de M&E. Una de las principales áreas de trabajo en este campo ha sido la evaluación de sus programas a través de la cual ha logrado medir el impacto y retroalimentar el proceso de toma de decisiones en un buen número de sus programas (Progresa-Oportunidades, Fortificación de Leche de Liconsa, Hábitat, Tu Casa, Piso Firme, Estrategia de Microregiones, Programa de Apoyo Alimentario, entre otros). Este esfuerzo ha sido la respuesta a requerimientos principalmente internos en la Secretaría dirigidos a modernizar la gestión de los programas sociales. En este contexto, desde 2003 SEDESOL inicio el diseño y posteriormente la implementación del Sistema de Evaluación y Monitoreo Basado en Resultados (SEMBR) el cual comenzó su operación a manera de piloto en cuatro programas (Opciones Productivas, Hábitat, Coinversión Social y Apoyo Alimentario). A partir de 2007, la Secretaría avanzó hacia la definición y el uso de Matrices de Marco Lógico (MML) en todos sus programas lo que significó un paso adicional hacia el mejoramiento y estandarización de los procesos de formulación de indicadores y metas, y hacia el establecimiento de bases más sólidas para realizar la medición de resultados de sus programas. Estos, entre otros aspectos, han posicionado a SEDESOL como la Secretaría que más ha avanzado en el desarrollo de las funciones de M&E en el gobierno mexicano, especialmente en cuanto tiene que ver con las evaluaciones de impacto. Gracias a su modelo de evaluación, SEDESOL es hoy en día, un ejemplo de buenas prácticas de gestión por resultados para la Administración Pública Federal (APF), y ha contribuido a impulsar la evaluación en otras áreas del sector público y a sensibilizar a las autoridades nacionales y sectoriales sobre la relevancia de esta función. En este sentido, como continuación de un proceso de mediano plazo caracterizado por la innovación y el aprendizaje, y en respuesta a un importante cambio en el contexto institucional de la APF, la Secretaria ha identificado como necesaria la expansión del modelo al resto de los programas y a otras unidades de gestión de la institución. U N NUEVO MODELO DEL SEMBR La necesidad de iniciar una segunda fase que involucra un fortalecimiento del modelo de orientación a resultados de la Secretaría responde a dos principales razones. La primera está relacionada con los problemas y logros identificados en los diagnósticos recientes del Sistema (Banco Mundial 2003 e IDEA 2007). La segunda razón tiene que ver con la necesidad de adaptar 4 Ver en el anexo 2 la lista de personas y entidades entrevistadas para la elaboración del presente documento. Page 11 6 el Sistema de la Secreta ría a un nuevo contexto nacional marcado por las reformas introducidas al presupuesto público y a la información pública en la Administración Pública Federal, 5 así como por la necesidad de adoptar los lineamientos de iniciativas federales actualmente en desarrollo como el Sistema de Evaluación del Desempeño (SED) y el Programa de Mejora de la Gestión (PMG). En respuesta a estos factores de cambio contextual, los cuales se detallarán más adelante, esta asistencia técnica recomienda dar el paso de un Sistema de M&E hasta ahora centrado exclusivamente en la operación de los programas a un esquema más amplio, centrado en el desempeño agregado de la Secretaría. Dicho esquema se fundamenta en la medición del desempeño a partir de la dimensión estratégica del Plan y del Presupuesto Sectoriales, así como de su alineación con el Plan Nacional de Desarrollo y el Presupuesto Federal. Bajo ese enfoque, el rediseño del sistema tiene como objetivo operacionalizar dentro de la SEDESOL la iniciativa del presupuesto basado en resultados y el SED, e incorporar sus lineamientos y propósitos dentro del Sistema que la Secretaría viene desarrollando desde 1999. Con este nuevo enfoque se busca consolidar los avances logrados, corregir los problemas encontrados y complementar su alcance, incorporando otras áreas de evaluación de la gestión, incluyendo la dimensión presupuestal. Como complemento a un enfoque que hasta ahora se ha centrado principalmente en la evaluación, el nuevo modelo hace necesaria una orientación a resultados soportada en tres pilares principales: Monitoreo basado en Resultados, Evaluación Basada en Resultados y Presupuesto Basado en Resultados (ilustración 1). ILUSTRACION 1: Modelo conceptual y componentes del SEMBR. Objetivos Estratégicos Estudios y Evaluaciones Presupuesto por objetivos SEMBR Diseño MML Avance físico y financiero Integración Plan-Presupuesto Rendición de cuentas y PMG Consistencia y Resultados Indicadores transversales - Cobertura - Focalización - Percepción Indicadores y procesos Impacto Monitoreo Basado en Resultados Evaluaci ón Basada en Resultados Presupuesto Basado en Resultados Específicas 5 Ver Ley Federal de Presupuesto y Responsabilidad Hacendaria (DOF 30-03-2006) y Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental DOF 06-06-2006. Desarrollos adicionales se encuentran en las Leyes del Presupuesto de Egresos de la Federación 2006, 2007 y 2008; y en los Lineamientos para la Programación Presupuestal 2008. Page 12 7 Fuente: Elaboración propia con base en hallazgos identificados. El desarrollo, fortalecimiento e integración de estos tres componentes busca establecer un balance en los proceso de generación de información del desempeño y propende por su utilización dentro de los procesos de toma de decisiones de la Secretaría. Con el componente de monitoreo, se fortalece la función de seguimiento al avance físico y financiero de los programas y sus resultados, y se amplía esta tarea al ámbito de las estrategias y planes de la Secretaría. Con el componente de evaluación, se avanza en la consolidación de las metodologías de análisis de causalidad entre los principales programas de SEDESOL y sus efectos, además de incorporar nuevas herramientas como las evaluaciones de consistencia y resultados, indicadores y procesos, establecidas en los Lineamientos Generales de Evaluación. A través del componente de presupuesto por resultados se introducen mecanismos para asegurar la retroalimentación de las decisiones presupuestales con la información del desempeño proveniente del monitoreo y las evaluaciones, buscando contribuir por esta vía al mejoramiento de la calidad del gasto sectorial. La armónica y balanceada operación de estos componentes facilitará y estimulará el control de los resultados agregados de la Secretaría y generará, igualmente, incentivos adecuados para su mejoramiento continuo. Adicionalmente, este enfoque permitirá fortalecer la planificación estratégica dentro de la gestión de la política social, y mejorar la rendición de cuentas de sus resultados tanto internamente (desde las unidades de SEDESOL hacia el Secretario), como externamente (desde el Secretario hacia el Presidente, ante la ciudadanía y los órganos de control). Teniendo en cuenta las directrices del Presupuesto de Egresos de la Federación 2008, y en consistencia con las actividades que la Presidencia de la República, la Secretaría de Hacienda y Crédito Público (SHCP) y la Secretaría Función Pública (SFP) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) realizan para la implementación del SED a nivel federal, se propone que el SEMBR de SEDESOL se desarrolle como una iniciativa piloto del SED. Las bases de un Plan Estratégico con la descripción de algunas actividades para cada uno de los tres pilares y los arreglos institucionales necesarios para su desarrollo se presentan en la última sección de este documento. D IAGNÓSTICO DEL SEMBR Principales problemas y logros previos a la creación del SED y el PMG Previo a este análisis, existen dos diagnósticos sobre la gestión por resultados en SEDESOL. El primero fue realizado por el Banco Mundial en 2003 y el segundo fue preparado por IDEA Internacional en 2006. En ambos diagnósticos, el análisis es exhaustivo, las conclusiones coinciden y en su gran mayoría aún son válidas. Como se mencionó anteriormente, durante esta primera fase se implementó un Sistema Piloto de M&E en 4 de los programas (Opciones Productivas, Hábitat, Coinversión Social y Apoyo Alimentario), y a partir de 2006 comenzó la preparación del resto de sus programas para su incorporación al Sistema. Esta etapa se caracterizó por orientar el Sistema hacia el interior de la Secretaría y por tener un marcado énfasis en los programas. En ese sentido, en su primera etapa el énfasis en la integración de los ejercicios de planeación con la programación presupuestal se dio fundamentalmente a nivel de los programas, y en menor medida a nivel agregado de la gestión sectorial. Page 13 8 Con el fin de lograr una visión más completa de esta primera etapa de implementación, la revisión y validación de las conclusiones de los diagnósticos realizados, permite identificar los siguientes como los aspectos más importantes del desarrollo y estado del SEMBR en su primera fase. Observaciones generales La información disponible indica que se han desarrollado iniciativas de mejoramiento en varias unidades administrativas de la SEDESOL a nivel del proceso de planificación, de los sistemas de información y del proceso de evaluación. Estos aspectos constituyen avances importantes en la implementación de un sistema de M&E basado en resultados el cual, como lo muestra la experiencia internacional conlleva esfuerzos de mediano y largo plazo 6 . No obstante lo anterior, en la actualidad aunque se cuenta con una estructura funcional, en donde la misión, los objetivos y las atribuciones de cada unidad y dirección están definidos hace falta precisar los papeles y responsabilidades de algunos actores, así como los mecanismos de coordinación entre estos para el desarrollo de una función integrada de M&E. Debido a esto persisten duplicaciones de esfuerzos y/o vacíos en el desarrollo de actividades de M&E y existe espacio para mejorar el papel del M&E de resultados en la planificación y la presupuestación de la Secretaría. 7 Por otra parte, se identifica que la SEDESOL cuenta con recursos humanos con buenas capacidades, formación y compromiso para implementar un sistema de M&E aunque este personal es en algunos casos limitado por razones presupuestales, sobretodo a nivel estatal. Igualmente se observa que las funciones de M&E han evolucionado paulatinamente desde 1999, aunque en dicho proceso la secuencia y la velocidad se han visto afectadas por los cambios de dirección al más alto nivel los cuales, como sucede con frecuencia, han implicado tanto avances como algunos periodos de estancamiento para el sistema. Fruto de lo anterior, la introducción de una cultura de la gestión basada en resultados es todavía un proceso en curso en la Secretaría y como tal, aun se requiere generar capacidades en el uso de las herramientas del Sistema de M&E y hacer explicito para algunas áreas el papel que estas deben desempeñar en el modelo de gestión de la política social a cargo de la Secretaria. En algunas dependencias, por ejemplo, aun no es suficientemente claro el marco analítico de monitoreo y evaluación en aspectos tales como la distinción entre monitoreo basado en resultados, monitoreo tradicional, evaluación del desempeño y evaluación de impacto. Asimismo, un cierto número de ejecutores todavía son reticentes a rendir cuentas y a ser evaluados. No obstante lo anterior, es importante mencionar que se identifican grupos de excelencia en múltiples unidades administrativas responsables de la operación de los programas con lo que, en su conjunto, se puede señalar que el proceso de institucionalizacion de las funciones de M&E tiene en la SEDESOL un importante nivel de arraigo. Un aspecto a destacar es la realización de acciones de capacitación a las organizaciones de la sociedad civil y a los gobiernos municipales con el fin de fortalecer la participación y el control 6 Ver al respecto las experiencias de Chile, Brasil, Costa Rica o Colombia 7 Así por ejemplo, existen varias dependencias con funciones de M&E, programas que cuentan con varios sistemas de seguimiento, o no existe M&E del plan estratégico de la SEDESOL. Page 14 9 ciudadanos en los programas de la Secretaría. Entre estas se cuenta la creación del Consejo Ciudadano y el Programa de Coinversión Social en las cuales se han establecido esquemas novedosos que contribuyen a fortalecer la orientación a resultados de la Secretaria. El fortalecimiento y ampliación de estos mecanismos se identifica como un aspecto central para el desarrollo del Sistema de M&E en el futuro. Evaluación En materia de evaluación, se reconoce a la SEDESOL por utilizar mecanismos de evaluación en buena parte de sus programas. Por ejemplo, se han desarrollado evaluaciones plurianuales de impacto para estrategias, acciones y programas como Oportunidades, Fortificación de Leche de Liconsa, Tu Casa, Piso Firme, Hábitat, Estrategia de Microregiones, Programa de Apoyo Alimentario (PAL). En este campo la Secretaría cuenta con una dependencia especializada compuesta por un equipo de profesionales con amplias capacidades técnicas en el área de evaluación y algunos programas como Oportunidades también han desarrollado importantes capacidades de evaluación propias. Monitoreo Con respecto al tema de monitoreo, los diagnósticos indican que hay sistemas funcionales para el monitoreo de indicadores de insumos, actividades y de productos en los programas de la SEDESOL, particularmente en el Sistema Integral de Información de los Programas Sociales (SIIPSO). Asimismo, se identifica un esfuerzo para monitorear los resultados de las evaluaciones a través del Sistema de Seguimiento a las Evaluaciones Externas de la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS). Sin embargo, la información de monitoreo no se encuentra estandarizada para niveles diferentes al programa y los recursos humanos involucrados en actividades de monitoreo son todavía considerablemente limitados. Información del desempeño Los diagnósticos indican que existen bases de datos que proveen información sobre la situación socioeconómica de los hogares y de la población en pobreza, las cuales son utilizadas para diseñar y/o renovar programas sociales. Sin embargo, no existe integración del Sistema de M&E de los cuatro pilotos con los sistemas de información existentes, con lo que el uso de su información por parte de los programas es bajo. Asimismo, se identifica una multiplicidad de sistemas (33 en total) sin ningún enfoque integral o claras reglas de inter operación entre ellos lo que en muchos casos genera duplicidad en la captura y procesamiento de datos. Además, muchos de estos sistemas son instrumentos normatizados de gestión con una limitada orientación hacia resultados al carecer de metas e indicadores de desempeño para los diferentes niveles de la cadena de implementación del sector (ej: insumos, actividades, productos, resultados, impactos). En ese sentido, cabe resaltar que aún no se ha identificado con claridad la importancia y necesidades específicas de demanda de la información a cada nivel (estratégico, de gestión y operaciones). No existe una demanda interna claramente identificada de la información del desempeño para propósitos gerenciales y por lo tanto en su mayoría el uso que se le da es para cumplir con las leyes y la normatividad. Page 15 10 Por otra parte, l os costos de recolección de información aún son elevados, debido a la variedad de poblaciones objetivo, de programas y modalidades, así como a la ausencia de estándares y procedimientos para la generación y administración de datos, especialmente de registros administrativos. La estructura fragmentada de recopilación de datos y elaboración de informes sobre los programas en la SEDESOL constituyen una limitación para el desarrollo del sistema de M&E. Asimismo, se destacan logros significativos en áreas puntuales como en la recolección en campo de los indicadores definidos por la matriz de marco lógico para cada uno de los programas de la Secretaría. Planificación Con respecto a la planificación, en términos de normas se identificó la existencia de una base legal clara definida por la Ley de Planeación (de 1983 y revisada en 2003) y por la Ley General de Desarrollo Social (2004). La Ley Federal de Presupuesto y Responsabilidad Hacendaria (2006) refuerza de forma amplia esta función desde otra óptica, al establecer la obligatoriedad de buscar una mayor correspondencia entre la planificación y los procesos de asignación de recursos con base en información del desempeño. En términos de estrategias nacionales de planificación existe un Plan Nacional de Desarrollo 2006-2012, el compromiso de lograr los Objetivos de Desarrollo del Milenio con metas específicas y un Sistema de Metas Presidenciales. En términos de planes de desarrollo estratégicos de SEDESOL existe un Programa Sectorial de Desarrollo Social 2007-2012, y se encuentran próximos a iniciar un Programa Nacional de Desarrollo Urbano y la Estrategia Vivir Mejor. No obstante lo anterior, los vínculos entre los objetivos, indicadores y metas de estas estrategias de la SEDESOL y los objetivos e indicadores de alto nivel relacionados con el Plan Nacional de Desarrollo no se encuentran claramente definidos en una estructura logica de la gestión sectorial. Los objetivos definidos en los documentos estratégicos en ocasiones parecen generales lo que impide su medición en términos de resultados. Por otro lado, se reconoce el avance en la estructura de una buena planificación operativa de los programas con un plan de trabajo operacional anual de cada programa y entidad de SEDESOL. Igualmente importantes en este sentido es la existencia de reglas de operación para los programas federales, así como guías y manuales de procedimientos. Con estos se cuenta con una buena base de procedimientos estandarizados para los ejercicios de planificación y operación de los programas. Presupuesto basado en resultados Los diagnósticos han identificado que no existe una fuerte alineación entre la planificación estratégica y la elaboración de los presupuestos de la Secretaría. No se cuenta con un sistema de incentivos que permita orientar y aplicar efectivamente la gestión basada en resultados y tampoco se vincula la remuneración ni la asignación de presupuesto con los resultados obtenidos a nivel individual o colectivo. Asimismo, se identifica que no hay suficiente retroalimentación de los resultados del sistema de M&E para la toma de decisiones a nivel de la asignación de recursos en el presupuesto siguiente, ni tampoco una rendición de cuentas sistemática o estandarizada sobre el uso dado a los recursos presupuestados. Page 16 11 C ONTEXTO ACTUAL Y RECOMENDACIONES Como complemento a los diagnósticos realizados, el análisis de esta consultoría sobre el estado de la gestión basada en resultados en SEDESOL permitió identificar una serie de elementos adicionales que se consideran relevantes para la optimización y consolidación del SEMBR. Dichos aspectos tienen que ver, por una parte, con una serie de cambios en el contexto nacional a los cuales el sistema debe adaptarse y, por otra, con aspectos técnicos e institucionales del sistema en cuanto a su enfoque y componentes, las herramientas utilizadas, la disponibilidad de información del desempeño y el desarrollo de capacidades de M&E en la Secretaría. Cambios en el contexto nacional Uno de los factores que motivan un replanteamiento en el enfoque del SEMBR en SEDESOL está relacionado con los cambios generados en la legislación y la política nacional desde finales de 2007. Estos cambios se tradujeron en un nuevo contexto para la gestión por resultados en México que contrasta con el periodo en el que se conceptualizó el SEMBR. Estos cambios están dados, en primer lugar, por las disposiciones establecidas en los Lineamientos Generales para la Evaluación de Programas Federales de la Administración Pública Federal (2007), los Lineamientos Generales para el Proceso de Programación y Presupuestación 2008, y la Ley Anual del Presupuesto de Egresos de la Federación 2008 (PEF). A través de estas normativas se introdujo una nueva y clara orientación desde la SHCP, la SFP, la Presidencia de la República y el CONEVAL para avanzar hacia el establecimiento de un vínculo (nacional y sectorial) entre la planificación, el presupuesto y la ejecución de los programas federales haciendo uso de herramientas de monitoreo y evaluación. En particular, esta nueva orientación se materializa en la administración federal a través de la creación del SED y con el impulso al PMG. Tanto en los lineamentos de evaluación como de presupuestación se plantea la necesidad de contar con un marco de referencia en la gestión que considere los objetivos estratégicos del país y de los sectores, así como su alineación y articulación. Igualmente, se plantea la utilización de la información del desempeño por parte de las instancias encargadas de programar el presupuesto (Dirección General y Direcciones Sectoriales de Presupuesto), de coordinar la formulación y ejecución de planes y programas (Presidencia, Subsecretarías y Direcciones de Planeación Sectoriales), y de promover el mejoramiento institucional con base en incentivos de desempeño (Secretaría de la Función Pública). A esto se suma el planteamiento de incrementar la rendición de cuentas ante el Congreso, a través de proveer más y mejor información del desempeño para las discusiones presupuestarias. Todo lo anterior configura un nuevo contexto para el desarrollo del Sistema de Monitoreo y Evaluación Basado en Resultados de SEDESOL. Este contexto contrasta ampliamente con el anterior, en la medida en que este último se enfocaba fundamentalmente en los programas de la Secretaría, y particularmente en la operación de los mismos. Con ello, este nuevo enfoque establece un marco de referencia más amplio que vincula la planificación estratégica y el presupuesto y que establece incentivos para la generación de datos del desempeño en estos niveles dada la demanda de información del desempeño por parte de la Presidencia de la Republica, la SHCP y la SFP. Page 17 12 Recomendaciones Con el fin de lograr la optimización y consolidación del SEMBR, el análisis de esta consultoría identificó los siguientes hallazgos sobre los temas en cuestión y formuló una serie de recomendaciones sobre los mismos que se describen a continuación. Monitoreo Hallazgos identificados : La Secretaría evidencia un marcado énfasis en la evaluación y un menor énfasis en actividades de monitoreo, rendición de cuentas y vinculación de estos aspectos con el presupuesto, especialmente al nivel estratégico de la Secretaría y del Plan Nacional de Desarrollo. Las tareas de monitoreo, estrictamente complementarias para la gestión por resultados, se desarrollan a nivel de cada programa y en consecuencia carecen de unidad metodológica y estándares, además de que no se cuenta con un ejercicio de consolidación sectorial que pueda servir de apoyo a la planificación y a la presupuestación. Frente a la falta de un referente estratégico sectorial mas fuerte, algunos Programas como Estancias Infantiles o Rescate de Espacios Públicos han tratado de enfrentar el problema con soluciones individuales generando sus propios mecanismos de monitoreo a nivel estratégico. Según estos programas, lo anterior es en parte resultado de que SIIPSO no satisface las necesidades particulares de cada programa, por lo que se ven en la necesidad de crear sus propias herramientas. Sin embargo, también se identifican operaciones administrativas y presupuestales comunes a todos los programas en las que se podría hacer uso del know-how de otros programas. Como consecuencia, un aspecto general es la falta de economías de escala en las herramientas de monitoreo. Cada vez que se crea un nuevo programa no se utilizan mecanismos estandarizados sino que, por lo general, se desarrollan nuevos sistemas de monitoreo. Estos últimos sistemas en algunos casos difieren incluso al interior de una misma subsecretaría, dadas las necesidades de cada programa. En la Subsecretaría de Desarrollo Social y Humano, por ejemplo, se vienen impulsando nuevas herramientas tecnológicas a nivel de sus programas como complemento del SIIPSO. Algo similar sucede a nivel de las delegaciones y entidades sectorizadas. Junto a lo anterior, y en parte como resultado, no es aun sistemática ni metódica en SEDESOL la práctica de rendición de cuentas (ni hacia adentro, ni hacia fuera) con base en la información de las evaluaciones y el monitoreo. A parte de la presentación de los informes de evaluación al Congreso y de su publicación en la Web (tal como lo exigen las normas existentes), los resultados de las evaluaciones podrían traducirse en reportes ejecutivos para las unidades gerenciales de la Secretaría, o en documentos informativos para diferentes lectores (ciudadanía, beneficiarios, actores involucrados, etc.). Dichos reportes podrían ser diseminados por diferentes medios y con una periodicidad definida, sin embargo, es importante mencionar que esto requeriría contar con pequeño personal de apoyo que se encargue de adelantar esta tarea permanentemente. En relación con estas actividades, y teniendo en cuenta que se respondía a otro contexto, los pilotos de Gestión por Resultados de los programas Opciones Productivas, Hábitat, Coinversión Social, y Apoyo Alimentario, después de tres años de implementación muestran avances importantes, aunque parciales. En algunos de ellos los instrumentos desarrollados (como el Page 18 13 sistema de información) no han logrado consolidar plenamente su uso ante la ausencia de incentivos suficientes para que el personal administre información en el sistema sustituyendo procedimientos manuales o u otras herramientas informáticas más limitadas. Este aspecto se pudo constatar con los programas y la oficina informática (Ej. PAL de DICONSA que tiene dos vertientes, una abasto rural y otra de apoyo alimentario). En esas circunstancias, un aspecto asociado a este resultado es el oscilante y en ocasiones todavía bajo nivel de apropiación del Sistema de M&E por parte del nivel político (Secretario y Subsecretarios) lo cual reduce los incentivos para la utilización de sus herramientas por parte de los programas. Este factor está vinculado a su vez con la falta de definición de una única instancia técnica encargada de la coordinación e instrumentación del Sistema de M&E. En ese sentido, a pesar de que la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS) impulsó el diseño e inicio de la iniciativa, la responsabilidad de ejecutar los pilotos recayó altamente en los programas mismos. Las diferencias en capacidad, motivación, incentivos, y complejidad de cada programa también explican el disímil desarrollo de esta iniciativa en cada piloto. Recomendación : Incorporar las dimensiones del Programa Sectorial y el Plan Nacional de Desarrollo como unidades para el monitoreo, lo cual implica pasar de una estrategia de pilotos de M&E por programas a un enfoque comprensivo para toda la Secretaría. Adicionalmente, tal como funciona hoy en evaluación en cuanto a quien debe asumir el liderazgo, desde el punto de vista técnico se recomienda asignar a la DGEMPS la función de modulador de las tareas de monitoreo de los resultados sectoriales y dejar en manos de los programas el monitoreo de la operación. Se trata de que la DGEMPS actúe como consolidador de los resultados de nivel estratégico, mismos a ser monitoreados por el SED. Esto implica administrar la herramienta tecnológica del sector y encargarse de definir la metodología, los estándares y los procedimientos para la definición de tales indicadores y su seguimiento 8 . Este aspecto hace necesario revisar la disponibilidad de personal o división de tareas y funciones al interior de la DGEMPS, especialmente en aspectos relativos al monitoreo con lo que, eventualmente, puede ser necesario fortalecer su capacidad. Se considera importante enfatizar aquí que, si se opta por ampliar las responsabilidades de la DGEMPS, será necesario fortalecer las capacidades de ésta Dirección en términos del recurso humano disponible para poder llevar a cabo el trabajo. El tema de la capacidad de esta instancia es un asunto que resulta de muchas de las recomendaciones incluidas en este análisis toda vez que se busca un SEMBR fortalecido. Por lo tanto antes de empezar con la implementación de la estrategia se recomienda que a nivel directivo de la SEDESOL se establezca en que medida y a que velocidad podría ser factible dicho fortalecimiento. En cuanto a la vinculación del monitoreo con el presupuesto, se sugiere que la Subsecretaría de Prospectiva, Planeación y Evaluación (a través de la DGEMPS) coordine labores de definición y uso de indicadores del desempeño con la Oficialía Mayor (Dirección General de Programación y Presupuesto, DGPP). En este caso se trata de que junto con la Oficialía Mayor (DGPP) se de inicio a actividades encaminadas a vincular el presupuesto sectorial (y a nivel de programas 8 Para mayor información sobre el tema ver el documento sobre Priorización de Indicadores Estratégicos de los Programas Sociales. Page 19 14 presupuestales que son equivalentes a los programas federales de acuerdo a la nueva clasificación presupuestal) con los resultados haciendo uso de la información de monitoreo y siguiendo los lineamientos establecidos por la Secretaría de Hacienda en el SED. En una primera etapa se sugiere que dicha vinculación sea de carácter indicativa (presentacional) para avanzar en el mediano plazo hacia una vinculación directa o indirecta en la programación anual, con base en incentivos presupuestales. 9 En ambos casos, se sugiere que la DGEMPS defina y concerte al interior de SEDESOL los mecanismos de rendición de cuentas a ser utilizados y, así mismo, que ésta Dirección, en conjunto con la DGPP, prepare un informe consolidado de rendición de cuentas anual con base en la información de monitoreo de los resultados de la Secretaría. Este informe podría ser complementado con información de las evaluaciones y la información presupuestal. Evaluación Hallazgos identificados : La definición del alcance de las evaluaciones, la coordinación y la contratación de las mismas recae altamente en el ámbito de cada programa. A pesar del gran número de evaluaciones y de que éstas son, en su mayoría, superiores a las de muchos otros sectores, este aspecto tiene una alta incidencia en la heterogeneidad y calidad de las evaluaciones de SEDESOL, por lo menos por los siguientes problemas: · Es claro que para el programa la evaluación no constituye una prioridad. Los profesionales de los programas se encuentran inmersos en la ejecución y aspectos operativos del día a día, y carecen del tiempo necesario que la función requiere. · Aún en los casos en que los programas dedican tiempo y personal al tema, la capacidad técnica (en evaluación) del personal asignado es heterogénea y, en general, insuficiente tanto en las subsecretarías como en las entidades sectorizadas. A esto se suma el limitado involucramiento de las instancias directivas de los programas lo mismo que del nivel directivo de la Secretaría. Como consecuencia, de acuerdo con los evaluadores externos entrevistados, en muchos casos no se cuenta con un interlocutor, al interior de las unidades que operan los programas, que tenga claridad sobre lo que se espera lograr con las evaluaciones, lo que repercute en el nivel técnico de las mismas. · Existe la posibilidad de un conflicto de interés en la auditoria de muchas de las evaluaciones al ser el programa juez y parte del proceso. Aunque es clara la necesidad de que el programa se involucre activamente en el proceso de evaluación, de forma que facilite información y haga uso de sus resultados, no es conveniente que mantenga el 9 En teoría, se pueden distinguir tres modalidades de vinculación del presupuesto con los resultados: i) presentacional o indicativa como la modalidad más básica, con frecuencia utilizada como la primera etapa en el proceso de introducción de técnicas de PBR; ii) indirecta o basada en incentivos de financiamiento a través de adiciones o recortes de recursos en el margen según los niveles de desempeño en algunos programas; y iii) directa o a través de formulas de financiamiento para las diferentes modalidades de programas. Esta modalidad es la más compleja ya que se basa en la utilización de algoritmos para la estimación de costos unitarios en la provisión y prestación de servicios, la definición de metas y la asignación de recursos. En la práctica, lo más frecuente es encontrar una combinación o adaptación de estas tres modalidades a contextos específicos, incorporando las restricciones técnicas, institucionales y políticas según sea el caso. Page 20 15 control de la contratación y supervisión de las mismas por cuanto resta independencia y objetividad al evaluador. La existencia de unidades centrales o sectoriales de M&E con frecuencia tienen como propósito resolver este problema. · Las normas de contratación restringen la selección de las mejores alternativas de evaluación al privilegiar a las organizaciones sin fines de lucro, aunado al todavía bajo desarrollo del mercado de servicios de evaluación en el país. Igualmente, la heterogénea capacidad y la importancia que los programas atribuyen a la evaluación hace que la contratación de las evaluaciones surta procesos y tiempos de duración muy diferenciados, lo que produce también efectos en la oportunidad y calidad de las mismas. Recomendación: Definir a través de una directiva de la Secretaría, la división de tareas y responsabilidades internas en materia de evaluación entre la unidad administrativa responsable de la operación del programa, la Subsecretaría correspondiente y, especialmente, la Subsecretaría de Prospectiva, Planeación y Evaluación como responsable de la coordinación de las funciones de evaluación, a través de la DGEMPS. A nivel externo, se debe establecer igualmente la división de tareas entre la DGEMPS y el nuevo rol de CONEVAL como organismo rector de las políticas de evaluación del sector social. Se recomienda que la DGEMPS asuma un papel estandarizado para toda la Secretaría en cuanto a definición técnica, coordinación, acompañamiento, contratación, auditoria y seguimiento a los resultados de las evaluaciones. Los programas pueden participar activamente asignando recursos para la evaluación, discutiendo técnicamente el alcance metodológico y los resultados de las evaluaciones, y estableciendo planes de mejoramiento con base en estos últimos. CONEVAL podría participar en las labores de definición de términos de referencia, revisión de las evaluaciones, conjuntamente con la DGEMPS, o asumir directamente esta función para las evaluaciones que hacen parte del Plan Anual de Evaluación. Al independizar las tareas de contratación y revisión de los programas, y concentrarlas en una sola instancia con la capacidad para ello (DGEMPS o CONEVAL), la evaluación asumiría para éstas últimas el carácter de prioridad que difícilmente pueden darle los programas, al tiempo que se aseguraría un estándar técnico para todas las evaluaciones de la Secretaría. Al mismo tiempo, se establecería una mejor división del trabajo en beneficio de los programas, las dependencias y la evaluación. Presupuesto basado en resultados Hallazgos identificados: Se observan avances en la coordinación entre las áreas de evaluación y planeación, como por ejemplo, en la discusión del diseño y reglas de operación de 2008 de los programas sociales. Sin embargo, la dispersión de las funciones de M&E al nivel de programas con disímiles capacidades, y la separación funcional de las tareas de planeación y presupuesto (entre la Subsecretaría de Prospectiva, Planeación y Evaluación y la Oficialía Mayor), y entre la Unidad de Planeación y Relaciones Internacionales y la Dirección General de Evaluación y Monitoreo de la Secretaría revela la necesidad de fortalecer la integración del ciclo gerencial. A pesar de que la DGPP percibe una coyuntura política favorable dentro de la Secretaría para impulsar nuevas estrategias de orientación del gasto hacia resultados, la falta de integración con las áreas de planeación y evaluación es reconocida como una limitante importante. Por esta Page 21 16 razón, hace falta un arreglo institucional de colaboración entre las unidades de presupuesto, evaluación y planificación para fortalecer la orientación a resultados del presupuesto. La baja articulación de las funciones de M&E con los ejercicios de planificación y presupuestación nacional y sectorial fueron evidenciados por la Subsecretaría de Desarrollo Social y Humano. Para ellos, a la fecha, la Secretaría no ha hecho hincapié en el uso de las evaluaciones para el proceso de toma de decisiones en la institución, por lo que enfatiza la necesidad de trabajar sobre la dimensión técnica y política del sistema de gestión basada en resultados para aminorar resistencias internas y lograr que la institución trabaje sobre un mismo enfoque. Los sistemas de presupuestación, planeación, y seguimiento financiero y fisico se encuentran poco articulados a nivel federal y por tanto también a nivel institucional, lo que representa una limitante para el sistema M&E. Así por ejemplo, no existe una integración entre los sistemas CONEXUS (herramienta de análisis documental operativo y físico de las obras y programas a nivel estatal), SIIPSO (herramienta de seguimiento administrativo a nivel institucional), SIPREC (Sistema Integral de Presupuesto y Contabilidad de la SEDESOL) y SIAFF (Sistema Integral de Administración Financiera Federal de Hacienda). La falta de integración de estos sistemas no sólo dificulta la información de resultados de la Secretaría sino que ahonda la distancia entre la planeación y presupuestación (sectorial y nacional), y el sistema de M&E. Hay evidencia de abundante información operativa pero los datos en cuanto a resultados e impactos son aún escasos. Se produce un importante volumen de indicadores para la SHCP y la SFP pero es bajo el uso que se hace de estos para propósitos de la planeación y la presupuestación de la Secretaría, así como para la gestión de los programas. Lo anterior es válido tanto en el caso de los cuatro programas piloto de M&E como para el resto de los programas, con lo que se observa que los pilotos de SEMBR no han logrado resolver este problema. Recomendación : Teniendo en cuenta los lineamientos generales de evalua ción y el marco general del SED, en particular en cuanto a la necesidad de integrar las fases de planeación, presupuesto y M&E del ciclo gerencial, se sugiere: · Formular lineamientos internos que establezcan las acciones, procedimientos y tiempos para que todos los programas y dependencias integren sus actividades y objetivos, con base en indicadores y metas, con el presupuesto y la planificación sectorial y nacional. Esto requerirá la incorporación de un instrumento (Plan Indicativo) que permita integrar la planificación al nivel de programas en un ejercicio sectorial, agregando la información del desempeño y estableciendo una secuencia entre los programas y objetivos de política sectorial y nacional. De esta forma se haría posible la evaluación de políticas y del sector a un nivel más amplio, integrando la asignación de recursos. 10 · Implementar un esquema de seguimiento a los objetivos y metas del sector con base en indicadores definidos por cada programa con la Subsecretaría de Prospectiva, Planeación y Evaluación, y validados posteriormente por las Subsecretarías y las entidades, y por 10 Para mayor información sobre el tema ver el documento sobre Priorización de Indicadores Estratégicos de los Programas Sociales. Page 22 17 último por el Secretario de Desarrollo Social antes de iniciar el ejercicio presupuestal anual. Para lograr lo anterior, evitando la duplicidad de esfuerzos, se recomienda tratar de unificar dichos indicadores con los indicadores a ser reportados al SED de forma que estos permitan responder tanto a las necesidades gerenciales del sector como a los requerimientos externos. Igualmente se sugiere preparar reportes anuales sobre los resultados de la gestión del sector con base en tales indicadores. · Revisar, ajustar si se requiere, y poner en operación el módulo de seguimiento de la herramienta tecnológica desarrollada por los pilotos, pero bajo la administración de la DGEMPS. Esto implica iniciar su operación ampliada para todos los programas con base en reglas de reporte periódico de información, directamente desde los programas, sobre los indicadores definidos. La información deberá ser validada por parte de la DGEMPS previo a la elaboración de reportes sobre el avance de la gestión sectorial en relación con el Plan y el Presupuesto Sectoriales y el Plan Nacional de Desarrollo. Organización institucional Hallazgos identificados: Se pueden distinguir cuatro hallazgos principales relacionados con la organización institucional: En primer lugar, existen disposiciones normativas insuficientemente utilizadas para impulsar el Sistema de M&E y la gestión por resultados en SEDESOL. La Ley Federal de Presupuesto y Responsabilidad Hacendaría, los Lineamientos Generales para el proceso de Programación y Presupuestación 2008 y la Ley de Acceso a la Información, constituyen poderosos marcos legales para impulsar una mayor orientación a resultados y el fortalecimiento del M&E en SEDESOL. Hacer conocer el alcance de estas disposiciones a un nivel más amplio de la Secretaria podría impulsar una dinámica más acelerada de cambio en la gestión de los programas. En segundo lugar, como se señalo previamente, se identifica la necesidad de una única instancia que coordine y consolide la evaluación de los resultados asegurando una mayor independencia de las evaluaciones con las esferas de ejecución de los programas. La asignación de la función de evaluación a los programas genera dispersión, heterogeneidad en la calidad y una baja integración con los procesos de toma de decisiones. A esto se suma el papel de juez y parte que los programas podrían estar asumiendo en la evaluación, lo que no quiere decir que su participación en el proceso evaluativo no sea estrictamente indispensable. Al respecto, cabe mencionar que en algunas Secretarías (Educación, Agricultura, Medio Ambiente) para resolver este problema se observaron decisiones tomadas en cuanto a concentrar la coordinación de todas las tareas de M&E en sus Direcciones Generales de Planeación y Evaluación o dentro de las Subsecretarías de Planificación. En tercer lugar, se observa la falta de claridad sobre la armonización de las funciones de la DGEMPS con las de CONEVAL dada la entrada en operación de este último. En la actualidad, la DGEMPS realiza el proceso de evaluación de un programa determinado en torno a 5 procedimientos específicos (ver ilustración 2). El primer procedimiento es en torno a la definición de los términos de referencia (TDR). A la fecha, CONEVAL ha diseñado los TDR Page 23 18 solamente para las evaluaciones de consistencia y resultados y de diseño, la DGEMPS ha continuado definiendo los TDR para el resto de los demás tipos de evaluaciones que se realizan, así como la discusión de los mismos con los programas. El segundo procedimiento consiste en la coordinación y supervisión de las evaluaciones, en donde la DGEMPS ha tenido la responsabilidad de ello, excepto en las evaluaciones de consistencia y resultados que CONEVAL decidió coordinar (Hábitat, Oportunidades, Diconsa y Liconsa). El tercer procedimiento se da en el seguimiento a las recomendaciones de las evaluaciones en donde la DGEMPS apoya a los programas en la elaboración de planes de trabajo para implementar las recomendaciones formuladas por las evaluaciones y realiza solicitudes de información sobre las mismas. El cuarto procedimiento se refiere a la difusión de los resultados de las evaluaciones a través de su publicación en la página de Internet de la Secretaría y por medio de presentaciones y seminarios de divulgación. El quinto y último procedimiento es una tarea que realiza la DGEMPS a lo largo de todo el año para actualizar el directorio de evaluadores. ILUSTRACION 2: Cinco procedimientos sobre el proceso de evaluación de la DGEMPS Definición de TDR Coordinación y supervisión de las evaluaciones Seguimiento a recomendaciones Difusión de los resultados Actualización del directorio de evaluadores Fuente: Elaboración propia con base en hallazgos identificados. Dado que CONEVAL como ente externo regulador y coordinador de la evaluación en el sector de desarrollo social asumirá un papel activo (desarrollando evaluaciones, definiendo términos de referencia, brindando apoyo técnico, realizando la auditoria de algunas evaluaciones, entre otras tareas), se requerirá una óptima división del trabajo entre éste y las Direcciones de Evaluación como la DGEMPS para lograr una complementariedad adecuada. En este sentido se requieren definiciones en cuanto a si CONEVAL, a parte de formular la normatividad requerida, contratará directamente algunas o todas las necesidades de evaluación de programas o si serán las Direcciones de Evaluación las que se encargarán de estas tareas según lo establecido en el Programa Anual de Evaluación. La visión de la DGEMPS es que CONEVAL se convierta en un ente normativo supervisor que apruebe los planes multianuales de evaluación de la Secretaría para asegurar el nivel técnico y la objetividad de las mismas. Sin embargo, se identificó incertidumbre sobre los contenidos del Page 24 19 Programa Anual de Evaluación próximo a publicarse. En este sentido serán necesarias mayores soluciones de coordinación entre CONEVAL y la Secretaría para el desarrollo de las funciones de M&E. Por último, se identifica la falta de una instancia intersubsecretarial con capacidad de asegurar la coordinación y las decisiones necesarias para impulsar el proceso de implementación del sistema de M&E al interior de la Secretaría. Esto incluye una instancia con la capacidad de influenciar la toma de decisiones con base en los resultados del monitoreo y la evaluación, asegurando su uso efectivo. Incluye igualmente una esfera de alto nivel que defina el alcance del sistema y el papel que las diferentes instancias de la Secretaría deberán asumir para garantizar su éxito. Recomendaciones : Para mejorar la organización institucional se recomienda tomar las siguientes acciones: · Rediseñar el sistema de M&E teniendo en cuenta el nuevo contexto de la gestión por resultados establecido en la Ley Federal de Presupuesto y Responsabilidad Hacendaria y, particularmente, el Sistema de Evaluación del Desempeño. En consistencia con este último, dicho sistema debería pasar del nivel de pilotos a asumir un carácter transversal a la Secretaría, basado en resultados agregados del Plan Sectorial y del Plan Nacional de Desarrollo. Igualmente, podría complementar las actividades de evaluación existentes con un componente de monitoreo y otro de presupuesto basados en resultados. El primero debe permitir medir el desempeño de la Secretaría con base en indicadores y metas estratégicas a las cuales deben contribuir los diferentes programas. El segundo, debe continuar impulsando evaluaciones exhaustivas de los programas como complemento a la información de monitoreo. El tercero, debe promover el uso de los resultados del monitoreo y de las evaluaciones en el proceso de definición del presupuesto de los programas y dependencias, facilitando la medición de los resultados del gasto. · Dado el actual énfasis en evaluación del SEMBR, la Subsecretaría de Prospectiva, Planeación y Evaluación (y la DGEMPS en particular) en el corto plazo deberá fortalecer sus acciones en las áreas de monitoreo y presupuesto basado en resultados. Esto puede requerir enfatizar las atribuciones de la DGEMPS en estos temas a través de una directiva del Secretario (dado que hoy su papel en este campo no es claro para otras dependencias) e igualmente establecer claras funciones en estos campos para las otras áreas de la Secretaria. · Por otra parte, se sugiere configurar un Comité Interinstitucional de alto nivel el cual se encargaría de asegurar la coordinación y de tomar decisiones relacionadas con los tres pilares del Sistema. Para que dicha instancia pueda ser efectiva en ella debería tener participación como mínimo el Secretario, los Subsecretarios, el Oficial Mayor y la Coordinación de Delegaciones. La secretaría técnica podría ser desarrollada por la Subsecretaría de Prospectiva, Planeación y Evaluación a través de la DGEMPS 11 . 11 Para el desarrollo de las funciones recomendadas en este documento se sugiere el fortalecimiento de la DGMEPS en términos de personal, especialmente en las áreas de monitoreo. Page 25 20 · Para llevar a cabo las nuevas tareas de monitoreo y presupuesto basado en resultados y facilitar su asimilación dentro de las actividades permanentes de la Secretaría se sugiere elaborar un manual de operación del Sistema. En este pueden definirse con precisión para sus tres componentes (monitoreo, evaluación y presupuesto) los arreglos institucionales, la división de tareas y responsabilidades entre los niveles programa, Dirección Operativa, Subsecretaría y CONEVAL, los procedimientos para la definición y validación interna de los indicadores, los cronogramas de reporte de información, los procedimientos de carga en la herramienta tecnológica del sistema y los tipos de reportes de rendición de cuentas, entre otros aspectos. · Asignar a la Subsecretaría de Prospectiva, Planeación y Evaluación la responsabilidad de coordinar la implementación del SEMBR en su conjunto, estableciendo para ello las reglas de coordinación necesarias con las diferentes dependencias, en desarrollo de los lineamientos establecidos por el SED y CONEVAL. · Enmarcar las actividades encaminadas a fortalecer el SEMBR de SEDESOL dentro de las leyes de Acceso a la Información y de Responsabilidad Hacendaría con el fin fortalecer su carácter exigible ante las dependencias y programas de la Secretaría. Capacidades de M&E Hallazgos identificados: Dado que existen heterogéneas y en algunos casos todavía bajas capacidades de M&E en la Sedesol, la realización de las tareas de seguimiento y evaluación al nivel de los programas evidencia grados diferenciales de calidad. Lo anterior parece estar asociado, en parte, a la rotación del personal, y en parte también, a la necesidad de estandarizar e incrementar las labores de capacitación. Igualmente, debido a que no se cuenta con un manual y unas metodologías del SEMBR unificadas para la Secretaría, ni con única instancia responsable de definir contenidos y planes de capacitación, las labores de capacitación en la materia se encuentran dispersas entre las diferentes unidades de seguimiento, los programas, las delegaciones y las unidades sectorizadas con lo que no se promueve un lenguaje común, un contenido homogéneo y un método de M&E estandarizado en toda la Secretaría. La problemática sobre la falta de metodologías estandarizadas de M&E se dificulta aún más a nivel de delegaciones al existir 8 diferentes organigramas institucionales. Las delegaciones estatales por ser el punto neurálgico de contacto con los beneficiarios y el eje central en la operatividad de los programas, resultan clave en la generación de la información necesaria para el monitoreo y la evaluación. Sin embargo, las deficiencias que en ellas existe respecto a la comunicación interinstitucional (delegación – oficinas centrales), identificación con los programas y objetivos sectoriales, falta de capacidades operativas y duplicidad de instrumentos de generación de datos (padrones de beneficiarios, bases de datos, sistemas de captura y manejo de información) plantean limitantes para impulsar las funciones de monitoreo, evaluación y rendición de cuentas en esos niveles. Recomendación : Se sugiere la definición de un plan de acción de corto, mediano y largo plazo para el desarrollo de capacidades de M&E en los 21 programas, y para la armonización metodológica en las dependencias y delegaciones estatales con responsabilidades en tareas de Page 26 21 seguimiento y evaluación. Con el fin de unificar los contenidos de dicha capacitación, se recomienda que el plan sea preparado y coordinado por la DGEMPS para lo cual esta podría buscar también el apoyo técnico de CONEVAL. Con el fin de asegurar la efectividad de las capacitaciones se sugiere, asimismo, darle un enfoque aplicado al esquema de capacitación, de manera que los programas, dependencias y delegaciones puedan aprender-haciendo la definición de sus indicadores, su vinculación con el presupuesto, o realizando las tareas de seguimiento operativo, preparación de reportes, o de definición de evaluaciones, etc. En este aspecto se sugiere además impulsar el trabajo que realiza la Dirección General de Organización para mejorar la estructura de las delegaciones estatales y los mecanismos internos de comunicación. Estas actividades son necesarias para fortalecer la orientación hacia resultados de la Secretaría en estos niveles facilitando la coordinación y la retroalimentación de la institución con base en la información del desempeño de los 278 servicios ofrecidos y los 21 programas de la SEDESOL. Información del desempeño Hallazgos identificados: Con relación a la generación, administración y uso de la información del desempeño, se identifican los siguientes hallazgos principales: No hay un uso sistemático de la información del desempeño al nivel de la Secretaría para propósitos gerenciales y de rendición de cuentas. El uso, aunque limitado, se da al nivel del programa y con marcadas diferencias entre ellos. Al respecto, aunque existe un alto potencial del uso de la información del padrón de beneficiarios para propósitos de seguimiento a los resultados, en la práctica su utilización para estos propósitos es baja más allá de la focalización de beneficiarios. No existe una herramienta tecnológica para integrar la información del desempeño de manera agregada al nivel de la Secretaría y permitir compartir datos, facilitando su utilización por diferentes usuarios. Además, como ya se señaló, en la actualidad los sistemas de información existentes no se encuentran integrados. Cada programa cuenta con sus propias herramientas para uso individual y la herramienta desarrollada por los pilotos de gestión por resultados no se utiliza plenamente dado que los incentivos aun son bajos para superar la resistencia la cambio en los programas. A nivel de delegaciones estatales se están comenzando a desarrollar nuevos sistemas tecnológicos de administración de datos con el fin de responder a los requerimientos institucionales y operativos de los programas que el SIIPSO no tiene contemplado. La delegación de Campeche, por ejemplo, creó el sistema CONEXUS a través del cual puede haber una trazabilidad de la información, un control de expedientes de presupuestación de obras y un seguimiento de actividades de los programas de acuerdo a los 16 pasos que el sistema contempla. Este sistema busca ser generalizado a todas las delegaciones del país, y en la actualidad existen esfuerzos para integrar CONEXUS, como herramienta de análisis documental, al sistema de control administrativo de SIIPSO, con el fin de volverlos un solo sistema complementario. Lo que no es claro aún es cómo se integrarán estos sistemas con los sistemas de seguimiento financiero de los programas y con el seguimiento sectorial del SEMBR. Page 27 22 A pesar de estos avances, la Direcci ón General de Informática y la Coordinación de Delegaciones reconocen los retos pendientes respecto de la generación, uso y administración de la información en los Estados. Cuando se pasa al plano ejecutor, al nivel de las delegaciones y unidades operativas, los problemas asumen una mayor complejidad. En visita de campo a la Delegación de Querétaro se evidenció la diversidad de problemáticas que existen en el manejo de la información. Entre estos aspectos se destacan, por ejemplo: a) existencia de sistemas de datos aislados, similares a los de los programas, a través de los cuales se da cauce a las necesidades inmediatas de la delegación que no son contempladas ni por el SIIPSO ni por CONEXUS (ej. registro y seguimiento de recursos otorgados por los gobiernos estatales); b) duplicidad de esfuerzos y recursos en la identificación y captura de beneficiarios; c) falta de recursos humanos para monitorear y comprobar el desarrollo físico de las obras; d) diferencias en las unidades de análisis del producto de acuerdo a cada programa (ej. número de jornales, número de viviendas, número de beneficiados, etc.); y f) falta de mecanismos de rendición de cuentas y para la atención ciudadana. Recomendación : · Dada la dimensión de los problemas en materia de información, se sugiere levantar un mapa de la información del desempeño con que cuenta la Secretaría con el fin de identificar con precisión su disponibilidad, los vacíos, las fortalezas y las debilidades de los datos existentes. 12 · Asimismo, se recomienda estandarizar los procedimientos de captura, administración, uso y control de calidad de la información de M&E, inicialmente para el nivel estratégico y posteriormente al nivel operativo de los programas. Con ese propósito, sería recomendable definir, para toda la Secretaría, un protocolo que establezca lineamientos y procedimientos específicos para todos los programas y delegaciones sobre el tipo de información de desempeño que deben generar para el M&E sectorial. Este puede incluir los procedimientos para la captura, actualización y carga en el sistema, así como el uso que se espera de ellos con propósitos internos (programas y delegaciones) y externos (planificación, presupuestación y rendición de cuentas sectorial y nacional). 13 Igualmente se sugiere identificar hasta qué punto el padrón de beneficiarios podría ser utilizado para propósitos de M&E lo que requerirá un trabajo coordinado con la Dirección encargada de su administración. · En materia de aplicaciones de tecnologías de información, dado el nuevo enfoque sugerido para el SEMBR, será necesario establecer un módulo de seguimiento a la gestión sectorial, realizando para ello adaptaciones funcionales al desarrollo establecido para los pilotos. Esto implica su ampliación a los 21 programas y dependencias responsables, concentrando sus contenidos en indicadores de producto, resultados e 12 Para mayor información sobre el tema ver el documento sobre Fortalecimiento de la Capacidad para Generar Información de Calidad para el Monitoreo. 13 Para mayor información sobre el tema se recomienda ver el documento sobre Lineamientos para Administración de Sistemas de Información de Fondos Sociales. http://siteresources.worldbank.org/INTSF/Resources/395669-1124228448379/1563169- 1158939450391/MISenglish.pdf Page 28 23 impactos relevantes para medir los objetivos sectoriales y del Plan Nacional de Desarrollo. Para esto será necesario revisar la herramienta existente e identificar hasta qué punto es adaptable con ese propósito y de ser posible iniciar su adaptación. P LAN E STRATÉGICO PARA EL SEMBR EN SEDESOL 2008-2012 De acuerdo con las características del nuevo contexto institucional para la gestión por resultados en México y con base en el diagnóstico identificado por esta consultoría, esta sección presenta las bases de un Plan Estratégico para el desarrollo del Sistema de Evaluación y Monitoreo Basado en Resultados para el periodo 2008-2012. El Plan incluye una propuesta de definición de sus componentes, objetivos, lineamientos, y alcance, así como una serie de actividades generales y específicas que podrían tomarse en cuenta para avanzar hacia su implementación en toda la Secretaría Es importante señalar, igualmente, que todas las actividades planteadas son indicativas y que su desarrollo dependerá de la capacidad y la disponibilidad de personal existentes en la Secretaria. O BJETIVOS DEL SEMBR El objetivo general de la propuesta es operacionalizar dentro de la SEDESOL la iniciativa del Presupuesto basado en Resultados y la Evaluación del Desempeño, impulsado por la SHCP, bajo un enfoque que busque el logro de las metas sectoriales, a través de un Sistema de Monitoreo y Evaluación del Desarrollo Social (SEMBR). Se pretende avanzar en la implementación y consolidación del SEMBR como herramienta de gestión pública que permita: i) realizar un seguimiento integrado al avance físico y financiero de los programas; ii) establecer un marco unificado, y con base en criterios de prioridad, para el desarrollo de evaluaciones anuales y de impacto que permita identificar el efecto de los mismos en el mejoramiento de la calidad de vida de los beneficiarios; iii) retroalimentar la toma de decisiones sobre la operación, asignación de recursos y diseño de los programas; y, iv) facilitar y estimular el control de la gestión de la Secretaría en relación con la planificación sectorial y nacional, así como la rendición de cuentas sobre la gestión ante el gobierno, la ciudadanía y los organismos de control. Para lograr lo anterior, el Plan Estratégico identifica los siguientes objetivos específicos para el SEMBR: · Establecer un vínculo permanente y progresivo entre los procesos de planeación, presupuestación, ejecución y M&E, con base en indicadores seleccionados de productos, resultados e impacto y metas sectoriales de desarrollo social, con el fin de lograr una mejor alineación con el Plan Nacional de Desarrollo y el Programa Sectorial. · Articular y balancear las funciones de monitoreo, evaluación y rendición de cuentas, para que contribuyan a orientar la gestión de la Secretaría al logro de resultados. Page 29 24 · Fortalecer la institucionalidad del Sistema, precisando los papeles y responsabilidades de las diferentes instancias así como los mecanismos de coordinación y decisión que se requieran. · Incentivar una nueva dinámica organizacional dentro de la Secretaría y entidades coordinadas, vinculando a las áreas responsables de planeación, programación y presupuesto, sistemas informáticos y evaluación, con las unidades operativas de los programas y las delegaciones estatales. · Mejorar la calidad, disponibilidad y oportunidad de la información del M&E del Sistema con base en una herramienta tecnológica que permita monitorear el cumplimiento de las metas sectoriales y consolidar la información para la toma de decisiones a nivel estratégico y de gestión. · Desarrollar la capacidad de M&E de los programas y entidades de la SEDESOL para generar información confiable y oportuna para la toma de decisiones de programación y presupuestación. L INEAMIENTOS DE POLÍTICA DEL SEMBR Para lograr los anterio res objetivos, el Sistema deberá operar teniendo en cuenta los siguientes lineamientos de política y el apoyo político, institucional y presupuestal del titular de la Secretaría para reorientar a resultados los procesos operativos y estratégicos de la SEDESOL: · Servir de apoyo al Secretario de Desarrollo Social, a los Subsecretarios, Directores Generales, y Coordinadores para la toma de decisiones sobre asignación de recursos, definición y ajuste de políticas y programas. · Servir como un mecanismo para promover la calidad del gasto al permitir, por una parte, focalizar asignaciones en las prioridades sectoriales, y por otra, incorporar señales de eficiencia y eficacia en la gestión de los programas. · Diferenciar el seguimiento y evaluación de resultados como conceptos y prácticas diferentes, estableciendo para cada uno herramientas independientes. · Funcionar con base en incentivos a la buena gestión por resultados, haciendo responsables a las unidades gerenciales por el logro de sus objetivos de política. · Articular los diferentes tipos de seguimiento y evaluación en los ámbitos de políticas y programas, entidades y niveles agregados del sector, definiendo responsables para cada uno de ellos. · Promover esquemas de contractualización, para que los gerentes sectoriales asuman compromisos sobre resultados verificables y exigibles, respetando la autonomía de las entidades. Page 30 25 · Someter a escrutinio público los resultados de la evaluación y el seguimiento, y establecer responsables por los mismos en un marco de rendición de cuentas. · Promover el desarrollo de la capacidad de M&E en el sector mediante el diseño y difusión de metodologías e instrumentos, así como de la capacitación a los funcionarios. · Propender por el fortalecimiento de la información que se requiere para la evaluación y el seguimiento, así como por la implementación de controles de calidad para la misma. A LCANCE DEL SEMBR Para incorporar en el SEMBR una dimensión más estratégica de la gestión de la Secretaría, se propone que su cobertura esté dada por las políticas, programas, entidades y niveles agregados de la gestión que hagan parte de los Planes Sectoriales y del Plan Nacional de Desarrollo, y que cuenten con recursos públicos 14 . El monitoreo buscará ser una función continua y la evaluación una actividad selectiva con base en criterios de prioridad de política y monto de los recursos asignados, entre otros. El desarrollo del Sistema será progresivo, y propenderá por la replicación del modelo en las entidades adscritas y vinculadas a la Secretaría de Desarrollo Social. C OMPONENTES DEL PLAN E STRATÉGICO El Plan Estratégico del SEMBR se estructura en torno a seis componentes básicos, de los cuales los tres primeros constituyen los pilares del modelo conceptual del SEMBR y el componente cuatro, quinto y sexto corresponden a aspectos transversales del sistema que requerirán atención por parte de la Secretaría. Éstos son: 1) Primer Pilar – Monitoreo basado en resultados; 2) Segundo Pilar – Evaluación basada en resultados 15 ; 3) Tercer Pilar – Presupuesto basado en resultados; 4) Componente Transversal – Organización institucional requerida para respaldar al SEMBR; 5) Componente Transversal – Desarrollo de capacidades en M&E; y 6) Componente Transversal – Agenda de Información. Monitoreo basado en resultados Con el fin de monitorear el avance en el cumplimiento de los objetivos de SEDESOL establecidos en el Plan Sectorial y el Plan Nacional de Desarrollo se elaborará un Plan Indicativo Sectorial (o Matriz de Marco Lógico Sectorial). Este plan indicativo busca facilitar la alineación de los programas (a partir de sus matrices de marco lógico individuales) estableciendo metas con líneas de base e indicadores de resultados consistentes con las asignaciones presupuestales para las diferentes unidades de la gestión (programa, estrategia, dependencia, plan sectorial). Estableciendo la secuencia para toda la cadena de implementación (operación, productos, resultados e impactos), los indicadores serán definidos con cada programa y dirección o entidad 14 Cualquier organismo público con responsabilidades administrativas para el cumplimiento de metas del Sector podrá ser monitoreado y evaluado de acuerdo con los mecanismos y criterios rectores del Sistema, respetando las funciones, responsabilidades y autonomía. 15 Según la tipologías definidas en los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal definidos por CONEVAL y la SHCP. Page 31 26 responsable, y s ometidos a aprobación del Subsecretario correspondiente, previa presentación al Secretario de Desarrollo Social. A partir de los indicadores de dicho plan indicativo, la Subsecretaría de Prospectiva Planeación y Evaluación, a través de la DGEMPS, elaborará un monitoreo semestral de avance físico y financiero. Dichos indicadores y metas serán el contenido de la herramienta tecnológica del SEMBR, en la cual las entidades, Direcciones y programas responsables reportarán de manera periódica los avances, restricciones y alertas en cumplimiento de sus metas y objetivos de política. La Subsecretaría de Prospectiva Planeación y Evaluación, a través de la DGEMPS, realizará el análisis de la información reportada al Sistema, y propondrá cursos de acción al Comité Intersectorial de Evaluación y Gestión por Resultados y/o al Secretario de Desarrollo Social para garantizar el cumplimiento de las metas. 16 Con base en dicho análisis la DGEMPS elaborará reportes trimestrales de seguimiento al cumplimiento de los objetivos y metas consignados en el Plan Sectorial y el Plan Nacional de Desarrollo. Igualmente, elaborará un informe anual de resultados al cierre de cada vigencia presupuestal para dar a conocer el cumplimiento de las metas sectoriales y la contribución de los programas correspondientes al logro de las mismas. Dicho informe anual establecerá una directa correspondencia entre las metas propuestas y los resultados obtenidos enfatizando los problemas encontrados y los retos pendientes. El informe podrá ser presentado por el Secretario de Desarrollo Social, si así lo considera conveniente, al Presidente de la República, al Congreso y a la ciudadanía. La DGEMPS definirá un manual de procedimientos para la elaboración del Plan Indicativo el cual incluirá entre otros los cronogramas para alimentar el sistema, la formulación de los indicadores sectoriales, las actividades de seguimiento y los mecanismos para verificar la información. 17 Adicionalmente, el Sistema consolidará una base de indicadores de tendencia con líneas de base que permitirá monitorear la evolución de los sectores y las metas de corto (año), mediano (sexenio) y largo plazo (Plan 2030). Con este instrumento se busca establecer la evolución histórica y el estado actual, así como ilustrar en que medida los programas y las políticas del sector están aportando al logro de los objetivos de desarrollo social del país. De acuerdo con lo anterior, los objetivos y actividades específicas que podrían ser impulsados en el marco de este componente se presentan en la tabla 1. 16 A reserva de explicar con mayor profundidad la naturaleza del Comité Interinstitucional dentro del Componente de Organización Institucional, se puede adelantar que el Comité Interinstitucional de alto nivel se encargaría de asegurar la coordinación y de tomar decisiones relacionadas con los tres pilares del Sistema. Para que dicha instancia pueda ser efectiva en ella debería tener participación como mínimo el Secretario, los Subsecretarios, el Oficial Mayor y la Coordinación de Delegaciones. La secretaría técnica podría ser desarrollada por la Subsecretaría de Prospectiva, Planeación y Evaluación en cabeza de la DGEMPS. 17 Para mayor información sobre el tema ver el documento sobre Priorización de Indicadores Estratégicos de los Programas Sociales. Page 32 27 TABLA 1: Componente de monitoreo basado en resultados: Objetivos y actividades de corto y mediano plazo Objetivo / metas: Desarrollar funciones permanentes de monitoreo de los programas de SEDESOL como parte del SEMBR, estableciendo un vincul o entre éstas y los procesos de planificación y presupuesto. Actividades generales Actividades específicas 1. Definición del alcance de la función de monitoreo, ampliando la cobertura a todos los programas de la Secretaría con base en la experiencia de los pilotos. 2. Establecer lineamientos para las actividades de monitoreo de la Secretaría en armonía con las disposiciones de CONEVAL. 3. Adaptar la herramienta tecnológica de los pilotos como instrumento para facilitar el monitoreo de todos los programas de la Secretaría. 4. Administrar el Sistema de monitoreo desde la Subsecretaría de Prospectiva Planeación y Evaluación. 5. Estandarizar los procedimientos de captura, administración, uso y control de calidad de la información de M&E. 1. Preparar y gestionar la aprobación de una Directiva de la Secretaría que defina el alcance de las funciones de monitoreo de la Secretaría y la división de tareas y responsabilidades entre los niveles del Programa, Dirección Operativa, Subsecretaría de Prospectiva, Planeación y Evaluación y la DGEMPS 2. Consolidación y revisión de los indicadores de Plan Indicativo para asegurar su calidad y consistencia. 3. Definición de línea de base para todos los indicadores de la matriz a ser monitoreados como parte de las funciones agregadas de seguimiento. 4. Definición de estándares y procedimientos para la definición del Plan Indicativo. 5. Armonizar las clasificaciones presupuestales con las categorías a ser utilizadas para el seguimiento. 6. Definición de acciones, procedimientos y tiempos para que todos los programas y dependencias integren sus actividades y objetivos, con base en indicadores y metas sectoriales, con el presupuesto (Marco Lógico Ampliado). 7. Puesta en operación de un modulo de seguimiento a la gestión sectorial. 8. Definición de protocolo que establezca los lineamientos y procedimientos sobre el tipo de información de desempeño que se debe generar. 9. Definición de propuesta e inicio de las adecuaciones tecnológicas para monitoreo. 10. Promover la articulación de los sistemas de información disponibles en los programas con la herramienta tecnológica de seguimiento. Fuente: Elaboración propia con base en hallazgos identificados. Evaluación basada en resultados Para reducir la heterogeneidad, mejorar la calidad, y optimizar el uso de los recursos destinados a las evaluaciones de SEDESOL, la Secretaría buscará concentrar la coordinación de las actividades de evaluación en cabeza de la Subsecretaría de Prospectiva Planeación y Evaluación. Para ello, la DGEMPS operará como su brazo técnico y se encargará de definir, en coordinación con los programas, los términos de referencia de las evaluaciones, realizar la contratación y la revisión de las mismas. Page 33 28 Igualmente, la DGEMPS se encargará de coordinar la implementación del SEMBR y de proponer al Comité Interinstitucional las acciones y decisiones que se requiera tomar para asegurar su efectiva implementación. Con el objeto de planificar las actividades de evaluación, en coordinación con CONEVAL, preparará una agenda anual y plurianual de evaluaciones y la presentará a discusión y aprobación del Comité Interinstitucional de evaluación de la Secretaría. TABLA 2: Componente de evaluación basado en resultados: Objetivos y actividades de corto y mediano plazo Objetivos / Metas: Ampliar la agenda y mejorar la calidad de las evaluaciones de SEDESOL. Actividades generales Actividades específicas 1. Organizar y racionalizar el desarrollo de las actividades de evaluación al interior de la Secretaría. 2. Definir el alcance de funciones y la división de tareas respecto a las evaluaciones con CONEVAL. 3. Definir la agenda de evaluaciones anual y sexenal en consistencia con el Plan Nacional de Evaluación. 4. Promover el desarrollo de la oferta de evaluadores de programas sociales para responder a la demanda y reducir los costos de las mismas. 1. Preparar una directiva y gestionar su aprobación para dejar en manos de la Subsecretaría de Prospectiva Planeación y Evaluación la definición del alcance de las evaluaciones, la coordinación y la contratación de las mismas en desarrollo de los lineamientos de CONEVAL. 2. Establecer niveles de responsabilidad y división de tareas para el desarrollo de las evaluaciones y el uso de sus resultados entre los niveles de la Unidad Administrativa responsable de la operación del programa, Subsecretaría y la DGEMPS. 3. Ejecutar la agenda de evaluaciones en coordinación con CONEVAL. 4. Activación del SISEE 5. Definir un inventario de evaluadores idóneos de programas sociales en coordinación con CONEVAL. 6. Trabajar con la coordinación del Padrón de Beneficiarios para promover el uso de esta herramienta y de las encuestas periódicas del INEGI y la Secretaría para propósitos de evaluación de los programas sociales. 7. Institucionalizar la preparación periódica y la publicación amplia de los resultados de las evaluaciones de SEDESOL como instrumento para promover la rendición de cuentas y el mejoramiento continuo de los programas de la Secretaría. Fuente: Elaboración propia con base en hallazgos identificados. Sin perjuicio de los criterios establecidos en los Planes Anuales de Evaluación, para la selección de los programas objeto de evaluaciones, SEDESOL tendrá en cuenta su importancia en el Programa Sectorial y el Plan Nacional de Desarrollo con base en los siguientes criterios, entre otros: i) la cantidad de recursos públicos involucrados; ii) el tamaño y características de la población afectada; iii) la importancia para el sector; iv) el carácter innovador del programa o política; y, v) el potencial de aplicación y replicabilidad de las lecciones derivadas de la evaluación. Asimismo, con base en los Planes Anuales de Evaluación establecidos por el CONEVAL, la SHCP y la SFP, y en la agenda de evaluación de la SEDESOL se llevarán a cabo: i) evaluaciones Page 34 29 del desempeño de los programas sociales (Consistencia y Resultados); ii) evaluaciones del desempeño de las delegaciones federales en los estados; iii) evaluaciones de impacto para programas estratégicos; y iv) evaluaciones específicas, de procesos e indicadores. Por otra parte, con el fin de optimizar el uso del Padrón de Beneficiarios para propósitos de evaluación la DGEMPS establecerá un plan de trabajo conjunto con la coordinación del Padrón de Beneficiarios y CONEVAL. Adicionalmente, se promoverá la activación del SISE (Sistema de Seguimiento de las Evaluaciones) y se buscará institucionalizar la preparación periódica y la publicación de un cronograma de reporte de los resultados de las evaluaciones. Las posibles actividades a ser desarrolladas para cumplir estos propósitos se presentan en la tabla 2. Presupuesto basado en resultados Para que el ejercicio de seguimiento y evaluación sea completo y robusto, se requiere establecer mecanismos que permitan visualizar los resultados de los programas y planes de la Secretaría en función de la programación y ejecución de su presupuesto. Este objetivo es necesario además para hacer consistente el Sistema de M&E de SEDESOL con los lineamientos del Sistema de Evaluación del Desempeño. Esto implica asignar productos y resultados al presupuesto para establecer un vínculo entre éste y las prioridades del Programa Sectorial. De esta forma se busca que el gobierno y la ciudadanía puedan identificar hacia donde se está destinando el gasto de la SEDESOL y, con base en el seguimiento y las evaluaciones, conocer si se están obteniendo los resultados esperados con las asignaciones presupuestales en las metas previstas. En este componente del SEMBR, un primer paso será revisar la clasificación presupuestal, de corte funcional y contable que actualmente rige la elaboración del presupuesto y complementarla o ajustarla a la clasificación programática asociada a los objetivos del programa sectorial. Este ejercicio busca establecer una secuencia lógica entre el programa presupuestal y los objetivo de la estrategia o plan sectorial, asociando a estos los indicadores, metas y líneas de base en cada nivel. Para esto, se requerirá un trabajo conjunto de la DGEMPS, la DGPP, las demás direcciones de la Secretaría y sus correspondientes programas a partir del marco lógico (Plan Indicativo) de la SEDESOL. La institucionalización de esta tarea puede requerir la conformación de Mesas Indicativas para la formulación del presupuesto por resultados las cuales se realizaran anualmente de acuerdo con el cronograma de programación del presupuesto por resultados que para ello defina la SHCP. Para realizar este trabajo la DGEMPS y la DGPP podrán realizar una propuesta inicial la cual se revisará y ajustará en cada Mesa con los programas y Direcciones Generales. Una vez realizada esta tarea para todos los programas la DGPP y la DGEMPS consolidarán el ejercicio y lo presentaran al Comité Interinstitucional del SEMBR para su aprobación. Una vez aprobado por el Comité, esta propuesta de presupuesto con sus metas e indicadores de resultados sería enviada por la DGPP a la Secretaría de Hacienda para su consideración. El segundo paso es definir con la Secretaría de Hacienda los procedimientos para realizar operativamente esta tarea en el marco del ejercicio federal de presupuesto basado en resultados y el SED. En particular se requiere discutir y acordar con esta Secretaría la información financiera permanente que se necesita y, una metodología para automatizar los procedimientos de carga y descarga desde el SIAFF. Page 35 30 Para lograr lo anterior, la Secretaría deberá definir si desarrollará un modulo de presupuesto por resultados dentro del SEMBR, el cual es una ventana con funcionalidades para cruzar la información de resultados físicos (cupos escolares, desayunos, beneficiarios atendidos, etc.) con los recursos programados y ejecutados según lo que se reportará al SIAFF. Esta opción es altamente recomendada dado que el SIAFF no es de acceso público mientras que el SEMBR sí podría permitir el acceso permanente y en tiempo real a esta información, tanto para sus entidades sectorizadas y sus programas como para la ciudadanía. Se debe tener en cuenta que en una primera etapa (el primer ejercicio presupuestal en el que se aplique) este ejercicio solo permitirá leer el presupuesto en función del programa sectorial para, a partir de ahí, en ejercicios posteriores, empezar a incorporar esta información en los procesos anuales de programación presupuestal. El principal canal para lograr esté último propósito y empezar el camino hacia un presupuesto orientado por resultados, será el Comité Interinstitucional del SEMBR, propuestos en el nuevo enfoque del Sistema, y en especial las instancias previas de definición del presupuesto y sus resultados asociados a ser realizadas con las Direcciones y los programas. En éstas se definirán las metas a ser obtenidas con los recursos disponibles tomando en cuenta los logros obtenidos en el ejercicio anterior y las restricciones existentes. 18 En tercer lugar, será necesario definir un modelo de anexo que permita acompañar el presupuesto financiero que anualmente se presenta a la Secretaría de Hacienda con un ejercicio de Presupuesto por Resultados de la Secretaría. Dicho anexo podrá ser elaborado por la DGPP con apoyo de la DGEMPS y podrá ser utilizado para propósitos de rendición de cuentas según se defina en el marco del SED. El Comité Interinstitucional se encargará de coordinar las acciones y decisiones que se requiera tomar para modificar la clasificación del gasto y procurar un seguimiento financiero por objetivos. Con el fin de establecer un vínculo entre la planeación, el presupuesto y la ejecución de los programas y políticas, la DGPP junto con la DGEMPS, realizará monitoreos trimestrales de los indicadores de avance físico y financiero de los programas de la SEDESOL. Para esto, puede ser necesario fortalecer el equipo técnico de la DGEMPS, además de dotar a la Dirección de una herramienta tecnológica para ello. Algunas actividades generales y específicas para asegurar el cumplimiento de este pilar se sugieren en la tabla 3. 18 Un aspecto importante es que las metas de largo plazo no podrán ser modificadas sin autorización del Comité Interinstitucional para lo cual la DGPP y la DGEMPS deberán definir las reglas y difundirlas ampliamente desde el inicio de la operación del ejercicio de PBR. En los casos en que las metas no se alcancen, los reportes de resultados deberán establecer las razones por la cuales estas no fueron logradas. Page 36 31 TABLA 3: Componente de presupuesto basado en resultados: Objetivos y actividades de corto y mediano plazo Objetivos / metas: Facilitar la evaluación y la rendición de cuentas de los resultados del gasto sectorial y mejorar su alineación con las prioridades de política establecidas en el Plan Nacional de Desarrollo y el Programa Sectorial de Desarrollo Social. Actividades generales Actividades específicas 1. Organización de los programas, dependencias y entidades sectorizadas alrededor del Programa Sectorial de Desarrollo Social. 2. Definición del instrumento inicial (indicativo) de presupuesto basado en resultados. 3. Operacionalización del PBR. 4. Elaboración de anexo de presupuesto por resultados que acompañará al presupuesto sectorial. 5. Revisión del primer ejercicio y definición de oportunidades de mejora. 1. Conformación de Mesas Indicativas para la formulación del presupuesto por resultados y definición del cronograma de trabajo y responsables. 2. Revisión del ejercicio de planeación en sus aspectos estratégicos (misión, objetivos, productos, resultados e impactos esperados y vinculación con los programas) Plan Indicativo. 3. Armonización de la Planeación Financiera con la Planeación Sectorial (las metas físicas y de resultados programadas deben ajustarse con los recursos asignados en el presupuesto). 4. Realización de mesas funcionales para discutir con cada dependencia y entidad responsable los ajustes a las categorías y metas de sus programas según los techos presupuestales. 5. Definición de clasificadores para esas categorías y codificación de los clasificadores. 6. Definición de TDR para metodología de costeo o imputación de gastos a ser utilizada en el mediano plazo. 7. Implementación de modulo de PBR en el SEMBR. 8. Consolidación del ejercicio indicativo por parte de la Dirección de Presupuesto y la DGEMPS. 9. Presentación y discusión con el Comité Interinstitucional. 10. Remisión y discusión con la SHCP. 11. Carga de la información de PBR en el módulo del SEMBR. 12. Definición de lineamientos internos sobre PBR. Fuente: Elaboración propia con base en hallazgos identificados. Organización institucional para el SEMBR De acuerdo con los diagnósticos realizados, para avanzar en el desarrollo e institucionalización del SEMBR, SEDESOL requiere trabajar sobre la integración de sus áreas para aminorar el aislamiento e independencia con la que prácticamente trabajan, sobretodo a nivel de programas, delegaciones y entidades sectorizadas. Asimismo, requiere reducir la duplicidad y dispersión de las funciones de M&E al nivel de las subsecretarías y programas, fortalecer su integración con los procesos de planeación y presupuesto, establecer adecuados mecanismos de coordinación para realizar tareas de M&E, y generar un marco institucional que asegure que la información Page 37 32 sobre los re sultados del desempeño retroalimente los procesos de toma de decisiones al más alto nivel de la Secretaría. De acuerdo con lo anterior, y teniendo en cuenta la Ley General de Desarrollo Social (DOF 20/01/2004), el decreto DOF 24 de 2005 que regula el Consejo Nacional de Evaluación de la Política Social –CONEVAL, el Estatuto Orgánico del mismo, y la organización institucional de la SEDESOL, en el marco del Plan de Acción se propone organizar el desarrollo de las funciones de SEMBR en tres niveles: político, técnico y operativo (ver Figura 3). ILUSTRACION 3: Marco institucional y operativo para el SEMBR de la SEDESOL Secretario, SSPPE, SSDSH, SSDUOT, OM, Delegaciones SEMBR - Presidencia - Comisi ón Nacional de Desarrollo Social - Congreso - Ciudadanía Monitoreo basado en Resultados SSPPE EXTERNAS SHCP - SED CONEVAL SFP - PMG Evaluaci ón basada en Resultados DGEMPS Presupuesto basado en Resultados DGPP, DGEMPS, UPRI Nivel Pol ítico Nivel Técnico UPRI DGS DGO DGAP DGPP Sectorizadas DGGPB Delegaciones UROP DGEMPS DGI Nivel Operativo Evaluadores Externos (1) Subsecretaría de Desarrollo Social y Humano (SSDSH), Subsecretaría de Desarrollo Urbano y Ordenamiento Territorial (SSDUOT), Oficial Mayor (OM), Subsecretaría de Prospectiva, Planeación y Evaluación (SSPPE) y Coordinación de Delegaciones. Fuente: Elaboración propia con base en hallazgos identificados. El nivel político será la máxima instancia de orientación del SEMBR el cual se encargará de aprobar las metas sexenales y anuales de la entidad, definir la agenda de evaluaciones, y tomar las decisiones de política y presupuesto que considere conveniente con base en los resultados del seguimiento y las evaluaciones. Con el fin de que la estructura organizacional actual de la Secretaría responda a las necesidades del sistema de M&E y rompa con el aislamiento de las diferentes áreas internas, se contempla la creación de un Comité Interinstitucional que esté conformado por el Secretario de Desarrollo Social, las Subsecretarías (Prospectiva, Planeación, y Evaluación; Desarrollo Social y Humano; Desarrollo Urbano y Ordenación del Territorio), la Oficialía Mayor y la Coordinación de Delegaciones. El Comité será el responsable de la toma de Page 38 33 decisiones a nivel político sobre el SEMBR y dado que la Subsecretaría de Prospectiva, Planeación y Evaluación es la instancia responsable de definir los lineamientos de gestión, orientar la planificación y realizar el seguimiento y la evaluación a los planes, programas y proyectos de la entidad, representará la Secretaría Técnica del Comité del SEMBR. Con el fin de que en este nivel se puedan desencadenar decisiones basadas en información y evidencia sobre los resultados e impactos de la operación de la entidad, el SEMBR deberá proporcionar información oportuna y de calidad. Con base en dicha información, el Secretario presentará, según lo disponga, informes formales al Presidente de la República, a la Comisión Nacional de Desarrollo Social, a los Organismos de Control, al Congreso y a la ciudadanía, según sea el caso. De acuerdo con lo anterior, el Comité Interinstitucional del SEMBR se constituye como el máximo nivel de coordinación y decisión que orienta y define todas las actividades de monitoreo y evaluación a ser realizadas por la SEDESOL, así como aquellas relacionadas con el desarrollo del SEMBR y su institucionalización. El nivel técnico esta dividido en los tres pilares del modelo conceptual del SEMBR: i) monitoreo basado en resultados; ii) evaluación basada en resultados, y iii) presupuesto basado en resultados. El primer pilar estará encabezado por la Subsecretaría de Prospectiva, Planeación y Evaluación (SSPPE) la cual tendrá a su cargo la responsabilidad de dirigir todas las actividades tendientes al desarrollo del Plan Indicativo Sectorial al cual se alinearán los programas sociales, con sus matrices de marco lógico, se asegurará de que éstas sean consistentes con el Plan Sectorial y con el Plan Nacional de Desarrollo y realizará la consolidación y validación técnica de las mismas, previo a su presentación ante CONEVAL y la SHCP. El segundo pilar estará a cargo de la DGEMPS quien se encargará de que los resultados de las evaluaciones de desempeño, de impacto y de procesos e indicadores apoyen el proceso de toma de decisiones asegurando que la información sobre las mismas alcance las instancias de decisión correspondientes. En ese propósito, la DGEMPS velará por el adecuado cumplimiento de los estándares técnicos definidos por CONEVAL, consolidará la información del seguimiento, definirá los términos de referencia de las evaluaciones, apoyará técnicamente los procesos de contratación y realizará la auditoria de las mismas. Igualmente, preparará los reportes de resultados consolidados de la Secretaría con base en la información del seguimiento y las evaluaciones, y administrará la herramienta tecnológica del SEMBR, entre otras. Igualmente, la DGEMPS se encargará de asesorar y brindar apoyo técnico a las unidades administrativas responsables de la operación de los programas en la aplicación de las herramientas del SEMBR y de capacitarlas en el uso de las mismas. La DGEMPS será la encargada de realizar el monitoreo permanente a los indicadores de la Secretaría, los cuales serán alimentados directamente por las unidades administrativas responsables de la operación de los programas, en la herramienta tecnológica que se disponga para ello. Para lograr este propósito, la DGEMPS actuará como organismo técnico del SEMBR y como tal se encargará de realizar todas las actividades necesarias para poner en funcionamiento el Sistema, incluyendo la coordinación técnica interna y externa que estas demanden. El tercer pilar, presupuesto basado en resultados, será una responsabilidad compartida entre la DGPP, la DGEMPS y las unidades operativas de los programas. Este esfuerzo de Page 39 34 responsabilidad compartida permitirá vincular la planeación con la programación e integración presupuestal a nivel sectorial y por programa, al igual que el monitoreo de la ejecución del gasto, el avance físico de los programas y la evaluación del desempeño. Con el fin de asegurar la adecuada implementación del Sistema, formarán parte del nivel técnico las instancias externas e internas con competencias en materia de M&E con las cuales la DGEMPS deberá realizar una coordinación permanente. Se cuentan entre estas, a nivel externo, CONEVAL, la Dirección General de Presupuesto de la Secretaría de Hacienda la cual tiene a su cargo la coordinación del Sistema de Evaluación del Desempeño (SED), y la Dirección General de Eficiencia Administrativa y Buen Gobierno de la Secretaría de la Función Pública, la cual tiene a su cargo el Programa de Mejoramiento de la Gestión (PMG). TABLA 4: Componente organización institucional del SEMBR: Objetivos y actividades de corto y mediano plazo Objetivos / metas: Organizar las funciones de M&E estableciendo para la organización institucional del SEMBR con roles, responsabilidades e instancias de coordinación y decisión en los niveles político, técnico y ejecutivo de la gestión de la Secretaría. Actividades generales Actividades específicas 1. Diseñar un marco institucional del SEMBR que establezca los roles y responsabilidades de las diferentes instancias con competencias en M&E así como las instancias de coordinación interna y externa para el desarrollo de las mismas. 2. Redefinir las funciones y fortalecer a la DGEMPS para actuar como instancia técnica responsable del desarrollo del SEMBR en la Secretaría. 3. Clarificar la división de tareas así como los niveles de complementariedad y coordinación entre la DGEMPS y CONEVAL. 4. Definir lineamientos para los diferentes tipos de seguimiento y evaluación en los ámbitos de política, programas, entidades y niveles agregados del sector, definiendo procedimientos y mecanismos para lograr su articulación con la planificación y el presupuesto. 5. Fortalecer las disposiciones normativas utilizadas para impulsar el Sistema de M&E y la gestión por resultados. 1. Preparar y gestionar la aprobación de una directiva que contenga la reorganización de las funciones de M&E a ser realizadas en el marco del SEMBR, defina una única instancia responsable de la coordinación de las mismas y establezca un Comité Interinstitucional de alto nivel que se encargue de orientar el proceso de desarrollo e institucionalización del mismo. 2. Poner en marcha el nuevo arreglo institucional y reglamentar los procedimientos y mecanismos de coordinación necesarios para ello. 3. Transferir a la DGEMPS la herramienta tecnológica del SEMBR y fortalecer sus capacidades para administrarla. 4. Ajustar las funciones de la DGEMPS dada la entrada de la operación de CONEVAL. 5. Gestionar la aprobación y poner en marcha los lineamientos y procedimientos para asegurar la integración de las funciones de seguimiento y evaluación con la planificación y el presupuesto. Fuente: Elaboración propia con base en hallazgos identificados. Page 40 35 Por su parte, el nivel operativo involucra a la Dirección General de Programación y Presupuesto (DGPP), la Dirección General de Informática (DGI), la Dirección General de Organización (DGO), y la Coordinación de Delegaciones de la Oficialía Mayor; la Dirección General de Seguimiento (DGS) de la Subsecretaría de Desarrollo Social y Humano; la Unidad de Planeación y Relaciones Internacionales (UPRI), la Dirección General de Análisis y Prospectiva (DGAP); la Dirección General de Geoestadística y Padrones de Beneficiarios (DGGPB), y la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS) de la Subsecretaría de Prospectiva, Planeación y Evaluación; las Direcciones de Planeación y/o Evaluación al interior de los Programas de la Secretaría, las entidades sectorizadas así como a los evaluadores externos contratados por SEDESOL. Estos actores son las instancias encargadas de realizar el seguimiento a los resultados con base en la matriz de indicadores y de reportar a la herramienta tecnológica del SEMBR la información sobre avances, restricciones y alertas de acuerdo con los procedimientos definidos por la DGEMPS para ello. Algunas actividades generales y específicas para avanzar hacia el cumplimiento de los anteriores propósitos se presentan en la tabla 4. Desarrollo de capacidades en M&E Con el fin de consolidar en la SEDESOL una cultura de gestión orientada al logro de resultados, se requiere realizar, en el marco del SEMBR, una serie de actividades tendientes a desarrollar capacidades de monitoreo y evaluación en las diferentes unidades y programas. Para lograr este objetivo, a través de la DGEMPS, se buscará: i) definir metodologías, incluyendo manuales básicos para la construcción de indicadores, la aplicación de métodos de evaluación y programación, la elaboración de líneas de base y el uso de los instrumentos del Sistema; ii) divulgar las bases conceptuales, los instrumentos y las herramientas tecnológicas del Sistema; y, iii) capacitar permanentemente a los funcionarios públicos responsables de realizar tareas de evaluación y seguimiento al interior de la Secretaría. Dicha capacitación periódica se realizará a solicitud de los programas y entidades y/o a medida que se actualicen los instrumentos y metodologías, y será realizada por la DGEMPS en el marco del Sistema, o a través de terceros bajo la orientación y supervisión de la misma. Para asegurar el desarrollo planificado de estas actividades, la DGEMPS formulará un Plan de Acción para el desarrollo de capacidades en evaluación de la Secretaría, estableciendo un cronograma de cursos, talleres y seminarios anuales, así como pasantías y study tours tanto para la Dirección General de Evaluación y Monitoreo como para los 21 programas de la Secretaría. La tabla 5 presenta las actividades generales y específicas de corto y mediano plazo a ser realizadas en este campo. Page 41 36 TABLA 5: Componente desarrollo de capacidades de M&E: Objetivos y actividades de corto y mediano plazo Objetivos / metas: Desarrollar capacidades de monitoreo y evaluación en la Secretaría y promover una cultura de la gestión orientada a resultados a nivel de sus programas y dependencias. Actividades generales Act ividades específicas 1. Formular un Plan de Acción de corto, mediano y largo plazo para el desarrollo de capacidades en evaluación que incluya un cronograma de cursos, talleres y seminarios anuales, así como pasantías y study tours tanto para la Dirección de Evaluación como para los programas de la Secretaría. 2. Delimitar las funciones de desarrollo de capacidades en M&E a ser realizadas por SEDESOL y por CONEVAL y darlas a conocer a las diferentes instancias de la Secretaría. 3. Elaborar las cartillas metodológicas y manuales de procedimiento del SEMBR. 4. Vincular e incentivar la participación de centros de estudios y universidades que contribuyan al fortalecimiento de las capacidades en gestión pública orientada a resultados de la Secretaría. 1. Realizar como mínimo un seminario internacional anual, un curso y tres talleres dirigidos a funcionarios de la Secretaría con participación de expertos nacionales e internacionales. 2. Ejecutar directamente a través de la DGEMPS o de terceros contratados para tal fin el Plan de Acción en capacitación. 3. Acordar con CONEVAL la división de tareas en materia de desarrollo de capacidades con el objeto de crear un único y común lenguaje en materia de M&E, así como métodos estandarizados. 4. Diseñar y poner en marcha un programa de “entrenamiento para entrenadores” en M&E. 5. Programar y realizar pasantías y visitas de estudio a experiencias relevantes para funcionarios estratégicamente seleccionados. 6. Diseminar, asesorar y apoyar técnicamente a los programas y dependencias de la Secretaría en la aplicación y uso de las metodologías y manuales del SEMBR. Fuente: Elaboración propia con base en hallazgos identificados. Agenda de información Con el fin de darle seguimiento al Plan Indicativo, optimizar el monitoreo de los resultados en todos los niveles, facilitar las evaluaciones y reducir su costo actual es necesario enfatizar la necesidad de impulsar un a agenda de información en la Secretaría. Esta agenda debe incluir un Plan Integral de Desarrollo de la Información en SEDESOL contemplando por un lado, bases normativas y estándares para la generación, recolección y procesamiento de datos del desempeño, así como mecanismos para el control de su calidad. Por otro lado, debe contemplar también la definición de parámetros de interoperabilidad de las herramientas tecnológicas existentes, conectividad de las oficinas, entidades y delegaciones y el desarrollo de una plataforma tecnológica para desplegar el sistema de MyE. Igualmente, debe contemplar la definición de adecuados arreglos institucionales que garanticen la sostenibilidad de estos esfuerzos en el largo plazo. La utilización de la información para la orientación estratégica del gasto, la rendición de cuentas y la retroalimentación de la gestión para estimular el mejoramiento continuo es uno de los Page 42 37 prerrequisitos del Sistema de M&E. Esto implica disponer de información básica con atributos de calidad, oportunidad y libre acceso en relación con todos los programas, a fin de evidenciar los resultados de la gestión y facilitar la formulación y la toma de decisiones fundamentadas. La integración de los sistemas de captura de información constituirá uno de los principales retos para el adecuado funcionamiento del SEMBR. Será sumamente importante trabajar sobre la eliminación de la duplicidad y dispersión de la información a través de los múltiples sistemas de información existentes en la institución tal y como lo revelaron las vistas realizadas al programa sectorizado de FONHAPO, al programa de Desarrollo Local y a la Delegación de la SEDESOL en Querétaro. Para ello será igualmente necesario trabajar sobre la cadena de la información (generación, recolección, procesamiento) al interior de la Secretaría, para evitar que los programas continúen desarrollando propios sistemas de información que producen duplicidad de esfuerzos y recursos, además de generen cargas administrativas extras en los procesos de producción, administración y uso. TABLA 6: Componente sobre Agenda de Información para M&E: Objetivos y actividades de corto y mediano plazo Objetivos / metas: Desarrollar la agenda de información y la plataforma tecnológica sobre la que se va a desplegar el sistema de MyE con el fin de darle seguimiento al Plan Indicativo. Actividades generales Actividades específicas 1. Diseñar los mecanismos de recolección de información de modo periódico que implica la actividad de monitoreo sobre las diversas actividades de los programas. 2. Promover actividades de recolección de datos e información sobre actividades sustanciales de los programas para sistematizar, analizar y usar la información. 3. Identificar los medios de verificación que permitan realizar los cálculos y la medición de los indicadores de forma adecuada (estadísticas, información de encuestas, registros administrativos, etc.) 4. Orientar la captura de la información más hacia la óptica de la evaluación que en términos de operación. 1. Fortalecer la capacidad técnica de los profesionales de los programas para generar y usar la información básica. 2. Desarrollar un plan de acción que comprenda actividades de fortalecimiento técnico a las unidades responsables del registro de la operación. 3. Mejorar los estándares y normas comunes para la recolección y procesamiento de datos para promover la homologación de variables y definiciones. 4. Potenciar la interconexión de bases de datos, en aquellas que sean factibles de realizar, previo análisis técnico con la Dirección General de Informática. 5. Apoyar las diferentes iniciativas de las delegaciones y de la Dirección General de Informática para sistematizar las bases de datos para M&E. Fuente: Elaboración propia con base en hallazgos identificados. Page 43 38 Con el fin de crear una estrategia de información global que sea susceptible a retroalimentar el sistema de MyE basado en resultados será necesario seguir trabajando sobre los sistemas de bases de datos administrativos y financieros existentes de las Direcciones Generales de Informática y de Programación y Presupuesto (ej. SIIPSO, SIAFF, SIPREC) sobre los que se captura y acumula la información de los programas sociales de SEDESOL. Parte importante de la estrategia involucrará no sólo la reorganización e integración de los sistemas tecnológicos existentes, sino de nuevos acuerdos institucionales al interior de la SEDESOL, y en los que le Comité Interinstitucional deberá participar. 19 Algunas actividades generales y específicas para avanzar hacia el cumplimiento de los anteriores propósitos se presentan en la tabla 6. 19 Para mayor descripción sobre la estrategia de información para M&E en SEDESOL ver el documento Fortalecimiento de la Capacidad para Generar Información de Calidad para el Monitoreo. Page 44 39 ANEXO 1: Lista de entrevistas Fecha Entrevistado Área 11/02/08 Gloria Martha Rubio Subsecretaría de Prospectiva, Planeación y Evaluación - Dirección General de Evaluación de Programas Sociales. 11/02/08 Liliam Flores Subsecretaría de Prospectiva, Planeación y Evaluación - Dirección General de Análisis y Prospectiva. 11/02/08 Sergio Ronces Oficialía Mayor - Dirección General de Informática. Dirección de Administración de Proyectos Informáticos. 11/02/08 Germán Malvado Oficialía Mayor - Dirección General de Organización. 12/02/08 Carlos Ponce Oficialía Mayor - Dirección General de Programación y Presupuesto. 12/02/08 Marco Antonio López Silva Subsecretaría de Desarrollo Social y Humano - Dirección General de Seguimiento. 12/02/08 Luis Zamorano Subsecretaría de Desarrollo Urbano y Ordenación del Territorio - Dirección General de Equipamiento e Infraestructura en Zonas Urbano Marginadas. 12/02/08 Lía Limón Subsecretaría de Desarrollo Social y Humano - Dirección General de Política Social. 13/02/08 Javier González Gómez Secretaría de la Función Pública - Dirección General de Eficiencia Administrativa y Buen Gobierno. 13/02/08 Myriam Arabian Couttolenc Oficialía Mayor - Unidad de Coordinación de Delegaciones. 13/02/08 CONEVAL Agenda de Banco Mundial 13/02/08 SHCP Agenda de Banco Mundial 14/02/08 Javier Suárez Subsecretaría de Prospectiva, Planeación y Evaluación - Dirección General de Geoestadística y Padrones de Beneficiarios 14/02/08 Mtro. Félix Vélez Subsecretaría de Prospectiva, Planeación y Evaluación. 15/02/08 Sofía Frech Presidencia de la República. Unidad de Planeación. 15/02/08 Dr. Gustavo Merino Subsecretaría de Desarrollo Social y Humano. 18/02/08 Gloria Martha Rubio Subsecretaría de Prospectiva, Planeación y Evaluación - Dirección General de Evaluación de Programas Sociales 18/02/08 Alejandro García Oficialía Mayor - Coordinación de Delegaciones – Delegación Campeche 19/02/08 Gerardo Pérez Retán y Alejandro García Delegación Querétaro 20/02/08 Graciela Regalado y Raúl Mendoza FONHAPO 20/02/08 Dr. Germán Palafox Subsecretaría de Desarrollo Social y Humano - Unidad de Microrregiones 21/02/08 Jacobo Bello y Myriam Maciel Oficialía Mayor - Dirección General de Informática 22/02/08 Alfredo Velázquez Presentación PMG (SFP). 22/02/08 Gloria Martha Rubio (Reunión de cierre) Subsecretaría de Prospectiva, Planeación y Evaluación - Dirección General de Evaluación de Programas Sociales Page 45 40 Page 46 41 Informe 2: SEDESOL: Priorización de indicadores estratégicos de acuerdo al SEDSOL y nuevas directrices nacionales Alejandro Medina Giopp Introducción El presente documento se enmarca en las actividades de asistencia técnica que presta el Banco Mundial a la Secretaría de Desarrollo Social (SEDESOL), concretamente a fortalecer sus funciones de monitoreo y evaluación de políticas y programas sociales. Este documento busca contribuir a la identificación y operacionalización de los indicadores estratégicos que debería utilizar SEDESOL a nivel sectorial y de programas para ser congruente con el nuevo modelo de monitoreo y evaluación (MyE) que la Dirección General de Monitoreo y Evaluación de Programas Sociales (DEGMPS) de SEDESOL impulsa en el contexto del nuevo marco institucional que para la APF se aplica en México. El documento inicia abordando los conceptos, principios y herramientas del nuevo enfoque de monitoreo y evaluación, denominado el Sistema de Evaluación del Desempeño de SEDESOL (SEDSOL) 20 , lo que constituye el apartado uno. Posteriormente se analizan los indicadores que requiere el SEDSOL tanto a nivel sectorial como de programas, donde se analizan cuales y porque son estratégicos, apartado dos. Sobre la base de las misiones realizadas, se identifican fortalezas y debilidades de los sistemas de información existentes en SEDESOL, tanto a nivel central como en sus delegaciones en entidades federativas, y su rol como fuentes de información para los indicadores seleccionados, esto corresponde al apartado tres. El plan de trabajo para fortalecer la elaboración y uso de indicadores estratégicos para el SEDSOL es abordado en el cuarto que contiene también las conclusiones. Finalmente se presentan anexos y material consultado. I. El sistema de monitoreo y evaluación de SEDESOL La Secretar ía de Desarrollo Social (SEDESOL) cuenta con una larga experiencia en materia de monitoreo y evaluación, especialmente en el nivel de programas sociales, y más específicamente en acciones dirigidas a la evaluación de su impacto. De hecho, evaluaciones como la del programa de educación, salud y nutrición PROGRESA, ahora Oportunidades, se han convertido en referencia importante en la academia, y actividades de consultoría y asistencia técnica a nivel no solo nacional sino internacional. 20 Combinación de palabras entre SEDESOL y el Sistema de Evaluación del Desempeño SED en proceso de implementación por el Gobierno de México. Page 47 42 Aunque se ha impulsado la evaluación de impacto, y se han desarrollado iniciativas para integrar acciones de monitoreo y evaluación a nivel de programas, por ejemplo la implementación del Sistema de Evaluación y Monitoreo Basado en Resultados (SEMBR), a la fecha, SEDESOL no ha logrado consolidar aún un modelo de monitoreo y evaluación que permita a todos los actores involucrados conocer de manera oportuna el nivel de desempeño e impacto de los objetivos sectoriales y de los programas, y generar acciones en consecuencia a sus resultados, ya sea en el ajuste de programas y/o metas sectoriales (rediseño), rendición de cuentas y transparencia o asignación del gasto. Estos son los objetivos principales que dan razón de ser a un sistema de monitoreo y evaluación de resultados. De manera reciente se llevo a cabo un balance de las fortalezas y debilidades de la capacidad institucional de SEDESOL para llevar adelante sus funciones de monitoreo y evaluación a nivel de políticas y de programas sociales, la siguiente nota resume sus resultados: “SEDESOL no cuenta con un modelo de gestión basado en resultados ni con instrumentos adecuados para medir el desempeño agregado de la Secretaría, retroalimentar su gestión y rendir cuentas efectivamente. Las funciones de monitoreo son dispersas y de baja calidad, la evaluación es el componente más avanzado, pero su calidad es aún heterogénea y depende en alto grado de cada programa. El seguimiento y la evaluación de los resultados del gasto no tienen lugar en la agenda del sistema” 21 . Aunado a los esfuerzos de SEDESOL por avanzar en su sistema de monitoreo y evaluación y superar las debilidades encontradas, la estrategia gubernamental del Presupuesto Basado en Resultados (PBR) implementada por el nuevo Gobierno (2006:2012), que comprende dos vertientes: el Sistema de Evaluación del Desempeño (SED) y el Programa de Mejora de la Gestión (PMG) establece lineamientos concretos que en materia tanto de presupuesto como de monitoreo y evaluación deben observar las entidades y dependencias de la Administración Pública Federal (APF). En el caso concreto de los programas federales que comprende el sector social, el Consejo Nacional de Evaluación de la Política Social (CONEVAL), creado en el marco de la Ley General de Desarrollo Social aprobada en el año 2004, es quien regula la implementación del SED a través de los lineamientos generales para la evaluación de programas federales de la APF, y es en este marco que SEDESOL impulsa el fortalecimiento de sus funciones de monitoreo y evaluación 22 . 21 Banco Mundial (2008). SEDESOL: Consolidación del Sistema de Evaluación y Monitoreo basado en Resultados para el Periodo 2008-2012. Washington D.C. Borrador de discusión. 22 Un análisis de los lineamientos de evaluación para programas federales de la APF puede verse en López Acevedo, Gladys (2008). Análisis de los lineamientos de evaluación para programas federales de la APF, en el marco de la asistencia técnica que el Banco Mundial presta al CONEVAL. Page 48 43 E L SEDSOL En este nuevo contexto institucional que establece acciones concretas que en materia de evaluación deben observar entidades y dependencias de la APF a través de cumplir con los lineamientos emitidos por CONEVAL, y en línea con los avances de SEDESOL en materia de monitoreo y evaluación, es que se plantea el diseño e implementación del Sistema de Evaluación del Desempeño de SEDESOL (SEDSOL) como una fase avanzada de consolidación de los esfuerzos anteriores, y precisamente bajo tres pilares concretos que se alinean con el nuevo contexto institucional de evaluación en la APF: i) monitoreo basado en resultados ii) evaluación basada en resultados iii) presupuesto basado en resultados. El SEDSOL constituye entonces un enfoque integral 23 no solo considera de manera conjunta el ámbito del monitoreo y evaluación tanto a nivel de objetivos sectoriales de SEDESOL como de programas, sino que integra también las acciones de monitoreo y evaluación al proceso presupuestal en el marco de los avances del Presupuesto Basado en Resultados (PBR) que se implementa en la Administración Pública Federal (APF), con ello logra tanto integrar las actividades esenciales del ciclo de gestión de las políticas y programas sociales: planeación, programación, presupuestación, seguimiento a la ejecución, monitoreo y evaluación, como integrar el nivel de programas al sectorial. La orientación al logro de resultados que permitan el rediseño o ampliación de programas y objetivos sectoriales; la transparencia y rendición de cuentas y la efectividad en el proceso de asignación del gasto es uno de los principios del SEDSOL. El SEDSOL contempla la producción regular y oportuna de una variedad de reportes con información valiosa para la toma de decisiones de los diversos actores involucrados, tales como ejecutores de proyectos y acciones, delegaciones de SEDESOL en las entidades federativas, Direcciones Generales y Subsecretarías, entre otros actores clave como el Congreso, CONEVAL, la Secretaría de Hacienda y Crédito Público, y la Secretaría de Función Pública. El SEDSOL como anteriormente se señalo es un sistema que puede ser analizado a través de tres subsistemas específicos que mantienen integración entre sí: · subsistema de monitoreo basado en resultados; · subsistema de evaluación basada en resultados · subsistema presupuestal basado en resultados. A continuación se describe de manera general el alcance de cada uno de dichos subsistemas y su dinámica de funcionamiento e integración al nivel tanto sectorial como de programas. 23 Sobre la base del docume nto: “Características Idóneas del SEMBR” (2008), presentación en Microsoft Power Point elaborado por la Dirección General de Evaluación y Monitoreo de SEDESOL, México D.F., Enero, así como de la reuniones con el equipo de SEDESOL. Page 49 44 E L SUBSISTEMA DE MONITOREO DEL SEDSOL El alcance de este subsistema comprende el análisis de los aspectos administrativos y financieros requeridos para la producción de infraestructura, bienes y/o servicios que reciben los beneficiarios de los programas que opera SEDESOL, así como el análisis de la esfera de producción y distribución de dichos productos, en donde intervienen aspectos relativos a costos de producción de los bienes y servicios, tecnología aplicada, medios de distribución, etc. Esta información se constituye en un insumo fundamental para iniciar las acciones en el campo del subsistema de evaluación. Tanto a nivel de programas, como sectorial este subsistema es el que permite hacer un seguimiento de las asignaciones de recursos, la gestión documental que acompaña la ejecución de los proyectos, sean éstos infraestructura o productos (bienes y/o servicios), así como conocer la cobertura lograda en términos de numero de infraestructura y productos entregados. Para mayor facilidad del análisis y operación del subsistema, éste puede ser analizado y funcionar, a través de la puesta en marcha de dos módulos específicos: i) módulo administrativo financiero ii) módulo de monitoreo de la operación (ver ilustración 1). El modulo administrativo financiero está orientado al seguimiento de la asignación presupuestal y al control de la gestión documental que soporta la ejecución financiera de los proyectos y acciones que se ejecutan a través de las Delegaciones. Por su parte el modulo de monitoreo de la operación realiza el seguimiento a la producción de la infraestructura, bienes y servicios, así como al seguimiento de cuantos se han beneficiado de ellos (beneficiarios), y si la población beneficiaria es la población objetivo diseñada en los objetivos de los programas y metas sectoriales. La siguiente ilustración (ilustración 1) muestra el subsistema de monitoreo compuesto de dos módulos, que a reciben información de diversas aplicaciones informáticas, no totalmente integradas. Page 50 45 ILUSTRACION 1: Subsistema de monitoreo basado en resultados SEDSOL SUBSISTEMA DE MONITOREO DE BASADO E N RESULTADOS MODULO A DMINISTRATIVO FINANCIERO MODULO DE MONITOREO DE L A OPERACI'ÓN CONEXUS SIIPSO APLICACIONES PROPIAS P R O P I A S A D M I N I S T R A C I Ó N P U B L I C A SIIPSO DIR. GENERAL DE PADRONES APLICACIONES PROPIAS EVALUACIÓN DE CONSISTENCIA Y RESULTADOS EVALUACIÓN DE PROCESOS SIAFF SIPREC Es importante señalar en relación a este subsistema que todos los programas que gestiona SEDESOL tienen aplicaciones informáticas de desarrollo propio orientadas en su mayoría al control de documental y de gestión e interacción con usuarios para registro de las demandas, y seguimiento financiero, pero escasos desarrollos orientados monitoreo y evaluación de resultados. La tabla 1 muestra la gran cantidad de aplicaciones informáticas existentes para la gestión de programas, entidades sectorizadas y delegaciones de SEDESOL. Esta diversidad obliga a la estandarización e integración de aplicaciones informáticas que permitan esfuerzos más eficientes de agregación y consolidación de información. Afortunadamente un plan de integración es parte de la agenda actual de la Dirección de Informática de SEDESOL. Además de las aplicaciones informáticas, existe información relevante relativa al monitoreo que es obtenida de las evaluaciones de consistencia y resultados aplicadas a los programas federales de la Administración pública federal que han desarrollado los programas sociales de SEDESOL a través de la contratación de evaluadores externos. Cabe destacar que su denominación como evaluación de consistencia y resultados, es reciente y en el marco de la coordinación de CONEVAL, pero SEDESOL, al igual que otras entidades y dependencias de la APF, desde hace varios años realizan, por mandato del Congreso, “evaluaciones externas”. Estas evaluaciones incluyen aspectos de diseño hasta resultados, así que se constituyen en fuentes de información tanto para el sistema de monitoreo como de evaluación. CONEVAL ha desarrollado un menú de evaluaciones para la evaluación de programas federales en el sector social, una de ellas es relativa a la evaluación de procesos u operación de programas, éste tipo de evaluación se constituiría en una excelente fuente de información para el módulo de monitoreo, ya que engloba precisamente los aspectos administrativos, de producción y entrega de servicios y de eficiencia en la focalización. Page 51 46 TABLA 1: Número de aplicaciones informáticas para la gestión de programas, entidades sectorizadas y delegaciones de SEDESOL Entidad No. d e aplicaciones informáticas para apoyo a la gestión Entidades Sectorizadas SEDESOL FONHAPO 9 INAPAM 5 INDESOL 4 LICONSA 30 OPORTUNIDADES 39 DICONSA 16 FONART 10 CORETT (Regulación de Tierras) 9 Programas y oficinas centrales Empleo temporal 7 Dirección General de Padrones de Beneficiarios 5 Hábitat 30 Delegaciones SEDESOL PROMEDIO 2 Delegación con mas sistemas: Baja California y Chiapas 6 Fuente: Elaboración propia con base a SEDESOL Inventario de aplicaciones informáticas www.sedesol.gob.mx M ODULO ADMINISTRATIVO FINANCIERO DEL SUBSISTEMA DE MONITOREO DE SEDSOL La unidad de análisis básica de este módulo son los registros de gastos e inversión realizados por los ejecutores de los programas en obras y acciones en localidades. Este módulo comprende además aspectos relativos al proceso de adquisiciones y administración financiera. Esta información se produce esencialmente a nivel de los ejecutores 24 de los programas y se sistematiza al nivel de las Delegaciones de SEDESOL que existen en las 31 entidades federativas del país. El sistema principal de tipo administrativo financiero es el Sistema Integral de Información para Programas Sociales (SIIPSO). El sistema permite una interacción con los beneficiarios al permitir capturar la demanda y hacer seguimiento del avance de las obras mediante la incorporación de fotografías antes y después de ejecutadas. Permite a las delegaciones en las entidades federativas pre-validar y validar las obras y acciones de los distintos ejecutores (COPLADES 25 , COPLADEMUN 26 , Municipios, etc.) a realizar, así como el registro y seguimiento de la asignación presupuestal. Además del SIIPSO existe una novedosa aplicación informática denominada Control de Expedientes Unitarios (CONEXUS) que permite el seguimiento de la gestión documental y el cumplimiento de plazos y carga documental al nivel de la gestión administrativo financiera de los proyectos de inversión que se ejecutan en localidades y municipios que comprenden los programas en la entidad federativa correspondiente, permite como señalan los usuarios “ligar la 24 Pueden ser de muchos tipos: municipios, organismos de la sociedad civil, etc. 25 Comité de Planeación para el Desarrollo Estatal. 26 Comité de Planeación para el Desarrollo Municipal. Page 52 47 operación con los documentos físicos” a través del seguimiento de ocho etapas estandarizadas del ciclo de vida proyectos.. El CONEXUS fue desarrollado recientemente en la Delegación del Estado de Campeche, se aplica actualmente en algunas Delegaciones y se busca expandir como mejor práctica. Ha sido ya evaluada por distintas instancias centrales como la coordinación de delegaciones. Es una herramienta moderna de control interno que permite recomendaciones ante posibles desviaciones. Permitirá además, al estandarizarse su utilización, establecer comparación del desempeño administrativo entre delegaciones y generar estímulos al desempeño. El CONEXUS se convierte en un complemento muy importante al SIIPSO, ya que realiza un seguimiento detallado en tiempo, forma y carga documental que no realiza el SIIPSO. Es importante tomar en cuenta que las acciones administrativo/financieras de este módulo y las aplicaciones señaladas se enmarcan en el Sistema Integrado de Administración Financiera Federal (SIAFF) así como en el Sistema Integral de Presupuesto (SIPREC) que aplica a la Administración pública. El objetivo de este módulo es elaborar estados de situación regulares (semanales, mensuales, etc.) de la ejecución física y presupuestaria de las obras y acciones que llevan a cabo los diversos ejecutores en el marco de los programas a nivel de municipios y localidad. Lo anterior permite verificar si el nivel de avance físico y financiero de los programas se corresponde a los cronogramas de ejecución física y presupuestaria acordados con los ejecutores. Permite, además conocer el estatus de los proyectos y el nivel de avance global de los proyectos en cuanto al grado de cumplimiento de su gestión documental lo que permitiría fácilmente, como se indicó, establecer un ranking del desempeño de las delegaciones en estos aspectos. M ÓDULO DE MONITOREO DE LA OPERACIÓN DEL SUBSISTEMA DE MONITOREO DE SEDSOL La unidad de análisis son los productos, entendidos éstos como los bienes y/o servicios que entregan los programas a través de los ejecutores a los beneficiarios mediante la gestión de las delegaciones en las entidades federativas de SEDESOL. A través de este módulo se sistematizan los registros de que infraestructura, cuántos bienes y/o servicios han sido producidos y entregados, y quienes y en que localidades los han recibido, por lo que el análisis de cobertura forma también parte de este módulo. Este módulo debe permitir conocer la agregación de bienes y/o servicios equivalentes que prestan ejecutores diversos en localidades, municipios y entidades federativas que prestan diversos programas, para estimar la cobertura global. Lo que no es aún posible en algunos casos debido a la diversidad de unidades de registro utilizadas y falta de estandarización en la apertura programática. Las aplicaciones informáticas más relevantes para este módulo las constituyen el SIIPSO nuevamente que comprende la información tanto de los ejecutores de obras y proyectos como el registro de la demanda de los potenciales beneficiarios de los programas. Otra fuente básica de información es la base de datos de los padrones de beneficiarios de programas sociales a cargo de la Dirección General de Padrones de Beneficiarios de Programas Sociales de SEDESOL. Page 53 48 Es importante señalar que no todos los programas cuentan con padrones de beneficiarios, ni todos los padrones realizan las actualizaciones y mantenimiento debido al padrón. Además, como ya se comentó cada programa desarrolla sus propias aplicaciones informáticas, por ejemplo para el caso de padrones de beneficiarios, el Programa de Abasto Social de Leche de LICONSA aplica el Sistema de Control del Padrón de Beneficiarios (SICOPA). Además de los productos, este módulo también comprende el análisis de los beneficiarios, que son todos aquellos que reciben productos de los ejecutores. A nivel de productos es posible establecer indicadores de eficacia, eficiencia, productividad y calidad de la operación mientras que a nivel de beneficiarios el análisis de cobertura y calidad (en su vertiente de satisfacción) y el análisis de focalización resulta pertinente, para estimar los errores de focalización, tanto del tipo exclusión , esto es población objetivo que cumple con todos los atributos para ser beneficiarios y se encuentra en el área de intervención del programa, pero que no recibieron ningún producto, como de inclusión , que corresponde a aquellos que sin cumplir los atributos han recibido productos, sin merecerlo, de nominados en la teoría económica como “ polizones ”. A través de este módulo deberían elaborarse reportes trimestrales sobre el rendimiento o desempeño operativo de los programas, o de un conjunto de programas enmarcados en un objetivo sectorial, indicando el volumen de productos entregados, cobertura geográfica, número de beneficiarios, eficiencia de la focalización, eficiencia en la producción de infraestructura, bienes y/o servicios, etc.. Toda esta información debe estar acorde con la estructura de la Matriz de Indicadores. También es necesario que los reportes contemplen la elaboración de planes de acción orientados a superar las desviaciones encontradas. La elaboración de reportes se constituye en una herramienta de gran utilidad para impulsar el aprendizaje derivado del monitoreo. S UBSISTEMA DE EVALUAC IÓN BASADA EN RESULTADOS Este subsistema complementa al de monitoreo, se constituye en uno de sus insumos principales. La evaluación presupone que han sido ejecutados obras y entregados bienes y/o servicios a un grupo determinado de beneficiarios por un periodo de tiempo. Presupone también la existencia de un nivel mínimo de diseño que establece el objetivo y alcance del programa, estrategia o política. Entre sus objetivos se encuentra el conocer además de su grado de satisfacción de los beneficiarios, que tanto se han cumplido sus expectativas y que usos se dan a los productos recibidos, lo que permitirá medir los primeros “ efectos ” que se estén consiguiendo con la intervención del o de los programas. En la gestión de programas sociales para incrementar las probabilidades de lograr impacto, usualmente es necesario intervenir para intentar influir en ciertos comportamientos y actitudes en los beneficiarios que se plantean como condiciones previas. Por ejemplo, la mejora en el equilibro nutricional de alimentos que preparan amas de casa a sus hijos, el cumplimiento de protocolos de higiene para la manipulación de alimentos, el uso de preservativos o la visitas al médico de mujeres para realizar diagnósticos preventivos, mayor asistencia escolar, etcétera. El modulo de evaluación participativa se concentra en estos aspectos denominados en la literatura Page 54 49 como “efectos”. La hipótesis es que si se logran estos “efectos” iníciales y se sostienen, la posibilidad de lograr impacto es mayor. Conocer los cambios alcanzados en las condiciones de bienestar de la población objetivo que puedan ser atribuidas a los programas, a través de evaluaciones de tipo cuantitativas, a través del modelo experimental y la diversidad de modelos cuasi-experimentales, y cualitativas, es el objetivo del módulo de evaluación externa. La evaluación externa, en su modalidad de evaluación de impacto ha sido aplicada básicamente al nivel de programas, su complejidad es mayor a nivel sectorial (involucrando varios programas y estrategias), sin embargo hay ejercicios relevantes de evaluación como es el caso de Nutrición. La ilustración 2 ilustra el alcance del subsistema de evaluación basado en resultados del SEDSOL, que contiene a su vez dos módulos (evaluación participativa y evaluación de impacto), así como fuentes de información. ILUSTRACION 2: Subsistema de evaluación basado en resultados S EDSOL S UBSISTEMA DE EVALUACIÓN BASADA EN RESULTADOS MODULO EVALUACIÓN PARTICIPATIVA MODULO DE EVALUACIÓN EXTERNA SIIPSO IMSU EVALUACIÓN DE CONSISTENCIA Y RESULTADOS SONDEOS RÁPIDOS DE OPINIÓN CONEVAL PROGRAMA DE EVALUACIÓN AGENDA DE EVALUACIÓN DE IMPACTO SEDESOL (ESTUDIOS CUALITATIVOS Y CUANTITATIVOS) M ÓDULO DE EVALUACIÓN PARTICIPATIVA A través de la evaluación participativa se conocerá la percepción de los beneficiarios con respecto de su satisfacción en relación al uso de la infraestructura, los bienes y/o servicios recibidos por parte de los ejecutores del programa, y especialmente su grado de uso. En el caso de SEDESOL se aplicó con la finalidad de conocer el nivel de satisfacción y expectativas de los beneficiarios de algunos programas el Índice Mexicano de Satisfacción de Usuarios (IMSU). Sobre la base de una adaptación del Índice Americano de Satisfacción del Cliente (ACSI por sus siglas en inglés). Se aplicó en el año 2006 a manera de piloto en los programas de Abasto Rural a cargo de DICONSA S.A. de C.V., así como el Programa para el Desarrollo Local (Microrregiones). Sin embargo, después de diversas valoraciones de la herramienta por SEDESOL aún no se considera como el estándar a aplicar. Page 55 50 Es importante destacar que este módulo se concentra en los beneficiarios directos de los programas, pero que el enfoque de evaluación participativa podría incluir a ejecutores de programas, Delegaciones de SEDESOL en las entidades federativas, autoridades municipales, etc. Esto con la finalidad de identificar posibles cuellos de botella y problemas de coordinación en la ejecución y operación de las acciones de entrega de productos. M ÓDULO DE EVALUACIÓN EXTERNA A quienes y cuanto se beneficiaron por la acción del programa o programas es el objetivo de la evaluación externa. La hipótesis es la existencia de beneficiarios que han recibido de manera sostenida por un tiempo determinado como pertinente para lograr cambios en su situación de bienestar, uno o un conjunto de bienes y/o servicios. SEDESOL ha realizado rigurosas evaluaciones de impacto, en su mayoría de tipo cuantitativo, a aquellos programas considerados como estratégicos en función de las estrategias sectoriales de desarrollo social y del Plan Nacional de Desarrollo. Por otra parte el CONEVAL en su calidad de órgano rector y coordinador de las actividades de evaluación en el sector social elabora anualmente un Programa Anual de Evaluación que comprende los diversos tipos de evaluación a aplicarse en la totalidad o en algunos programas específicos, entre estas evaluaciones se contemplan evaluaciones de impacto. En el anexo 1 se presenta la diversidad de evaluaciones contempladas por CONEVAL. Las evaluaciones son de diversos tipos: diseño, consistencia y resultados, impacto y otras. Bajo esta lógica algunos programas de SEDESOL han sido contemplados en dicho Programa a efectos de realizarse evaluación de impacto. S UBSISTEMA DE PRESUPUESTO BASADO EN RESULTADOS El subsistema presupuestario basado en resultados presupone la existencia y operación de los subsistemas descritos: monitoreo y evaluación basados en resultados. Consta de dos módulos, el primero de evaluación del desempeño físico/financiero, el que permite conocer la relación entre los recursos asignados a cada programa con el volumen de bienes y/o servicios que este entregó a la población beneficiaria. Actualmente y gracias a la implementación de la nueva Ley de Responsabilidad Hacendaria existe una relación directa entre la asignación presupuestal al nivel de programas federales de la APF y su evaluación a través de la implementación del Sistema de Evaluación del Desempeño (SED). A través de este módulo y dada la correspondencia que deberá existir entre la asignación presupuestal y la unidad de programas, es posible conocer la relación entre el presupuesto y el volumen de entrega de bienes y/o servicios que presta cada programa. El Sistema Integral de Administración Financiera Federal, así como el SIPREC y Sistema Integral de Presupuesto y Contabilidad son el marco de operación de este módulo. La diversidad de aplicaciones informáticas desarrolladas en este ámbito requiere también integración. El segundo módulo Evaluación del impacto del gasto, permite conocer los efectos y los cambios en las condiciones de bienestar de la población objetivo que recibe los bienes y/o servicios de los Page 56 51 programas. Establece una relación entre los recursos invertidos y los resultados alcanzados y permite establecer una vinculación del presupuesto con los resultados alcanzados (directa, indirecta o presentacional 27 . En la siguiente ilustración puede apreciarse el alcance de este módulo. Este módulo es el que tiene menor grado de avance tanto en SEDESOL como en el contexto de los esfuerzos de implementación del Presupuesto Basado en Resultados, es necesario el desarrollo de guías o lineamientos para su plena operación, así como el establecimiento de incentivos y consecuencias derivadas del logro de resultados. ILUS TRACION 3: Subsistema de Evaluación presupuestal basada en resultados. SEDSOL SUBSISTEMA PRESUPUESTAL BASADO EN RESULTADOS MODULO DE SEGUIMIENTO FÍSICO-FINANCIERO DE LA OPERACION MODULO DE EVALUACIÓN DE IMPACTO DEL GASTO SIIPSO SIAFF SIPREC DESARROLLOS PROPIOS MATRIZ DE INDICADORES INDICADORES PARA LASHCP NUEVO SMBR II. Los indicadores estratégicos del SEDSOL Tanto a nivel sectorial como de programas la información relevante para apoyar procesos de rendición de cuentas, aprendizaje organizacional y asignación más efectiva de recursos del gasto social es la relativa a su nivel de desempeño e impacto, bajo la premisa de maximizar el impacto al menor costo posible, los indicadores estratégicos son precisamente aquellos que permitan expresar dicha relación de eficiencia e impacto, esta sección se orienta a precisar su selección. I NDICADORES ESTRATÉGICOS DE SEDESOL AL NIVEL DE PROGRAMAS Los programas de SEDESOL generan, utilizan y reportan una amplia batería de indicadores: indicadores consignados en las Reglas de Operación de los Programas Federales (ROPF); indicadores identificados en la matriz de indicadores MI; indicadores seleccionados para la Secretaría de Hacienda y Crédito Público (SHCP); Indicadores derivados de las evaluaciones de 27 Para conocer con más detalle estas variantes Cfr. Banco Mundial 2008. SEDESOL: Consolidación del Sistema de Evaluación y Monitoreo basado en Resultados 2008-2012. Borrador de discusión. Page 57 52 consistencia y resultados o de diseño, y en algunos programas indicadores del Sistema de Evaluación y Monitoreo Basado en Resultados (SEMBR), entre otros orientados al seguimiento físico y financiero que alimentan sistemas como indicadores para el SIIPSO, SIAFF, SIPREC, CONEXUS u otras aplicaciones propias de cada programa. Esta diversidad de indicadores no se encuentra aún alineada, incluso algunos indicadores pueden llegar a ser incluso contradictorios. Los diversos grupos de indicadores puede tener objetivos con énfasis distintos, tiempos diferentes y estar sujetos a distintos usos en función de los actores involucrados y el uso que éstos les den. Utilizar a la Matriz de Indicadores MI como el eje estratégico que ordene la producción de indicadores, es la estrategia más pertinente, la que ha sido adoptada por SEDESOL y es recomendable para el resto de agencias de la APF. De tal manera la MI se convierte en el instrumento del que se deriven los indicadores estratégicos de los programas y un insumo fundamental para la evaluación sectorial. Esto implica garantizar en el corto plazo la congruencia entre las ROP y la matriz de indicadores MI, también que los indicadores enviados a la SHCP provengan de la MI, pudiendo ser menos, pero nunca más o distintos. Esto implica que su construcción y las actualizaciones que de ella se realicen deben ser precisas y correctas metodológicamente, así como atravesar los procesos pertinentes de validación y consenso con las autoridades políticas correspondientes en cada entidad o dependencia de la APF, de lo contrario no habrá una demanda a ese nivel para su operacionalización. La validación de las máximas autoridades técnicas y políticas es fundamental. Lo anterior, por supuesto, no excluye que los operadores de programas y entidades puedan seguir produciendo y utilizando otros indicadores que les permitan obtener más y mejores detalles de su desempeño, pero los indicadores estratégicos son aquellos que contiene la Matriz de Indicadores, y los que permiten conocer el nivel de impacto y eficiencia, ésta es la principal herramienta de organización y sistematización del SED. Por supuesto, otros indicadores pueden dar detalles e ir a profundidad en aspectos específicos de los programas, estrategias y políticas. I NDICADORES DE DESEMP EÑO DE LOS PROGRAMAS Los indicadores de la MI están construidos utilizando el enfoque del marco lógico 28 , existen de acuerdo a este enfoque indicadores al nivel de los insumos y actividades del programa que generan productos (infraestructura, bienes y/o servicios), que se entregan a su población objetivo de acuerdo a los componentes definidos en el programa. Se espera que los productos entregados, generen efectos en la conducta de los beneficiarios para cada uno de los componentes que logren el propósito del progr ama y éste contribuya al fin sectorial. Los indicadores estratégicos de SEDESOL son los comprendidos en la Matriz de Indicadores construida bajo la lógica antes descrita. Los indicadores, son entonces de diversa naturaleza en función del objetivo al que se asocien, de acuerdo a la narrativa de objetivos establecida. Se 28 Esta perspectiva es totalmente compatible con la lógica de los subsistemas y módulos antes descrita del SEDSOL Page 58 53 tienen indicadores de cuatro tipos: i) indicadores de impacto; ii) indicadores 29 de propósito; iii) indicadores de componentes; y, iv) indicadores de actividades. Estos grupos de indicadores se corresponde también a la lógica de los cuatro primeros módulos descritos del SEDSOL para los subsistemas de monitoreo y evaluación, es decir el módulo administrativo financiero deberá proveer información de actividades, el de monitoreo de la operación correspondiente a los productos, y así sucesivamente. La operacionalización de los indicadores de la Matriz de Indicadores debe ser analizada desde la fuente original hasta la autoridad máxima que toma decisiones. Esto es, por ejemplo, desde el beneficiario que recibe un bien o servicio, entregado por una ejecutor, quien a su vez se coordino con el municipio o la delegación de SEDESOL correspondiente (en ocasiones antes con un comité de beneficiarios) u otras instituciones y dependencias del sector público, concretando proyectos específicos, hasta los operadores y directores de los programas o entidades y finalmente a las máximas autoridades. Para la operacionalización del indicador de un programa, entonces, se requiere poner atención a los procesos de generación de información y de sistematización, identificando los principales actores y usos de la información en cada nivel, así como contar con un inventario de las fuentes de información. Los indicadores no pueden definirse sin conocerse a fondo la lógica de la generación de información y su proceso de sistematización. La siguiente ilustración muestra, a manera de ejemplo, los actores involucrados en la operacionalización de un indicador. ILUSTRACION 4: Ejemplo de Actores involucrados en la operación de un indicador INDICADOR DE PROGRAMA DECISORES POLÍTICOS OPERADOR/DIRECTOR DEL PROGRAMA DELEGACIÓNSEDESOL EJECUTOR (MUNICIPIO, OSC..ETC.) COMITÉ DE BENEFICIARIOS BENEFICIARIOS DE LA ACCIÓN U OBRA A P E R T U R A P R O G R A M Á T I C A 29 De acuerdo a la metodología el propósito debe ser solo uno en cada Marco Lógico, pudiendo tener uno o más indicadores asociados. Page 59 54 Es importante precisar con claridad la apertura programática (programa, subprograma, denominación, unidad de medida –proyecto, beneficirio-, etc.) que corresponde al programa y las opciones existentes para seleccionar la unidad de registro más adecuada, deben tomarse las previsiones que permitan estandarizar que las mismas acciones que se prestan por distintos programas puedan ser agregadas de manera correcta y no presenten unidades de registro distintas. Se sugiere que los indicadores de la MI con los que cuenta SEDESOL actualmente sean evaluados, para ello puede utilizarse la metodología de evaluación de indicadores que ha desarrollado CONEVAL en el marco de la asistencia técnica del Banco Mundial, con la finalidad de verificar aspectos como accesibilidad, relevancia, exactitud, entre otras dimensiones que permitirían contar con una base sólida inicial de identificación de indicadores etsratégicos. A UTOMATIZACIÓN DE LOS INDICADORES Además de la pertinencia en la formulación de los indicadores, su automatización es indispensable para contar con un ágil y oportuno sistema de información. Al nivel de programas son pocos los indicadores que se encuentran automatizados, esto significa que exista una aplicación que permita ver los resultados de un indicador a través de la conexión existente entre la aplicación y bases de datos. En el caso de SIIPSO existen algunos indicadores enlazados a bases de datos, los que permiten a nivel administrativo financiero tener un grado de automatización básico, esto por supuesto podría mejorar al enlazar la base de datos de CONEXUS con la del SIIPSO, y con las aplicaciones propias que realizan los programas, lo que permitirá automatizar un número mayor de indicadores y contar con información más completa y oportuna. Sin embargo no sucede lo mismo con indicadores relacionados a los módulos de monitoreo de la operación ni con los relativos al resto de subsistemas del SISED (evaluación y presupuestal), hay pocas bases de datos, no están integradas y no hay indicadores automatizados que permitan elaborar tableros de control o cuadros de mando. Las bases de datos y aplicaciones informáticas correspondientes a los diferentes módulos del SEDSOL deben ser integradas. La aplicación informática relativa a monitoreo y evaluación, se debe encontrar en un nivel superior a las bases de datos conformando un tablero de control o un cuadro de mando con indicadores clave de desempeño, que den información valiosa sobre el desempeño del programa y permita la realización de acciones preventivas. Las aplicación informática de monitoreo y evaluación debiese concentrarse en la configuración de tableros de control basados en los indicadores de la MI . Es importante que dichos indicadores establezcan estándares de desempeño para poder establecer representaciones gráficas que den cuenta de manera inmediata del estado de situación que refleja el valor de los indicadores en un momento determinado. Usualmente estas aplicaciones permiten conocer a través de luces de semáforo en qué medida se cumple las metas programadas o el contraste con el desempeño en periodos anteriores. Page 60 55 Actualmente SEDESOL cuenta con la herramienta informática desarrollada en el marco del Sistema de Monitoreo y Evaluación Basada en Resultados SEMBR, aplicación desarrollada con el apoyo técnico de la firma Canadiense IDEA International. Esta aplicación, sin embargo, solo es utilizada en algunos de los programas pilotos del SEMBR y la conexión de indicadores a bases de datos que permitan la utilización del tablero de control es casi nula. Es importante valorar las posibilidades de mejora y expansión de dicha herramienta informática a manera que permita establecer la automatización de los indicadores a las bases de datos correspondientes. Sin embargo un paso previo como ya se comento es la integración de bases de datos que evite que los operadores de programas tengan que registrar los mismos datos en diversas ocasiones debido a la multiplicidad de operaciones existentes. Es importante considerar que una vez seleccionados los indicadores estratégicos de las MI, el paso de automatización, implica un trabajo arduo de enlace de los indicadores de la aplicación de monitoreo y evaluación a las bases de datos, y que debe elaborarse una estrategia gradual de conexión, un plan de trabajo y responsables. En la ilustración 5 se presenta una propuesta en torno a la integración de bases de datos. ILUSTRACION 5: Tablero de control y bases de datos integradas SIIPSO CONEXUS PADRONES DE BENEFICIARIOS BASE DE DATOS PRINCIPAL SIAFF SIPREC SONDEOS RÁPIDOS DE OPINIÓN EVALUACIÓN DE IMPACTO MODULO ADMINISTRATIVO FINANCIERO M ODULO MONITOREO DE LA OPERACIÓN MODULO EVALUACIÓN PARTICIPATIVA MODULO EVALUACIÓN DE IMPACTO MATRIZ DE INDICADORES FIN PROPÓSITO COMPONENTES ACTIVIDADES I NDICADORES ESTRATÉGICOS DE SEDESOL AL NIVEL SECTORIAL Si bien se han reali zado en SEDESOL importantes acciones de monitoreo y evaluación a nivel sectorial, sirva de ejemplo la definición del indicador de desnutrición crónica infantil 30 , éstas han 30 Existe un indicador consensuado al respecto, así como unidad de medida, línea de base y meta sectorial al 2012. Indicador: prevalencia de desnutrición crónica infantil de la población en condiciones de pobreza; unidad de medida: Page 61 56 sido aisladas. No es sino recientemente que la Dirección General de Evaluación y Monitoreo de los Programas Sociales de SEDESOL ha comenzado a intentar establecer un modelo de evaluación y monitoreo al nivel sectorial. Existen diversas opciones para el seguimiento sectorial. Una de ellas es la aplicación del mismo enfoque metodológico que el aplicado a programas, es decir el enfoque de marco lógico, lo que permitiría contar con una Matriz de Indicadores a nivel sectorial que se articularía con las MI a nivel de los programas 31 . Sin embargo, esta opción en el corto plazo no se considera viable, ya que requiere un ejercicio altamente participativo involucrando a un alto número de funcionarios de alto nivel, además consumiría demasiado tiempo, y podría implicar ajustes importantes a programas o entre programas 32 . Otra alternativa en el corto plazo es la realización de un Plan Indicativo Sectorial (PIS) que permita establecer y realizar seguimiento a los indicadores estratégicos al nivel sectorial. La elaboración de planes indicativos sectoriales es cada vez una práctica más recurrida, sirva de ejemplo el caso de Colombia en donde el ejercicio de planificación determina que cada institución formule planes indicativos cuatrienales en torno de objetivos sectoriales o de las estratégicas de las principales políticas públicas. Para el caso de la SEDESOL, el Programa Sectorial de Desarrollo Social (2007-2012) comprende cuatro objetivos interdependientes que se constituyen en la orientación estratégica para la planificación sectorial. Los objetivos son los siguientes: · Objetivo 1 : Desarrollar las capacidades básicas de las personas en condición de pobreza. · Objetivo 2 : Abatir el rezago que enfrentan los grupos sociales vulnerables a través de estrategias de asistencia social que permitan desarrollar sus potencialidades con independencia y plenitud. · Objetivo 3: Disminuir las disparidades regionales a través del ordenamiento territorial e infraestructura social que permita la integración de las regiones marginadas a los procesos de desarrollo y detone las potenciales productivas. · Objetivo 4 : Mejorar la calidad de vida en la ciudades, con énfasis en los grupos sociales en condición de pobreza, a través de la provisión de infraestructura social y vivienda digna, así como consolidar ciudades eficientes, seguras y competitivas. La estructura del Plan Indicativo Sectorial se basa en hacer visible de manera integrada los objetivos del plan sectorial con los programas que en éstos se enmarcan. Esto implica establecer la conexión entre los productos y resultados de los programas con las metas de los objetivos sectoriales con que se vinculan. porcentaje; línea de base 2006 28% y meta 2012: reducción a19.6% de la prevalencia de la desnutrición entendida como baja talla para la edad del 25% de la población con menores ingresos. 31 Por ejemplo, los fines de diversos programas involucrados en cada uno de los objetivos del Programa Sectorial de Desarrollo Social PSDS, estarían contribuyendo al propósito sectorial. 32 Dada la naturaleza del enfoque seria necesario identificar problemas sectoriales, tramas causales sobre problemas sectoriales y análisis de alternativas de intervención que podrían implicar ajustes al nivel de programas, por ejemplo nuevos programas, fusión o supresión de programas, etcétera. Page 62 57 Este ejercicio, sin embargo, requiere que las unidades de registro en la apertura programática sean equivalentes para que los bienes y/o servicios que entregan los programas sean agregables y que la meta del objetivo sectorial pueda constituirse como denominador común en la agregación, especialmente en el análisis de la cobertura. Los esfuerzos iniciales de SEDESOL en la consolidación sectorial reflejan los problemas en la agregación derivados de las distintas unidades de registros en los programas. Al no basarse en el marco lógico la estructura del Plan Indicativo Sectorial no es equivalente al de la matriz de indicadores al nivel de programas. La primera propuesta de estructura del PIS fue acordada con el equipo técnico de la Dirección General de Evaluación y Monitoreo de SEDESOL durante la segunda misión del Banco Mundial en el marco de la asistencia técnica. En la matriz se describe el objetivo sectorial como el eje principal, el indicador o indicadores principales que dan cuenta de su eficiencia en la operación y del impacto logrado en las metas de los objetivos sectoriales. La matriz muestra los programas asociados a dicho objetivo, sus indicadores y metas, así como su línea de base y unidad de medida. Se considera corto plazo un (1) año o menos; mediano plazo de tres (3) a seis (6) años y largo plazo mayor de (6) seis. La tabla 2, a continuación muestra la estructura del Plan Indicativo Sectorial. TABLA 2: Estructura del Plan Indicativo Sectorial Indicador (2) Estrategias (3) Programas (4) Indicadores del programa (5) Metas de corto plazo (2008) (6) Metas de largo plazo (7) Línea de base (8) Unidad de medida (9) (1) Objetivo sectorial #: Impacto Eficiencia operativa (1) Descripción de uno de los cuatro objetivos sectoriales (2) Indicadores de impacto y de eficiencia en la operación del objetivo sectorial (3) Descripción de estrategias del objetivo sectorial de acuerdo al Programa Sectorial de Desarrollo Social 2007-2012 (4) Programas que comprende el objetivo sectorial (5) Indicadores definidos por el programa (6) Metas de corto plazo del programa correspondiente (debe usarse códigos para los programas e indicadores para asociarlos fácilmente) (7) Metas de largo plazo del programa correspondiente (debe usarse códigos para los programas y metas para asociarlos fácilmente) (8) Línea de base para medición de impacto y para eficiencia (9) Unidad de medida para las metas Los indicadores a nivel sectorial, y concretamente los derivados del PIS se orientan a la consolidación de la información del desempeño de los programas, tanto a nivel de información administrativa como relativa a productos (infraestructura, bienes y/o servicios) que presta SEDESOL a la población objetivo de acuerdo al objetivo Sectorial, como de los efectos y resultados que han logrados éstos en los beneficiarios, lo que permite valorar el grado de cumplimiento de las mestas sectoriales. Page 63 58 A nivel de insumos y actividades que apoyan acciones sectoriales, se prevé que sistemas como el CONEXUS, el SIIPSO y todas las aplicaciones específicas desarrolladas en cada programa en el marco del SIAFF y SIPREC provean la información requerida para conocer la eficiencia administrativa y financiera. A nivel de productos y efectos, parte de la información también puede ser recabada a través del SIIPSO y la Dirección General de Geoestadística y Padrones de Beneficiarios de SEDESOL, sin embargo debe garantizarse la coherencia en el uso de la apertura programática, además de reconocer que en algunos programas se tiene debilidades importantes en relación a la información de sus padrones. SEDESOL prevé que a nivel de los objetivos de resultados sectoriales puedan existir indicadores globales que puedan mostrar tendencias, por ejemplo reducción de desnutrición, mejora de rendimiento escolar, etc. Es importante la definición de estrategias costo/efectivas para contar con esta información. Por ejemplo a través de la realización de sondeos rápidos de opinión, la realización de estudios específicos y los resultados derivados de operativos estadísticos a nivel nacional. Se prevén también evaluaciones de impacto a nivel de objetivos sectoriales. Al igual que se analizó anteriormente es necesario tener claridad del proceso de operacionalización del indicador, desde el momento en que el beneficiario recibe bienes y/o servicios de los programas hasta su consolidación sectorial en la máximas autoridades. Si un objetivo sectorial involucra acciones que están presentes en distintos programas, la primera tarea es la de homogeneizar las unidades de registro para permitir una agregación aritmética de resultados. El caso de Piso Firme ejemplifica muy bien esta situación. Piso Firme es una de las acciones de mayor interés mostradas por el presidente de la República recientemente en el marco de la estrategia “vivir mejor” enmarcada en el objetivo tres del Programa Sectorial de Desarrollo Social PSDS. Los beneficios derivados de esta acción son diversos salud, generación de empleo y el contar con una vivienda digna, entre otros 33 . Debido al hecho de que la acción de piso firme, está incluida como un producto a entregar por ejecutores de programas de distinta naturaleza y alcance, informar al Presidente del nivel de avance alcanzado a nivel nacional, implica la consolidación de las acciones a nivel local, municipal, por entidad federativa y sectorial que se obtienen de los registros de logro a nivel de los programas. Existen varios programas federales que contienen la acción de Piso Firme en su campo de acción, al interior de SEDESOL destacan los siguientes: · Empleo Temporal (piso firme es una de las acciones) · Vivienda Rural, a cargo de FONHAPO (Vivienda) · Tu Casa, a cargo de FONHAPO (Vivienda) · PAZAP (Apoyo a Zonas de Atención Prioritaria, piso firme una de las acciones) 33 Para mayor información de la estrategia de Piso Firme Cfr: www.presidencia.gob.mx/programas/ Page 64 59 Para valorar sectorialmente la estrateg ia de Piso Firme en su dimensión administrativa financiera, el SIIPSO se constituye en una aplicación que permite agregar las validaciones del sistema en materia de asignación presupuestal a obras y acciones en la delegaciones estatales de acuerdo al techo presupuestal. De integrarse al CONEXUS permitiría contar con el detalle de la gestión documental. Con ambos sistemas, y las aplicaciones que ha desarrollado cada programa, es posible contabilizar acciones y obras en localidades, municipios y obras vinculadas a pisos firmes. En el marco de los sistemas globales SIAFF y SIPREC. Una de las limitaciones del CONEXUS y SIIPSO es que se concentran en la asignación presupuestal y en la ejecución, no en lo que sucede posteriormente, es decir la operación y resultados de los programas. No hay información que permita agregar quienes efectivamente recibieron los beneficios, no hay con regularidad visitas a las obras y acciones, ya que el personal en delegaciones estatales aparentemente consume demasiado tiempo realizando el registro de las acciones y obras en distintos sistemas informáticos existentes 34 , y el problema de mayor envergadura para la agregación es relativo a la unidad de registro que varían en función de la apertura programática que corresponde a cada uno. Por ejemplo para el Programa de Empleo Temporal (PET), la apertura programática vinculada a Vivienda tiene como unidades de registro la siguientes: metros cuadrados; vivienda, empleo y jornal. Por su parte, los Programas Tu Casa y Vivienda Rural a cargo de FONHAPO registran la acción de mejora realizada en términos de vivienda, y las posibilidades de dispersión son mayores si se analiza la apertura programática ya que existe obra terminada, materiales, etc. Todo ello ocasiona una dificultad al tener unidades heterogéneas de registro. No tiene sentido sumar jornales con metros cuadrados o con viviendas. Si bien esto podría tener sentido a nivel de programas debido al énfasis del programa, por ejemplo el PET busca mostrar resultados en cuanto a empleos o jornales debido a la naturaleza y alcance de su programa, la agregación de esta unidad de registro plantea complicaciones a nivel sectorial en el proceso de elaboración del PIS. Para ello es necesario tanto revisar la apertura programática como coordinar el uso de las unidades de registro. Si hubiese dicha coordinación el denominador del indicador de Piso Firme vendría dado por la meta sectorial, y numerador sería la suma aritmética de cada uno los totales de cada programa en la acción correspondiente. Sin embargo, esto es relativamente abordable a través de la corrección en las unidades de registro, pero si el objetivo sectorial busca medir metas de resultados y no de infraestructura o acumulación de bienes y/o servicios, que no resulta de una mera agregación de los resultados individuales de cada uno de los programas, la situación es más compleja. En la situación en la que lo que tiene que comprobarse no es cuantos bienes y/o servicios han sido entregados por un conjunto de programas, lo que hay que comprobar es la hipótesis que da origen a la existencia misma de los programas y de políticas públicas específicas, es decir comprobar la hipótesis de que con la entrega de productos mejoran las condiciones de bienestar de la población beneficiaria que los recibe. Para ello es necesaria la elaboración de investigaciones y estudios que muestren resultados globales o tendencias y en el mejor escenario 34 Sobre la base de la visita a la Delegación del Estado de Querétaro de SEDESOL, cuyos operadores registran varias veces información similar en distintas aplicaciones. Señalan que esto se repite en otras Delegaciones. Page 65 60 que resuelvan el denominado problema de atribución, es decir que establezcan a través de metodologías rigurosas de evaluación de impacto, el resultado neto que logra el conjunto de programas en la mejora del bienestar de la población beneficiaria. Este es un tema que debe ingresarse en la agenda y coordinar los esfuerzos para llevar a cabo este tipo de investigaciones y estudios. III. Conclusiones y recomendaciones La propuesta del SEDSOL ha sido validada en su orientación estratégica global, es necesario avanzar en la precisión de sus aspectos de organización e implementación, y avanzar modularmente pero garantizando la conexión entre los módulos. La implementación del SEDSOL tiene diversas dimensiones: normativa que implica el desarrollo de reglamentaciones, manuales de operación y de ser requerido ajustes en normativa; institucional , la que refiere a los arreglos institucionales al interior de la Secretaria, tales como ajustes en mecanismos de comunicación, coordinación y control, así como ajustes en la estructura organizacional, por ejemplo creación de nuevas unidades, fusión o eliminación de otras. Así como también cambios o ajustes en los arreglos institucionales de la Secretaria con actores externos. La dimensión gerencial , comprende los cambios y ajustes requeridos en materia de tecnología de información, uso de herramientas gerenciales propias y requeridas por los lineamientos de evaluación de programas sociales federales que establece CONEVAL.. Finalmente la dimensión del cambio organizacional engloba los aspectos relativos al entrenamiento del personal en nuevas habilidades y conocimientos requeridos para llevar adelante el SEDSOL, a compartir la misión y visión de esta orientación, y a lograr un liderazgo institucional que promueva y motive su plena aplicación. Liderazgo no solo para la implementación del SEDSOL, sino especialmente para su uso regular como herramienta de aprendizaje individual y organizacional Para SEDESOL la matriz de indicadores (MI) debe constituirse en la herramienta clave a nivel de programas para la definición de sus indicadores estratégicos. De aquí la importancia de la calidad en su elaboración y de su articulación y congruencia con las reglas de operación de los programas y con la definición del conjunto de indicadores a definir para la SHCP. El Plan Indicativo Sectorial es la herramienta que puede permitir a SEDESOL sistematizar la evaluación del desempeño a nivel sectorial. Para la consolidación de las acciones de los programas, se requiere una revisión de la apertura programática que garantice la coherencia de los registros para lograr la consolidación en productos. Es necesario también aplicar técnicas cualitativas y cuantitativas a través de estudios e investigaciones para conocer los avances sectoriales, que permitan conocer los efectos e impactos de los productos en los beneficiarios. Es muy importante identificar las bases de datos y aplicaciones informáticas existentes e integrarlas de acuerdo a la lógica del SEDSOL, para lograr una base de datos única que sirva como almacén de información a la aplicación informática de monitoreo y evaluación que se seleccione. Se requiere de la construcción de un centro de datos de alta disponibilidad. La Page 66 61 Dirección General de Informática es la que debe liderar la elaboración de un Plan Informático de SEDESOL y coordinar con todas las direcciones de informática de SEDESOL. El proceso sugerido para avanzar con la definición y utilización de indicadores estratégicos de SEDESOL es el siguiente. Las etapas no necesariamente tienen un orden secuencial, algunas pueden realizarse de manera paralela. Pasos de avance para programas: · Definición de un plan de implementación de SEDSOL, seleccionando algunos programas prioritarios. · Revisión de la metodología de elaboración y validación de la Matriz de Indicadores. · Elaboración ajuste o validación de las MI y establecer concordancia a otras herramientas como las Reglas de Operación de programas Federales. · Verificación final de los indicadores de la MI mediante la utilización de los Términos de Referencia para Evaluación de Indicadores propuesta por CONEVAL. Acordar con CONEVAL. · Identificación de las fuentes de información, bases de datos y aplicaciones informáticas que proveen los datos necesarios para el cálculo de los indicadores seleccionados. No solo a nivel de oficinas centrales, sino también y especialmente a nivel de las delegaciones estatales de SEDESOL. Este trabajo tiene que ser realizado por programa, posteriormente se sistematizará el inventario de fuentes de información. · Es muy importante que las fuentes básicas de información como encuestas y censos cuenten con los metadatos, lo que facilitara su utilización. Existen estándares internacionales de documentación como la iniciativa de documentación de datos DDI 35 . · Explorar posibilidades de automatización de indicadores a bases de datos, sobre la base de los avances en materia de integración de bases de datos. · Explorar la viabilidad de la aplicación informática desarrollada en el marco del SEMBR como herramienta para la automatización de indicadores y construcción de tableros de control de gestión. · Elaboración de reportes del desempeño a nivel global, monitoreo, evaluación y presupuesto. Pasos para avanzar con los objetivos sectoriales: · Definición de un plan de implementación SEDSOL, seleccionando algún objetivo sectorial. · Revisión y validación de la metodología para la elaboración del Plan Indicativo Sectorial · Revisión de la pertinencia en el uso de la apertura programática en el caso de acciones equivalentes en distintos programas. 35 Existe una iniciativa denominada Programa Acelerado de Datos que presta apoyo a países en desarrollo para la preservación, documentación y diseminación de datos, es liderada por la Red Internacional de Encuesta de Hogares y financiada por el banco Mundial. SEDESOL podría fácilmente acceder a las aplicaciones informáticas y asistencia de esta iniciativa. Page 67 62 · Identificación de metodología para la medición de efectos e impactos a nivel sectorial. A nivel de efectos se requiere información periódica, por ejemplo semestral, sobre el grado de uso de los productos por los beneficiarios y resultados, aunque no se resuelva el problema de atribución, esto es lo que algunos denominan “monitoreo de indicadores de impacto”. A nivel de impacto, se requiere la aplicación de diseños de evaluación de impacto. · A nivel del objetivo sectorial debiesen privilegiarse indicadores del desempeño de objetivo sectorial en materia de producción y entrega de bienes y/o servicios a beneficiarios e infraestructura, y de resultados. · Elaborar un reporte de desempeño sectorial que muestre nivel de logro alcanzado, desafíos y plan de mejora. Page 68 63 ANEXOS ANEXO 1: Diversidad de Evaluaciones contempladas por CONEVAL ¿Qué mide y a quien se aplica? ¿Cada cuándo? ¿Quién lo hace? ¿Cómo lo hacen? Evaluación d e diseño A programas federales nuevos o con bajo d esempeño en diseño. Comprende la identificación del problema, contribución del programa a los objetivos estratégicos de las dependencias, etc. 36 . Para nuevos p rogramas que surjan durante la aplicación de lineamientos o programas de bajo desempeño de acuerdo a resultados de la ECR. Evaluadores e xternos. A través de los Términos de R eferencia de Evaluación de Diseño TDR1. Trabajo de Gabinete. Evaluación de Consistencia y Resultados (ECR) A todos los programas federales con reglas de operación y otros programas que se determinen. Es la principal evaluación para la medición del desempeño, comprende las estudio de: diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo, y resultados. De acuerdo a lo que establezca el Plan Nacional de Evaluación (actualmente con las evaluaciones realizadas se tiene una línea de base, se prevé la frecuencia sea bi o tri-anual). Evaluadores externos. A través de los Términos de Referencia de Evaluación de Diseño TDR2. Trabajo de Gabinete. Evaluación de procesos Su ámbito es el de la producción y entrega de bienes y/o servicios del programa, por tanto mide la eficiencia y eficacia de sus procesos operativos. Se sugiere aplicar a programas que hayan logrado bajo desempeño en la dimensión de Operación de la evaluación ECR. Por definir en el Programa Anual de Evaluación 2008. Evaluadores externos. A través de los Términos de Referencia de Evaluación de Procesos TDR3 (en elaboración). Trabajo de Gabinete y de campo. Evaluación de indicadores Su ámbito es el de la producción de información relativa a los indicadores de bienes y servicios y resultados. Por definir en el Plan Nacional de Evaluación y Programa Anual de Evaluación 2008. Evaluadores externos. A través de los Términos de Referencia de Evaluación de Indicadores TDR4 (en elaboración). Trabajo de Gabinete y de campo. Evaluación de impacto Variación en condiciones de bienestar de la población objetivo atribuibles a la ejecución del programa federal. Se aplica a los programas determinados por la Secretaria de la Función Pública y el Consejo. Anual, de acuerdo a los alcance del Programa Anual de Evaluación vigente. Evaluadores externos. A través de Términos de Referencia específicos determinados por la Secretaria, la Función Pública y el Consejo. Trabajo de campo y de Gabinete. Estratégicas Mide la efectividad e impacto de estrategias, políticas e instituciones a través de la evaluación de sus programas. Se aplica a programas determinados por la Secretaria, la Función Pública y el Consejo. De acuerdo al Programa Anual Programa Anual de Evaluación Evaluadores externos. A través de Términos de Referencia específicos determinados por la Secretaria, la Función Pública y el Consejo. Trabajo de campo y de Gabinete. Fuente: Banco Mundial (2008). Revisión de los Lineamientos Generales de Evaluación de Programas Federales. Asistencia Técnica a CONEVAL. Borrador final. 36 Los detalles del contenido de esta evaluación puede encontrarse en el Diario Oficial de la Federación, (2007). “Lineamientos generales de evaluación de programas federales”. Marzo 30, título tercero, título tercero, capítulo segundo, artículo decimoctavo. Page 69 64 Informe 3: SEDESOL: Bases para establecer una agenda de información para el monitoreo y evaluación Autor principal: Gilberto Moncada Vigo I. I NTRODUCCIÓN En línea con la política de desarrollo social y humano establecida en el Plan Nacional de Desarrollo (PND), la Secretaría de Desarrollo Social (SEDESOL) administra un conjunto de programas sociales que buscan impulsar el mejoramiento de las condiciones de vida y la equidad social de los hogares mexicanos. Para facilitar este proceso, la SEDESOL ha encaminado acciones para perfeccionar el monitoreo y la evaluación (M&E) de sus programas sociales. En este marco, la SEDESOL, con apoyo del Banco Mundial, a partir del 2004 puso en marcha un plan piloto del Sistema de Monitoreo y Evaluación Basado en Resultados (SEMBR) 37 . Asimismo, en base a los resultados de las experiencias de monitoreo y evaluación de sus programas sociales, y el contexto nacional en materia de evaluación del desempeño basado en resultados, la Secretaría ha considerado conveniente impulsar la iniciativa: Sistema de Evaluación de Desempeño del Desarrollo Social (SEDsol). Esta propuesta permitirá: (i) fortalecer la capacidad de la Secretaría para generar información del desempeño útil para la toma de decisiones, manejo gerencial y rendición de cuentas; (ii) establecer un vínculo entre la planeación, el presupuesto y la ejecución de los programas y políticas a través del monitoreo y evaluación; (iii) mejorar la calidad del gasto de la Secretaría; (iv) facilitar la coordinación de las acciones de la Secretaría; (v) monitorear el cumplimiento de las metas sectoriales. El SEDsol busca que el M&E tenga un mayor alcance estratégico mediante la articulación de la planeación sectorial con el Plan Nacional de Desarrollo, y además la vinculación con el Sistema de Evaluación del Desempeño (SED). Un prerrequisito esencial para el funcionamiento de SEDsol es la disponibilidad de información básica 38 de calidad para el proceso de monitoreo y evaluación. Ésta es la base para verificar el alcance de las metas a nivel de productos, resultados e impactos de los programas, mediante la estimación de los indicadores respectivos, así como para la rendición de cuentas y la orientación estratégica del gasto. En tal sentido, es necesario definir una agenda de trabajo para impulsar la generación y uso de la información, e identificar las principales implicaciones en materia informática, adecuaciones institucionales, estándares técnicos y perfeccionamiento de la conectividad. 37 Los programas sociales participantes en la fase piloto fueron: Programa de C oinversión Social a cargo de Indesol; Programa de Apoyo Alimentario a cargo de Diconsa; Programa Hábitat; y el Programa de Opciones Productivas. El SEMBR es ejecutado por la Dirección General de Evaluación y Monitoreo de Programas Sociales (DGEMPS), de la Subsecretaría de Prospectiva, Planeación y Evaluación de SEDESOL. 38 Se considera información básica a la generada a partir de los registros administrativos, encuestas a hogares, censos, y otras fuentes, que sirve como insumo para la estimación de los indicadores de desempeño Page 70 65 Los resultados del presente reporte se basan principalmente en información obtenida mediante entrevistas a los responsables de los programas Opciones Productivas, Apoyo Alimentario, Programa para el Desarrollo Local (Microregiones); a técnicos de la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS), Dirección General de Geoestadística y Padrones de Beneficiarios, Dirección General de Informática de SEDESOL; entrevistas a funcionarios de la Delegación de Querétaro; Fondo Nacional de Habitaciones Populares (FONHAPO); Dirección General de Programación y Presupuesto; y la Unidad de Coordinación de Delegaciones para conocer el sistema CONEXUS. Finalmente, en entrevistas a evaluadores externos de programas sociales. El reporte describe el estado de la información básica de la SEDESOL y plantea una propuesta de agenda para mejorar la información del monitoreo y evaluación de los programas sociales. II. C ARACTER ÍSTICAS GENERALES DE UN SISTEMA DE INFORMACIÓN En general, un sistema de información tiene el propósito de obtener datos de la propia entidad o de fuentes externas, procesarlos y transformarlos en información útil; además de organizar dicha información para su difusión y uso en tiempo oportuno y en forma apropiada. Es decir, un sistema de información constituye un conjunto de elementos y medios organizados para generar y brindar información de calidad a los usuarios. Es importante diferenciar el concepto de datos y de información en el contexto de un sistema de información, pues éstos generalmente se usan indistintamente, confundiendo su significado. Los datos están referidos a la recolección de hechos, eventos, personas, bienes, etc., los cuales no están organizados ni estructurados y por si solos no constituyen información, pero son la materia prima de la información. Los datos para ser convertidos en información tienen que ser oportunos, fiables, de fácil acceso, comprensibles y útiles. Por su parte, información es el resultado del procesamiento y organización de los datos, y hace posible entender mejor la realidad y tomar decisiones. La información cumple las siguientes funciones básicas: reduce los costos de transacción; reduce los riesgos, perfecciona y mejora la calidad de las decisiones; incrementa el acceso a las oportunidades; orienta las investigaciones; propicia el desarrollo; favorece la participación democrática de los ciudadanos; entre otras. Las principales actividades que desempeña un sistema de información son: · Recolección de datos: se refiere a la captura de los datos de las fuentes primarias, tales como registros administrativos, hogares, personas, empresas, etc., que se tienen que almacenar, procesar y distribuir. · Revisión y consistencia de los datos : se refiere a la revisión y evaluación de la consistencia y la calidad de los datos, con el fin de evitar errores, redundancias, etc. · Almacenamiento: tiene relación con la organización y almacenamiento de la información en bases de datos estructurados. · Procesamiento de datos : tiene que ver con la transformación de los datos en información útil para los usuarios mediante la aplicación de procedimientos apropiados. · Difusión: guarda relación con la distribución de la información que necesitan los usuarios, de modo oportuno y en un formato fácil de comprender. Page 71 66 Los principales elementos de un sistema de información para asegurar su desarrollo y desempeño son: · Información: la cual puede estar conformada por datos, imágenes y sonido, o una combinación de todos ellos. La información constituye el elemento central de un sistema de información. · Recursos: son los diversos medios que dispone la organización para poder implementar las actividades antes indicadas (recursos humanos, recursos tecnológicos, recursos financieros). · Usuario/s: los cuales pueden ser de la propia organización o usuarios externos. III. E ST ADO DE LA INFORMACIÓN BÁSICA PARA EL M&E DE LOS PROGRAMAS SOCIALES DE LA SEDESOL 1. Marco general Un aspecto a destacar es la poca experiencia de la SEDESOL en la medición de la gestión por resultados. De hecho, este enfoque es relativamente nuevo en México. Esto explica la necesidad y el esfuerzo que viene realizando la SEDESOL para mejorar sus procesos de M&E, y en particular la generación y sistematización de información básica. Es de señalar que el desarrollo de sistemas de M&E basado en resultados, tanto desde el punto de vista conceptual, institucional, técnico y operativo, ha tomado varios años de aprendizaje y consolidación en los países más avanzados en este enfoque. Lo anterior explica, en gran parte, la insuficiente disponibilidad de información o su limitada calidad para la gestión basada en resultados, tal como se analizará mas adelante. Las fuentes de información de la SEDESOL recién se comenzaron a construir en los últimos cinco años, básicamente para registrar los procesos operativos de los programas con el fin de responder las demandas de información de los órganos de control interno. Vale también señalar que en los últimos cuatro años, se han establecido en el país normas y acciones que han generado un nuevo contexto de referencia para la implementación del sistema de M&E basado en resultados. Este nuevo entorno institucional y técnico ha promovido que la SEDESOL revise su enfoque y procedimientos de M&E. En el 2004 fue promulgada la Ley General de Desarrollo Social (LGDS) y se creó el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL). En el 2007 el CONEVAL, junto con la SHCP y la Secretaría de la Función Pública (SFP), establecieron los Lineamientos Generales para la Evaluación de Programas Federales de la Administración Pública Federal, así como también el Programa Anual de Evaluación para el Ejercicio Fiscal 2007 de los programas federales. Este mismo año, la SHCP, SFP y el CONEVAL presentaron la propuesta del Sistema de Evaluación del Desempeño (SED) a la Cámara de Diputados. Page 72 67 Por su parte, la Dirección General de Evaluación y Monitoreo de Programas Sociales (DGEMPS) contrató los servicios del Instituto para el Desarrollo en Economía y Administración (Instituto IDEA Internacional) de Canadá, para desarrollar un Sistema de Monitoreo Basado en Resultados de los Programas Sociales –SEMBR (IDEA, 2007a). El SEMBR se basa en la Metodología de Marco Lógico (MML). Esta iniciativa tuvo como objetivos establecer el monitoreo de la ejecución de los programas sociales, y facilitar la evaluación de los programas para mejorar su eficacia, eficiencia e impactos sobre las poblaciones beneficiarias. Además, asistir y capacitar técnicamente a la SEDESOL y elaborar una estrategia de expansión y consolidación del mismo que promueva la institucionalización de la gestión de programas basada en resultados (IDEA, 2007b). De otro lado, la introducción de la Metodología del Marco Lógico (MML) ha permitido a los técnicos enfocar mejor el diseño, selección y número de indicadores de los programas sociales, con la finalidad de conocer los avances logrados en materia de productos, resultados e impactos. Esto también ha puesto en evidencia la necesidad de poner en marcha acciones para mejorar la calidad de la información básica generada por los propios programas sociales. 2. Recursos La revisión de este tema tiene el propósito de identificar cuales son los recursos disponibles que tiene la SEDESOL, para producir datos e información relevante para el monitoreo y la evaluación de los programa sociales. 2.1 Capacidad de gestión, coordinación, recursos humanos y financieros La capacidad de gestión para producir información básica a nivel de la Secretaría y los programas sociales es limitada. No se observa una estructura organizacional y gerencial que facilite la definición de los procesos adecuados para producir información de manera fluida y eficiente, así como los mecanismos de coordinación requeridos para tal fin entre el nivel central y las delegaciones. El uso del tiempo de los funcionarios está dedicado básicamente a resolver tareas administrativas y no a la gestión de la información en una medida suficiente. Un ejemplo de esta situación la describe la falta de tiempo de los funcionarios de la Delegación de Querétaro para verificar la calidad de la información en el terreno, debido a la carga administrativa que tienen que realizar en la oficina. Por otra parte, no obstante que eventualmente se realizan capacitaciones a los técnicos de las delegaciones y de la sede central en temas de desarrollo social y en aspectos administrativos, los técnicos responsables de las operaciones del programa tienen limitaciones para el manejo de la información. Existe disparidad de capacidades y de experiencia entre los programas para la organización y verificación de la información que ellas mismas generan. La escasa disponibilidad de recursos financieros limita el desarrollo de los sistemas de información requeridos a nivel de los programas sociales. Esto se manifiesta de diversas formas, desde la falta de recursos en las delegaciones para comprar cámaras fotográficas que permitan Page 73 68 evidenciar la situación de la obra, hasta la falta de presupuesto para la recopilación apropiada de datos de las evaluaciones anuales. En efecto, la falta de recursos financieros también es una restricción para la formulación de indicadores. Se ha indicado que los programas frente a la incertidumbre de disponer de financiamiento para recolectar información básica, se inhiben de formular indicadores nuevos o más exigentes. La mayoría de los indicadores de propósito tienen como medios de verificación estudios específicos, los cuales suelen resultar muy costosos en términos de los recursos asignados a los programas. 2.2 Infraestructura tecnológica Diversas áreas de la SEDESOL, a nivel central y delegaciones, han desarrollado sistemas informáticos en apoyo a la administración de los programas sociales, lo cual evidencia la disponibilidad de una fortaleza técnica muy importante de la Secretaría. Los sistemas informáticos tienen el potencial de almacenar datos de registros administrativos de los programas, constituyéndose en un recurso muy útil para facilitar la producción y manejo de información para el M&E de los programas sociales. Los sistemas informáticos identificados en el presente informe, los cuales no constituyen una lista exhaustiva de todos los sistemas existentes a nivel de la SEDESOL, son los siguientes: · Control de Expedientes Unitarios (CONEXUS) · Sistema Integral de Control de Archivos (SICA) · Sistema Integral de Información (SIDI) · Registro de Acciones en Microregiones (RAM) · Sistema Integral de Información de los Programas Sociales (SIIPSO) · Sistema Integral de Administración Financiera Federal (SIAFF) · Sistema Integral de Presupuesto y Contabilidad (SIPREC) · Sistema Integral de Seguimiento a las Evaluaciones Externas (SISEE) · Portal de Seguimiento Oportuno a Indicadores Relevantes del Desarrollo Social Page 74 69 Estos sistemas tienen fortalezas y debilidades, las cuales se resumen en el Cuadro 1. Tabla 1. Sistemas informáticos disponibles en SEDESOL Sistemas informáticos Fortalezas Limitaciones Control de Expedientes Unitarios (CONEXUS) · Permite realizar el seguimiento de 16 actividades críticas de cada proyecto. Notificar: autorización de recursos al Gobierno del Estado. · Valida propuestas de inversión, envía propuesta de inversión, notifica aceptación / rechazo de propuesta de inversión, solicita a ejecutora expedientes técnicos para aprobar proyectos, valida expedientes técnicos para aprobación, notifica aceptación / rechazo de aprobación, solicita al organismo ejecutor libere recursos, valida liberación de recursos, realiza transacción de pago en SIAFF, notifica aceptación / rechazo de liberación de recursos, solicita al organismo ejecutor comprobación del gasto, valida comprobación del gasto, aplica comprobación del gasto, notifica aceptación / rechazo de comprobación, realiza supervisión. · Complementa al SIIPSO en el análisis documental. · Permite medir rendimiento de la delegación comparando tiempo real y tiempo óptimo para realizar una actividad. · Falta de interfase con SIIPSO. · Falta de catálogos y ajustes al sistema para mejorar captura de base de datos local. · No está conceptualizado para generar información para estimación de indicadores. Sistema Integral de Control de Archivos (SICA) · Captura expedientes de proyectos, financiados con recursos federales y estatales. · No tiene interfase con SIIPSO. Los expedientes se capturan primero en SIIPSO y luego en el SICA. · SICA no está conceptualizado para generar información para estimación de indicadores. Sistema Integral de Información (SIDI) · Facilita la operación, control y seguimiento de los programas de Subsidio a nivel nacional de FONHAPO, mediante la automatización electrónica de sus trámites vía Internet. · Valida, selecciona al solicitante y emite certificados a los beneficiarios. · Captura la información de la cédula de identificación socioeconómica · Valida y selecciona al solicitante · Genera certificados de Subsidio · Confirma entrega de certificados · Retira/cancela certificados de subsidio · No registra información de seguimiento de la obra terminada, esta actividad queda a cargo del ejecutor y la delegación. · El sistema tiene un módulo de verificación pero no es usado. · SIDI funciona donde hay Internet. En pueblos pequeños hay problemas de acceso. · No está conceptualizado para generar información para estimación de indicadores Registro de Acciones en Microregiones (RAM) · Registra acciones ejecutadas de programas sectorizados y no sectorizados de SEDESOL, y otras de la administración pública federal. · Sistema está en proceso de reingeniería. Sistema Integral de Información de los Programas Sociales (SIIPSO) · Automatiza el proceso administrativo-financiero de los programas sociales, establecido en las reglas de operación y los lineamientos específicos. · Sistema accesible por Internet, lo cual le proporciona portabilidad. · No hay claridad de registro en la apertura programática (clasificación del gasto: por ejm. letrinas, colector, pozo séptico, etc.). Page 75 70 Sistemas informáticos Fortalezas Limitaciones proporciona portabilidad. · Autoconfigurable con base al usuario. · Fácil de usar. · Disminuye la posibilidad de errores y equivocaciones. · Apoya en la validación de las propuestas de inversión y de obra · Apoya la generación de indicadores de gestión. · Genera documentación. · Capta los informes de avance físico – financiero. · Genera los informes para el cierre del ejercicio. · SIIPSO sólo opera para los programas no sectorizados, los programas sectorizados no lo utilizan. · Falta alimentación automática de información para indicadores. · Falta desarrollar salidas de información estructuradas para producir indicadores. · El SIIPSO se diseñó y formuló sin la participación de la DGEMPS. · SIIPSO no está actualizado con la normativa vigente. · El Sistema se satura con la carga de información. · Falta difundir contenido de información del SIIPSO, como medio de verificación. Sistema Integral de Administración Financiera Federal (SIAFF) · Captura, revisa y autoriza las Cuentas por Liquidar Certificadas (CLC). El SIAFF es un sistema pagador. · Falta de interfase entre SIAFF y SIIPSO para evitar doble esfuerzo de captura de datos. Sistema Integral de Presupuesto y Contabilidad (SIPREC) · Clasifica el presupuesto por entidad, área, programa, unidad, etc. · Falta de interfase entre SIPREC y SIIPSO para evitar doble esfuerzo de captura de datos y posibles errores. La interfase se debe realizar a través del SIAFF, pues éste tiene interfase con el SIPREC. Sistema Integral de Seguimiento a las Evaluaciones Externas (SISEE) · Permite sistematizar el seguimiento de las recomendaciones realizadas por las evaluaciones externas. · SISEE no registra, en todos los casos, evidencia de que los programas utilizan las recomendaciones de todas la evaluaciones externas para mejorar su desempeño. Portal de Seguimiento Oportuno a Indicadores Relevantes del Desarrollo Social · Sistematiza el alcance de las metas de los cuatro objetivos del Programa Sectorial de Desarrollo Social, a través de la medición de un conjunto de indicadores sectoriales. · Sistema de información para toma de decisiones. · Falta homologar unidades de registro de los programas (acciones), para estimar los indicadores a nivel sectorial, especialmente cuando el indicador sectorial depende del resultados de varios programas. Fuente: Información suministrada por funcionarios de SEDESOL en diversas presentaciones y entrevistas. Page 76 71 Tal como se observa en el Cuadro 1, los programas sociales utilizan varios sistemas informáticos en apoyo a la gestión de sus actividades. No existe un sistema único que integre las diversas dimensiones del trabajo operativo de los programas, para hacerlo más eficiente y eficaz. Asimismo, la desconexión entre los sistemas implica un mayor gasto de recursos. Los sistemas informáticos han sido conceptualizados básicamente para facilitar los procesos administrativos-financieros, y no desde una visión de generación de información para el M&E de los programas. Igualmente, la falta de un enfoque de objetivos comunes y/o complementarios de los sistemas para medir el desempeño de los programas limita su utilidad para el monitoreo y evaluación. Las debilidades más notorias de los sistemas revisados son: poca coordinación entre las áreas responsables de los sistemas informáticos disponibles; falta de interfases para evitar el doble esfuerzo en la captura de datos; falta de protocolos de los sistemas de información para facilitar su uso; poca adecuación de algunos programas a la normatividad vigente; poca claridad de registro de la apertura programática (clasificador del gasto); falta de salidas de información estructurada para producir indicadores. Vale también mencionar la experiencia obtenida por el sistema informático para el monitoreo de los programas del proyecto SEMBR, cuya fase piloto fue tarea de la Dirección General de Informática (DGI). Los objetivos fueron desarrollar, facilitar la gestión e integrar las diferentes bases de datos disponibles, evitando duplicidades. Sin embargo, de modo general, se ha observado que falta actualizar el sistema con la información real de los programas. Si bien se han identificado las fuentes de información para cada programa, ésta no está disponible en todos los casos que se requiere. Cada programa es responsable de organizar y construir las bases de datos para que la DGI las importe, pero falta enlaces de contraparte en los programas. Un avance significativo observado es la iniciativa para integrar los diversos sistemas informáticos disponibles en la SEDESOL 39 . La iniciativa se propone establecer un plan de trabajo que impulse la integración del SIIPSO, CONEXUS, SIAFF, Padrones de Beneficiarios, Recursos Humanos, entre otros, con el fin de crear un sistema SIIPSO mejorado en el 2008-09. Es decir, el propósito es fortalecer el SIIPSO con las bondades particulares que tiene cada uno de los demás sistemas vigentes. Esto implicaría además la implementación de 3 grandes centros de datos en la SEDESOL, el uso de un servidor de datos de alta disponibilidad en una primera etapa, y eventualmente adecuar la organización de las delegaciones en correspondencia con las nuevas funcionalidades del SIIPSO mejorado. Sin embargo, un riesgo potencial que podría afectar la integración de los sistemas es la falta de atribuciones normativas suficientes de la DGI para ordenar los sistemas de información. 39 Exposición realizada por la Unidad de Coordinación de Delegaciones de la SEDESOL. Page 77 72 3. Producción y disponibilidad de información 3 .1 Aspectos generales sobre la información básica La agenda de trabajo regular de los programas y delegaciones no considera prioritaria la generación de información básica para el monitoreo y evaluación. Si bien los directivos de la SEDESOL consideran de gran importancia la disponibilidad de información básica para el M&E, parecería que esta visión no ha trascendido todavía completamente hacia los agentes operativos de los programas. Falta darle prioridad a este tema desde el enfoque de la medición de la gestión por resultados. La información básica generada por los propios programas no es suficiente para calcular los indicadores de producto y resultado de las matrices de indicadores (MI). Asimismo, no se observa una capacidad técnica-normativa que promueva y regule de modo sistemático la aplicación de procedimientos, estándares y normas comunes para la gestión de la información de los programas. Los programas sociales son responsables de modo independiente de producir y organizar la información disponible y de establecer sus estándares de modo adhoc . Esto, desde una perspectiva general, restringe la calidad y posibilidades de comparación de la información. Tampoco se disponen de estructuras de reporte de información predefinidas para todas las delegaciones, con el fin de hacer la información más accesible a los usuarios, incluyendo la falta de la metadata de la información producida con el fin de potenciar su utilidad y uso. 3 .2 Características técnicas de la información La producción de información básica a nivel de los programas y delegaciones de la SEDESOL, enfrenta una serie de restricciones técnicas y de organización que afectan las diferentes dimensiones de su calidad, tal como se muestra en el Cuadro 2. Una revisión de los resultados de las evaluaciones externas del 2006 de algunos programas sociales de la SEDESOL 40 , indica que los principales problemas de la información básica están relacionados con el padrón de beneficiarios e identificación de la población objetivo, sistemas de registro, instrumentos de captación y sistemas de información. Ver Cuadro 3. Según lo indicado en los informes de evaluación externa antes citados, por ejemplo, el Programa para el Desarrollo Local tiene dificultades en el manejo y resguardo de la información física; los mecanismos de focalización del Programa Opciones Productivas son débiles; y el Programa de Incentivos Estatales no cuenta con información actualizada del Consejo Nacional de Población (CONAPO) y el INEGI, que permita definir la población objetivo. Asimismo, las evaluaciones externas señalan que el Fondo Nacional para el Fomento de Artesanías (FONART) tiene omisión de datos en el padrón de beneficiarios, necesita establecer un sistema integral de gestión que le permita generar estadísticas oportunas para contar con indicadores de desempeño, y requiere mejorar los instrumentos de captación. De igual modo, el Programa de Apoyo Alimentario demanda crear un sistema de información que haga más 40 “Principales Resultados de las Evaluaciones Externas, 2006”. CONEVAL. Página Web http://www.coneval.gob.mx/coneval/ Page 78 73 eficiente el seguimiento de la población atendida. En tanto que el Programa 3x1 Migrantes precisa mejorar los sistemas de información para tener una base de datos oportuna y lo más completa posible. Tabla 2. Evaluación de las diversas dimensiones de la calidad de la información básica de la SEDESOL Dimensión Evaluación Relevancia La información que se produce actualmente no satisface las necesidades de todos los usuarios. Esta no cumple en todos los casos con los requisitos para calcular los indicadores de las MI, en particular a nivel de componente, propósito y fin, por tal motivo, no satisface completamente las necesidades de M&E. Exactitud Parte de la información derivada de los registros administrativos de los programas no está sujeta a verificación de su exactitud. Los técnicos no tienen tiempo para verificar los datos debido a su alta carga administrativa. Oportunidad La información generada no siempre está disponible con la oportunidad debida. Por ejm., en el Programa de Apoyo Alimentario, varios de los indicadores se construyen a partir de información que es enviada directamente desde las sucursales y unidades operativas de manera física; asimismo, una gran parte de la información se captura manualmente, todo lo cual implica demoras en la generación de la información. Accesibilidad No todos los programas y delegaciones tienen bien definidos los criterios y mecanismos de accesibilidad a los datos básicos, tales como procedimientos de solicitud, tiempo de entrega, formatos disponibles, tipo de ayuda a los usuarios, etc., para la estimación de los indicadores. Comparabilidad La información básica no necesariamente permite realizar comparaciones de datos entre áreas geográficas o distintos períodos de referencia. Por ejm., la alta movilidad del padrón de beneficiarios del Programa de Apoyo Alimentario tiene como consecuencia que en evaluaciones futuras difícilmente se podrá dar seguimiento a los mismos beneficiarios, como está previsto. Coherencia Falta desarrollar la capacidad de organizar datos que puedan ser combinados en forma fiable de diferentes maneras y distintos usos, procedan éstos de una fuente única o diferentes fuentes, y generar bases de datos coherentes e integradas. Completitud La disponibilidad de datos es incompleta en comparación a la información que se debería disponer para poder estimar los indicadores. Actualmente la información no cubre algunos aspectos de los programas (por ejemplo, el Fondo Nacional para el Fomento de Artesanías (FONART) tiene omisión de datos en el padrón de beneficiarios para la localización del artesano). Page 79 74 Tabla 3: Principales problemas de la información básica en algunos programas sociales de la SEDESOL Secretaría / Programa Debilidades en bases de datos Debilidades información padrón de beneficiarios / población objetivo Debilidades sistema de registro / instrumentos captación/ sistema información Programa para el Desarrollo Local (Microregiones) X Programa de Incentivos Estatales X X Fondo Nacional para el Fomento de Artesanías (FONART) X X HABITAT X X Programa de Adquisición de Leche Nacional a cargo de Liconsa, S.A. de C.V. X Programa 3 X 1 para Migrantes X X Programa de Coinversión Social X Programa de Abasto Rural a Cargo de Diconsa X Programa de ahorro, subsidio y crédito para la vivienda progresiva “Tu casa” X Programa de Apoyo Alimentario a cargo de Diconsa X Programa de Jornaleros Agrícolas X Programa de Atención a los Adultos Mayores X Programa de Vivienda Rural X Programa Jóvenes por México X Fuente: Tabla elaborada a partir de los retos que enfrentan los programas sociales, los cuales han sido identificados por los propios evaluadores externos y están indicados en los informes respectivos. Esta información está disponible en “Principales Resultados de las Evaluaciones Externas, 2006”, CONEVAL. Página Web http://www.coneval.gob.mx/coneval/ La actualización de los padrones de beneficiarios es responsabilidad de la Dirección General de Geoestadística y Padrones de Beneficiarios (DGGPB) de la SEDESOL 41 . La DGGPB, además, identifica los vacíos de información, emite recomendaciones técnicas y mantiene una coordinación estrecha con los responsables directos de la organización y actualización de los padrones para retroalimentar el proceso. No obstante, la DGGPB enfrenta retos para mejorar la oportunidad y calidad de los padrones, tales como la falta de interconexiones entre bases de datos de modo formal, y; la poca capacidad para validar los datos y detectar posibles duplicidades de beneficiarios entre programas sociales, por la falta de un instrumento que certifique la identidad del beneficiario, pues la Clave Única de Registro de Población (CURP) no es suficiente. 3.3 Información básica y relación con los indicadores De acuerdo a las MI revisadas, las fuentes de i nformación utilizadas por los programas de la SEDESOL para la estimación de los indicadores son internas y/o externas. Las fuentes internas se refieren a la información generada por los propios programas sociales, a partir de los registros 41 La DGGPB integra en un sistema georeferenciado los padrones de beneficiarios de los programas sociales. El sistema, montado en la Intranet de SEDESOL, facilita la ubicación y análisis de la información relacionada a los beneficiarios de programas sociales (cálculo de pobreza, características demográficas de beneficiarios, etc.). Actualmente el sistema tiene 42 millones de registros aproximadamente, de los cuales 36 millones son registros activos (la diferencia son registros históricos). Estos registros corresponden a 18 programas sociales. La información de los padrones es complementada con información de censos de población y vivienda del INEGI. Page 80 75 administrativos que utilizan para facilitar su gestión (Ver estudio de caso en Anexo1). Las fuentes externas se refieren a las encuestas de hogares, encuestas de percepción, censos de población y vivienda, información de registros administrativos sectoriales, etc. Los programas pueden acceder a las fuentes externas de datos mediante la producción de información adhoc a través de evaluadores, o utilizar fuentes de datos del sistema estadístico nacional. Muchos de los indicadores de las MI están desconectados de las fuentes de información respectivas, no existe dicha información o ésta no es adecuada en términos de cobertura y oportunidad. No se han identificado en todos los casos las necesidades reales de información, así como las fuentes de información explícitas que se tienen que utilizar. Los indicadores de propósito y de impacto son los que presentan mayor dificultad de estimación por la exigencia de la disponibilidad y calidad de la información básica. Por ejemplo, algunos programas refieren como medio de verificación al SIIPSO, pero sin tener completo conocimiento de la información que efectivamente tiene disponible este sistema para el cálculo de los indicadores. En el caso de la información producida por los Sistemas Nacionales de Estadística y de Información Geográfica (SNEIG) 42 , por ejemplo, los datos de Conteo de Población 2005 del INEGI no tiene el detalle requerido sobre las condiciones de la vivienda que requiere el programa de Vivienda Rural. Otro ejemplo, en el Programa de Apoyo Alimentario, en el caso de la MI elaborada a partir del proyecto de SEMBR, no está claro cómo se calcularía el indicador del fin: “Disminución porcentual del número de hogares en pobreza alimentaria en zonas rurales apoyados por el Programa respecto a zonas no apoyadas” (DICONSA, 2006), utilizando los datos de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) del INEGI, medio de verificación contemplado para este indicador, pues la cobertura y oportunidad de la ENIGH puede no ser suficiente para dicho indicador. De otro lado, no se realiza un mejor aprovechamiento de la actividad estadística desarrollada por los SNEIG para el proceso de M&E. Los SNEIG son responsables de producir y difundir información estadística proveniente de censos, encuestas y registros administrativos sectoriales. En este contexto, destaca la información generada por los registros administrativos sectoriales como una fuente regular y complementaria de información continua para alimentar el proceso de M&E, particularmente para la estimación de indicadores de propósito y fin de las MI. Falta establecer alianzas estratégicas para maximizar el uso de los recursos que existen dentro y fuera del gobierno en apoyo a los esfuerzos de monitoreo y evaluación, por ejemplo alianzas con el INEGI, entidades federales, universidades, institutos de investigación, y otras de la sociedad civil. 42 Los SNEIG están conformados por el Instituto Nacional de Estadística, Geografía e Informática (INEGI) y demás entidades y dependencias de la Administración Pública Federal. El INEGI coordina y promueve la integración de los SNEIG, y produce información estadística y geográfica de interés nacional. Page 81 76 Iniciativas institucionales de mejoramiento de la información para la medición de la gestión por resultados: casos de Colombia y Perú Colombia En el marco del Programa de Renova ción de la Administración Pública –PRAP, que busca adecuar la administración pública a los requerimientos de un Estado gerencial y participativo al servicio de los ciudadanos, Colombia ha venido desarrollando una estrategia de “Sistemas de Información y Gobierno Electrónico”, que busca mejorar la información pública y el uso de las TIC. Esta estrategia pretende responder a una serie de debilidades en la creación de la información necesaria para la formulación y evaluación de políticas públicas, entre ellas una excesiva dispersión en los procesos de generación de la información y la falta de una política integradora, que incluya el marco normativo y los instrumentos de gestión necesarios. Uno de los instrumentos más visibles de esta estrategia es el Sistema de Gestión y Seguimiento a las Metas del Gobierno, conocido como SIGOB. Para abordar la problemática, con el concurso de entidades como el Ministerio de Hacienda, el Ministerio de Comunicaciones, el Departamento Administrativo de la Función Pública y el Departamento Administrativo Nacional de Estadística, se creó la Comisión Intersectorial de Políticas y Gestión de Información para la Administración Pública, más conocida como COINFO. La misión de COINFO es coordinar al más alto nivel, la formulación de una política pública sobre información, además de asegurar la implementación eficiente de nuevos sistemas de información, maximizando los recursos de inversión existentes. Fuente: Foro “Hacia la construcción de una política para la gestión de la información pública en Colombia”. Discurso de apertura de Carolina Rentaría, Directora del Departamento Nacional de Planeación. Bogotá, 29 Mayo, 2007. Perú En el marco de la Ley de Presupuesto de 2007, que establece la implementación del Presupuesto por Resultados, Perú ha encaminado acciones para el fortalecimiento de los sistemas de información sectoriales, a fin de contar oportunamente con información del desempeño. El desarrollo de los sistemas de información está articulado con el fortalecimiento de los sistemas estadísticos a cargo del Instituto Nacional de Estadística e Informática (INEI), y con los sistemas administrativos de información a cargo de las instituciones responsables de la provisión de los servicios. En este contexto, el INEI ha formulado su Plan Estratégico Nacional para el Desarrollo Estadístico 2008-2012. El desarrollo de los sistemas estadísticos incluye el diseño y financiamiento de una línea de base para la mayoría de los resultados finales e intermedios de los cinco programas sociales definidos como estratégicos. Es decir, el fortalecimiento de los sistemas administrativos ha sido incluido en el diseño de los programas estratégicos. Por ejemplo, en el programa estratégico de educación un elemento central es el financiamiento de un sistema censal de medición de logros de aprendizaje de los alumnos. Fuente: “Hacia la institucionalización de los sistemas de M&E en América Latina y el Caribe” Tercera Reunión de la Red de Monitoreo y Evaluación. Lima, 23-24 julio, 2007. Page 82 77 IV. B ASES PARA ESTABLECER UNA A GENDA DE INFORMACIÓN Es evidente que para facilitar la implementación del proceso de monitoreo y evaluación basado en resultados, se requiere mejorar la capacidad de la Secretaría para generar información del desempeño para la toma de decisiones, el manejo gerencial y la rendición de cuentas. La necesidad de disponer de información de buena calidad y con oportunidad es transversal a los tres componentes básicos de SEDsol: monitoreo basado en resultados, evaluación basada en resultados y presupuesto basado en resultados. A continuación se presenta una propuesta de cuatro lineamientos estratégicos para impulsar la capacidad de generación de información de calidad para el M&E en la SEDESOL. Asimismo, se presentan líneas de acción específicas para cada lineamiento estratégico, con perspectivas de ejecución tanto en el corto como en el mediano plazo, según orden de prioridad. Lineamientos estratégicos para mejorar la información de la SEDESOL 1. Mejorar la calidad de la información básica de los programas y asegurar su conexión con los indicadores. 2. Mejorar la capacidad institucional de la SEDESOL para producir información. 3. Integrar los sistemas informáticos para optimizar la producción de información. 4. Alinear la producción de información con el marco técnico-normativo de los Sistemas Nacionales de Estadística y de Información Geográfica (SNEIG). Cada uno de estos lineamientos estratégicos tiene como propósito lo siguiente: 1. Mejorar la calidad de la información básica de los programas y asegurar su conexión con los indicadores La primera fuente de información básica para alimentar los sistemas de monitoreo son los registros administrativos de los propios programas sociales. Por tal motivo, una actividad estratégica es potenciar la calidad de esta información en todas sus dimensiones: relevancia, exactitud, oportunidad, accesibilidad, comparabilidad, coherencia y completitud. Esto implica fortalecer la capacidad técnica de los programas en la gestión de datos, así como en los métodos más factibles para producir información, lo cual permitirá atender los requerimientos de los indicadores. LÍNEAS DE ACCIÓN C ORTO PLAZO Dada la prioridad de generar información para calcular los indicadores del Programa Sectorial de Desarrollo Social (PSDS) de la SEDESOL, se recomienda implementar, en primera instancia, las siguientes acciones en los programas relacionados con los indicadores del PSDS. i. Realizar un inventario de la información producida por los programas y evaluar los procedimientos y técnicas utilizadas en dicho proceso, en correspondencia con los requerimientos de información de los indicadores. Page 83 78 El propósito de esta acción es profundizar el conocimiento de la oferta de información de cada programa social y su conexión con los indicadores. Para tal fin sería necesario realizar una encuesta a los operadores de los programas, utilizando un cuestionario apropiado, que permita conocer el tipo de información que se produce, las fuentes principales de datos, los procesos utilizados, la información que hace falta producir, las acciones que se deberían adoptar para mejorar la producción, entre otros. La información recopilada serviría también para evaluar los procedimientos utilizados por cada programa en la producción y organización de datos. Esta evaluación debería estar enfocada en las unidades de medida de los datos, las unidades de observación, las unidades de análisis, la apertura programática en los sistemas informáticos, los métodos de recopilación y organización de los datos, los mecanismos de coordinación, etc. ii. Definir e implementar normas, criterios y metodologías comunes para optimizar la producción de información en los programas y delegaciones. Con base en los resultados de la evaluación antes mencionada, es necesario elaborar normas y metodologías comunes para la producción de información básica. Esto permitiría mejorar la aplicación de conceptos y definiciones, metodologías, sistemas de clasificación y organización de datos, procesos operativos, y los productos estadísticos de los programas; lo cual tendría un impacto directo en la calidad de los indicadores a nivel de programa y sector. Las recomendaciones técnicas deberían estar orientadas a perfeccionar los instrumentos básicos de recopilación de datos, tales como formularios, manuales, guías, formatos, fichas de seguimiento de programas, ficha de identificación de beneficiarios, cédulas de información socioeconómica, etc. De igual modo, la normatividad debería establecer el uso de técnicas probadas en la implementación de operaciones estadísticas, como registros administrativos de los programas, encuestas a hogares, encuestas de localidades, grupos focales, entrevistas en profundidad, etc. Asimismo, en precisar los procedimientos para mejorar la coherencia y el acceso a la información. iii. Desarrollar e implementar un plan de capacitación en manejo y gestión de información para fortalecer la capacidad técnica en los programas y delegaciones. El propósito es mejorar las capacidades técnicas de los operadores de los programas sociales en el manejo de la información. Esto implica desarrollar un plan de capacitación ágil, práctico y de rápida ejecución. El plan debería incluir aspectos teóricos y operativos sobre la producción de información estadística para el monitoreo y evaluación. La temática debería considerar aspectos conceptuales sobre M&E; métodos e instrumentos operativos para la recolección de datos a través de diversas fuentes de información (registros administrativos, encuestas, censos, etc.); métodos de revisión y consistencia de datos; aplicaciones informáticas para procesamiento de datos; organización de bases de datos; diseño y formulación de indicadores; mecanismos de acceso y difusión; entre otros temas. El plan de capacitación se podría implementar mediante cursos formales, talleres de trabajo y/o mediante la asistencia técnica de consultores. Page 84 79 M EDIANO PLAZO i. Desarrollar un plan estratégico para impulsar la calidad de la información básica de registros administrativos de todos los programas sociales. Desde una perspectiva integral, sobre la base de los resultados de las actividades antes descritas en los programas relacionados con los indicadores del Programa Sectorial de Desarrollo Social, la agenda de información para el M&E debería formular un plan estratégico de mediano plazo, que promueva la disponibilidad de información básica de calidad para la estimación de los indicadores de modo continuo. El plan debería identificar la implementación de actividades técnicas e institucionales efectivas para impulsar la información derivada de registros administrativos, a través de un proceso ampliamente participativo entre los operadores de los programas, gerentes y usuarios de la información, a nivel central y delegaciones. El plan debería considerar acciones específicas para mejorar los procesos de recopilación, sistematización y uso de la información básica para la estimación de indicadores. 2. Mejorar la capacidad institucional de la SEDESOL para producir información El mejoramiento de los mecanismos de coordinación y gestión entre los distintos actores involucrados en el proceso de M&E, sobre aspectos relacionados con la producción y organización de la información, facilitará tener mayor y mejor base informativa para el monitoreo y evaluación de los programas sociales. LÍNEAS DE ACCIÓN C ORTO PLAZO i. Esta blecer un área responsable de coordinar y supervisar la gestión de la información en la SEDESOL. El desarrollo de la información básica de calidad a nivel de los programas sociales necesita disponer de una estructura organizacional adecuada, que facilite la conducción de las actividades técnicas y operativas correspondientes. Esto implicaría establecer o asignar responsabilidades precisas a un área o departamento de la Secretaría para conducir las actividades de producción de información básica. En este caso, el liderazgo de un gerente o director de información es esencial para promover la definición de procesos y actividades para producir información de manera fluida y eficiente, así como para constituir los mecanismos de coordinación requeridos para tal fin entre el nivel central y las delegaciones. ii. Crear un comité técnico de coordinación de la información para tratar aspectos técnicos e institucionales relacionados con la información. La estructura organizacional para conducir la producción de información debería contar con el apoyo de un comité de coordinación institucional. Este comité tendría la responsabilidad de opinar sobre las propuestas de la gerencia de información concerniente a planteamientos técnicos e institucionales para la producción de información. El comité podría estar Page 85 80 conformado por un número apropiado de representantes de los programas sociales, delegaciones y nivel central. También, a criterio de la gerencia de información y del comité de coordinación institucional, se podrían establecer comités técnicos específicos para evaluar u opinar sobre temas particulares. Por ejemplo, sobre procedimientos de control de calidad de determinadas variables, mecanismos de integración de bases de datos, homologación de definiciones relacionadas, etc. M EDIANO PLAZO i. Mejorar la estructura organizacional a nivel de las delegaciones para atender mejor las actividades operativas y el registro de la información. Con la finalidad de potenciar la capacidad de producción de información básica de la Secretaría, sería necesario adecuar la estructura organizacional de las delegaciones para facilitar una actividad más eficiente y eficaz en el tema. La designación de un responsable de la información a nivel de las delegaciones, sería de gran utilidad para mejor la calidad de la información y la atención a las necesidades de los indicadores. 3. Integrar los sistemas informáticos para optimizar la producción de información El propósito es impulsar el desarrollo de un plan de ordenamiento de los sistemas informáticos disponibles, para disponer de un sistema integrado que optimice la eficiencia y eficacia de la producción de información básica y de indicadores. Esto ayudará también a conceptualizar el funcionamiento de los sistemas desde el punto de vista del monitoreo y evaluación, y no sólo desde la visión administrativa o de gestión. LÍNEAS DE ACCIÓN C ORTO PLAZO i. Desarrollar un sistema informático único para la gestión de la información (SIIPSO mejorado) La integración de los sistemas informáticos disponibles a nivel de la Secretaría potenciará la oferta y calidad de la información para la medición de los indicadores de los programas sociales, además de favorecer un uso más eficiente de los recursos. En esta línea, el apoyo a la iniciativa encaminada en la SEDESOL para integrar los diversos sistemas informáticos actualmente disponibles en un solo sistema, es una acción estratégica. Esta iniciativa se propone implementar un plan informático para integrar los sistemas SIIPSO, CONEXUS, SIAFF, SIPREC, entre otros, y crear un sistema SIIPSO mejorado. ii. Establecer los aspectos normativos básicos del sistema integrado para facilitar la generación de información para el monitoreo. El propósito es que paralelo a la integración de los sistemas informáticos, se desarrollen y definan los criterios y normas técnicas para mejorar la sistematización de la información. Page 86 81 Para ello es necesario definir protocolos de funcionamiento, administración y uso de los sistemas; precisar la apertura programática según corresponda (clasificador del gasto); definir el alcance del sistema para producir información básica; desarrollar criterios para la automatización del cálculo de indicadores; establecer criterios de reporte y documentación de información; etc. M EDIANO PLAZO i. Adecuar las atribucio nes institucionales de las áreas correspondientes para ordenar el sistema informático integrado. Es importante desarrollar acciones para definir las atribuciones normativas de las áreas responsables de conducir y ordenar el sistema informático integrado, en particular de la Dirección General de Informática (DGI). Actualmente la DGI es vista más como área que responde a actividades específicas y no como instancia normativa. ii. E standarizar y documentar bases de datos bajo una normatividad común. Se requiere integrar , estandarizar y documentar bases de datos bajo una normatividad común, que promueva la homologación y definición de variables, y determine protocolos de actualización, acceso y uso. Cada programa social desarrolla y mantiene bases de datos utilizando criterios propios, que eventualmente dificultan su aprovechamiento para los procesos de M&E de la Secretaría. De igual modo, es necesario documentar los procesos metodológicos y operativos de la implementación de las operaciones estadísticas utilizadas para la recopilación de datos (encuestas, registros administrativos), y de las bases de datos resultantes, para potenciar su uso. Para ello se recomienda utilizar las Herramientas para la Gestión de Microdatos (HGM), creado por el Grupo de Datos del Banco Mundial para la Red Internacional de Encuestas de Hogares (RIEH) 43 , con la participación de la OECD y el consorcio PARIS21. Esta herramienta hace posible documentar todas las operaciones estadísticas y las bases de datos bajo criterios comunes, de tal modo que la documentación se puede editar en archivos en formato PDF, en CD-ROM o en Internet, de modo automático 44 . 4. Alinear la producción de información al marco técnico-normativo de los Sistemas Nacionales de Estadística y de Información Geográfica (SNEIG) El propósito es alinear la producción de información de los programas con la infraestructura estadística de los SNEIG, para aprovechar las normas y estándares (marcos conceptuales, metodologías, etc.); infraestructura estadística (marcos estadísticos, inventarios, directorios, etc.); y servicios de información (bases de datos, sistemas de almacenamiento, etc.) disponibles. Los SNEIG son responsables de producir y difundir información estadística y cartográfica nacional proveniente de censos, encuestas y de registros administrativos sectoriales. 43 www.surveynetwork.org 44 La información sobre las Herramientas para la Gestión de Microdatos ha sido presentada al INEGI, quien ha mostrado interés en su aplicación a las operaciones estadísticas que realiza. Page 87 82 LÍNEAS DE ACCIÓN C ORTO PLAZO i. Utilizar como referencia las normas, estándares e infraestructura estadística de los SNEIG, en la producción de información de los programas sociales. Promover el uso de la plat aforma técnica de los SNEIG en la producción de información de los programas sociales (vía registros administrativos, encuestas u otras operaciones). El uso de los marcos conceptuales, metodologías, marcos estadísticos, directorios, clasificadores, etc., de los SNEIG, tendrá grandes ventajas en la calidad de la información de los programas sociales, y en su potencial capacidad de comparación entre resultados de diferentes operaciones estadísticas. M EDIANO PLAZO i. Establecer alianzas con los organismos de los SNEIG para utilizar las fuentes de información nacional para el monitoreo y evaluación (registros administrativos sectoriales, encuestas nacionales, censos, etc.). El proceso de monitoreo requiere una gran cantidad de información, lo cual no es posible cubrir sólo con la información generada por la gestión de los propios programas sociales. Las encuestas de hogares y estudios especiales también son alternativas viables de información, pero las restricciones presupuestarias constituyen un obstáculo para su uso continuo. Es necesario contar con información complementaria, especialmente para facilitar el cálculo de los indicadores de resultados e impacto de las MI. En esta situación, los registros administrativos sectoriales que llevan las dependencias públicas como instrumentos para facilitar su propia gestión, constituyen una fuente de datos complementaria de gran utilidad. Los registros administrativos son una fuente de datos de bajo costo (los registros ya están establecidos), ofrece estadísticas continuas o para múltiples intervalos de tiempo, y sobre todo facilita información para una cobertura geográfica total del universo de estudio. La cobertura temática de los registros es muy amplia: registros sobre hechos vitales (natalidad, mortalidad), civiles (matrimonios y divorcios), salud, educación, violencia y criminalidad, judiciales, registros laborales, económicos, comercio, medio ambiente, etc. Esta información podría ser mejor aprovechada para facilitar el monitoreo y evaluación de los programas sociales. Una primera alternativa sería realizar un plan de trabajo con la participación de los sectores más importantes del área social, por ejemplo, educación y salud, a manera de piloto. Page 88 83 ANEXO 1: Estudio de caso: generación de información de los programas Vivienda Rural y Tu Casa de FONHAPO Acción: Piso Firme Secuencia de procesos y registro de información correspondiente: i. El municipio presenta la propuesta de donde realizar obras de piso firme (pisos de cemento en la vivienda) o los hogares solicitan directamente al Delegado este tipo de obra. El municipio o las comunidades realizan un levantamiento de datos en el campo para identificar la demanda de pisos firmes. ii. Se asignan los recursos al municipio y se genera información documental. El programa de vivienda de FONHAPO solicita contraparte municipal. iii. La Delegación valida la información en el campo utilizando un formato y fotografías, y verifica la relación e identidad de los solicitantes. iv. La instancia ejecutora que hace la propuesta (Municipio o Estado) implementa una Cédula de Información Socioeconómica (CIS), que registra datos del jefe/a del hogar y de la pareja, ubicación del hogar, tipo de apoyo solicitado, datos socioeconómicos de jefe/a del hogar, características y equipamiento de la vivienda. Existe una nueva cédula para el 2008 que aún no se ha implementado. v. Los datos de la cédula son capturados en el Sistema Integral de Información (SIDI). El sistema informático, mediante un algoritmo predefinido, califica automáticamente las solicitudes para determinar la aprobación o no del subsidio. vi. Si el solicitante califica, entonces el sistema selecciona y genera un bono de subsidio. Se imprime un certificado de subsidio que se endosa al ejecutor para que lo pueda cobrar. Los ejecutores son entes del gobierno, no son entidades de sociedad civil. El certificado de subsidio tiene un código de barras que resume la información para verificar su autenticidad. La delegación imprime los certificados en PDF y avala su entrega. vii. La Dirección de Operaciones de FONHAPO genera la orden de pago a los ejecutores (transferencia). Con la transferencia realizada se convierte el solicitante en beneficiario y se agrega al padrón de beneficiarios. viii. Se prepara un acta de entrega de recepción y se firma un contrato individual con el beneficiario. A continuación se presenta el flujograma del proceso descrito arriba, según es normalizado en el Sistema Integral de Información (SIDI). Page 89 84 ILUSTRACION 1: Flujo de procesos y generación de información de los programas Vivienda Rural y Tu Casa de FONHAPO S ISTEMA I NTEGRAL DE I NFORMACIÓN (SIDI) SOLICITUDES CEDULA INF. SOCIOECON. PLAN DE TRABAJO ANUAL CAPTURA ENVIA VALIDA C APTURA C ALIFICA ACREDITA AHORRO VALIDA COMPROMETE PRESUPUESTO GENERA CERTIFICADO PRESUPUESTO SEMBRADO IMP RIME CERTIFICADO ENTREGA SUBSIDIO DELEGACION SEDESOL FONHAPO / DIR. DE OPERACION SIDI SUBSIDIO DUPLICADO REBASO SUBSIDIO SI SI NO NO CALIFICADO NO CANCELA / RETIRA SUBSIDIO SAP CONTINUA PROCESO Page 90 85 Fuente: Sistema Integral de Información (SIDI) - FONHAPO. Las principales conclusiones del proceso de generación de datos de la acción de Piso Firme son. · Las actividades de los programas generan información de tipo socioeconómico del hogar e información de tipo administrativo para fines de gestión. · El sistema contabiliza el número de “acciones” realizadas por los programas. Una “acción” es igual a piso firme, muro, techo, letrina, tinaco, etc., según corresponda. Para el presente estudio de caso, la información relevante para calcular el indicador Piso Firme es el de la “acción” piso firme. · Sin embargo, no se identifica si la “acción” (piso firme) cubre toda la casa o solo una parte de la casa, ni se especifica el área en m2 de piso firme construidos. Es decir, el énfasis de la generación de información está en el aspecto administrativo -contable (medir el número de FIN LEE BONOS ORDENA PAGO CONTROL PRESUPUESTAL G ENERA C X P PAGA RECIBE INFORMACIÓN PAGADO DIRECCION DE ADMINISTRACION Y FINANZAS DELEGACION SEDESOL FONHAPO / DIR. DE OPERACION SIDI SAP CONTINUA PROCESO S S A A P P RECIBE INFORMACIÓN DEVENGADO GENERA PADRON BENEFICIARIOS Page 91 86 “acciones” realizadas), y no en la visión de medir el impacto del programa en el bienestar de los miembros del hogar (medir la dimensión de la “acción”). · Se necesita precisar las unidades de medida de las acciones. · Es necesario mejorar la coordinación entre las delegaciones y CONHAPO para precisar la información requerida para la medición del indicador. · En algunos casos, se adjuntan fotografías como evidencia adicional del mejoramiento de la vivienda. · El seguimiento de la obra queda a cargo del ejecutor y de la delegación, pero esta información no se registra en el sistema SIDI. Page 92 87 REFERENCES Banco Mundial, (2004). “Evaluación del estado de preparación. Hacia un monitoreo y evaluación por resultados en México – El caso de la SEDESOL”. Informe de Misión. Banco Mundial: Julio 2004. Banco Mundial, (2007). “Diagnóstico sobre la Orientación a Resultados de una Muestra de Programas del Presupuesto de Egresos de la Federación”. Programa de Apoyo a la Eficiencia del Gasto Público mediante el Fortalecimiento de sistemas hacia la Gestión por Resultados. Documento de Trabajo. Misión de Preparación. Banco Mundial, (2007). Situación de la información en el contexto de monitoreo y evaluación basado en resultados . Documento de trabajo. Fortalecimiento de los Sistemas de Monitoreo y Evaluación Basados en Resultados en SEDESOL. Misión de Diagnóstico. Banco Mundial (2008). SEDESOL: Consolidación del Sistema de Evaluación y Monitoreo basado en Resultados para el Periodo 2008-2012. Washington D.C. Borrador de discusión. Banco Mundial (2006). Experience with Institutionalizing Monitoring and Evaluation System in Five Latin American Countries: Argentina, Chile, Colombia, Costa Rica and Uruguay. Evaluation Capacity Development, ECD Working Paper Series 16, Washington D.C., May. Banco Mundial, (2004). “Evaluación del estado de preparación. Hacia un monitoreo y evaluación por resultados en México – El caso de la SEDESOL”. Informe de Misión. Banco Mundial: Julio 2004. Banco Mundial, (2007). “Programa de Apoyo a la Eficiencia del Gasto Público mediante el Fortalecimiento de Sistemas hacia la Gestión por Resultados”. Ayuda de Memoria 2007. Misión de preparación del Banco Mundial. Banco Mundial, (1999). “Demistifying MIS. Guidelines for Management Information Systems in Social Funds”. Julio 6, 1999. Boltvitnik, Julio. (2006). “El Reto de la Evaluación en México”. En diario La Jornada. Noviembre 2006. http://siteresources.worldbank.org/INTSF/Resources/395669-1124228448379/1563169- 1158939450391/MISenglish.pdf Cardozo, Irma, (2006). “La Evaluación de Políticas y Programas Públicos: El caso de los programas de desarrollo social en México”. Cámara de Diputados. Ediciones Miguel Ángel Porrúa. CEPAL, (1999). Control de Gestión y Evaluación de Resultados en la Gerencia Pública . CEPAL: Santiago de Chile. Cohen, E., (2004). Evaluación y monitoreo de programas sociales. CEPAL. CONEVAL (2006). Principales Resultados de las Evaluaciones Externas. CONEVAL. Página Web http://www.coneval.gob.mx/coneval/ DGEyMPS (2008). “Características Idóneas del SEMBR” (2008), presentación en Microsoft Power Point elaborado por la Dirección General de Evaluación y Monitoreo de SEDESOL, México D.F., Enero. Diario Oficial de la Federación, (2007). “Lineamientos Generales de Evaluación de Programas Federales de la Administración Pública Federal”. Marzo 30, México, D.F DICONSA, (2006). “Programa de Apoyo Alimentario”. Matriz de Indicadores. Page 93 88 FONHAPO Programa de Ahorro y Subsidio para la Vivienda “Tu Casa”, Cédula de Información Socieconómico. Consulta Marzo 2008. Gobierno de los Estados Unidos Mexicanos, (1976). Ley Orgánica de la Administración Pública Federal. Gobierno de los Estados Unidos Mexicanos, (2002). Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental . Gobierno de los Estados Unidos Mexicanos, (2004). Ley General de Desarrollo Social . Texto vigente. Nueva Ley publi cada en el diario oficial de la federación el 20 de enero de 2004. Gobierno de los Estados Unidos Mexicanos, (2005). Decreto por el que se regula el Consejo Nacional de Evaluación de la Política de Desarrollo Social. 24 de agosto de 2005. Gobierno de los Estados Unidos Mexicanos, (2006). Ley Federal de Presupuesto y Responsabilidad Hacendaria . Gobierno de los Estados Unidos Mexicanos, (2004). Ley General de Desarrollo Social. Texto vigente. Nueva Ley publicada en el diario oficial de la federación el 20 de enero de 2004. IDEA Internacional, (2006). Propuesta de diseño para el Sistema de Monitoreo y Evaluación Basado en Resultados (SMBR) Piloto de la SEDESOL . IDEA: Febrero 2006. IDEA Internacional, (2007a). Proyecto de implementación del Sistema de Monitoreo Basado en Resultados (SMBR) de los programas sociales. Proposición de diseño del sistema de monitoreo y evaluación basado en resultados (SMBR) piloto de la SEDESOL . IDEA Internacional: Abril 2007. IDEA Internacional, (2007b). Proyecto de Implementación del Sistema de Monitoreo Basado en Resultados (SMBR). Plan de expansión y consolidación del SMBR . IDEA Internacional: Abril 2007. IDEA Internacional, (2007b). Proyecto de Implementación del Sistema de Monitoreo Basado en Resultados (SMBR). PlaINEGI, (2007). Información institucional y sobre el Sistema Nacional de Información Estadística y Geográfica del la página Web: www.inegi.gob.mx . INEGI, (2007). Información institucional de la página Web: www.inegi.gob.mx . Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES), (2004). Metodología del Marco Lógico . CEPAL: Octubre 2004. Instituto Latinoamericano de Planificación Económica y Social ILPES de la CEPAL. Puede consultarse ILPES, (2004). Metodología del Marco Lógico. Santiago de Chile: ILPES, CEPAL. Octubre 2004. Inventario de aplicaciones informáticas de SEDESOL. Información de la página Web www.sedesol.gob.mx (consulta Marzo 2008). Medina Giopp, A., (2007). “El sistema nacional de monitoreo y evaluación de la gestión pública de México”. Informe preparado para el Consejo Latinoamericano de Desarrollo Social (CLAD): Septiembre 2007. Medina Giopp, Alejandro (2007). Fortalecimento de los Sistemas de Monitoreo y Evaluación (MyE) en América Latina. El Caso de México. CLAD, Caracas, Venezuela. Mejía Lira, (2003). La Evaluación de la Gestión y las Políticas Públicas. CLAD - México. Programa Sectorial de Desarrollo Social (2007-2012), SEDESOL. México, D.F. Red Internacional de Encuestas de Hogares, (2007). “Herramientas para el Manejo de Microdatos”. Información de la pagina Web: www.surveynetwork.org . Page 94 89 SEDESOL, (2007a). Construy endo un Sistema de Monitoreo y Evaluación de los Programas Sociales. Dirección General de Evaluación y Monitoreo de Programas Sociales: Enero, 2007. SEDESOL, (2007b). “Evaluaciones Externas de Programas Sociales de SEDESOL”. http://www.SEDESOL.gob.mx/index/index.php?sec=3014&len=1 . SEDESOL, (2007c). Información institucional del la página Web: www.SEDESOL.gob.mx . SEDESOL, (2007a). Building a Results-Based M&E System for Social Programs. DGEMPS. SEDESOL. Enero 2007. SEDESOL, (2007b). “Evaluaciones Externas de Programas Sociales de SEDESOL”. Información de la pagina Web: http://www.sedesol.gob.mx Subsecretaría de Prospectiva, Planeación y Evaluación, (2007). Construyendo un Sistema de Monitoreo y Evaluación de los Programas Sociales. Subsecretaría de Prospectiva, Planeación y Evaluación. Secretaria de Hacienda y Crédito Público (2007). Sistema de Evaluación del Desempeño, Propuesta a la Cámara de Diputados. México D.F., Marzo 2007. Secretaría de Hacienda y Crédito Público, Secretaría de la Función Pública, CONEVAL (2007). Lineamientos generales para la Evaluación de los Programas Federales de la Administración Pública Federal . Diario Oficial. 30 de Marzo 2007.