UNN131 September 1982 Manual para el seguimiento y evaluación de proyectos agrícolas y de desarrollo rural D.J. Casley y D.A. Lury Manual para el seguimiento y evaluación de proyectos agrícolas y de desarrollo rural D.J. Casley y D.A. Lury Dependencia de Seguimiento y Evaluación, Departamento de Agricultura y Desarrollo Rural Banco Mundial. Septiembre de 1982 NOTA DEL TRADUCTOR No existe aún una traducción aceptada universalmente de la palabra inglesa "monitoring", cuando se refiere a la ejecuci6n de proyectos, al idioma castellano. Diversos traductores han utilizado las variantes "vigilancia", "acompañamiento", "observaci6n", y "seguimiento". La primera tiene una connotacion demasiado activa, casi policial, en tanto que la segunda, de amplia utilización en el idioma portugués, nos ha parecido demasiado pasiva. El término "observaci6n" es todavía más pasivo y, peor aún, induce a error, porque se confunde con los métodos de observación de la realidad (ver, por ejemplo, las Partes 5 y 6, más adelante). Se ha escogido, entonces, el término "seguimiento", a pesar de no ser totalmente satisfactorio, porque tiene en castellano una connotaci6n activa, requiere de un sujeto que sigue, de un objeto que es seguido y, en muchos casos, de una meta a alcanzar o un objetivo a lograr. Más aún, el que sigue debe estar comparando permanentemente su ubicación respecto de la cosa o persona seguida, y las velocidades relativas de uno y otro, y pronostica d6nde se encontrarán éstos en cada uno de los siguientes momentos, tareas muy similares a las del "seguimiento" (monitoring) de un proyecto. El término compuesto "control de seguimiento", utilizado ya en algunas publicaciones del Banco, parecería técnicamente mejor, pero, en aras de la brevedad, se ha utilizado s6lo "seguimiento" en este texto. En algunos países y grupos se usa directamente la trasliteraci6n "monitoría". Esta palabra no ha sido aceptada en castellano, pero podría basarse un argumento al respecto en el hecho de que la palabra castellana "monitor" significa casi con perfecta coincidencia lo que "monitoring" quiere decir en inglés cuando se usa respecto a la ejecución de proyectos. Sin embargo, se decidió rechazar la facil tentaci6n de intentar darle curso, porque no se ha encontrado una manera satisfactoria de formar el verbo y el adjetivo correspondientes. "Monitar" suena extraño y ni "monitorear" ni "monitorizar" suenan a buen castellano. Tampoco parece bien hablar de una cosa o variable "monitada", "monitoreada" o "monitorizada". ¿C6mo se dice la "accion y efecto de" ejercer la tarea que la Real Academia le reconoce al "monitor"? - PREFACIO La convicci6n de que es necesario seguir la ejecuci6n de los proyectos agricolas y de desarrollo rural, y luego evaluarlos, se ha extendido rápidamente en los iltimos años. Una alta proporción de dichos proyectos incluye hoy componentes específicos para este prop6sito. En muchos casos, dicha convicción no ha estado acompañada de la capacidad de diseñar sistemas que permitan ejercer el seguimiento y llevar a cabo la evaluqción a costos razonables. La Unidad de Seguimiento y Evaluación, en el Departamento de Agricultura y Desarrollo Rural del Banco Mundial, ha llevado a cabo, durante los pasados tres afños, investigaciones analíticas, seminarios regionales, y estudios de caso sobre experiencias con sistemas de seguimiento y evaluaci6n. Este Manual, preparado en conjunto con las Pautas, establece en algún detalle las cuestiones relativas a la ejecución de sistemas de seguimiento y evaluaci6n y discute varios aspectos de la obtenci6n y el análisis de datos. El trabajo preparatorio inicial fue el resultado de un esfuerzo conjunto del personal de la Unidad de Seguimiento y Evaluaci6n. Al preparar este Manual, los autores sintetizaron este trabajo y utilizaron su propia pericia en estos campos. Como se indica en la introducci6n, se espera que este Manual sea útil a quienes tienen la responsabilidad de administrar sistemas de seguimiento y evaluaci6n, así como a los encargados de la administraci6n de proyectos. El Manual no es un texto extenso. Más bien, en el se elabora aquellos conceptos que se estimaron esenciales para seguir y evaluar proyectos, y se provee un marco de referencia para dichos sistemas. El prop6sito básico de los sistemas de seguimiento y evaluaci6n es proveer una herramiento para la administraci6n de proyectos. Al discutir los aspectos relativos a obtenci6n y análisis de datos, el Manual destaca métodos simples y pragmáticos, que son a veces olvidados en esta era de avanzados computadores y abstrusos análisis econom5tricos. Leif E. Christoffersen Director Adjunto Departamento de Agricultura y Desarrollo Rural INDICE Página Prefacio PARTE 1: MARCO PARA EL SEGUIMIENTO Y LA EVALUACION DE PROYECTOS AGRICOLAS Y DE DESARROLLO RURAL 1 1.1 Introducci6n 1 1.2 Seguimiento y evaluación: El marco básico 4 1.3 El seguimiento y la administración del proyecto 6 1.4 La evaluaci6n: Examen de los resultados 7 1.5 El seguimiento y la evaluación en el ciclo de un proyecto 10 PARTE 2: SEGUIMIENTO 16 2.1 Administraci6n y seguimiento 16 2.2 Especificaci6n de objectivos y metas 18 2,.3 Seguimiento y contabilidad financiera 20 2.,4 Seguimiento de la dotaci6n de personal 21 2.5 Seguimiento de la infraestructura y de los sistemas de entrega 23 2.6 Funci6n de la unidad de seguimiento 25 2.7 Comentarios finales 26 PARTE 3: EVALUACION: PROBLEMAS CONCEPTUALES Y OBJECTIVOS BASICOS 27 3.1 Introducción 27 3.2 Un modelo experimental científico 29 3.3 Cuasi-experimentación: El diseño de grupos no-equivalentes 33 3.4 Cuasi-experimentación: El diseño de series cronológicas interrumpidas 35 3.5 Investigaci6n de relaciones mediante estudios de casos 37 3.6 Conclusiones prácticas 37 PARTE 4: LA SELECCION DE VARIABLES E INDICADORES 39 4.1 Los criterios para la selecci6n 39 Página 4.2 Respuestas medidas mediante escalas e indicadores sustitutos 43 4.3 Indicadores para el seguimiento 45 4.4 Indicadores para la evaluación 51 4.5 Información clasificadora o básica 58 PARTE 5: FUENTES DE LOS DATOS PARA SEGUIMIENTO Y EVALUACION 60 5.1 Datos existentes y organismos que recopilan 60 datos 5.2 Utilización de datos ajenos al proyecto y compatibilidad con los mismos 63 5.3 Fuentes de datos específicos de cada proyecto 64 5.4 ¿Estudios de casos o encuestas muestrales? 67 5.5 Combinaci6n de varios métodos de investigación 70 PARTE 6: METODOS DE OBSERVACION DIRECTA 72 6.1 Observaci6n directa 72 6.2 Observación rápida: Observación e investigaci6n 75 6.3 El estudio de casos 79 PARTE 7: EL MUESTREO Y EL DISEÑO DE ENCUESTAS MUESTRALES PARA EL SEGUIMIENTO Y LA EVALUACION 87 7.1 La l6gica básica del muestreo 87 7.2 La elección de la unidad y la base del muestreo 88 7.3 Elecci6n del procedimiento de muestreo 90 7.4 Tamaño de la muestra requerido y precisi6n de la encuesta 94 7.5 Componentes del error de la encuesta 100 7.6 Opciones fitiles para el diseño de muestras 102 7.7 Conclusiones 112 PARTE 8: OBTENCION DE DATOS MEDIANTE ENTREVISTAS Y MEDICIONES 113 8.1 Limitaciones de la entrevista y la medici6n 113 8.2 Observaci6n y medici6n 115 8.3 La entrevista: Los períodos de recuerdo y de referencia 118 8.4 El tipo de entrevista 120 8.5 Diseio del cuestionario 124 Página PARTE 9: ELABORACION Y ANALISIS DE DATOS 137 9.1 Introducci6n 137 9.2 Preparaci6n de los datos 138 9.3 Elaboración de datos 140 9.4 La escala adecuada del análisis 141 9..5 Presentaci6n y representaci6n de los datos 143 9.6 Descripción y medici6n de la desigualdad 151 9.7 Cuadros 2 x 2 154 9.8 Normalización 159 9.9 Advertencias sobre los análisis de correlaci6n y regresión 161 PARTE 10: PRESENTACION DE LOS DATOS 167 10.1 Conversi5n de los datos en información 167 10.2 Presentaci8n de la información 168 10.3 Presentación de informes 171 Lista de Figuras 1 . Ciclo de los proyectos: Datos necesarios y fuentes de informaci6n 12 2 . Estimación de la labor realizada por los agentes de extensi5n 22 3 . Lista de comprobación de la informaci6n relativa a las prácticas de explotaci6n agrícola 123 4 . Ejemplo de un formulario sobre la composici6n de la familia 128 5 Cultivos presentes por parcela 129 6 . Ejemplo de cuestionario sobre la familia 130 7 . Ejemplo de un formulario precodificado 132 8 . Ejemplo de un cuestionario estructurado o formal 135 9 . Meta y rendimiento por área 147 10 . Gráfico de rendimiento acumulado 150 11 . Curva de Lorenz 152 Lista de Cuadros 1 . Variaciones aleatorias en torno a una tendencia 8 2 . Número de explotaciones agrícolas por tamaño de explotaci6n 105 3 . Rendimientos y producci6n bruta de maíz y maní correspondientes a los períodos de cosechas de 1971 143 4 . Rendimientos y producci6n bruta de maíz y maní correspondientes a los períodos de cosechas de 1972 144 5 . Maíz: Rendimientos medios por acre y producci6n bruta, 1971-72 145 6 . Maíz y maní: Cambios porcentuales en el rendi- miento medio por acre y en la producci6n bruta, 1971-72 146 7 . Meta y rendimiento por área 148 8 . Distribuci6n del tamaño de las explotaciones 151 9 . Adopci6n de la práctica por los agricultores del proyecto y los de fuera del proyecto 155 10 . Diferencias relativas al rendimiento por áreas debidas a diferencias estructurales 160 11 . Cálculo de las tasas normalizadas 161 12 . Valores de b1, b2 cuando b1=2, b2=1 164 13 . Efecto del error de medici6n al azar en la correlaci6n entre una raz6n (Y/Z) y su componente común (Z) en que los dos están relacionados linealmente 165 14 . Ingresos por beneficiario 173 15 . Número de fincas según el número de parcelas de terreno 174 16 . Distribuci6n porcentual de la parcela por zonas 174 PARTE 1 MARCO PARA EL SEGUIMIENTO Y LA EVALUACION DE PROYECTOS AGRICOLAS Y DE DESARROLLO RURAL 1.1 Introducci6n El presente Manual se ha preparado juntamente con las "Pautas para el dise?o de sistemas de seguimiento y evaluaci5n de proyectos agropecuarios y de desarrollo rural". En las Pautas se presentan a grandes rasgos materias importantes para el establecimiento y la operaci6n de dichos sistemas. En el presente Manual se examinan más a fondo estas materias y se exponen recomendaciones para abordarlas. El Manual está orientado, en primer lugar, a los que trabajan en proyectos específicos, cuya tarea consiste en operar los sistemas de seguimiento y/o evaluaci6n, y, en segundo lugar, a los encargados de administrar el proyecto, con el objeto de que puedan determinar mejor los resultados que cabe esperar de sus operaciones de seguimiento y evaluaci6n. Al establecerse esta finalidad, se plantea inmediatamente una limitaci6n. Aun cuando la estructura correcta del grupo administrador del proyecto y su relaci6n con el personal encargado del seguimiento y evaluaci6n tienen gran importancia en la mayoría de los casos, los que utilizan el Manual se encontrarán en una situación en que estas estructuras y relaciones ya se han decidido. Quizá sea posible introducir algunos reajustes conforme avance el proyecto, pero puede ser difícil modificar la estructura de la administraci6n o reorganizar en grado considerable dentro de esa estructura el personal de seguimiento y evaluaci6n. Otro asunto de gran interés es el papel que corresponde a los sistemas de seguimiento y evaluaci6n en la evaluaci6n de la actuaci6n de la gerencia del proyecto. También en este caso, es poco lo que puede ofrecer un Manual que se ocupe de la evaluación en un contexto de proyectos específicos. Dicha evaluaci6n se lleva a cabo en otro lugar, y las comparaciones de un conjunto de proyectos o de evaluaciones de proyectos con programas nacionales de desarrollo formarán parte de las actividades centrales de evaluaci6n, que pueden incluir o no la evaluaci6n individual de los distintos proyectos. Además, las recomendaciones relativas a la recopilaci6n de datos básicos anteriores a la ejecuci6n del proyecto deben ser orientadas más a los encargos de la preparación de proyectos que a aquéllos que reci5n entran en contacto con el proyecto cuando comienza la etapa de ejecuci6n. Estos asuntos no deben pasarse por alto, puesto que conviene considerar las actividades dentro de su marco general. No obstante, con frecuencia se abordan como si fueran advertencias. Los objetivos del personal de - 2 - seguimiento y evaluación deben ser fijados de acuerdo con la estructura de administraci6n y el lugar que ocupe dicho personal en esa estructura. Especialmente, los intentos de remediar la falta de datos básicos anteriores al proyecto durante la etapa inicial de éste no deberán absorber tal proporci6n de los recursos de que se disponga que se descuiden las necesidades de informaci6n de la gerencia. Debido a que está orientado hacia una amplia gama de lectores, el Manual contiene cierto material elemental (aunque de carácter fundamental). Es posible que para el profesional experimentado algunas de las secciones sean redundantes o repetitivas, pero se confía que el Manual será tanto una obra de consulta como de lectura. Tal como indica su título, el Manual se ocupa de proyectos agrícolas y rurales. Estos proyectos son de muy diversas, clases, pero tienen características comunes para las cuales se pueden formular principios generales de seguimiento y evaluación. Estos principios son los siguientes: (a) La poblaci6n a la que se trata de beneficiar es la poblaci6n rural (o una parte de la misma) que habita una zona específica de un país. (b) Los resultados se han de obtener generalmente induciendo cambios en los sistemas de cultivo o en la reacci6n de los agricultores ante las limitaciones percibidas, con el fin de mitigarlas. (Pueden incluirse otros componentes dentro de este enfoque principal, pero raras veces aislados del mismo). (c) La mayoría de las personas a las que se trata de beneficiar suelen ser pequenos agricultores de la zona (por definici6n, en el caso de proyectos de desarrollo rural; relativamente hablando, esto se aplica también a muchos proyectos agrícol- las), pero también se suele prever un cambio general a nivel comunitario. (d) Aun cuando posiblemente el paquete técnico ofrecido se haya puesto a prueba (tanto experimental como prácticamente) en otras zonas, no siempre es posible predecir con exactitud la reacción de los beneficiarios en un determinado caso antes de que se ejecute el proyecto. (e) El efecto que se pretende obtener puede verse eclipsado en-el corto plazo por fen6menos naturales y artificiales ajenos al control de la gerencia del proyecto, que pueden producir efectos más intensos que el propio proyecto. Si se consideran los objetivos del proyecto como una secuencia, tal como se indica a continuación, se puede establecer más facilmente una distinci6n entre las funciones de seguimiento y evaluaci6n. (a) El objetivo inmediato es proporcionar insumos que son necesarios para lograr el desarrollo agrícola o rural. Ejemplo: Los insumos pueden proporcionarse en forma de instalaciones físicas, como un sistema de riego o un dispensario, recomendaciones que se espera que los beneficiarios adopten o la prestación de servicios como crédito, fertilizantes, agua potable, medicinas, etc. (b) Se espera que los beneficiarios del proyecto usarán estos insumos para generar productos. Ejemplo: En muchos proyectos los productos consisten en producción agrícola o ganadera, pero pueden ser también la adquisición de habilidades profesionales, una mayor asistencia a las escuelas, mejor utilización de los servicios de higiene, etc. (c) A su vez, estos productos producirán efectos en la poblaci6n objetivo. Ejemplo: Por lo común, el efecto será un cambio en el nivel y la distribución de los ingresos y gastos, pero también cabe esperar otros efectos en materia de salud y de orden social. (d) Por último, estos efectos tendrán repercusiones en la vida social y económica de la comunidad. Ejemplo: Como resultado del mejoramiento de los ingresos, es posible que se establezcan en la zona servicios que ofrezcan mayores ingresos y oportunidades de empleo o, como resultado del mejor nivel de salud y educación, es posible que mejore la calidad de vida. Los efectos y las repercusiones mencionados llegan a confundirse; la diferencia entre ellos es principalmente de grado a lo largo de tres dimensiones: tiempo, magnitud y alcance. Los efectos se pondrán de manifiesto antes, tienen que ver con los beneficiarios directos y guardan relacion con aspectos específicos de la actividad rural. Las repercusiones se refieren al resultado final en su totalidad, teniendo en cuenta tanto los efectos directos e indirectos como la difusión e imitación, que producen cambios en el conjunto de la comunidad. Los insumos y productos físicos son mensurables, por lo menos en teoría. En cambio, los efectos y las repercusiones no solamente son - 4 - difíciles de medir, sino que pueden resultar difíciles de atribuir al estímulo proveniente del proyecto. Al formular el proyecto, se habrán adoptado ciertos supuestos "razonables" en relación con los efectos probables y su relaci6n causal con el proyecto, pero es preciso reexaminar constantemente dichos supuestos, teniendo presente lo que ocurra durante la ejecuci6n del proyecto. Es preciso diseñar los sistemas de seguimiento y evaluación de manera que indiquen el logro de los objetivos del proyecto, expresados como metas que han de alcanzarse en ciertos plazos. Si las metas son imprecisas y han de alcanzarse en plazos indeterminados, no será posible definir con precisi6n el sistema de seguimiento. No obstante, es preciso mantener cierto equilibrio; la precisi6n debe ser reflejo de lo que es factible. Existe el riesgo de que una precisi6n excesiva de las metas y de los plazos dé lugar a un esfuerzo excesivo de recopilación de datos. Generalmente, un esfuerzo tal no será eficaz, en funci6n de su costo, para el proceso decisorio. Los costos de las actividades de seguimiento y evaluaci6n deben guardar relaci6n con la posible mejora en la ejecuci6n del proyecto y con la mejora en la formulaci6n de proyectos complementarios o semejantes. 1 .2 Seguimiento y evaluaci6n: El marco básico Las funciones de seguimiento y evaluaci6n están relacionadas, pero son diferentes. Seguimiento es la entrega de información a la gerencia y el aprovechamiento de esa informaci6n para determinar el progreso en la ejecuci6n y para tomar decisiones oportunas para asegurar que se mantiene el progreso de acuerdo con los plazos previstos. El seguimiento determina si se están entregando los insumos del proyecto, si éstos se están utilizando como se había previsto, y si producen los efectos iniciales programados. El seguimiento es una actividad interna del proyecto, una parte fundamental de una buena administraci6n y, por consiguiente, parte integral de la labor cotidiana de la gerencia. La evaluaci6n, por su parte, valora los efectos generales del proyecto, tanto pretendidos como no pretendidos, y sus repercusiones. Establece comparaciones para las cuales es preciso disponer de informaci6n externa al proyecto en lo que se refiere al tiempo, el área o la poblaci6n. Las funciones relativas que corresponden al seguimiento y a la evaluación varian según sea el tipo de proyecto. La distribución en una zona extensa de un paquete tácnico con el que ya se han obtenido buenos resultados y que tiene por objeto beneficiar a un determinado cultivo o actividad agrícola exige un seguimiento cuidadoso, pero posiblemente requerirá menos atenci6n a la evaluación. Es posible que un proyecto innovador y en pequeia escala sea más fácil de seguir, pero su evaluaci6n será a la vez difícil y trascendental. - 5 - Las etapas iniciales para diselar un sistema de seguimiento y evaluaci6n son las siguientes: (a) Examen de los objetivos del proyecto, a fin de sistematizarlos siguiendo la secuencia indicada en la Secci6n 1.1. (b) Identificaci6n de los usuarios de la informaci6n a ser provista por los sistemas de seguimiento y evaluaci6n. En lo que respecta al primero, los usuarios serán los administradores del proyecto. El tipo de informaci6n que se comunique se adecuará a las necesidades de cada nivel de administraci6n. Los usuarios de la evaluaci6n van desde la gerencia del proyecto hasta los planificadores nacionales, pasando por la direcci6n general o ministerio correspondiente. La evaluaci6n utilizará los datos obtenidos por medio del sistema de seguimiento para ayudar a explicar las tendencias que se observen en los efectos y a valorar las repercusiones del proyecto. Si los datos generados por el sistema de seguimiento revelan una desviacion importante con respecto a las expectativas, será preciso realizar una evaluaci6n sobre la marcha para examinar los supuestos y premisas en que se bas6 el diseno original del proyecto. Dicho examen, como sucede también en el caso -de la evaluaci6n retrospectiva, puede ser de gran valor para la administración sectorial en su funci6n de formulaci6n de políticas. El seguimiento debe estar integrado en la organizaci6n jerárquica del proyecto, pero la evaluación, con sus perspectivas más amplias que exigen informaci6n comparativa, no es necesariamente un elemento integral de dicha organizaci6n. Puede justificarse un mecanismo central de evaluaci6n cuando: (a) La pericia técnica necesaria para interpretar los datos relativos a la evaluación no existe, o resulta antiecon6mica para cada proyecto individual. (b) Los datos que se necesitan se remontan a una fecha anterior a la iniciación del proyecto y llegan hasta un período que va más allá de su terminaci6n. (c) Es necesario contar con datos provenientes tanto de dentro como de fuera de la población afectada por el proyecto para llevar a cabo comparaciones. - 6 - Aun cuando se haya centralizado el diseio y el análisis, se utilizarán los recursos para recopilación de datos de que disponga el proyecto para obtener una gran parte de los datos que. se.necesiten para la evaluación. Si la misma unidad recoge datos que se van a utilizar, a la vez, pra una ulterior evaluación y pra el seguimiento rápido y oportuno, es preciso que este último no sufra como consecuencia de las mayores exigencias de la primera. 1 .3 El seguimiento y la administración del proyecto Dentro del proyecto, la necesidad fundamental es la de seguir el progreso logrado. Suponiendo que la evaluación previa del proyecto' haya sido realizada cuidadosamente, es decir, que hay un supuesto a priori bien fundamentado de que ciertos estímulos e insumos producirán ciertos productos, efectos y repercusiones, la función que corresponde a la gerencia en la fase inicial de ejecución es la de crear las condiciones que pongan en marcha esta sucesi6n de hechos. En los primeros aios de la ejecución del proyecto se pondrá énfasis en el seguimiento del progreso físico y financiero y de la entrega de los insumos a los que hayan de recibirlos. Los registros y documentación del proyecto, debidamente organizados, constituyen la fuente principal para este aspecto del seguimiento. En esta etapa, la gerencia debe también ocuparse del destino que se dé a estos insumos y de la: reacción de los beneficiarios. Las tasas de aceptación y, lo que es más importante, las tasas de aceptación repetida, ofrecen a la gerencia una idea clara de si el proyecto está dando o no los resultados esperados. Es importante obtener información sobre las actitudes y opiniones de los beneficiarios, a, fin de explicar toda divergencia entre el comportamiento real observado y el previsto al formular el proyecto. Un comportamiento imprevisto puede determinar el éxito o el fracaso del proyecto. El seguimiento de la ejecución del proyecto no requiere necesariamente sistemas complicados de datos. Una acumulación subjetiva de impresiones por parte del personal del proyecto puede constituir un sistema de seguimiento. Si se aplican normas de administración basadas en el sentido común, el sistema de seguimiento puede limitarse a un mínimo de parámetros que hayan de registrarse periódicamente. Se trata de que la recopilación de datos sea lo más objetiva posible y, sobre todo, de que se cuente con los medios necesarios para cotejar, resumir y presentar la información a los responsables de tomar las decisiones. La necesidad de que el personal del proyecto registre el progreso logrado juntamente con sus impresiones subjetivas sigue existiendo, aun cuando se cuente con una unidad de seguimiento, ya que esos informes sn una fuente esencial para el sistema. - 7 - Una vez que la gerencia se ha cerciorado de que el sistema de entrega de los insumos está funcionando, deberá prestar atenci6n a los productos originados por el proyecto, es decir, hacerse la pregunta: ¿se están obteniendo los resultados previstos? No obstante, el concentrarse en medir el producto no debe ser a costa del seguimiento del sistema de entrega de los insumos. La medici6n de los productos es más bien una funci6n de evaluaci6n, ya que determinar las tendencias no es una tarea fácil en vista de las influencias ex6genas que existen, y muchas veces no puede llevarse a cabo sin contar con series cronol6gicas que se extiendan por muchos añlos. No obstante, la gerencia necesita estimaciones de la producci6n, y en este Manual se examinan más adelante los medios para obtenerlas. La clave de un mecanismo satisfactorio de seguimiento es la entrega peri6dica y oportuna a la gerencia del proyecto de información que facilite la adopci6n de decisiones. Esto puede lograrse contratando al personal necesario al comenzar la ejecución del proyecto, considerando a dicho personal como parte del grupo de la gerencia e indicándole el orden de prioridad de la informaci6n que necesita la gerencia. 1.4 La evaluaci6n: Examen de los resultados La evaluaci6n tiene por objeto determinar si se están alcanzando o se alcanzarán los objetivos del proyecto en lo que respecta a los productos, efectos y repercusiones previstos. Esto da lugar a una revisi6n de los resultados obtenidos y de las enseñanzas que se derivan para proceder a introducir mejoras en una fase ulterior del proyecto o en proyectos análogos que se lleven a cabo en otros lugares. El nivel de productos obtenidos es un indicador del resultado de la utilización que los beneficiarios hagan de los insumos del proyecto. Si son considerables, es posible que las variaciones de los productos se pongan de manifiesto ya durante la fase de ejecuci6n del proyecto. En otros casos (por ejemplo en la salud, a consecuencia de la prestaci6n de servicios de higiene como insumo), es posible que los efectos no sean tan rápidos en aparecer. Y, en la mayoría de los casos, las repercusiones de dichos efectos en la calidad general de vida de la comunidad será un proceso que se seguirá desenvolviendo con lentitud. La creaci6n de un sistema de evaluación exigirá la elaboraci6n de una serie de datos que comience antes de la ejecuci6n del proyecto y continúe más allá del período de ejecuci6n. A diferencia del sistema de seguimiento, que insiste en una elaboración rápida, el sistema de evaluaci6n requiere un período más prolongado antes de que puedan deducirse incluso conclusiones tentativas. No siempre se comprende el grado en que incluso una variabilidad moderada puede afectar a la situaci6n general. En el ejemplo siguiente - 8 - puede apreciarse la forma en que funciona la variabilidad; se simulan tres conjuntos de resultados, sometiendo una tendencia lineal a una variacion aleatoria. La tendencia va de 1.000 a 2.000 durante cinco años; la variabilidad que se utiliza en las simulaciones es normal (en el sentido estadístico) con una desviaci6n típica del 15 por ciento de los valores de la tendencia. Las tres series fueron las primeras que se obtuvieron; no se trató de obtener variaciones extremas. Cuadro 1: Variaciones aleatorias en torno a una tendencia Ario Tendencia Simulaciones 1 2 3 0 1000 950 632 1163 1 1200 1170 1284 1423 2 1400 1213 1522 1316 3 1600 1596 1714 1748 4 1800 1942 1945 1498 5 2000 1658 2192 1668 Las tres simulaciones tienen una probabilidad similar y todas ellas dan por supuesto que la tendencia subyacente tiene de hecho lugar como base sobre la que se impone la variaci6n aleatoria. Supongamos, en cambio, que tres zonas hayan tenido las cifras de tendencia como metas anuales, y que se produjeron como resultados las series antes indicadas. ¿Se las consideraría igualmente satisfactorias? Por lo tanto, es importante que, antes de deducir cnclusiones apresuradas sobre los resultados relativos, se considere la influencia de la variabilidad natural. La evaluación debe ir más allá de la cuantificaci6n de las variaciones que ocurren; debe determinar la forma en que el proyecto contribuye a dichas variaciones. Pero la zona de aplicaci6n del proyecto y los beneficiarios están también expuestos a influencias ex6genas que el proyecto no puede controlar; dichas influencias no se pueden predecir en cuanto a su cronología o magnitud. Por consiguiente, el establecer la relaci6n de causalidad entre los insumos y los efectos y repercusiones del proyecto plantea el problema más difícil de la evaluación. Estas cuestiones se examinan en la Parte 3. -9- Además de analizar las series cronol6gicas, la evaluaci6n generalmente requerirá estudios a fondo de la validez de ciertos supuestos implícitos en la justificaci6n del proyecto. ¿Se comprenden bien los factores socioecon6micos determinantes del comportamiento de los beneficiarios del proyecto? ¿Se mantendrá estable el mercado en que haya de colocarse la producci6n adicional cuando se incorpore al sistema el mayor suministro? Se beneficiarán los familiares de los beneficiarios con los ingresos originados, o éstos serán absorbidos de manera que no lleguen a las familias? Estas son interrogantes que la gerencia del proyecto, abrumada por las numerosas tareas de ejecuci6n, no tiene tiempo para examinar, a menos que uno o más de estos factores amenace el proceso de ejecuci6n y, para entonces, posiblemente, sea demasiado tarde. Dichos estudios facilitarán el proceso de evaluaci6n sobre la marcha a que se ha hecho menci6n anteriormente. Será necesario que intervenga el grupo dedicado al seguimiento. Esto sirve de ilustraci6n de la tesis, a la que se vuelve a hacer referencia más adelante en la Partes 2 y 3, de que en la práctica existe una relaci6n estrecha entre el seguimiento y la evaluaci6n, a pesar de tratarse de funciones diferentes. ¿Hasta qué punto deben normalizarse los datos recopilados dentro de un proyecto para permitir comparaciones entre proyectos o con series nacionales de datos? Si se trata de un solo proyecto que abarca una pequeia superficie del país y que es el único de su tipo, la respuesta a esa pregunta puede ser "muy poco". Pero los proyectos de desarrollo agrícola y rural, considerados individualmente, abarcan con frecuencia grandes zonas geográficas, y colectivamente, una gran parte del país. Los recursos para seguimiento y evaluación existentes en cada proyecto pueden constituir, en conjunto, una parte muy importante del total de recursos estadísticos del país. Hay, pues, poderosas razones para que estos recursos contribuyan a las necesidades nacionales de información, estableciendo la normalización adecuada de los diseios de las encuestas, del contenido de los datos y del tratamiento analítico. Muchas de las necesidades de datos relativos a los productos y a los aspectos socioecon6micos son semejantes en distintos proyectos, y son tambi5n similares a las necesidades a nivel nacional. Esta normalización no debe distraer la atenci6n de las necesidades de la administraci6n del proyecto; en realidad, puede ayudar a la gerencia del proyecto a determinar sus necesidades con una visión más amplia. Además, es posible que las pericias obtenidas en la recopilaci6n y análisis de datos, si se limitan al proyecto, se desperdicien, una vez que se haya terminado el proyecto. Esto no redundaría en beneficio de la situaci6n general de las estadísticas en el país. Es preciso identificar y aprovechar las posibilidades de apoyo mutuo entre los organismos nacionales que recopilan datos y las unidades del proyecto dedicadas al seguimiento y evaluaci6n, en beneficio de ambos. - 10 - 1.5 El seguimiento y la evaluaci6n en el ciclo de un proyecto En la terminología del Banco Mundial, el ciclo de un proyecto tiene las siguientes etapas: 1. Identificaci6n 2. Preparaci6n 3. Evaluaci6n previa 4. Negociaci6n y Presentaci6n a la Junta Directiva 5. Ejecuci6n y Supervisi6n 6. Evaluación Retrospectiva En la Figura 1 se presentan estas etapas y se establecen sus principales necesidades de datos y las fuentes posibles en que pueden obtenerse éstos. Por supuesto, la sumariedad de la figura no permite presentar muchos de los aspectos que surgen a lo largo del proyecto, pero sí ofrecen un panorama general. Las cuatro primeras etapas preceden a las actividades del proyecto sobre el terreno, pero se presentan aquí para indicar la informaci6n básica del proyecto. Esta informaci6n será también útil para los que trabajan en proyectos en ejecuci6n que, a menudo, participan en la preparación de propuestas para fases ulteriores de actividades del proyecto, ya sea mediante la continuaci6n de éstos o mediante su repetici6n en otros lugares. Esta información indica también que algunas de las actividades de seguimiento y evaluaci6n en las etapas-5 y 6 solamente pueden dar los resultados previstos si se planean debidamente en las tres primeras etapas. En general, el seguimiento tiene lugar en la etapa 5 y la evaluaci6n en etapa 6. Pero, como ya se ha indicado y se vuelve a tratar en las Partes 2 y 3, en la práctica no hay una separaci6n tan precisa entre las dos funciones como la seialada en la Figura 1. La decisión fundamental a tomarse en las etapas anteriores a la ejecuci6n es si se debe o no llevar a cabo una encuesta en gran escala para obtener datos básicos. La decisi6n que se tome afecta a la totalidad de la evaluaci6n que se efectúe durante los años futuros. Se justifica una encuesta con una muestra probabilística si se intenta obtener la misma información en otras etapas del ciclo del proyecto, incluido el período posterior al desembolso completo de los fondos del proyecto. En la evaluaci6n se hará hincapié en una comparaci6n longitudinal de estas muestras probabilísticas. Por muy conveniente que sea realizar y analizar dicha encuesta en una etapa apropiada anterior a la ejecución, para ello hay que contar con una organización capaz de llevarla a cabo. Por lo general, no suele ser aconsejable contratar esa encuesta con un instituto - 11 - universitario que únicamente tenga experiencia y los necesarios medios en la esfera de pequefios estudios en profundidad. Si no existe una organizaci6n adecuada, la alternativa es depender del sistema de seguimiento para obtener indicadores longitudinales más sencillos, pero continuos, complementados por encuestas muestrales en pequeña escala, de áelecci6n posiblemente dirigida, para poner de manifiesto las variaciones relativas entre los grupos (incluyendo, por lo menos, un grupo cuasitestigo). Para esto puede resultar conveniente que participen instituciones locales. En la etapa de preparación del proyecto son necesarios algunos datos sobre las características demográficas y socioecon6micas de la poblaci6n,, independientemente de si se realiza o no una encuesta para obtener datos básicos. Para este fin, puede muy bien servir una encuesta basada en entrevistas rápidas que utilice una muestra dirigida o por cuotas, que posiblemente incluya un cuestionario a nivel de la comunidad. En esa etapa solamente se requieren niveles aproximados. En consecuencia, el problema del período que recuerdan los entrevistados y la simplificaci6n excesiva de las preguntas, que es inevitable en una entrevista breve, no son necesariamente limitantes. El costo de una encuesta de esa naturaleza es moderado en relaci6n con los demás costos de la preparaci6n y evaluación previa del proyecto, pero raras veces se lleva a cabo debido a la falta de medios de que dispone el país para realizar encuestas. En esta etapa podría también ser de gran valor una investigación socioeconomica, efectuada por uno o dos profesionales competentes, que determinen las actitudes y limitaciones de los probables beneficiarios. En muchos proyectos se dan por sentadas ciertas reacciones de los beneficiarios que luego no se producen debido a no haberse analizado suficientemente este asunto. Una vez que se llega a la etapa de ejecuci6n y supervisi6n, el sistema de seguimiento debe mantenerse dentro de sus objetivos. No borresponde a este sistema llevar a cabo, en partes más avanzadas del ciclo, encuestas que debían haberse realizado anteriormente. En la etapa de evaluaci6n retrospectiva se dispondrá de series cronol6gicas de datos solamente si al comienzo se llev6 a cabo una encuesta para obtener datos básicos y se la repiti6 luego dos o tres veces. Esta repetición constituye una obligaci6n importante, y lo mejor es contratar de nuevo a la misma entidad que llev6 a cabo la encuesta original. De este modo, no solamente se mantiene la continuidad, sino que se evita dedicar el sistema interno de seguimiento a actividades de es magnitud. Cada proyecto--con la posible excepción de los que repiten en forma idéntica uno anterior--tiene hasta cierto punto características singulares. Por consiguiente, el establecer una tipología y un calendario - 12 - para las actividades de seguimiento y evaluación puede resultar equívoco, encubriendo las características individuales de un proyecto, que requerirán un sistema de informaci6n adaptado especificamente a sus- circunstancias. En la Parte 4 se trata con cierto detalle la selección de indicadores, y en.las Partes 5, 6 y 7 se examinan las fuentes de los datos. Antes, las Partes 2 y 3 consideran nuevamente las características distintivas del seguimiento y la evaluaci6n. FIGURA 1 Ciclo de los proyectos: Datos necesarios y fuentes de informaci6n Etapa Datos necesarios Fuente Identificaci6n Area o zona del proyecto, Archivos administrativos, productos, beneficiarios censos, encuesta nacional y medio ambiente. y local, estimaciones del Ministerio de Agricultura. -13 - Etapa Datos necesarios Fuente Preparaci6n Insumos técnicos. Examen profesional. Estudios de factibilidad. Características socioeco- Encuestas rurales exis- n6micas de la poblaci6n tentes y/o estudio encar- del proyecto. gado especialmente por la Oficina Nacional de Esta- dística o por otros. Informaci6n de mercado. Archivos administrativos, encuestas de mercado existentes y/o estudio del mercado encargado especialmente. Actitudes de los benefi- Estudio de casos prácti- ciarios, limitaciones que cos encargado especial- les afectan. mente. Si se necesita una encues- Encuesta de datos básicos ta de datos básicos para encargada especialmente la evaluaci6n a largo (efectuada de preferencia plazo, indíquese el conte- por la Oficina Nacional nido de la misma, enfoque de Estadística). fundamental y escala. Evaluaci6n Financieros y sobre orga- Ministerios, organismos Previa nización y métodos. de distrito, agencias. Factores macroecon6micos. Cuentas nacionales, estu- dios sectoriales, planes de desarrollo. - 14 - Etapa Datos necesarios Fuente Indicadores del area o Datos específicos de la zona del proyecto. zona normalmente dispo- nibles y resultados ob- tenidos en etapas ante- riores. Negociaci6n y Presentación Ninguno. a la Junta Directora Ejecuci6n (a) Financieros Gran parte de estos datos y Supervisi6n Personal provendrán de la activi- Construcci6n dad interna del proyecto Insumos físicos (v6ase la Parte 2), ya Insumos de servicios sea como parte del pro- Comercializaci6n ceso normal de informa- Utilizaci6n de los ci6n o como resultado de insumos estudios especiales or- Producción ganizados con recursos Tasas de aceptaci6n del proyecto. (b) Reacci6n de los Aquí la línea de demar- beneficiarios caci6n entre seguimiento Determinaci6n de pro- y evaluaci6n se vuelve blemas borrosa. La realizaci6n Si se ha planeado de estudios de casos anteriormente, prácticos y de encuestas, Encuesta durante la y los análisis minucio- ejecuci6n. sos, pueden requerir recursos externos al proyecto. Análisis de series crono- l6gicas y comparaciones con datos externos. - 15 - Etapa Datos necesarios Fuente Evaluaci6n (a) Si se ha planeado Véase la nota inmediata- Retrospectiva anteriormente: mente anterior. La eva- Encuesta posterior al luaci6n requerirá un proyecto. análisis en el que par- Coordinación de los ticipen personas ajenas datos para revisión al proyecto. y análisis. (b) Evaluación a largo Encuesta y/o estudios de plazo de la permanencia casos prácticos encarga- de los resultados. dos especialmente. e- sultados pertinentes de las actividades de la Oficina Nacional de Es- tadística y del Ministe- rio de Agricultura. ___________ ________________________ 1______________________t - 16 - PARTE 2 SEGUIMIENTO 2.1 Administraci6n y seguimiento En la Parte 1 se han expuesto a grandes rasgos las interacciones entre el seguimiento y la evaluaci6n. La existencia de estas interacciones ha dado lugar al concepto común de que el seguimiento y la evaluación son inseparables, tal como indica la frecuente abreviatura S y E. No obstante, como se ha explicado en la Parte 1, hay diferencias precisas en la funci6n que corresponde a cada una, y la experiencia indica que el seguimiento no da buenos resultados a menos que se la distinga de la evaluaci6n. Solamente así puede utilizarse debidamente como instrumento de gesti6n dentro del sistema de informaci6n para la gerencia del proyecto. El sistema de seguimiento debe considerarse como parte de la administraci6n general y, como tal, se le debe asignar los fondos correspondientes. Una queja común entre directores de proyecto es que los servicios de seguimiento no ofrecen informaci6n pertinente y oportuna. Así suele suceder cuando dichos servicios les son impuestos como organizacion paralela, lo cual da lugar a que los directores de proyecto concluyan que su funci6n principal es proporcionar información a terceros, con poca o ninguna significaci6n para el proyecto. Esto no sucede si el seguimiento se considera como una funci6n de administración, bajo el control del director del proyecto, que tiene por objeto satisfacer sus necesidades de informaci6n y que trabaja de acuerdo con un plan cronol6gico convenido de antemano y con los recursos facilitados a tal efecto. En general, solamente se debe considerar el uso de consultores independientes para que desempe?íen las siguientes funciones de seguimiento: (a) Asesorar sobre el diseño general del sistema de seguimiento en la etapa de preparación del proyecto. (b) Realizar estudios específicos, instrucciones precisas en cuanto a lo que deben hacer, de quién dependen y cómo deben informar. Entre esos estudios figuran los tecnológicos/científicos, de control de calidad y causales. (c) Proveer capacitaci6n y asesoramiento sobre metodología de las encuestas. La evaluaci6n es un asunto distinto y en ella deben participar personas ajenas a la gerencia del proyecto. En este contexto, la evaluación de los resultados del proyecto y la actuaci6n de la gerencia - 17 - incluye la evaluaci6n de las actividades de ésta relacionadas con el seguimiento. Esta separación entre seguimiento y evaluación reduce lo que en un seminario se identific6 como "el temor de los elementos de evaluaci6n de los servicios de S y E ... que se transmite a todas las divisiones del proyecto. En estas circunstancias, la unidad de seguimiento puede contribuir muy poco al progreso del proyecto". La integración del mecanismo de seguimiento en las actividades de la gerencia no eliminará, por supuesto, toda la desconfianza que se siente contra cualquier grupo que lleve a cabo este tipo de función. La importancia que se atribuye a la funci6n de seguimiento en la gerencia no exige que ista determine desde el principio todas sus necesidades de información. Esa determinación será un proceso continuo, según progrese la ejecución, en el que habrá interacciones y una corriente de asesoramiento en ambos sentidos. Pero debe dejarse bien sentado cuáles son las necesidades que tienen prioridad y quién toma las decisiones definitivas. Este enfoque del seguimiento orientado hacia la gerencia puede originar problemas institucionales difíciles en proyectos complejos en los que intervengan varios organismos, como suele suceder en los proyectos de agricultura y de desarrollo rural. Pero estas dificultades no se reducen solamente al seguimiento; son inherentes al establecimiento de una estructura eficaz de gestión del proyecto. Si se definen con precisión las funciones de la gerencia, no es difícil colocar en un lugar apropiado la unidad de seguimiento e identificar los cauces de información que conducen a las distintas áreas de la gerencia. Si no se puede establecer una estructura de administración eficaz, casi es mejor no seguir adelante. Así, pues, el argumento es el mismo que antes; en la función de administración va incluido el seguimiento de lo que se hace; la gerencia solamente puede funcionar en forma eficaz cuando obtiene la necesaria información. Cuando varios organismos especializados participan en la ejecución de un proyecto y cada uno de ellos tiene a su cargo un componente distinto, la gerencia del proyecto puede estar en manos de un órgano coordinador. En ese caso, al formular el proyecto debe considerarse no solamente la ubicación de la unidad central de seguimiento (con lo que se consigue que la información necesaria afluya a la gerencia coordinadora), sino también el mecanismo necesario para el intercambio de información entre los organismos que participan en los diversos niveles de operaciones en el terreno. Una de las funciones que corresponde a la unidad de seguimiento es, pues, la de establecer estas líneas de comunicación, de manera que se satisfagan las necesidades de cada nivel de gerencia y se eviten duplicaciones innecesarias en los sistemas de información. - 18 - Organizado de este modo, el sistema de seguimiento originará informaci6n que es preciso conservar para la evaluaci6n. Un ejemplo lo ofrece un informe de seguimiento de un proyecto que contenía una secci6l. "sobre la actuaci6n de los diversos colonos, en la que una característica destacada era que los más deficientes eran generalmente las personas locales ... Una razón de ello parece ser que sus objetivos se limitan a lo que se ofrecíia antes de que comenzara el proyecto ... En cambio, los que han venido de fuera parecen trabajar con mayor esfuerzo y tienen un mayor deseo de triunfar". Es preciso asegurarse de que resultados de. este tipo se comuniquen a los encargados de la evaluación. En realidad, los evaluadores deben tener acceso a todos los datos obtenidos por el sistema de seguimiento. Esto no debe crear dificultades si la gerencia ha establecido un sistema satisfactorio de seguimiento y ha actuadó durante la ejecuci6n del proyecto de acuerdo con la información recibida. En estas circunstancias, la gerencia querrá que los servicios de evaluación tengan ésto en cuenta. Si se cree que los datos provenientes del seguimiento revistirán especial importancia para la explicación causal, es preciso integrar muy estrechamente el seguimiento y la evaluaci6n (véase la Parte 3). En este caso, es preciso prestar gran atención a la preparación y coordinaci6n del alcance y los plazos relativos a la recopilaci6n de datos. 2.2 Especificaci6n de objetivos y metas La especificaci6n minuciosa de los objetivos del proyecto facilita el seguimiento, según demuestran los casos siguientes: Caso A El proyecto consiste en la terminación de un plan de colonizaci6n y la mejora del drenaje en tierras costeras bajas. En la parte relativa a colonizaci6n, se procederá.al desmonte de 8.000 hectáres de terreno ondulado que serán ocupadas por 800 familias, y se dedicarán al cultivo de la cala de azúcar. Se prolongará una línea ferroviaria para el transporte del azúcar, se mejorarán los caminos y se establecerán lotes y servicios para un nuevo poblado. La mejora del drenaje comprende la reconstrucci6n de rompeolas y de drenes internos en 26.400 hectáres de tierras dedicadas a la caia de azúcar. Se han fijado metas de producción de caia. Este proyecto es relativamente sencillo. Sus operaciones pueden dividirse funcionalmente. El seguimiento se puede llevar a cabo del mismo modo, mediante informes sobre los fondos gastados, obras terminadas, etc. que se comuniquen a una pequeña unidad a las 6rdenes del director del proyecto. Puesto que la cosecha se elabora y se paga en un punto central, es posible registrar en - 19 - éste los datos sobre producción, rendimiento e ingresos, y se puede disponer de estos datos sin dificultad. Caso B Los objetivos principales son: (a) Dar a conocer la tecnología de cultivos múltiples junto con una mejora de las actividades ganaderas, a fin de elevar la intensidad de uso de la tierra y elevar los ingresos agropecuarios. (b) Crear nuevas oportunidades de empleo para los agricultores de subsistencia y, en especial, para los jornaleros. (c) Prestar apoyo a las actividades de investigaci6n sobre cultivos múltiples. (d) Mejorar el bienestar rural por medio de servicios de salud pública. Entre los objetivos secundarios figuran mejoras de la infraestructura. En este caso, los objetivos son más numerosos y de carácter multisectorial. Será preciso evaluarlos, pero su descripci6n no da orientaciones obvias al sistema de seguimiento. No obstante, normalmente se habrán especificado en la documentaci6n del proyecto las metas de ejecuci6n que darán lugar a que se alcancen estos objetivos. La unidad de seguimiento, en consulta con la gerencia, deberá elegir los indicadores para medir estos objetivos y las unidades en que se hayan de medir. Habrá que determinar la manera en que deba medirse -la intensidad de uso de la tierra, los ingresos, la creaci6n de empleo, el bienestar rural, etc., y la importancia relativa que se dará a cada uno de estos aspectos, y cuál de .ellos puede abordarse únicamente mediante encuestas longitudinales de evaluaci6n. Por consiguiente, a los efectos del seguimiento, lo que reviste particular importancia son las metas operativas que aparecen como etapas intermedias para alcanzar los objetivos del proyecto. Si los objetivos son imprecisos, las especificaciones de las metas serán también imprecisas o inadecuadas. Corresponde a la gerencia desglosar las metas al nivel de zona o de función para que las utilicen los niveles administrativos inferiores. La tarea del seguimiento consistirá en determinar el progreso realizado, comparándolo con los niveles fijados como meta. La información que se obtenga durante el proceso de ejecuci6n dará lugar, a veces, a ajustes de las metas relativas a los diversos - 20 - componentes del proyecto y de los recursos asignados para alcanzarlas. A su vez, esto motivará reajustes del sistema de seguimiento, y así sucesivamente. Es preciso especificar con precisión y seguir con exactitud las metas relativas a los desembolsos financieros, proporción de las diversas clases de personal y construcción de la infraestructura. Se pueden también fijar metas en relación a las reacciones de los beneficiarios y los productos, pero conviene evitar una precisión excesiva al fijarlas. La dificultad al seguir el cumplimiento de las metas relativas a los productos, cuando intervienen influencias exógenas debidas al azar, se demostró en el ejemplo hipotético de los aumentos de tendencia que aparece en el Cuadro 1. Las cifras anuales posiblemente no sirvan de guía hasta que se haya establecido una serie cronológica prolongada, y el examen de dichas series cronológicas es más bien una tarea de evaluación. 2.3 Seguimiento y contabilidad financiera Los procedimientos de contabilidd y los informes financieros tienen gran importancia en la mayoría de los sistemas de información para la gerencia; hay que reconocer la relación que tienen con otras informaciones a ser obtenidas por el sistema de seguimiento. Es preciso que la gerencia del proyecto haga participar a los contralores financieros en el diseño del sistema de seguimiento. Los contralores financieros y su personal tienen que participar tanto en el seguimiento financiero como en el no financiero. La gerencia tiene también que examinar cuidadosamente los planes de seguimiento financiero, a fin de asegurarse de que el sistema de información financiera ofrecerá--al igual que el resto del mecanismo de seguimiento--los datos necesarios en forma oportuna. Los servicios de contabilidad son a veces tan deficientes como otros servicios de seguimiento cuando se trata de proporcionar datos oportunos y bien presentados. Es indispensable que haya uniformidad en la clasificación de las cuentas preparadas para planear, para informar y para comparar con los datos de seguimiento. Especialmente, es necesario distinguir con cuidado entre gastos de capital y gastos ordinarios. Un ejemplo, a un nivel desagregado, es la necesidad de registrar uniformemente bajo el mismo item los gastos en pequeias herramientas. Asimismo, es fundamental que haya uniformidad en la valoración, y que se siga un sistema previamente convenido de ajuste por inflación. La información contable no debe dejarse sin utilizar o aislada. La comparación de los estados de gastos y del progreso físico realizado ayuda a evitar los excesos de costos y mejora el control de los trabajos en el terreno. Al mismo tiempo actúua como control. Por ejemplo, en un proyecto había cierta tendencia a que algunos informes provenientes de organismos y ministerios exageraran la actuación de éstos. Si las cuentas - 21 - financieras indicaban que no se había desembolsado la correspondiente cantidad, se prescindía del informe sobre ejecuci6n física hasta que éste fuese confirmado de otra forma. Con frecuencia, aunque no necesariamente siempre, el informe financiero es el más exacto de los dos. A veces, la informaci6n financiera se retrasa. Por ejemplo, cuando programas de construcci6n en pequeña escala son llevados a cabo a nivel local por varios organismos, muchas veces se recibe la informaci6n bastante tiempo después de que se hayan terminado las obras. A veces, los estados financieros son incorrectos. En un proyecto relativo a plantas de congelaci6n y conservas, las cifras sobre márgenes de utilidades y sobre ventas eran inferiores a la realidad, pero se habían exagerado los gastos de producci6n y generales, con fines de evasi6n fiscal. Estos problemas pueden evitarse únicamente mediante una supervisi6n atenta en el terreno, que lleve a cabo comparaciones. También en este caso deben ir juntos el seguimiento financiero y el seguimiento del progreso físico realizado. 2.4 Seguimiento de la dotación de personal La primera etapa en el seguimiento de la dotaci6n de personal del proyecto es la de comprobar mediante los registros administrativos si el personal para el proyecto se está contratando dentro de los plazos previstos. Si no se contrata a su debido tiempo al personal especializado, o si se han producido retrasos en la creación de oficinas en una o más esferas, es preciso tomar medidas con urgencia y volver a programar los plazos. La gerencia ya habrá seguramente identificado elementos cruciales y los estará vigilando cuidadosamente. También en este caso hace falta un sistema flexible e iterativo, ya que lo que es crucial en una etapa puede ser distinto de lo que es en otra. La rotaci6n de personal es un problema persistente y de gran importancia. Reviste particular gravedad en el caso del personal que ocupa cargos clave, puesto que es más susceptible de recibir ofertas interesants de otros empleadores. Por ejemplo, a veces no se aprovechan plenamente las computadoras debido a la dificultad de retener analistas competentes en sus puestos el suficiente tiempo para que terminen programas de elaboraci6n de datos de gran magnitud. En el presente Manual las recomendaciones sobre el diseño y análisis de encuestas se presentan teniendo en cuenta esta dificultad. Si se vigila cuidadosamente la rotaci6n de personal, será más fácil hacer preparativos para casos imprevistos y aprovechar en forma 6ptima los recursos disponibles. El seguimiento de la calidad del trabajo realizado por el personal es más difícil. Por ejemplo, en un proyecto de extensión agrícola el crecimiento en el número de agentes de extensión se especifica con claridad y su seguimiento es relativamente fácil. También es posible seguir la prestaci6n del servicio de extensi6n registrando el tiempo que - 22 - los agentes pasan en el terreno y el número de visitas efectuadas. En la mayoría de los casos, estos indicadores ofrecen una medida razonable de la eficiencia potencial del servicio y permiten..también clasificar provisionalmente los niveles de su desempeño. Con tal fin, los agentes de extensión deben llevar un registro de sus actividades, y los supervi.sores de los servicios de extensión deben utilizar un formato uniforme en sus informes. Aunque necesariamente de carácter subjetivo, la estimación de la labor realizada comparándola con criterios comunes permitirán formular juicios preliminares. Si es puede llegar a un acuerdo sobre los criterios, será posible establecerse una escala sencilla para medir el desempefio de las funciones. En la Figura 2 se presenta un ejemplo en el que la estimación se efectúa sobre una escala de cinco niveles. Figura 2: Estimación de la labor realizada por los agentes de extensión Escala Criterios 1 2 3 4 5 A. Proporción del tiempo el el terreno B. Cumplimiento de los plazos C. Conocimiento de las técnicas D. Actuación en las sesiones observadas E. Información proveniente de los agricultores F. Iniciativa Al principio será difícil conseguir que un gran número de supervisores utilice estas escalas uniforme y significativamente. Una calificación universal de "promedio" no sirve. Un número par de puntos en la escala contribuye a evitar la concentración en el punto medio. Es preciso observar a su vez la distribución de las calificaciones para asegurarse de que se logra la finalidad básica de detectar la actuación excepcional (tanto la buena como la mala). A medida que avanza el proyecto, es posible majorar la normalización de las estimaciones y se efectúan comparaciones con los indicadores más directos. - 23 - Se pueden idear otros indicadores de las actividades de extensi6n. Puesto que la finalidad principal es la de estimular el cambio en las prácticas agrícolas y en el comportamiento de los agricultores, los verdaderos indicadores para el seguimiento son las tasas de adopci6n de las recomendaciones que se hayan hecho y sus derivados, por ejemplo, la demanda de insumos que hagan los agricultores. Estas pueden seguirse utilizando una encuesta muestral de beneficiarios del servicio; tambi6n puede incluirse su reacci6n ante el servicio prestado. Esta medici6n de la adopci6n como instrumento de seguimiento se expone con mayor detalle en la Parte 3. Sin embargo, los resultados de estos indicadores no son la solución definitiva. En un seminario celebrado en el Banco se inform6 que "Algunos agentes de extensión creen que el indicador real de su desempeno, la productividad agrícola, sirve para desalentar a los asignados a localidades poco privilegiadas o pobres en la que raras veces se dispone de insumos agríco-las y/o los agricultores no pueden permitirse su utilizaci6n. Proponen que se utilicen otros indicadores, además de la productividad, para medir su actuaci6n individual". El sistema de informes del personal que se ha indicado en el párrafo anterior puede ayudar a atender esta propuesta. Además, los informes arrojarán luz sobre las aptitudes de los supervisores. Esta cita indica también la importancia de estimular el espíritu de trabajo y de cooperaci5n. El sistema de seguimiento debe también tener en cuenta esto y detectar indicios de si ocurren cambios en estos atributos. 2.5 Seguimiento de la infraestructura y de los sistemas de entrega Corresponde al sistema de seguimiento el vigilar el progreso de la construcci6n según un predeterminado camino crítico y el comparar la entrega de los insumos con las metas. La selecci6n de indicadores suele ser inequívoca. Es necesario comprobar de manera especial la calidad de la construcci6n y de los materiales que se utilicen en la misma. Estas comprobaciones deben ser planeadas y ejecutadas por personal técnico competente. Algunas de ellas se programarán de manera que coincidan con etapas de terminaci6n, y con frecuencia se especifican en los contratos. Las inspecciones a intervalos determinados al azar contribuyen a garantizar que no se empleen materiales inferiores o que no se escatima el trabajo. Es mejor identificar los trabajos que no se han realizado bien, aun después de haberse terminado, que aceptar a ciegas lo que se haya hecho. Una de las maneras más eficaces de evitar que las cosas vayan mal es demostrar que hay un seguimiento continuo y que los indicios de deficiencias se comunican sin tardanza a la gerencia para que ásta tome las medidas que corresponda. En este contexto, el seguimiento es una función de carácter más amplio que la que lleva a cabo una unidad pequefia. El personal profesional del proyecto, como los ingenieros, llevarán a cabo estas comprobaciones e inspecciones. Se ha mencionado que la unidad de seguimiento deberá ser - 24 - considerada como parte del grupo de la gerencia; ahora es evidente que el seguimiento es una de las funciones de todos los miembros del grupo de la gerencia. En forma análoga, el seguimiento debe observar el, sistema de entrega para asegurarse de que los beneficiarios reciben fertilizantes, insecticidas o equipo en el momento oportuno, en la cantidad debida y al precio que corresponda. Si se trata de un plan de crédito, es preciso adoptar las medidas necesarias para que los criterios utilizados para la selecci6n, el tiempo necesario para adoptar la decisión y el nimero de personas a las que se deneg6 el crédito, así como el número de créditos concedidos, sean documentados en cada caso. El seguimiento vigoroso y continuo de la entrega de insumos únicamente dará resultados si el personal de seguimiento y los gerentes pasan suficiente tiempo en el terreno y son apoyados por el personal supervisor de actividades en el terreno. Deben llevar un registro diario de sus actividades y presentar peri6dicamente informaci6n sobre la proporci6n del tiempo dedicado a trabajar en el terreno. Cada nivel de la gerencia requiere inspecci6n por parte de sus superiores; los que llevan a cabo las funciones de seguimiento deben a su vez ser supervisados de la misma manera. La oportunidad de las entregas puede considerarse de dos maneras. En primer lugar, ¿se entregaron los insumos en el momento previsto? Este aspecto puede muchas veces resolverse observando los registros administrativos y los informes del personal sobre los trabajos realizados. Por medio de estas fuentes no solamente debe poder mostrarse que se entregaron "x" toneladas de fertilizantes, sino también que se entregaron en un lugar de destino específico y en una cierta fecha. Pueden surgir dificultades cuando los productos pasan por las manos de más de un organismo y--como sucede a menudo--exista competencia o rivalidad entre éstos. El personal de seguimiento debe investigar cuidadosamente cada discrepancia que haya en los informes. En segundo lugar, suponiendo que los insumos se entregaron en el momento previsto, ¿era ése el momento oportuno teniendo en cuenta las circunstancias prevalecientes? Por ejemplo, es posible que se haya adelantado la época de la siembra debido a que las lluvias comenzaron pronto, mientras que quizás se program6 la entrega de las semillas teniendo en cuenta una distribución más normal de las precipitaciones pluviales. En ese caso, el sistema de seguimiento se verá sometido a la prueba más rigurosa. ¿Pudo detectar el problema a tiempo para permitir que la gerencia remediara la situaci6n? El logro de los objetivos del proyecto supondrá una sucesi6n de operaciones planeadas, cada una de las cuales habrá de terminarse en una fecha específica de manera que puedan continuar las etapas ulteriores. En - 25 - los últimos aios se han elaborado varios procedimientos para ayudar a la gerencia, como, por ejemplo, el método del camino crítico. Si la gerencia adopta uno o más de estos procedimientos, es necesario organizar el sistema de seguimiento de manera que se adapte a dicho procedimiento. Si inicialmente no se utiliza ninguno de esos métodos, el seguimiento puede indicar la necesidad de que se instituyan, si comienzan a ocurrir retrasos y anomalías. 2.6 Funci6n de la unidad de seguimiento Como ya se ha observado, la funci6n de seguimiento corresponde a la gerencia y también a cada uno de los miembros del personal del proyecto. La unidad de seguimiento contribuye al funcionamiento del sistema de seguimiento de las formas siguientes: (a) Identifica, en colaboraci6n con la gerencia, las metas de ejecución del proyecto y los indicadores para determinar el progreso comparándolo con dichas metas. (b) Coteja, resume y divulga la información proveniente de los diversos organismos y del personal dedicado a la ejecuci6n del proyecto. (c) Analiza los archivos administrativos y los registros relacionados con la ejecuci6n del proyecto. (d) Recopila y analiza los datos de los beneficiarios que se necesitan para complementar los registros e informes de que se dispone. (e) Mantiene, en forma recuperable, las diversas series cronológicas de datos como medio auxiliar para llevar a cabo la evaluación ulteriormente. (f) Prepara informes que pongan de relieve las conclusiones de los diversos análisis y, en la medida pertinente, presenta una gama de opciones lógicas sobare las que tenga que decidir la gerencia. En la Parte 10 se examinan el tipo y frecuencia de los informes. Según se expone allí, la comunicación de informaci6n va desde la actualizaci6n frecuente de un gráfico colocado sobre la pared de la oficina del director del proyecto hasta informes analíticos de considerable envergadura sobre la situaci6n del proyecto. Al organizar la unidad, es preciso dotarla de flexibilidad para que pueda reaccionar con rapidez ante cambios importantes. Si hay una sequía, el gobierno modifica una política seguida hasta entonces u ocurre otro hecho inesperado, hay que llevar a cabo análisis especiales y preparar informes de emergencia. - 26 - Con el fin de informar con una frecuencia convenida, se fijarán plazos dentro de los cuales deban llegar los datos o la informaci6n a la unidad de seguimiento. Los plazos dependerán de la dispersi6n del proyecto, tanto desde el punto de vista geográfico como entre organismos, y de la eficiencia del sistema de comunicaciones. Es importante fijar plazos que sean razonables y puedan cumplirse. Es mejor conceder un plazo de quince días para la presentaci6n de informes de carácter rutinario (después de que haya transcurrido el período al que se refieren) y que este plazo se cumpla, que fijar un plazo de diez días y que éste no se cumpla. La integraci6n satisfactoria de la unidad de seguimiento dentro de la gerencia exige que la unidad no parezca actuar como un "fiscalizador" o "inspector" de las actividades del proyecto. El grado en que la unidad participe en la formulaci6n de recomendaciones o en el proceso decisorio dependerá del tipo de estructura de administración. No obstante, mucho dependerá también de las personalidades que intervengan y del éxito que estas tengan en su actuaci6n como agencia de informaci6n para el proyecto. 2.7 Comentarios finales En esta Parte preliminar se ha insistido en que: (a) El seguimiento es distinto de la evaluaci6n. (b) El seguimiento es parte integral de la gerencia. (c) La unidad de seguimiento debe ser una dependencia al servicio de la gerencia y estar estrechamente identificada con ésta. (d) El nucleo de un sistema de seguimiento está constituido por registros prácticos y básicos, tanto administrativos como financieros. (e) La información que facilita el personal del proyecto es un elemento importante para los fines del seguimiento. (f) La obtención de suplementarios deberá utilizarse para rellenar lagunas en la información disponible y no para duplicar fuentes ya existentes. (g) La clave del éxito es la combinaci6n de una actuaci6n oportuna, informes concisos y flexibilidad al reaccionar ante acontecimientos imprevistos. - 27 - PARTE 3 EVALUACION: PROBLEMAS CONCEPTUALES Y OBJETIVOS BASICOS 3.1 Introducción La experiencia demuestra la necesidad de prestar a los aspectos de administraci6n del seguimiento la atenci6n particular dada en la Parte 2. Esto no significa, sin embargo, que pueda prescindirse de la evaluaci6n dentro del contexto de un proyecto concreto. Como se ha indicado en la Parte 1,' la evaluación tiene por objeto determinar si se han alcanzado, o se están alcanzando, los objetivos del proyecto. Lo ideal es que la evaluaci6n no solamente trate de cuantificar las realizaciones, sino que determine la influencia del proyecto en su logro. Además, debe detectar los cambios imprevistos que ocurran, tanto beneficiosos como perjudiciales, y examinar su posible relaci6n causal con el proyecto. La experiencia acumulada en investigaciones socioecon6micas demuestra que solamente en raras ocasiones se alcanzan plenamente estos objetivos ideales. En esta Parte se exponen las razones de ello, se fijan objetivos menos rigurosos para la evaluación específica de proyectos, y se ofrecen indicaciones de c6mo pueden alcanzarse éstos. Se presentan los fundamentos l6gicos para establecer el cambio y la causalidad del cambio, con el fin de indicar las dificultades que surgen al aplicarlo a la evaluación de proyectos agrícolas y de desarrollo rural y de demostrar los motivos por lo que no es probable que varios de los enfoques científicos den resultados satisfactorios. Los procedimientos más limitados que luego se proponen pueden ser valorados teniendo presentes estos argumentos. El método más exacto para establecer concatenaciones causales es el método experimental desarrollado por las ciencias naturales. Si se examina un modelo científico experimental, pueden apreciarse las características que son esenciales para su eficacia, pero que no suelen poder reproducirse en los estudios de evaluación de proyectos. Las ciencias sociales han desarrollado un conjunto de técnicas cuasi-experimentales para adaptar el modelo de las ciencias naturales al medio social. Una alternativa también satisfactoria es la denominada método del modus operandi, que funciona en forma parecida a como el método que utiliza un ladron para llevar a cabo sus crímenes revela su identidad al detective. Este método depende de las expectativas normales sobre el comportamiento que se producen en la vida cotidiana de una sociedad. Un ejemplo en la agricultura es el hecho de que, cuando una semilla nueva funciona de una cierta manera, la expectativa es que continuará haciéndolo del mismo modo. Los resultados se atribuirán a la misma, a menos que se descubra también la influencia de otros factores. - 28 - Las ciencias sociales (incluido el derecho) y la historia emplean y adaptan ambos métodos. El modelo experimental es de uso común en la psicología social. El método del modus operandi lo utilizan los historiadores para establecer una sucesi6n de actos cometidos por una persona o por un grupo (quién estaba en qué lugar y quién cometió qué actos), considerar sus repercusiones probables y, de este modo, atribuir responsabilidades. Con frecuencia, se utilizan evidencias circunstanciales. Un método afín consiste- en evaluar el efecto probable de un acto preguntándose: ¿Qué es lo que probablemente habría ocurrido si no hubiera sucedido X ? Esto se denomina el "hecho contrario". La secuencia de acontecimientos en el caso hopotético del "hecho contrario", con la que se compara la secuecia de acontecimientos efectivamente ocurridos, es originada por una sucesi6n de relaciones verosímiles de causalidad. Pueden hacerse dos comentarios. En primer lugar, muchos de los mejores pensadores, del pasado y contemporáneos, se han ocupado de los problemas relativos a causas y efectos. Esto ha dado lugar a una extensa serie de publicaciones sobre el tema que aumenta constantemente. En este Manual se ha adoptado como un marco para el análisis un concepto de causalidad basado en el sentido común. En segundo lugar, las ciencias sociales no han tenido mucho éxito en establecer leyes de causalidad como las que existen en las ciecias naturales. Entre las razones que se suelen mencionar figuran las siguientes: (a) La gran diversidad y variabilidad del comportamiento humano. (b) El carácter adaptable y reactivo del comportamiento humano. (c) La imposibilidad de experimentar, y de reproducir experimentos, en la mayor parte de los medios sociales. En consecuencia, resulta generalmente imposible establecer con todo rigor la concatenación causal que los evaluadores deben descubrir. Normalmente, tendrán que contentarse con demostrar que es verosímil que el proyecto haya logrado los efectos previstos y que no se han producido efectos secundarios desfavorables de importancia que neutralicen los beneficios obtenidos. El interrogante que se plantea es el siguiente: ¿Qué debe considerarse como verosímil? Sin embargo, a ese interrogante no se le puede dar, por su propio carácter, una respuesta que sea única y sencilla. Las normas, técnicas y sugerencias que se exponen en este Manual, tomadas en conjunto, ofrecen un marco para decidir lo que es verosímil en las circunstancias específicas de los diversos proyectos. Los grandes proyectos de desarrollo no son experimentos, salvo en el sentido muy general de que intervenciones relativamente independientes - 29 - en los sistemas sociales puedan describirse en términos generales como "experimentos sociales". Los proyectos se planean y financian porque existe un conjunto de conocimientos y experiencias que indican que ciertas actividades producirán normalmente ciertos resultados; dicho de otro modo, que tienen un modus operandi. En este conteaxto, la evaluacion consiste en establecer si estas expectativas se han convertido en realidad en un caso determinado. Pero ésto quizá sea adelantarse al argumento: ante todo es preciso considerar el modelo científico. 3.2 U¡ modelo experimental científico El método básico divide los objetos en estudio en dos grupos. [io de ellos, denominado el grupo de tratamiento, se somete al estímulo o intervenci6n causal predeterminado, generalmente denominado el "tratamiento" (que en el marco de este Manual es el proyecto). El otro grupo, denominado grupo de control, no recibe el tratamiento y su progreso ofrece la base de comparación. La situaci6n puede representarse mediante el diagrama siguiente: GR IPO Q1E RECIBE Xta, Yta -- TRATAMIENTO Xtd, Ytd EL TRATAMIENTO. etc. APLICAD etc. GRIPO 'IE CONTROL Xcay Yca Xcd, Ycd etc. etc. Las variables de efecto (las características de situaci6n o comportamiento que se supone la intervenci6n modificará, representadas por X, Y, etc. en el diagrama) se miden en los dos grupos, antes y después de que se aplique el tratamiento. Los cambios que ocurran en el nivel de estas variables en el grupo que recibe el tratamiento se comparan entonces con los correspondientes cambios en el grupo de control; las diferencias detectadas se atribuyen al tratamiento. Si el tratamiento puede aplicarse a distintos niveles de intensidad (por ejemplo, funcionarios de extensión que visitan una vez al mes o una vez cada tres meses o una vez al ano), puede haber varios grupos a los que se aplica el tratamiento, uno para cada nivel. Generalmente, este sistema expandido da resultados más válidos, puesto que, al relacionar los cambios en el nivel de los efectos con los cambios en el nivel de tratamiento, se establece con mayor precisi6n la relaci6n de causalidad. Esto puede permitir ejercer un control mas eficaz en aplicaciones futuras. - 30 - Cuando se experimenta con material inerte, no es necesario un grupo de control; puede suponerse que el material que no se somete al tratamiento permanecerá igual y que no hacen falta observaciones sobre el mismo, pero no es posible esperar esta constancia cuando se trata de poblaciones humanas. Para hacer inferencias sobre causa y efecto con certeza, es necesario que los dos grupos tengan una composici6n idintica antes de que se aplique el tratamiento a uno de ellos. Por supuesto, esa identidad es imposible y, por lo tanto, lo que se trata de conseguir es "equivalencia", que es una relaci6n menos precisa; por ejemplo, el estudio de gemelos. Pero aún este concepto de equivalencia es demasiado restrictivo y limitaría mucho los estudios. Por lo tanto, se trata de conseguir .una cierta equiparaci6n por bloques. Los miembros de los dos grupos se equiparan según sea su posici6n respecto de las variables que se considera probable influyan en su reacci6n ante la intervenci6n. Las variables utilizadas para equiparar podrían ser la edad, sexo, categoría socioecon6mica, nivel de estudios, superficie cultivada o numero de miembros de la familia. Es ya difícil obtener y mantener una equiparación satisfactoria respecto de una variable, lograrlo en varias variables es sumamente difícil. Un método utilizado con frecuencia para lograr la equivalencia es la aleatorizaci6n. Este método consiste en asignar los sujetos al azar a los grupos de tratamiento y de control, de manera que éstos sean equivalentes en "promedio". De este modo, no es probable que ninguno de los grupos reaccione de manera especialmente favorable o desfavorable al tratamiento. Así, en un ensayo de fertilizantes, el terreno se divide en varias parcelas y los distintos tratamientos con fertilizante se asignan aleatoriamente a los mismos. (Naturalmente, pueden disenarse experimentos mucho más complicados que este modelo aleatorio sencillo, pero éstos no son pertinentes al argumento que aquí se presenta). Es preciso comprender el carácter restrictivo de este modelo. No se trata simplemente de obtener una muestra aleatoria de sujetos; esos sujetos tienen que asignarse luego en forma aleatoria a los grupos de tratamiento y de control. En varios proyectos realizados en el pasado, en los que era posible efectuar una asignación aleatoria, no se hizo así; se asign6 a la gente basándose en un criterio de necesidad mis bien que en uno de aleatoriedad; por ejemplo, a los nilos más pobres se les puso en el grupo de tratamiento pra que reciban leche gratuita, es decir, el tratamiento. La asignaci6n aleatoria es generalmente poco práctica en los proyectos de agricultura y desarrollo rural. Puede suceder que un proyecto abarque a ciertos pueblos y excluya a otros cercanos que son semejantes en algunos sentidos. Pero es muy improbable que los pueblos del proyecto hayan sido seleccionados con criterio aleatorio (aun cuando el comenzar los trabajos del proyecto en una parte de una zona completa y homogénea puede - 31 - considerarse como una aproximaci6n). El hecho de que precisamente esos pueblos hayan sido elegidos suele significar que son distintos de los excluidos por alguna raz6n, y a menudo se espera que estas mismas diferencias influyan en su reacci6n ante la intervenci6n del proyecto. Si el proyecto tiene por objeto beneficiar a los agricultores más pobres, es evidente que no sirve tener un grupo de control integrado por agricultores de mayores medios.econ6micos. Los grupos no aleatorios ofrecen informaci6n valiosa (véase la secci6n 3.3), pero, al deducir conclusiones, es preciso prestar atención al hecho de que no son equivalentes. Cuando los objetos son seres vivientes, hay un cambio natural con el transcurso del tiempo, un progreso hacia la madurez (que se denomina efecto de maduraci6n) que complica la evaluaci6n, aun cuando los grupos sean equivalentes al principio. Además, el medio ambiente influye también en las variables seleccionadas para medir los efectos del proyecto. Algunos de los cambios inducidos por el medio ambiente pueden ser mayores que los previstos como resultado del proyecto. En la agricultura y el desarrollo rural son comunes las fluctuaciones dentro del año y las grandes variaciones de un alío a otro, debido principalmente a la variabilidad de las condiciones meteorológicas. El "mensaje" o "senal" del proyecto quedará oculto muchas veces por el conjunto de efectos que producen estos otros factores. Tampoco es probable que los dos grupos experimenten exactamente la misma sucesi6n de cambios ambientales a lo largo del tiempo y del espacio. Puede ocurrir que haya un nuevo mercado en una zona o un nuevo camino en otra. Resulta en ese caso difícil distinguir las diferencias entre los grupos de tratamiento y de control entre las que se deben al tratamiento y las que han sido originadas por causas ex6genas. En el modelo experimental los grupos de tratamiento y de control pueden aislarse bien entre sí y frente al mundo exterior. Dicho aislamiento no resulta posible en la mayor parte de las circunstancias que rodean a los proyectos. Uh aspecto de ésto es la imitaci6n. Si algunos agricultores adoptan nuevas prácticas, puede haber otros que las copien. Esta imitaci6n es muchas veces parte del diseio del proyecto. Aún en el caso en que no lo sea, no es conveniente, por razones iticas, impedirlo. En todos los casos, su existencia es importante al realizar la evaluaci6n definitiva del impacto ejercido por el proyecto. Las reacciones humanas pueden perturbar también de otras maneras las condiciones experimentales. En los experimentos médicos se da al grupo de control un placebo--una píldora o tratamiento que se espera no produzca cambio fisiol6gico alguno--para tener en cuenta la posibilidad de que los resultados sean ocasionados por los efectos psicol6gicos de recibir un tratamiento y no por los efectos de la innovacion que se esti ensayando. Desde luego sería ridículo considerar la posibilidad de utilizar un placebo en el medio agrícola; sería difícil organizar visitas de los agentes de extensi6n que no comunicaran informaci6n útil. Además, ello constituiría un desperdicio de recursos y sería contraproducente. - 32 - Iha situaci6n semejante, que afecta al grupo de tratamiento, se denomina el efecto de Hawthorne, denominado así según la fábrica en la que los experimentos demostraron que la productividad era estimulada por el hecho de que el grupo constituía un foco de interés más bien que por verdaderas modificaciones de las condiciones de trabajo. Cabe concebir que un grupo de agricultores, a los que anteriormente se había descuidado, reaccione favorablemente a cualquier proyecto en que participen, independientemente de cuál sea su contenido. Así surge otro factor más que viene a confundir las cosas, factor corriente en los experimentos médicos y en cuya prevenci6n se utiliza el procedimiento de pruebas doblemente an6nimas. Esto ocurre cuando los que administran el tratamiento prestan mayor atenci6n a los que lo reciben que a los demás. En consecuencia, es posible que un agente de extensi6n ofrezca consejos más detallados y cuidadosos a los agricultores que reciben el crédito que a los que no lo reciben. No sería conveniente desalentar el estímulo o entusiasmo en la puesta en marcha de un proyecto, pero el peligro es que una parte del efecto que se registre se deba a este estímulo general y no a otros insumos específicos del proyecto. Al efectuar la evaluaci6n, es preciso considerar lo que sucede cuando se retira o reduce la presión intensa ejercida por el proyecto. Por supuesto, podría considerarse que estos efectos son beneficios del proyecto, que emanan de la organizaci6n del proyecto y no de su contenido, pero la evaluaci6n tendrá normalmente como objetivo determinar la eficacia de los insumos específicos aportados. En los experimentos científicos suele haber pocas p&rdidas de cualquiera de los dos grupos. En los estudios humanos puede suceder que los sujetos no estén dispuestos a continuar participando, al cansarse con el tiempo de las entrevistas, o puede ocurrir que se trasladen a otro lugar. La composición de los grupos de agricultores que participaron en algunos planes de PILER (en México) ha variado continuamente, aun cuando las variaciones han quedado ocultas en cifras relativamente estables de la poblaci6n total. Las pérdidas de este tipo son especialmente perjudiciales si ocurren a un ritmo distinto en los dos grupos. Puesto que la repercusi6n definitiva del proyecto no puede determinarse hasta que haya transcurrido bastante tiempo después de la terminaci6n del proyecto, es sumamente difícil mantener grupos satisfactorios, aun cuando sea posible establecerlos al principio. Además, cuanto mis largo sea el período de ejecuci6n, mayor será la posibilidad de que ocurran cambios importantes de maduraci6n y del medio ambiente que afecten a los grupos de maneras distintas. En síntesis, en los proyectos de desarrollo no suele ser posible obtener grupos equivalentes o lograr una asignación aleatoria. Las exigencias de la equiparación son rigurosas, y, aun cuando se obtenga equivalencia al principio del proyecto, durante el curso del mismo se - 33 - producirán casi con toda seguridad pérdidas distintas de sujetos en ambos grupos, que ocasionarán una falta de equivalencia. Por consiguiente, se necesitan métodos distintos del modelo científico experimental. Por esa raz6n, conviene considerar cuasi-experimentos, elaborados para circunstancias en las que se trate de encontrar las relaciones de causa a efecto en situaciones en las que los grupos de control y de tratamiento no son equivalentes, o en los que no hay grupo de control. 3.3 Cuasi-experimentaci6n: El diseño de grupos no equivalentes Se han definido los cuasi-experimentos como " experimentos que tienen tratamientos, mediciones de resultados y unidades experimentales, pero que no utilizan la asignaci6n aleatoria ... las comparaciones dependen de grupos no equivalentes que difieren entre sí de varias maneras distintas además de la presencia de un tratamiento cuyos efectos se estén ensayando. La tarea ... (pues) ... es básicamente la de separar los efectos de un tratamiento de los que se deban a la falta de comparabilidad inicial entre las unidades promedio de cada grupo de tratamiento". Hay dos disefios básicos para los cuasi-experimentos. El primero de ellos es el "diseio de grupos no equivalentes". Este diseñío mantiene la idea de un grupo de control y otro de tratamiento (o de varios grupos de tratamiento), ilustrado en la sección anterior, pero sin asignaci6n aleatoria. La equiparaci6n o comparaci6n por bloques se efectúa en la etapa de análisis, después de que se han establecido los grupos teniendo en cuenta la situaci6n en el terreno. Aun cuando se aplaza la equiparaci6n, es necesario tener en cuenta en la etapa de planeamiento la intenci6n de hacerla más adelante. La elecci6n de los datos que hayan de recopilarse determinará hasta qué punto se puedan utilizar las técnicas analíticas de que se disponga en las etapas posteriores de evaluaci6n. En consecuencia, es preciso determinar antes de comenzar la recopilación de datos las variables que pueden utilizarse luego en análisis de covarianza o para normalizaci5n. Naturalmente, los factores que complican la situaci6n, antes examinados, que pueden hacer más inciertas las deducciones causales aun cuando la aleatoriedad o la equiparación detallada anticipada sean posibles, continuarán influyendo en el disefño de grupos no equivalentes. Resulta difícil juzgar por anticipado si serán más o menos perjudiciales. Los otros problemas del diseño de grupos no equivalentes tienen que ver con establecer si las diferencias entre los cambios experimentados por los dos grupos cuasi-experimentales se deben o no a causas distintas del tratamiento. Probablemente los factores de variaci6n del medio ambiente y de maduraci6n se verán agravados en el caso de los grupos no equivalentes. El hecho de que no sean equivalentes puede dar por resultado que se vean expuestos a una evolución socioeconomico distinta. Si hay una serie de observaciones, en vez de encuestas de "antes" y "después", puede ser posible identificar (y, por consiguiente, tener en cuenta) los hechos que puedan perturbar el medio ambiente. Es muy probable que ocurra una - 34 - maduración distinta en los dos grupos si el grupo de tratamiento se auto-selecciona, puesto que probablemente estará integrado por las personas más dinámicas o capaces, o por los que estén en condiciones de beneficiarse más del tratamiento. Una versión de este problema es la tendencia a que los ricos se hagan más ricos, y los.pobres más pobres; o "nada tiene tanto 9xito como el propio éxito". En esta situaci6n, aun en el caso de que un grupo de tratamiento--en este caso, los pobres--continúe siendo pobre (o, en realidad, empeore su situaci6n) en relaci6n con el grupo de control más rico, puede aducirse que su situaci6n se habría deteriorado aún más de no haber sido ior el tratamiento. Es posible que dicho argumento sea cierto, pero es dificil de demostrar. Se trata de un argumento basado en el "hecho contrario" y necesita datos básicos s6lidos para establecer con un grado razonable de confianza cuál habría sido la tendencia en el caso de que no hubiera habido tratamiento. Este es un ejemplo en el que hay que utilizar simultáneamente información proveniente de series cronológicas. Cuando los grupos son equivalentes, los mismos indicadores y técnicas de medici6n funcionarán en forma semejante con ambos. Mientras los grupos no equivalentes no sean excesivamente diversos, continuará existiendo esta situación. No obstante, si hay determinadas diferencias entre los grupos respecto de algunas variables, surgirán nuevos problemas. Son especialmente arriesgados los indicadores que se miden mediante escalas, debido a los efectos de "valor mínimo" o "valor máximo" que se producen debido a que los extremos de la escala funcionan de manera distinta que el resto de la escala. Por ejemplo, si al principio un grupo está cerca del extremo superior de una escala (que no puede pasar del 100%), su tasa de crecimiento utilizando este indicador será muy distinta que la de un grupo que comience en un valor inferior en la escala. Si el cambio que probablemente producirá el tratamiento no es importante en relaci6n con los cambios que se producen como consecuencia de la influencia de factores sociales y económicos (y así es como sucede con muchos proyectos), la magnitud de la muestra necesaria para medir los efectos será grande. (En la Parte 7 se examina con mayor detalle la cuestión de los tamaios de las muestras). Es posible que el grupo de control tenga que ser más o menos del mismo tamafio. Se tropezará muchas veces con resistencia para utilizar una gran proporción de los recursos de que se dispone para recopilar datos sobre personas o empresas que no son de interés directo para el proyecto. Hay una tendencia natural a concentrar la atenci6n en el grupo al que se aplica el tratamiento. Esto puede compensarse si el grupo de control está constituido por beneficiarios de una fase ulterior del proyecto; de este modo, los datos de "control" pasarán a constituir en una etapa posterior datos "básicos". Sin embargo, en los diseños cuasi-experimentales puede utilizarse como control un grupo muestral ya existente. Podría también haber otras - 35 - encuestas muestrales en marcha en las cercanías del proyecto. Si el proyecto tiene una zona extensa de aplicaci6n, los datos de una encuesta regional o nacional pueden utilizarse con fines de control. Si se hallan en marcha investigaciones que s6lo son parcialmente pertinentes, quizá sea posible ampliarlas para obtener nueva informaci6n útil. Ese procedimiento será sin duda mas econ6mico que la creaci6n, mantenimiento y observaci6n de un grupo especial de control, y liberará recursos para el estudio intensivo del grupo de tratamiento (el proyecto) o para estudios conexos. Otra ventaja de utilizar de esta manera un grupo muestral ya existente es que los datos relativos a este grupo quizá se remonten al pasado. Además, ya se habrá prestado atencion a las cuestiones relativas a indicadores y métodos de recopilar los datos y, por lo tanto, puede aprovecharse esta experiencia. No todas las encuestas existentes ofrecen un grupo útil de control, pero los mayores medios de'investigaci6n de que actualmente se dispone en muchos países en desarrollo y el creciente número y amplitud de las encuestas sobre hogares rurales parecen indicar la conveniencia de investigar esta posibilidad. Cuando se establecen grupos especiales de tratamiento y de control, los datos se registrarán y avalizarán normalmente en relaci6n con cada persona perteneciente a cada uno de los grupos. Pero posiblemente los grupos muestrales no mantengan los mismos miembros durante el período del proyecto; en este caso, reviste especial importancia que el análisis incluya un estudio minucioso de la variación registrada dentro del grupo, así como de las diferencias entre los grupos. Cuando se utiliza una serie de grupos de composición variable, la variaci6n dentro de los grupos es uno de los pocos instrumentos de que se dispone para desentrañar los factores causales. 3.4 Cuasi-experimentación: El diseño de series cronol6gicas interrumpidas El segundo tipo de cuasi-experimento es el diseñío de series cronol6gicas interrumpidas. En su modalidad más sencilla, ésto supone simplemente la comparación de un grupo de tratamiento antes y después del tratamiento. Si el tratamiento se extiende durante un cierto período, como sucede en el caso de la mayoría de los proyectos agrícolas y de desarrollo rural, la comparaci6n entre "antes" y "después" se verá reforzada si se obtiene tambián la situación existente a mitad del período. Sin embargo, como el nombre "serie cronológica interrumpida" indica, este diseño funciona mejor cuando los datos se obtienen en forma de una serie cronol6gica normal y el tratamiento es una "sacudida" repentina de duraci6n relativamente breve que se produce en algún punto de la serie; por ejemplo, la modificaci6n del precio de un producto agrícola que entra en vigor en una fecha especíifica. Esta última condición representa un inconveniente del modelo en muchos proyectos en que los insumos que van a producir los - 36 - cambios son distribuidos, necesariamente, a lo largo de un período prolongado. El diseño más sencillo es el más práctico para la mayoría de los proyectos agrícolas y de desarrollo rural. Si se adopta, es necesario incorporar todos los medios posibles que refuercen lo que es un diseio deficiente. Más adelante se examina la forma en que ésto puede hacerse. Será más fácil identificar las concatenaciones causales si se puede combinar el diseño de series cronol6gicas interrumpidas con el diseño de grupos no equivalentes antes expuesto. Si no es posible identificar ningún grupo de control, o solamente es posible un control rudimentario mediante otras fuentes de datos, el comienzo de la serie cronol6gica tiene que servir de control con el que se puedan comparar los acontecimientos que ocurran en el grupo de tratamiento. En estas circunstancias, es esencial realizar una encuesta anterior a la ejecución del proyecto, puesto que esta es la única manera de asegurarse de que la medición de la situación existente antes del proyecto no está "contaminada" por ningún efecto del proyecto. Si el proyecto supone construcción en gran escala, cuyos beneficios no se harán sentir hasta que se terminen las obras de ingeniería, el punto base de la serie cronológica puede establecerse durante esta fase del proyecto. Sin embargo, la construcción y el empleo que ésta origine producirán casi sin duda algunos efectos considerables. Por ejemplo, en una serie de proyectos, el empleo proporcionado por la perforación de pozos fue tan beneficioso para los agricultores que estos prefirieron continuar empléandose en ampliaciones del programa de construcción, en vez de volver a sus tierras y utilizar el agua de que ahora disponían para aumentar la producción, como era la intención original. Toda inferencia acerca de la causa en este marco no experimental dependerá de la disponibilidad de información minuciosa sobre el progreso del proyecto obtenida mediante el sistema de seguimiento. Esta combinacion del método no experimental y el sistema de seguimiento sienta las bases para el método del modus operandi mencionado al comienzo de esta Parte. La descripción de la sucesi6n de hechos ocurridos durante el proyecto contribuirá a explicar los efectos y a llegar a una conclusión verosímil sobre la causa. La serie cronológica interrumpida se utiliza para detectar cambios en los niveles y en las tasas de variación. Probablemente tendrá que transcurrir algún tiempo hasta que estos cambios se difundan a través del grupo de tratamiento. Aun cuando el proyecto ofrezca una intervencion repentina, por ejemplo, al comenzar a fluir el agua por los canales de riego, los beneficios definitivos solamente se percibirán después de que haya transcurrido cierto tiempo. En consecuencia, el período de evaluación retrospectiva--la encuesta después del proyecto--deberá ser suficientemente largo para medir el cambio y también la persistencia del mismo. Cuanto más - 37 - prolongada sea la serie cronol6gica, mayores probabilidades habrá de tener en cuenta en el análisis las vriaciones estacionales y cíclicas. Es necesario asegurarse de que durante todo el periodo de referencia se mantienen los m5todos aplicados en las encuestas y la calidad de la recopilaci6n de datos. Si varian estos factores, el análisis puede dar resultados falsos. 3.5 Investigaci6n de relaciones mediante estudios de casos En lo expuesto hasta aquí, se ha dado por sentado que el examen del cambio y de la causalidad del cambio se lleva a cabo por medio de encuestas de los grupos seleccionados, de tal manera que puedan hacerse inferencias sobre la poblaci6n en general. Es posible realizar un examen minucioso de "representantes" de los grupos de tratamiento y de control si se mantiene muy reducido el número de casos. Así puede lograrse la equivalencia necesaria, y la profundidad de estudio que un observador competente puede lograr a este micronivel le permite identificar los factores determinantes del cambio diferencial, por lo menos dentro de los límites razonables-o verosímiles de confianza antes indicados. En las Partes 5 a 7 se expondrán con mayor detalle las circunstancias en las que conviene utilizar encuestas muestrales o estudios de casos. No obstante, conviene subrayar aquí que los estudios de.casos pueden ser el medio más adecuado para que el evaluador investigue la causalidad. Sin duda, son más sencillos de organizar que las series longitudinales de datos, que exigen una base de referencia cronol6gicamente apropiada y una continuaci6n más allá del período de ejecuci6n. 3.6 Conclusiones prácticas En esta Parte, que ha partido del marco de un riguroso modelo experimental y que ha tenido en cuenta la dificultad de aplicarlo tal como se utiliza en las ciencias naturales, se ha tratado de progresar hacia un conjunto de objetivos prácticos para la evaluación específica de proyectos. A continuaci6n se presenta un resumen de las directrices ofrecidas: (a) Adoptar disenos basados en la utilizaci6n de grupos de control equiparados inicamente cuando puedan satisfacerse las condiciones rigurosas para su selecci6n. (b) Buscar y aprovechar datos de control menos rigurosos provenientes de otras encuestas, especialmente de las de ámbito nacional o regional. - 38 - (c) Encargar estudios minuciosos de casos, a fin de analizar a fondo fen6menos específicos que se supone afectan el funcionamiento del proyecto, utilizar los resultados obtenidos mediante estos estudios de casos para ayudar a formular conclusiones o relaciones "verosímiles". (d) Dépender del análisis de series cronol6gicas Gnicamente si se encarga a tiempo una encuesta para obtener datos básicos, previindosé la realizaci6n de encuestas ulteriores de verificaci6n. (e) Seleccionar indicadores que puedan medirse con exactitud mediante los métodos disponibles de recopilaci6n de datos. (f) Mantener la posibilidad de comparar los datos a lo largo del tiempo, utilizando a tal fin la misma metodología en las encuestas, la misma calidad en la recopilaci6n de datos y los mismos análisis. (g) Considerar como un todo el sistema de seguimiento y evaluaci6n, utilizando la interacci6n entre las distintas reflexiones que ofrece sobre el progreso del proyecto para asegurarse de que las conclusiones a que se llegue mediante el análisis estadístico rutinario son confirmadas por evidencia observada. - 39 - PARTE 4 LA SELECCION DE VARIABLES E INDICADORES 4.1 Los criterios para la selección En las primeras partes del Manual se han expuesto los preceptos que deben seguirse en el diseio de sistemas de seguimiento y evaluaci6n para los proyectos agricolas y de desarrollo rural. En esta Parte se expone la cuestión fundamental de las variables o indicadores que han de medirse con estos sistemas. En vista de la gran diversidad de proyectos y de los niveles distintos de recursos de que se dispone para la recopilaci6n de datos,, es evidentemente imposible presentar una lista definitiva de variables que hayan de medirse; lo que es apropiado en un proyecto puede no serlo en otro, y lo que es factible de medir en un medio puede ser imposible en otro distinto. Por otra parte, no se cumplirán los fines del Manual enumerando simplemente todo lo que se haya propuesto en diversas directrices o utilizado en varios proyectos con mayor o menor 5xito. El examen de la experiencia acumulada hasta ahora permite recomendar algunas variables por considerarse que tienen bastantes probabilidades de ser útil en la mayoría de los casos, o descartar otras que han resultado dificiles de recolectar o de relacionar con los objetivos de los proyectos. Eso es precisamente lo que se trata de hacer aquí. Conviene considerar, ante todo, las variables recomendadas. Las que aquí se critican pueden incluirse, pero sabiendo de antemano que exigirán una determinada pericia y recursos para utilizarlas. A veces se establece una distinci6n entre variable e indicador, reservándose esta última denominación para los coeficientes derivados de variables, o para las transformaciones del valor de una variable en un índice o en una escala. Pero la distinci6n no es precisa; puede escogerse una variable como indicador si, de alguna manera, su valor representa más que su significado intrínseco en su contexto limitado. Por ejemplo, la mortalidad infantil es una variable que se ha utilizado en muchos casos para representar mucho más que las defunciones de menores de un año, sirviendo como indicador de la posici6n relativa que ocupa la sociedad en lo que respecta al desarrollo de la salud pública. Por lo tanto, para evitar confusión, se utilizará el vocablo "indicador" para significar también "variable", a no ser que para presentar un argumento sea necesario establecer una distinción entre ambos. Las preguntas de carácter general que pueden hacerse al seleccionar indicadores son: (a) ¿Puede definirse sin ambigüedad en las condiciones predominantes? - 40 - (b) ¿Puede medirse con exactitud en las condiciones predominantes y con un costo aceptable? (c) Cuando se mide, ¿indica "el estado de una condición? de una manera específica y precisa? (d) ¿Es una medida no sesgada del valor que interesa? (e) Cuando se considera como un conjunto de indicadores que han de medirse, ¿contribuye especialmente a explicar una parte de la variación ocurrida en la situaci6n de la que es reflejo? Antes de considerar los indicadores que son apropiados para medir el progreso del proyecto hacia cada objetivo por separado, conviene hacer algunos comentarios sobre estas preguntas para preparar el terreno. (a) Definici6n sin ambigiedad Muchos indicadores econ6micos y sociales que se han definido con precisi6n en relaci6n con una sociedad industrial y orientada hacia el dinero no son aplicables a pequeñíos agricultores que viven a un nivel de semisubsistencia en los países en desarrollo. Ejemplo de ello son el desempleo o subempleo y los ingresos. En un medio en que predominan los asalariados, es posible definir con claridad el desempleo y el subempleo, aun cuando también en estos casos hay ciertas dificultades. La definici6n de estos términos en relaci6n con los pequeios agricultores ha sido dificil y todavía se debate en los foros internacionales y en las publicaciones sobre materias sociales. ¿Que constituye una jornada completa de trabajo en el caso de una familia que tabaja en una explotaci6n agricola de una hectárea? ¿Qué significa "que busca activamente empleo" en una situaci6n en la que no hay ninguna posibilidad de encontrarlo? Los ingresos de una familia agrícola que vive a un nivel de semisubsistencia son susceptibles de una diversidad casi infinita de definiciones. ¿Se deben valorar los alimentos producidos para el consumo, domistico, y en caso afirmativo, a qué precio? Las variaciones de tamafo y composici6n de una explotaci6n ganadera hacen dificil determinar lo que son ingresos y lo que es capital. ¿Qué se va a hacer con el intercambio de alimentos entre vecinos? ¿Son brutos o netos los ingresos agrícolas después de deducir el costo de los insumos? En un estudio reciente se llega a la siguiente conclusión: "Los economistas que determinan el v4lor de la mano de obra familiar (si ha de cargarse como costo de producción) y del consumo familiar tienen mucho más c9ntrol sobre el nivel declarado de ingresos que los propios agricultores". / I/ Information for Decisionmaking in Rural Development: Report for USAID (Washington, D.C.: Development Alternatives Ltd., 1978). - 41 - (b) Medici6n exacta Aun cuando sea posible definirlos, muchos indicadores son difíciles de medir cuando se trata de campesinos analfabetos que no están acostumbrados a utilizar unidades uniformes de medida. Las publicaciones demográficas indican lo difícil que es obtener con exactitud datos tan fundamentales como la edad o la mortalidad. El rendimiento de los cultivos puede medirse con exactitud mediante la siega parcial de la cosecha (véase la Secci6n 4.4), pero este método requiere tiempo y pericia y, tal como se suele aplicar, puede producir únicamente estimaciones globales relativas a toda la localidad y no estimaciones para las diversas explotaciones. La medici6n de los ingresos, cualquiera que sea la definici6n que se d5 a este concepto, es sumamente difícil y no solamente en el caso de los pequenos agricultores. En el informe antes mencionado se llega a la conclusión, después de examinar numerosos intentos de medir los ingresos, de que "si la medici6n de los ingresos tiene por objeto obtener estadísticos (valores medios) en un determinado momento, volver a medir los ingresos en un segundo momento y atribuir las diferencias a la intervenci6n del proyecto, la situación actual de adelanto de las encuestas estadísticas no producirá mediciones con suficiente exactitud para corroborar dichas conclusiones". Dado que los ingresos constituyen una necesidad primordial para la mayoría de los usuarios de los datos de evaluaci6n, ésta es una conclusi6n importante que más adelante se considerará con mayor detalle. (c) Especificidad y precisión La especificidad y precisi6n tienden a disminuir al avanzar a lo largo de la sucesi6n de insumos, productos, efectos y repercusiones. Es posible que la entrega de los insumos en una zona controlada del proyecto sea específica, es decir, una variaci6n en la tasa de entrega indica una variaci6n real en la ejecución del proyecto. El producto logrado como resultado será menos específico, ya que el rendimiento puede oscilar estacionalmente según las variacines meteorol6gicas en grado mayor que la tendencia subyacente debido a la utilizaci6n de los insumos. Los ingresos, como un índice del efecto causado por el proyecto, pueden verse influidos en grado aún mayor por influencias ex6genas. Desde el punto de vista del seguimiento de la ejecución, la precisi6n puede ser un criterio práctico para elegir los indicadores; para la evaluación de los resultados la precisi6n puede ser imposible de lograr. Para la evaluaci6n debe contarse por lo menos con una serie razonable de valores del indicador a lo largo del tiempo. Utilizado como serie cronol6gica, la tendencia del indicador puede indicar la tendencia de la condición que tiene por objeto representar, teniendo debidamente en - 42 - cuenta el efecto perturbador de las influencias estacionales y aleatorias. (d) Sesgo Evidentemente conviene que, siempre que se mida un indicador, este sea reflejo del verdadero valor de la condición que representa. Sin embargo, al medir el cambio que ocurre a lo largo del tiempo, puede que no importe la presencia de un sesgo en el nivel absoluto en cada momento cronol6gico, siempre que permanezcan constantes el sentido y la magnitud de dicho sesgo, ya sea en términos absolutos o relativos, para distintos niveles del indicador. Así, por ejemplo, el volumen de una cosecha comprada por una junta de comercializaci6n será normalmente una estimación sesgada de la cosecha total vendida (a menos que exista un monopolio), pero los cambios del volumen adquirido por la junta pueden ser un buen indicador del cambio registrado en el volumen total vendido, siempre que permanezca constante la proporción del mercado total que corresponde a la junta de comercializaci6n. En forma análoga, la estimación de la producción de un agricultor puede ser sesgada, pero si el sesgo relativo permanece constante, la variación proporcional de esta estimación a lo largo del tiempo indicará con exactitud la verdadera variación de la producción. El problema es si dicho supuesto de constancia del sesgo absoluto o relativo está justificado. En los años de buenas cosechas, posiblemente baje el precio en el mercado abierto y los agricultores quizá vendan una mayor parte de su cosecha a la junta de comercializaci6n a un precio estable garantido. En los aios de malas cosechas, el agricultor quizás se aproveche de los elevados precios que predominan en el mercado y posiblemente las ventas a la junta de comercializaci6n disminuyan proporcionalmente mucho más que el descenso registrado en el volumen total vendido. O bien puede suceder que los agricultores declaren cada vez una proporción menor de su producción a medida que ésta se eleve para no indicar que ha mejorado su prosperidad. (e) Explicación parcial de la variación Al seleccionar los indicadores para un sistema de seguimiento y evaluación, se trata de reunir un conjunto en el que cada indicador, considerado individualmente, explique una parte de la variación global registrada en las condiciones objeto de estudio, y, en conjunto, expliquen una gran proporción de la variación total. En un sistema bien documentado y cuantificado puede determinarse la contribución de cada variable mediante técnicas estadísticas como, por ejemplo, el análisis multivariante, en que se determina paso a paso el aporte de cada una y decidiendo si cada variable debe incluirse en la ecuación explicativa según el aporte que le corresponda. *ichas posibilidades no suelen presentársele al que diseña los sistemas de seguimiento y evaluación. No obstante, mediante estudios - 43 - anteriores o incluso por intuicion es posible a veces identificar un indicador que tenga una correlaci6n tan estrecha con otro que la inclusi6n de ambos contribuirá poco más que la inclusi6n de cualquiera de los dos por sí solos. Ejemplos de pares que a veces, pero no invariablemente, tienen una gran correlaci6n son: ingresos - gastos superficie sembrada - cantidad de semilla utilizada alfabetismo - años de educaci6n escolar producci6n de cultivos comerciales - ventas de cultivos comerciales Habrá casos en que resulte interesante conocer el grado en que no se mantenga la relaci6n. Por ejemplo, la falta de correspondencia entre la cantidad de semilla utilizada y la superficie sembrada puede indicar prácticas deficientes de siembra. En ese caso, ambos indicadores son, por supuesto, necesarios. Otra razón para incluir dos indicadores estrechamente relacionados entre sí tiene que ver con las fuentes de error al medirlos. Si solamente es posible medir un indicador en forma aproximada, o con cierto grado de sesgo, quizá merezca la pena medir otro indicador conexo en la esperanza de que el conjunto de ambos reforzará las conclusiones que puedan deducirse, aun cuando los dos sean susceptibles de errores de medici6n. Así puede suceder si las fuentes del error son distintas para cada indicador. Pero si las fuentes de error son las mismas, ello probablemente originará una confianza falsa, ya que ambas pueden ser igualmente engaHosas por las mismas razones. En consecuencia, si las estimaciones de los ingresos son sesgadas debido a que los entrevistados declararon deliberadamente cifras inferiores a las reales, puede ser útil obtener datos sobre gastos si los errores existentes en estas repuestas se deben a fallos de memoria en vez de a ocultaci6n deliberada, aun cuando exista una gran correiaci6n entre los valores verdaderos de ambos. Si los dos indican 6rdenes de magnitud semejantes, puede confiarse más en los resultados. 4.2 Respuestas medidas mediante escalas e indicadores sustitutos Ie los criterios antes enumerados, el de mayor importancia práctica desde el punto de vista del diseñador es la capacidad de medir el indicador con exactitud, a un costo razonable y en la escala requerida. Si no es posible hacer esto, puede ser necesario buscar un indicador sustituto que pueda medirse con mayor facilidad y que parezca satisfacer, al menos en parte, los demás criterios. Considérese, en primer lugar, el ejemplo de indicadores de la superficie cultivada de maíz. Entre las preguntas que se pueden hacer a los agricultores figuran las siguientes, en orden ascendente de dificultad: (a) ¿Cuántas parcelas sembr6 el agricultor? - 44 - (b) ¿Cuánta semilla utilizó el agricultor? (c) ¿Cuál fue la superficie dedicada al maíz (por ejemplo, redondeado en décimos de hectárea)? Las preguntas (a) o (b) pueden servir como valoraci6n rápida para obtener un indicador de si la siembra de maíz es superior o inferior a temporadas anteriores. La pregunta (a) será especialmente útil si las parcelas están delimitadas en el catastro y son de una superficie aproximadamente igual (y conocida). Sin embargo, para otros fines puede ser necesaria una estimaci6n más precisa de la superficie, pero si los agricultores no conocen su superficie con tal precisi6n será preciso llevar a cabo una encuesta de una magnitud mucho mayor para medir físicamente la tierra utilizando una.de las técnicas aceptables. En la época de la cosecha podrían figurar las siguientes opciones: (a) ¿En cuántas parcelas se cosech6? (b) ¿Cuántos sacos se recogieron? (c) ¿Cuál fue la producci6n, redondeada en decenas de kilos? La pregunta (a) posee escaso uso práctico, incluso para una valoraci6n rápida. En el mejor de los casos indicará el número de agricultores que no cosecharon nada debido a sequía, plagas u otras razones. La elección es entre las preguntas (b) y (c). El agricultor puede responder a (b)--en sacos o en otras unidades locales--con el margen de error implícito debido a mala memoria, contenido variable de humedad, conversión de mazorcas a volúmenes de grano, etc. La distribución resultante para el grupo de agricultores estudiado no será refinada, pero a prtir de ella pueden calcularse ciertos parámetros aproximados. La pregunta (c) requerirá probablemente una encuesta que incluya el peso directo de la cosecha en el estado requerido y con procedimientos para normalizar los pesos según un contenido fijo de humedad. Sin estas precauciones, el nivel de exactitud que parecen indicar las cifras registradas es falso. Esta intervenci6n directa en gran escala, necesaria para obtener mediciones exactas, constituye la dificultad principal en las encuestas a pequeños agricultores que no llevan registros de contabilidad y que probablemente no están familiarizados con unidades internacionales de medida. Aun en el caso de que se cuente con los recursos necesarios para efectuar una encuesta con mediciones directas, el tiempo que lleva la recopilaci6n de los datos y su análisis hará que probablemente resulte - 45 - inapropiada para un seguimiento rápido con el fin de, por ejemplo, juzgar el éxito de la siembra o determinar el volumen de producci6n que probablemente será comercializado que podría requerir alguna intervenci6n del proyecto. Para el seguimiento, puede ser necesario seguir el método más burdo de medir las respuestas en escalas o grados, aun cuando se lleve a cabo también una encuesta más compleja con mediciones objetivas. Ciertos indicadores sociales ofrecen un ejemplo distinto. Consid&rense los indicadores del estado nutricional como medición sustitutiva de la calidad de vida. Como se examinará más adelante, pueden utilizarse mediciones sencillas de la edad, la altura y el peso, especialmente en el caso. de los niños, para calcular indicadores. Además de mostrar el estado nutricional del individuo, estos indicadores, en circunstancias apropiadas, pueden utilizarse como sustitutos para estimar el bienestar general. Aquí se trata de determinar la posibilidad de establecer esos vínculos (véase la Parte 3). Si puede demostrarse que los índices antropométricos de los ni?os han mejorado en relación con una norma establecida, ¿es posible deducir además que también ha mejorado su bienestar general? Estas preguntas son difíciles de contestar, pero el grado en que dichos indicadores puedan utilizarse, no solamente para reflejar una situaci6n definida en términos estrictos, sino también para actuar como sustitutos de otros que miden una situacion más amplia, merece considerarse en la etapa de diselo de los sistemas de recopilaci6n de datos. En resumen, pues, se recomienda que se responda a las preguntas siguientes antes de lanzarse a mediciones complejas mediante encuestas en gran escala: (a) Una medida en forma aproximada mediante escalas o grados, ¿proporcionará una distribuci6n adecuada para satisfacer la mayor parte de los objetivos analíticos? (b) ¿Puede utilizarse un indicador sustitutivo, obtenido mediante mediciones sencillas, en lugar del indicador directo con una confianza razonable de que la variacion que registre uno es reflejo de una variaci6n del otro? 4.3 Indicadores para el seguimiento Aun cuando no se identifican indicadores precisos, los grupos que se presentan a continuaci6n ofrecen un conjunto recomendado de indicadores para los sistemas de seguimiento de proyectos. Se ha mencionado en la Parte 1 que el seguimiento determina si se están entregando los insumos del proyecto, si éstos se están utilizando de la manera prevista y si producen el efecto inicial deseado. - 46 - En el primer grupo de indicadores para el seguimiento figuran los siguientes: (a) Cifras relativas a desembolsos financieros. (b) Progreso de la construcción física en relación con un camino crítico determinado de antemano. (c) Tasas de utilización del personal y del equipo. La fuente de estos indicadores debe ser los registros administrativos que se lleven en el proyecto. Aquí no hay cuestiones difíciles de carácter conceptual o relativas a la recopilac,i6n de datos. Lo que hace falta son registros bien llevados y el rápido cotejo, resumen, análisis y comunicación de los resultados a la gerencia del proyecto. Un segundo grupo de indicadores para el seguimiento comprende los siguientes: (a) Parámetros técnicos que requieren registro con instrumentos, por ejemplo, corrientes de agua, evaporación, humedad del suelo. (b) Parámetros del medio ambiente, por ejemplo, datos meteorol6gicos. (c) Parámetros econ6micos, por ejemplo, precios de los productos agrícolas y pecuarios. Estos suelen estar bien identificados y definidos y los directores de proyecto los suelen considerar útiles. El registro peri6dico de los precios de los productos básicos pertinentes, según procedimientos convenidos de antemano, debe formar parte de la mayoría de los sistemas de seguimiento de proyectos. Los ciclos estacionales y las tendencias anuales de los precios locales afectan a la ejecución del proyecto. El caso relativamente frecuente en que no se presta atenci6n a los precios como indicador ofrece un ejemplo de descuidar lo sencillo y favorecer lo complejo. Pasando a la primera interacci6n entre el proyecto y los beneficiarios, hay necesidad de indicadores del abastecimiento de insumos. Ejemplos de ésto son: (a) Concesi6n de crédito. (b) Insumos agrícolas directos. (c) Servicios de extensi6n agrícola. - 47 - (d) Servicios de educación, higiene o sociales. Los datos relativos a los incisos (a) y (b) en lo que respecta al suministro de crédito e insumos deben también obtenerse de los registros de los proyectos. Los indicadores indicarán el número de beneficiarios que los recibieron y los porcentajes respecto a las metas predeterminadas, la distribución de estas cifras por diversas clases cuantitativas y los parámetros de esta distribuci6n (media, desviaci6n típica, cuartiles, etc.). A un nivel, los indicadores de los servicios de extensión son sencillos de elaborar usando registros administrativos como fuente de los datos (véase la Secci6n 2.4). Por ejemplo, el número de beneficiarios que recibieron visitas o capacitaci6n; la frecuencia de las visitas o período de adiestramiento recibido por los beneficiarios; el número y proporciones de beneficiarios contactados por primera vez y de beneficiarios contactados en forma repetida. Mayor dificultad presenta, desde el punto de vista de la definici6n y de la medici6n, la derivaci6n de indicadores respecto de la calidad del servicio de extensi6n prestado. Un valor sustitutivo de ésto es la tasa de aceptación del consejo o mensaje comunicado. Esto se examina más adelante bajo el título de tasas de aceptación. La prestación de servicios de educaci6n y salud pública puede medirse no solamente por medio del número de edificios que ofrecen esos servicios y de su personal (véase más arriba el primer grupo), sino también por el número de personas que asistan a dichos edificios para recibir adiestramiento, exámenes, 'tratamiento, etc. En estos casos, el suministro del insumo se confunde con la tasa de utilización o aceptaci6n, las que se discuten en detalle más adelante. No obstante, en la medida en que la asistencia al edificio para recibir el servicio no resulte necesariamente en la aceptación del tratamiento, por ejemplo, las prácticas de planificación de la familia, los datos sobre las visitas recibidas o el suministro de insumo pueden utilizarse provechosamente como denominador en los cálculos de la tasa de utilización o aceptaci6n, en vez de la poblaci6n en estado de riesgo. Hasta este punto, el sistema de seguimiento no requiere mucho en lo que se refiere a encuestas de los beneficiarios, sino más bien mantener y utilizar adecuadamente los registros disponibles. En cambio, el siguiente grupo de indicadores tiene que ver con la observaci6n de los beneficiarios en lo que respecta a la utilizaci6n de los insumos recibidos y, en el caso del crédito, en cuanto al reembolso del mismo. Estos indicadores son: (a) Tasas de utilizaci6n de los insumos. (b) Tasas de aceptaci6n. (c)Tasas de reembolso del crédito. - 48 - La utilizaci6n de insumos físicos por parte de los beneficiarios requerirá realizar una encuesta para determinar las prácticas adoptadas, por ejemplo, tasas de siembra, método de plantar los cultivos a los que se aplic6 el insumo, etc. Conviene que las preguntas sobre utilizaci6n sean sencillas y no confundir dicha encuesta con un estudio de administracin rural. Se pueden hacer preguntas sencillas a una muestra del suficiente tamaio para obtener estimaciones válidas sobre la población total beneficiada. Las tasas de aceptaci6n se utilizan menos de lo debido como instrumento de seguimiento. Son útiles como un indicador sustituto del éxito con el que se comunica un mensaje mediante capacitaci6n o visitas de extensi6n, y son tambi5n indicadores pertinentes de la aceptaci6n de los servicios médicos que se ofrecen en las clínicas. En el ejemplo más sencillo, es posible que una persona visite una clínica y se marche con las medicinas que le hayan recetado, pero eso no quiere decir que se tome las medicinas siguiendo las instrucciones o que mantendrá el tratamietno después de que la persona haya evaluado su experiencia inicial. Por lo tanto, es necesario entrevistar luego de un tiempo a una muestra de los que recibieron el consejo médico o la receta. Esta tarea corresponde a la unidad de seguimiento. Pueden concebirse tasas de aceptaci6n de diversos grados de complejidad. El. tipo más sencillo requiere datos que se refieran únicamente al año en curso. Por lo tanto, si: T es la meta, expresada en número de personas, a ser alcanzada, A es el número de personas que de hecho fueron alcanzadas, D es el número de personas que aceptaron la práctica recomendada, pueden calcularse los siguientes coeficientes: Indice de actuaci6n = 100 A ......... (1) T Indice de penetración = 100 D ......... (2) A Indice de logro = 100 D ......... (3) T Los factores 100 se han colocado para expresar los indices en porcentajes, y se observará que (3) = (2)(1) 100 Obs5rvese que para calcular esta gama de indicadores, y si la definición de aceptaci6n no es ambigua, no hacen falta mediciones o entrevistas largas, sino simplemente un conjunto de observaciones relativas a la recepci6n y aceptaci6n de la recomendaci6n dada. - 49 - No obstante, hay problemas para definir la aceptaci6n. Si la recomendaci6n abarca un conjunto de operaciones--sembrar en una cierta época y con un cierto espaciamento--¿se puede considerar al beneficiario como aceptador si sigue algunas, pero no todas, las prácticas recomendadas? ¿Es posible considerar el consejo como un conjunto de recomendaciones y obtener cifras relativas a cada uno de los elementos del conjunto? Si la recomendaci6n consiste en utilizar X kilos de fertilizante por hectárea, ¿se puede considerar al agricultor como aceptador si utiliza X/2 kilos por hectárea? La respuesta puede depender de la finalidad que tenga el índice. El utilizar X/2 kilos puede representar la aceptaci6n del mensaje y, por consiguiente, indicar una labor eficaz por parte del agente de extensión. Si ésto es lo que se ha de medir, se clasifica al agricultor como aceptador. Por el contrario, si lo que se está tratando de determinar es el aumento de la producción, y si X/2 kilos por hectárea no es suficiente para afectar a la producción, no debe considerarse al agricultor como aceptador de la práctica. Si se llevan registros adecuados a lo largo del tiempo, será posible identificar a los agricultores que aceptan el mensaje en forma repetida y a los "desertores", y relacionar estas cifras con el hecho de si el mensaje se ha repetido cada añío o si se ha insistido en alguna otra práctica. Los coeficientes conexos pueden calcularse luego y trazarse sobre gráficos. Aunque un sistema de seguimiento se limitara a proporcionar nada más que algunos de estos indices, serviría para comunicar a la gerencia del proyecto bastante información sobre la reacción de las personas a las que se trata de beneficiar. La necesidad de efectuar dichas mediciones, y la utilidad de istas, pueden ilustrarse muy bien en un caso reciente en el que durante varios afios se habían efectuado estudios detallados de las prácticas agrícolas, se había comunicado poca información a la gerencia del proyecto. Tardíamente se llevó a cabo una encuesta rápida sobre las tasas de aceptación, la cual puso de manifiesto que el 70 por ciento de la muestra original de beneficiarios ya no participaba en el programa. Otro ejemplo de descuidar lo sencillo por amor a lo complejo. Para el seguimiento de las tasas de reembolso del crédito pueden utilizarse coeficientes semejantes. Yn un trabajo recientemente publicado se examina con detalle este problema. / Un indicador común es el índice de cobro correspondiente a un período contable. Este depende del período de / J.D. von Pishke, "Quantification of Loan Repayment Performance", Course Note 42, Instituto de Desarrollo Económico del Banco Mundial, (Washington, D.C.: julio de 1979). - 50 - que se trate y adopta la forma siguiente: 100 x Volumen de cobros o reembolsos correspondientes al período Volumen de préstamos o plazos vencidos en el período Otro índice de uso común es el porcentaje de la cartera que está atrasado, el cual se obtiene como sigue: 100 x Total de atrasos al final del período Total de la cartera de préstamos al final del período Este índice puede ser engafñoso, ya que una proporci6n variable de la cartera de préstamos puede estar constituida por nuevos créditos concedidos por los que todavía no deben efectuarse reembolsos. Por,lo tanto, se sugiere un índice ligeramente más complicado. Este es el indice de reembolso, Rt, derivado como sigue: EAt Rt = 100 (1 - A ) EA max en donde EAt es el total acumulativo de los saldos morosos (deducidos los saldos pagados por anticipado) durante la vigencia del préstamo o el horizonte del estudio de -la cartera t que va del período 1 al período n, y EAmax es el total acumulativo de los saldos morosos que se habrían acumulado si no se hubieran efectuado reembolsos de los préstamos. Un número índice de 0 indica una mora total, mientras que un índice de 100 indica que todos los préstamos se han reembolsado a su vencimiento, o un comportamiento general compatible con el reembolso al vencimiento. Entre los indicadores que se utilizan para el seguimiento todavía no se ha considerado la medición de la producci6n, así como la determinaci6n de la reacción de los beneficiarios. Por razones de conveniencia, la medici6n de la producción y sus corolarios se considera en la Parte 4.4, que sigue a continuación. La determinación de la reacción de los beneficiarios, aparte de los coeficientes de aceptación y utilización que se expusieron anteriormente, no puede resumirse en indicadores sencillos. Estudios realizados mediante entrevistas exhaustivas con beneficiarios selectos pueden arrojar bastante luz sobre las actitudes y reacciones que probablemete afecten al proyecto, pero las entrevistas y la interpretación de los resultados de las mismas requieren sondeos y pericia analítica que son de carácter más personal. Dichos estudios son especialmente necesarios cuando los índices sencillos señalan que algo va mal. La determinaci6n del problema existente es un objetivo importante del sistema de seguimiento (v5anse las Partes 2, 5 y 6). - 51 - 4.4 Indicadores para la evaluación En las Partes 1 y 3 se ha examinado el dise?no de los sistemas de evaluacion. Se ha seialado la necesidad de utilizar encuestas directas y la probable necesidad de considerar el análisis como un examen de series cronológicas de datos. Dentro de este contexto, y teniendo en cuenta los criterios examinados anteriormente en esta Parte, ¿qué indicadores pueden recomendarse para su inclusión en el sistema de evaluación? A fin de presentar los indicadores por orden, éstos pueden clasificarse en tres grupos: (a) Indicadores del producto y de su destino. (b) Indicadores económicos. (c) -Indicadores de la calidad de vida. Indicadores del producto En la mayoría de los proyectos agrícolas y de desarrollo rural, el producto se expresa en cifras sobre producción, ya se trate de producción agr5cola, ganadera, forestal, pesquera, etc. Cuando intervienen productos manufacturados, es preciso identificar individualmente los indicadores, lo cual cae fuera del ámbito de este Manual. En general, la cuantificación de la producción puede efectuarse mediante medición directa o mediante una estimación del productor. Si el productor lleva registros, el problema queda resuelto, pero en el caso de los proyectos de que se ocupa este Manual no suele suceder así. Si se adopta la medición directa, pueden identificarse las siguientes clases comunes de producción: (a) Cultivos estacionales: superficies y rendimientos por unidad de superficie. (b) Cultivos arbóreos (incluida la silvicultura): número de árboles y rendimiento por árbol (o superficie y rendimiento por unidad de superficie). (c) Ganado: número de cabezas en pie y tasas de extracción. (d) Productos animales (incluida la pesca): volúmenes, pesos. Por consiguiente, los indicadores están bien definidos: números, superficies, rendimientos, volúmenes y pesos. El problema es la medición de estos indicadores. El número de cabezas de ganado por tipo, edad y sexo es - 52 - factible únicamente si pueden inspeccionarse los rebaños; el volumen y peso del rendimiento diario o semanal de leche o de la captura de pescado requiere realizar visitas repetidas a las unidades escogidas; la medici6n de las superficies y el rendimiento tiene que realizarse en el momento oportuno y su ejecución lleva bastante tiempo y requiere conocimientos especializados. La regla que debe seguirse en la medición directa de los indicadores debe ser que el tiempo y los recursos necesarios se pueden justificar únicamente si se necesita una gran precisi6n y si ésta se logra. Desafortunadamente, este nivel de perfecci6n solamente puede garantizarse si la encuesta se realiza en pequeia escala, que guarde relaci6n con la disponibilidad, probablemente limitada, del personal competente y experimentado necesario para llevar a cabo dichas mediciones. Las visitas frecuentes para efectuar mediciones directas permiten recopilar otros datos que también requieren visitas múltiples cercanas entre sí, tales como costo de los insumos, por ejemplo, los insumos de mano de obra para obtener los productos. Por lo tanto, la conclusión respecto a las observaciones y mediciones detalladas está de acuerdo con la recomendaci6n que se hace en la Parte 5 y en·otros lugares de este Manual, es decir, que dichas mediciones están mejor adaptadas a las encuestos exhaustivas de los estudios de casos que a las encuestas muestrales en gran escala; la experiencia, por ejemplo, con los estudios de administraci6n rural así lo demuestra. Debe mencionarse especialmente la estimación de la producci6n agrícola. Un método bien documentado y popular consiste en recoger la cosecha de una pequeña parte de una superficie conocida de la parcela, con el fin de calcular el rendimiento medi de ese cultivo por hectárea. En la Secci6n 8.2 se examinan los problemas que surgen con este método objetivo. La alternativa a realizar mediciones directas de la producci6n es obtener estimaciones del productor. Si se decide hacer ésto, es preciso obtener respuestas positivas a todas las preguntas siguientes: (a) ¿Conoci6 el entrevistado alguna vez la respuesta? (b) En caso afirmativo, ¿pudo recordarla en el momento de la entrevista? (c) ¿Puede comunicarla en unidades normales? (d) ¿Estará dispuesto a comunicarla correctamente? Si nunca se han medido los campos, es inútil preguntar la superficie. Si las vacas las ordeña el pastor y la leche la consume la familia, posiblemente el entrevistado no tenga una idea muy concreta del - 53 - rendimiento de leche. Casi nadie tiene idea, ni siquiera aproximada, del peso de la lefia recogida por la familia para el consumo doméstico. Aun en los casos en que la respuesta se supo alguna vez, es posible que el entrevistado no la recuerde con precisión. Es probable que el error por falla de memoria guarde relaci6n con la longitud del período respecto del cual se solicita la informaci5n y la definición del período de referencia. Estas cuestiones se examinan en la Parte 8. Posiblemente el entrevistado declare en unidades locales de medida; en ese caso es preciso calcular los factores de conversión para uniformizar los resultados en kilos o litros. Para que este método di resultados satisfactorios, el entrevistado tiene que estar dispuesto a recordar la cifra necesaria y a comunicarla con exactitud lo mejor que pueda. Por consiguiente, debe informársele de la finalidad de la encuesta y lograr su buena disposici6n. En numerosos casos, los agricultores pueden dar estimaciones (si la entrevista es oportuna y las preguntas se hacen de manera adecuada) que, dentro de ciertos límites, indiquen con una exactitud razonable el verdadero valor del producto. No hay que menospreciar la utilidad que pueden tener las estimaciones de los agricultores como indicadores. Hay cierta tendencia a suponer que dichas estimaciones serán tan sesgadas que carecerán de valor, pero hay evidencia de la experiencia de Filipinas y de otros países en el sentido de que las estimaciones de los agricultores son suficientemente exactas para los fines del seguimiento. El declarar, por ejemplo, que las estimaciones de rendimiento hechas por los agricultores son inferiores a las obtenidas mediante siegas parciales de las cosechas, y deducir de ello que las estimaciones no son válidas, no es necesariamente correcto. Una diferencia del 15 al 20 por ciento puede deberse al hecho de haberse utilizado distintas t5cnicas de cosecha y por haber habido errores sistemáticos al aplicar el método de siega parcial. Las decisiones sobre estas alternativas pueden tomarse únicamente en el terreno, quizá despu6s de haber efectuado un estudio piloto. Una recomendaci6n general de carácter preliminar es la siguiente: En los estudios de casos en pequeña escala y con fines múultiples utilícense mediciones objetivas de los productos en el grado que sea posible; en las encuestas muestrales en gran escala las estimaciones de los agricultores pueden servir como valor sustituto de la medici6n objetiva. Los indicadores del destino de la producci6n presentan opciones semejantes, es decir, declaraci6n postfacto o medici6n el el momento de la utilización o venta. - 54 - El volumen bruto que pasa por los canales de comercializaci6n, estimado en ciertos puntos de estos canales, es un indicador del total vendido, pero con frecuencia no puede analizarse según la fuente de donde provenga. Además, las estimaciones del consumo doméstico de la producci6n familiar y la entrega a título gratuito y los intercambios de productos requieren encuestas sobre el presupuesto familiar con visitas múltiples. Ientro del marco de la evaluaci6n de proyectos, dichas encuestas pueden justificarse únicamente si se realizan como estudios de casos de los cuales pueden a veces deducirse las modalidades de utilizaci6n de los productos. Si un cultivo comercial, por ejemplo, el algod6n, se vende casi exclusivamente a través de un solo organismo oficial, los registros de ese organismo o de sus delegaciones locales pueden ser la fuente de indicadores de las cantidades vendidas, incluso hasta el nivel de finca. Indicadores econ6micos Los beneficios econ6micos que se esperan de un proyecto se suelen expresar como ingresos, de manera que éstos constituyen el indicador que debe elegirse con fines de medici6n, y la práctica popular así lo confirma. No obstante, como se ha indicado anteriormente, en el caso de los pequenos agricultores la definici6n y medici6n exactas de los ingresos resulta difícil. En realidad, raras veces se ha logrado de manera satisfactoria. Puede ser posible obtener datos sobre los ingresos provenientes de un cultivo comercial, especialmente si se vende a través de un número limitado de comerciantes u organismos cuyos registros permiten comprobar las respuestas dadas por los agricultores. Se pueden observar peri6dicamente los precios de los productos agrícolas en ciertos mercados o centros de compra seleccionados y, junto con las estimaciones de la producci6n, pueden utilizarse para obtener estimaciones independientes de los ingresos en efectivo. Tales estimaciones del total de ingresos, correspondientes en forma global a una zona o estrato, pueden ser satisfactorias para evaluar los beneficios económicos de determinados cultivos o productos agrícolas. Si es preciso determinar el total de ingresos de la explotación agrícola o del hogar rural, las dificultades son enormes. Como se ha expuesto anteriormente, hay problemas de definici6n y problemas con las respuestas de los entrevistados. La generaci6n de ingresos es irregular y va unida a una comercialización esporádica. Es difícil obtener de un solo entrevistado la cifra de ingresos de cada miembro de la familia. Otras actividades, como, por ejemplo, la fabricaci6n de cerveza o el comercio en pequeña escala, son especialmente difíciles de abarcar en una encuesta sobre ingresos. Además, el ingreso constituye un aspecto especialmente - 55 - delicado de tratar en una encuesta en el caso de la mayoría de los entrevistados, cualquiera que sea el ambiente en que tenga lugar la' entrevista; normalmente no pueden obtenerse con facilidad respuestas objetivas. La medici6n de los gastos no presenta algunos de estos problemas de definici6n ni los problemas relacionados con las respuestas. La experiencia obtenida con muchas encuestas sobre presupuestos familiares es que los gastos se registran con mayor exactitud y detalle que los ingresos. Tanto es así que muchos informes que contienen tabulaciones cruzadas de una variable comparada con diversos niveles de ingresos utilizan los niveles de gastos como valor sustituto de los niveles de ingresos. Es posible registrar con bastante precisi6n los gastos si el período para el cual se solicita informaci6n y el período de referencia son adecuados. En lo que respecta a los gastos cotidianos, el período de recuerdo no tiene que ser mayor de dos o tres días. Las partidas como el alquiler de la vivienda, los servicios, los derechos de matrícula escolar, etc. pueden necesitar un período de referencia de un mes, y los gastos i mportantes de carácter irregular en artículos para el hogar o la explotaci6n pueden declararse para un ano. Es necesario considerar también los problemas que pueden presentar los gastos- suntuarios que se declaran con el fin de impresionar; ésto se considera en la Parte 8. Es posible que no haya una equivalencia exacta entre gastos e ingresos en términos absolutos, pero en muchos grupos de poblaci6n los cambios que ocurren en los gastos indican con bastante exactitud las variaciones de los ingresos. ¿Pueden emplearse en ese caso los gastos como indicador sustituto de los ingresos al evaluar el cambio ocurrido? Esta pregunta solamente se puede responder afirmativamente con ciertas reservas porque las encuestas sobre gastos pueden requerir visitas multiples durante un período prolongado para determinar con precisión el total de gastos efectuados durante ese periodo. La decisi6n de mantener una encuesta de esa clase con carácter casi continuo no debe adoptarse a la ligera. En vista de que los gastos importantes pueden recordarse durante un período de referencia bastante largo, el problema es la frecuencia de las visitas que es necesario efectuar para estimar el promedio de gastos menores cotidianos. Iba posibilidad consiste en realizar una encuesta de una a dos semanas de duracion (con varias visitas dentro del periodo), que se repite en ciertos momentos del año (para coincidir, por ejemplo, con la época anterior a la cosecha, con la época posterior a la cosecha o con otras fechas destacadas), y calcular el promedio de gastos diarios registrados en cada una de estas fases de la encuesta. El utilizar los gastos de esta manera debe analizarse cuidadosamente en cada situación, pero este método puede resultar mis fácil y ofrecer un indicador mas exacto de las variaciones del ingreso que un registro deficiente de los ingresos efectivos. - 56 - Cuando los recursos para la encuesta son muy limitados, el total de gastos importantes en vivienda, mobiliario y equipo, y en partidas sencillas de transporte y recreo como bicicletas o radios, puede servir por lo menos como un indicador sustituto aproximado de las variaciones de los ingresos. También pueden ser ítiles los cambios que ocurren en las existencias de bienes de consumo duraderos que poseen las familias, datos que pueden obtenerse mediante preguntas y observación de una manera relativamente sencilla. Indicadores de la calidad de vida Aunque los indicadores del producto y de los beneficios sean difíciles de definir y de medir, se refieren a fenómenos que son identificables y tangibles. La elección de indicadores de la calidad de vida es todavía más difícil debido a que el propio concepto es vago. Se puede estar de acuerdo en que entre los aspectos que afectan a la calidad de vida figuran el consumo de alimentos, la salud, la educacion, la vivienda, el acceso a servicios esenciales y la expectativa de vida. Por supuesto, estos aspectos no son independientes entre si. El consumo de alimentos expresado como la ingestión de alimentos por las personas o las familias es un aspecto de las encuestas todavía más difícil que los ingresos, y son pocas las'veces en que se han obtenido datos satisfactorios, excepto en los estudios minuciosos de dietas realizados a micronivel. Los datos sobre la producción de alimentos para el consumo domistico y las compras de alimentos, obtenidos mediante encuestas sobre los gastos, seguramente son los indicadores sustitutos mas aproximados que pueden medirse. La determinación precisa del estado de salud requiere un examen físico y clínico por personal competente, que por lo general solamente se puede llevar a cabo en pequeña escala. El nivel de nutrición debe considerarse como un indicador compuesto sustitutivo de los indicadores de salud y consumo de alimentos. La determinación exacta del nivel de nutrición posiblemente no sea más fácil que la del nivel de salud, especialmente en el caso de los adultos. Sin embargo, la medición de la edad, la altura y el peso de los niños pequeños permite calcular un grupo de tres indicadores (peso por altura, peso por edad y altura por edad) que, en conjunto y comparados con normas aceptadas ampliamente, constituyen una medición satisfactoria del nivel de nutrición general de la población infantil. Dé hecho, esos indicadores antropométricos son indicadores sustitutos del nivel de nutrición de la población infantil, los que, a su vez, se utilizan como indicadores sustitutos para indicar el nivel general de salud y de consumo de alimentos de la población objeto de estudio. Las grandes ventajas de los indicadores antropomitricos radican en la facilidad con que pueden - 57 - obtenerse los datos necesarios en muestras grandes y su sensibilidad relativa a variaciones de las variables subyacentes de interés. Evidentemente, no son un reflejo exacto de los problems específicos de salud que tenga la oblaci6n, pero como indicadores dentro del conjunto de mediciones de la calidad de la vida pueden recomendarse encarecidamente con fines más generales de evaluaci6n. A isto es preciso añadir algo. Puede ser difícil determinar con exactitud la edad de los niños pequeños. Aun cuando en muchos países ésto constituye cada vez menos un problema, los dem6grafos todavía observan en muchos casos sesgos en la comunicación de la edad. Si la edad se registra con inexactitud, los coeficientes de altura o peso para una determinada edad tendrán un sesgo. Cuando existe ese problema, el "peso por altura" puede ser el indicador más útil de los tres que se han indicado. La educaci6n es más fácil de definir que de medir. El alfabetismo y los años de escolaridad son indicadores del nivel de instrucci6n individual, y el porcentaje de niños en edad escolar que estén matriculados en la enseñanza primaria puede ser un indicador adecuado a nivel de la localidad. En cambio, el alfabetismo y el nivel de educación de los adultos son indicadores del pasado y no es probable que cambien en un breve plazo. Por lo tanto, es limitada su utilidad como indicadores para evaluar proyectos. Much más útil es la proporci6n de niños matriculados por grupos de edad específica. La vivienda puede evaluarse mediante indicadores de su calidad; por ejemplo, el número de personas por habitaci6n y el tipo de construcci6n. Sin embargo, estos indicadores varían con lentitud y hasta cierto punto son específicos de cada cultura. Pueden ser más útiles como indicador los gastos realizados en mantenimiento, mejoras y contenido de la vivienda. El acceso a los servicios públicos y el tipo de estos servicios son indicadores útiles de carácter social y de salud, pero también en este caso varían con lentitud, a menos que el proyecto contenga un componente que afecte directamente a la disponibilidad de los mismos. La expectativa de vida, indicador cuyo cálculo exacto requiere muestras muy grandes (suponiendo que el registro civil no sea universal), es más probable que pueda realizarse a nivel nacional, mediante censos demográficos y encuestas en escala muy grande, que al nivel de un proyecto específico. Además, en la mayoría de los países en desarrollo el cálculo de la expectativa de vida se basa en conjuntos de tablas "modelo" de vida y el empleo de modelos estables de población. Esto no puede recomendarse como indicador para un proyecto específico. La mortalidad infantil y la mortalidad en la primera infancia pueden ser indicadores viables si se enumera la totalidad de la poblaci6n - 58 - que habita en la zona del proyecto y se lleva un registro de unidades familiares. Te otra forma, los dos indicadores necesitan muestras tan grandes que resultan poco prácticos. Se ha tratado de reunir diversas combinaciones de indicadores de la calidad de vida para formar un solo indicador compuesto. Ua de esas propuestas consiste en combinar la expectativa de vida, la mortalidad infantil y los años de educaci6n. Se presentan graves dificultades para interpretar los resultados de un indicador compuesto de esanaturaleza, que atribuye ponderaciones iguales a los indicadores sin un marco conceptual que lo justifique. Además, la falta de independencia entre los indicadores complica aún más el asunto; existen distribuciones de la mortalidad por edades, y estas distribuciones sirven de base a los modelos que se utilizan para obtener la expectativa de vida en muchos países en desarrollo. Si se requieren indicadores de la calidad de la vida para un proyecto de desarrollo rural, se sugiere la siguiente lista razonable: - Nivel de nutrici6n infantil (mediciones antropométricas). - Matrícula escolar por grupos de edad. - Gastos en mejora y contenido de la vivienda. - Distancia o tiempo hasta el agua potable. - Ltilizaci6n de la clínica. Estas recomendaciones son provisionales y tendrán que reexaminarse para adaptarlas a las circunstancias locales. 4.5 Informaci6n clasificadora o básica En las secciones anteriores se ha centrado la atenci6n en seleccionar varios indicadores prácticos de interis directo para el seguimiento y evaluaci6n. Para que la utilizaci6n de dichos indicadores tenga sentido es necesario, en casi todos los casos, clasificarlos comparándolos con variables explicativas. Estas variables tienen tambien que medirse. En consecuencia, en una localidad rural la encuesta contendrá, cualquiera que sea su objetivo principal, un cuestionario sobre la situaci6n socioecon6mica del entrevistado. Los temas que probablemente figuren son los siguientes: (a) Emplazamiento geográfico y características de la localidad. (b) Composici6n de la familia y características demográficas.. (c) Tamaio y tipo de explotaci6n. (d) Principales actividades econ6micas u ocupación. - 59 - Los indicadores de estos temas tienen también ciertas dificultades con respecto a la definici6n y medición. Hay casi tantas definiciones de lo que es una familia como encuestas familiares; la definici6n de empleo es algo con lo que han tropezado numerosos estudiosos de la situaci6n rural, y la medici6n de la edad todavía ocasiona problemas en muchas localidades rurales. Algunas de estas cuestiones se mencionan en otros lugares de este Manual y se tratan con detalle en manuales publicados por la Oficina de Estadística de las Naciones Unidas y otros organismos e instituciones especializados. Lo que aquí se- pone de relieve es que la obtenci6n de antecedentes básicos, por importantes que sean, es secundaria con respecto a la obtenci6n de indicadores de- seguimiento y evaluación; la encuesta no debe elaborarse de acuerdo con las exigencias de aquéllos a costa de la obtenci6n de éstos. Ha habido casos en que la mayor parte del período de capacitaci6n del entrevistador se dedicó a los problemas de definir y recopilar datos que no eran de gran importancia para alcanzar los objetivos principales de la encuesta. Sobre todo, conviene evitar la tendencia a incluir todo lo que quizás sea de interés al efectuar la clasificación cruzada de los indicadores principales. Esta tendencia es la que da lugar a cuestionarios extensísimos y produce datos de mala calidad respecto a los indicadores importantes. Uno de los resultados de esa confecci6n deficiente de las encuestas es un informe que da gran importancia a las clasificaciones cruzadas de variables generales y a su comparaci6n, pero que contiene pocos cuadros sobre los indicadores que originaron la encuesta. El resultado extremo es que los retrasos ocasionados por la evaluación de tantos datos llegan a ser tan grandes que el informe no llega a publicarse. Por supuesto, en muchos casos algunas de las variables explicativas pueden revestir importancia fundamental para comprender lo que está sucediendo a la poblaci6n beneficiaria. Por ejemplo, la limitada disponibilidad de mano de obra familiar puede ser el factor decisivo que influye en que la población no adopte los procedimientos recomendados. En esos casos, la inclusi6n de esa variable puede muy bien pertenecer al ámbito de los sistemas de seguimiento y evaluación. - 60 - PARTE 5 FUENTES DE LOS DATOS PARA SEGUIMIENTO Y EVALUACION 5.1 Datos existentes y organismos que recopilan datos La identificaci6n inicial de las fuentes de datos y la determinaci6n de la disponibilidad de los mismos por los encargados del seguimiento y la evaluación del proyecto estarán influidas en gran medida por los resultados que se obtengan durante la etapa de evaluaci6n previa del proyecto. Esta evaluación previa depende de la recopilaci6n, examen y verificaci6n de la totalidad de los datos de que se disponga. Dicha evaluaci6n previa habrá determinado cuáles son las series de mayor confiabilidad y habrá indicado, mediante su aplicaci6n práctica, la forma de aprovechar al máximo la información de menor confiabilidad y el material preparado espeacialmente para dicha evaluación. Con frecuencia, se habrán descubierto deficiencias de cobertura que no fue posible corregir durante la evaluaci6n previa, y que el sistema de seguimiento y evaluaci6n tendrá que remediar o compensar ahora. Si, al determinarse la existencia de estas deficiencias durante la evaluaci6n previa, se trató oficialmente de obtener los datos necesarios para remediarlas, las actividades iniciales de seguimiento y evaluaci6n pueden consistir en establecer contacto cn el organismo de que se trate y en comprobar cualquier otra revisi6n ulterior que se efectúe en estos datos. Para evaluar un proyecto, se utilizan los datos existentes, complementados en la medida necesaria por estimaciones, extrapolaciones y hasta la intuición, para determinar la situaci6n actual y los resultados previstos del proyecto. El seguimiento y la evaluaci6n del proyecto comienzan con el examen de los datos existentes, que se comparan con un conjunto distinto de objetivos. ¿Hasta qué punto pueden utilizarse las series de datos existentes para obtener indicadores que sean pertinentes para el seguimiento del proyecto? ¿Ofrece el conjunto de datos anteriores al proyecto un punto de referencia adecuado para establecer una serie cronológica, con el fin de llevar a cabo en su momento la evaluación del proyecto? En caso afirmativo, ¿será suficiente el mecanismo existente de actualización de estos datos para generar las series cronológicas necesarias? ¿Puede desagregarse con suficiente precisi6n la serie de datos de que se disponga, a fin de obtener los datos relativos a la zona del proyecto específico de que se trate? Y, ¿son los conceptos y definiciones utilizados en el pasado compatibles con los aplicables a las necesidades del proyecto? Si las respuestas a esas preguntas son afirmativas, es preciso disponer lo necesario para mantener la serie de datos pertinentes o para colaborar con el organismo encargado de esta tarea. Es preciso identificar - 61 - también nuevas series de datos y actividades relacionadas con encuestas. Es necesario también establecer contactos, tanto oficiales como extra-oficiales, con los funcionarios locales y centrales que más participen en las actividades estadísticas. Algunos de estos contactos son muy fáciles de establecer a través del grupo del proyecto. Por ejemplo, en un proyecto agrícola es posible establecer vínculos con los funcionarios pertinentes del ministerio de agricultura, mediante el contacto diario con el personal del ministerio y a través de los mecanismos de coordinaci6n incorporados en la estructura de administración del proyecto. Habrá que desplegar un esfuerzo especial para conocer los organismos estadísticos centrales y los funcionarios que ocupan los cargos clave. En cualquier país las fuentes de datos son numerosas y diversas. Gran parte de la información estará inédita, puesto que muchas investigaciones nunca llegan a analiarse o a consignarse por escrito en forma completa. El material será de calidad muy variable y el determinar esa calidad es una tarea tan difícil como la de encontrar los datos. A continuaci6n, se presenta una lista de instituciones que normalmente existen y que son fuentes de informaci6n. Por supuesto, los nombres de las instituciones y su importancia relativa para la obtenci6n de datos varían de un país a otro. (a) Oficina Nacional de Estadística Esta puede estar encargada de los censos y de ciertas series nacionales, actuando en otras esferas principalmente como 6rgano coordinador y dejando la recopilación minuciosa de datos a grupos estadísticos de otros ministerios. No obstante, puede estar encargada de llevar a cabo todas las principales actividades estadísticas. En ese caso, se simplifica evidentemente la tarea de mantener al día las nuevas series y acontecimientos, y es preciso establecer un estrecho contacto. La sección de cuentas nacionales tendrá por lo común una idea general de las fuentes de datos y de su confiabilidad relativa. (b) Ministerio de Hacienda, Ministerio de Planificaci6n Econ6mica y Banco Central Estos organismos están a veces encargados de calcular las cuentas nacionales. En estos ministerios hay sin duda economistas que utilizan los datos disponibles y que, por consiguiente, están en condiciones de indicar las fuentes y evaluar en forma continua la calidad de los datos. - 62 - (c) Ministerios de producción Estos ministerios llevan a cabo muchas veces su propia recopilaci6n de datos. A veces la informaci6n sobre la concesi6n de licencias y comercializaci6n está centralizada. En el caso de ciertos productos, puede obtenerse informaci6n minuciosa en las juntas de comercializaci6n, que pueden ser independientes o casi independientes de los respectivos ministerios. (d) Ministerios de servicios Si los indicadores sociales y de calidad de vida son pertinentes para el proyecto, debe recurrirse a las fuentes de datos y a la experiencia de ministerios como los de Salud Pública y Educación. Los indicadores de calidad de vida quizá tengan que ser específicos para el proyecto o para sus beneficiarios o familias, pero aún así los registros escolares y clínicos de la zona, junto con datos provenientes de encuestas sociales específicas, pueden ser útiles en una forma general. (e) Institutos oficiales de investigaci6n Aun cuando posiblemente los datos de investigación no sean directamente aplicables a los beneficiarios del proyecto, pueden ofrecer un punto de referencia o una meta con la que comparar los datos específicos del proyecto, y son datos preliminares útiles para los métodos de observaci6n rápida (véase la Parte 6). (f) Otras instituciones Entre éstas figuran universidades y sus institutos de investigaci6n, instituciones internacionales, asociaciones de empresarios y compaiías de estudio de mercados. En particular, las universidades y los institutos de desarrollo son fuentes importantes de datos minuciosos a micronivel y son, en potencia, colaboradores importantes del proyecto en ciertos estudios específicos. (g) Resultados del seguimiento y la evaluaci6n de proyectos anteriores Con frecuencia, no se presta la debida atenci6n a la experiencia adquirida con respecto a la recopilación y utilizaci6n de datos en otros proyectos, incluso en los que operan en un medio semejante en el mismo país, debido a la - 63 - escasa divulgaci6n de los resultados. Esa experiencia no solamente es de posible utilidad como fuente de antecedentes generales, sino que puede contribuir a seleccionar indicadores que resultaron posibles de recopilar con exactitud y pertinentes al seguimiento y evaluación del progreso del proyecto. Con harta frecuencia, se tropieza con los mismos problemas y los servicios de seguimiento y evaluación cometen los mismos errores. 5.2 Utilizaci6n de datos ajenos al proyecto y compatibilidad con los mismos Conviene reiterar en este momento el potencial que tiene un programa nacional de encuestas como grupo de control "primitivo" (véase la Parte 3). Las encuestas rurales, aun cuando hayan sido diseiadas con objetivos distintos, pueden indicar el nivel general dé producci6n y socioecon6mico. Si existen datos sobre salud y educacion, estos ofrecen un panorama general de la situación. Con frecuencia, los datos específicos del proyecto adquieren un mayor relieve si se utilizan estos otros datos de carácter más amplio como trasfondo con fines de comparación. Puede incluso suceder que los organismos pertinentes est9n dispuestos a ampliar o modificar el diseñlo y el contenido de esas encuestas, con el fin de mejorar la posible utilidad de los datos para efectuar dichas comparaciones o con fines de control. Hay un aspecto que conviene especialmente tratar de coordinar, a saber, la normalizaci6n de conceptos y definiciones. Muchos análisis comparativos que podrían efectuarse entre series de datos no pueden llevarse a cabo en la práctica debido a diferencias en los conceptos y definiciones fundamentales. Es corriente que definiciones tan fundamentales como familia y finca o explotaci6n difieran de una encuesta a otra, aunque todas las encuestas las efectúe la misma organizaci6n. Dentro del marco del seguimiento y la evaluación, debe prestarse gran atención en las etapas iniciales de planificación a la adopción, siempre que sea posible, de los conceptos y definiciones uniformes que se haya elaborado. La desviación respecto a éstos se debe muchas veces a que se ignora su existencia y no a que se trate de objetivos diferentes. El análisis comparado de los datos de la evaluaci6n con otras series de datos ajenos al proyecto se facilitará especialmente si las definiciones seguintes son comunes: . Composición de la familia . Movimientos migratorios - 64 - . Explotaci6n - parcela - lote (campo) . Manera de considerar los cultivos asociados . Profesi6n u ocupaci6n . Empleo (especialmente el irregular y el familiar de jornada parcial) . Unidades de medida. La colaboraci6n entre organismos nacionales y las unidades de seguimiento y evaluación de proyectos no tiene que ser exclusivamente unilateral. Como se ha indicado en la Parte 1, el conjunto de recursos de que se disponga para seguir y evaluar varios proyectos en un país constituye una parte muy importante de la totalidad de los recursos estadísticos de ese país. Aun cuando las encuestas de seguimiento y evaluaci6n deben ser diseiadas para atender las necesidades específicas de cada proyecto, estas necesidades serán muchas veces semejantes a las de los planificadores nacionales. La identificaci6n de estos intereses comunes por ambas partes, es decir, las autoridades del proyecto y las nacionales, será mutuamente beneficiosa. En realidad, ese proceso de identificaci6n sirve con frecuencia para que la gerencia del proyecto perciba mejor y con mayor precisi6n sus propias necesidades. 5.3 Fuentes de datos específicos de cada proyecto Pese a lo que aportan los datos provenientes de fuera del proyecto, las fuentes principales de datos para los fines de seguimiento y evaluaci6n serán específicas para cada proyecto. Estas fuentes pueden ser: (a) Los registros administrativos (b) La observaci6n rápida (c) Los estudios de casos (d) Las encuestas muestrales (e) Los resultados censales relativos a la zona del proyecto. Estas fuentes se considerarán con detalle en otras secciones, especialmente en las Partes 6 y 7. Aquí se describen brevemente para indicar los vínculos existentes entre las distintas fuentes y los sistemas de seguimiento y evaluaci6n. - 65 - (a) Registros administrativos En cierto sentido, si los registros administrativos contienen alguna información sobre cada uno de los beneficiarios de un proyecto, pueden considerarse como un censo, es decir, como una enumeraci6n completa de la población de referencia. Pero en la práctica se establece una distinci6n. Gran parte de la informaci5n necesaria para determinar el progreso del proyecto estará ya incluida en los archivos de éste. Ejemplos de ello son las cuentas financieras, los registros de construcci5n y de servicios, las solicitudes y desembolsos de crédito, la producci6n vendida, la matrícula escolar y los registros de consultas en las clínicas. No deberá iniciarse ninguna encuesta sin averiguar primero si se pueden obtener los datos necesarios de los registros del proyecto. Una unidad de evaluación de un proyecto llevó a cabo entrevistas directas de los beneficiarios para obtener informaci6n, la mayor prte de la cual podía haberse obtenido, con mayor exactitud, examinando los expedientes de los b eneficiarios que tenían los organismos de extensi6n agrícola y de crédito. La utilización de registros administrativos requiere un sistema de cotejo y resumen rápido a fin de convertir archivos voluminosos en informacion sucinta que facilite la toma de decisiones. Muchas veces lo que falta es este sistema y no los datos. (b) Observaci6n rápida Esa técnica consiste en efectuar una rápida visita de una zona a fin de obtener una idea general de la situación existente. Hay que anotar lo que se observe a lo largo del itinerario seguido y lo que se obtenga mediante conversaciones tanto con las personas con las que se tropiece casualmente como con las personas especialmente seleccionadas (ya sea deliberadamente o por procedimientos aleatorios). Puede tratarse de una visita exploratoria, o de una visita sobre la que se necesite un informe especial (quizá en un caso de emergencia) o puede ser una visita que forme parte de una serie regular. Esa visita puede proporcionar informaci6n general sobre una zona de interés o ser muy concentrada, buscando datos para resolver dificultades en una crisis. Por ejemplo, un funcionario agrícola visitará regularmente su distrito y escribirá informes periódicos sobre la situaci6n (o simplemente acumulará sus impresiones, sin escribir informes). Los métodos de observación que se han utilizado desde antiguo han sido denominados recientemente métodos "rápidos y sucios". Aunque sean rápidos, no tienen por qui ser necesariamente sucios en el sentido de proporcionar información que no sea confiable. (c) Estudios de casos La expresión "estudio de casos" puede utilizarse de diversas maneras. Con frecuencia, se emplea para describir un informe de un caso, - 66 - hecho o proyecto concreto que se presente como objeto valioso de estudio, como orientaci6n o ejemplo, como sucede en el caso de una historia clínica. En este Manual la expresi6n se utiliza para describir un estudio largo y minucioso en el terreno sobre relativamente pocas familias o personas, en el que se examine a fondo sus vidas y su comportamiento o algún aspecto seleccionado de éstos. Tipos comunes de estudios de casos son los estudios sobre una comunidad (o pueblo), estudios de indicios (para estudiar fen6menos de incidencia limitada) y estudios detallados de actividades (por ejemplo, estudios de administracion rural). Pueden ser estudios exploratorios, enfocados hacia la investigación, que utilicen un diseio experimental o cuasi-experimental para proporcionar datos para grandes proyectos de desarrollo. Evidentemente, en esos'casos, el seguimiento y la evaluación del proyecto resultante tiene que incluir en su banco de datos los estudios originales de casos. Durante el curso de un proyecto, los estudios de casos son útiles para averiguar qué ha sucedido si un proyecto tropieza con grandes dificultades. En términos más generales, los estudios de casos ofrecen una de las formas en que puede estudiarse el desenvolvimiento de los mecanismos causales, según se expone en la Parte 3. En muchos casos, únicamente se podrán hacer deducciones causales verosímiles si los datos más generales de las encuestas se complementan mediante un estudio de casos, examinando minuciosamente las repercusiones del proyecto en un reducido número de beneficiarios. Un estudio de caso lo suele llevar a cabo un solo investigador profesional (o un grupo pequeio), quizá con algunos ayudantes. El número de personas que interviene es muy reducido, pero éstas deben ser de gran calidad. Tienen que ser también personas dedicadas a su trabajo, pues posiblemente la investigaci6n requiera pasar un largo período en el terreno. (d) Encuestas muestrales Las muestras (ya sean dirigidas o probabilísticas) son muy versátiles. Pueden perseguir fines descriptivos o analíticos o, frecuentemente, una combinaci6n de ambos. Varían desde un estudio rápido sobre un tema en una zona, que requiera una sola visita para realizar una breve entrevista, hasta un estudio de fines múltiples a nivel de proyecto en el que haya que realizar visitas múltiples a lo largo de un prolongado período. Puesto que el número de entrevistados es mayor que en los estudios de casos, resulta más fácil lograr que la poblacio6n est5 bien representada y, por lo tanto, generalizar pasando de la muestra a la poblaci6n. Por otra parte, la encuesta es menos adecuada que un estudio de casos prácticos para examinar intenciones y actitudes y la forma en que estas influyen en el comportamiento y la actuaci6n de los sujetos del estudio. - 67 - (e) Datos censales La realizaci6n de un censo nacional se justifica principalmente por el hecho de que los datos que han de obtenerse de cada persona se necesitan a un nivel muy bajo de agregaci6n, es decir, los datos deben corresponder a subdivisiones administrativas muy pequefñas del país. De ahí se deduce que si existe un archivo del censo, es posible obtener tabulaciones que sean específicas de la zona del proyecto, o muy aproximadas a la misma. Este constituye un caso concreto en el que la colaboraci6n con el organismo principal de estadística del país puede dar acceso a dichas tabulaciones especiales. Ahora bien, los censos se llevan a cabo con poca frecuencia (por lo común cada 10 años) debido al enorme trabajo administrativo que entrañan. Además, la gama de preguntas que pueden abarcar es limitada. Si se dispone de resultados censales, desgregados a nivel del proyecto, aquéllos constituyen un punto de partida para cualquier estudio social o económico que utilice datos cuantitativos. El censo ofrece tambi6n el marco para efectuar numerosas selecciones muestrales. Tambián pueden'ser útiles para el proyecto los censos de subconjuntos especiales de la poblaci6n, como, por ejemplo, las empress o las explotaciones grandes. Si el censo más reciente se realizó varios afios antes que el proyecto, es preciso asegurarse de que los datos continúan teniendo validez. Además, es también necesario evaluar la calidad de los datos censles. Si no se ha realizado ya una evaluaci6n técnica, ésta tendrá que llevarla a cabo el equipo de seguimiento y evaluacion si va a utilizar en medida importante los resultados del censo. 5.4 ¿Estudios de casos o encuestas muestrales? Como se ha indicado, y se vuelve a señalar en la Sección 5.5, la respuesta adecuada a esta pregunta puede muy bien ser "ambas cosas", además de utilizar las otras fuentes que se han descrito anteriormente. No obstante, la cuestión que tiene que resolver el que prepara una encuesta es si para obtener determinados datos, debe recomendar un estudio detallado a micronivel o una encuesta muestral en mayor escala, que ofrece una mayor capacidad para inferir conclusiones. En casos extremos, la decisi6n será posiblemente evidente. En muestras grandes, observaciones minuciosas que requieran visitas múltiples y que entrañen relaciones mutuas entre todo el complejo de prácticas agrícolas son difíciles (y costosas) de controlar. A la inversa, tasas de aceptaci6n obtenidas mediante un número muy reducido de observaciones posiblemente no sean indicativas de las tasas globales de aceptación por parte de la poblaci6n beneficiaria. Pero, en muchos casos, la decisi6n que debe tomarse no es tan evidente. Sin duda, la disponibilidad de recursos es un factor importante, pero hay razones de orden técnico en las que puede también basarse la decisión. La siguiente clasificaci6n puede servir de ejemplo de esta razones técnicas. - 68 - Los criterios que se indican son la envergadura de la encuesta desde el punto de vista de los fenSmenos que han de investigarse y la cobertura geográfica deseada; el tipo de entrevista que ha de utilizarse; el método de observaci6n y medici6n necesario para recopilar los datos de interés, y la frecuencia con la que tenga que efectuarse la recopilación. Para cada uno de estos criterios se exponen tres clasificaciones, escogidas de manera algo arbitraria, a fin de representar diversos puntos de lo que puede ser una distribuci6n que varíe de manera más sutil. Por ejemplo, los cuestionarios posiblemente contengan preguntas abiertas y preguntas cerradas; una medici6n compleja en un determinado medio ambiente puede resultar sencilla en otro, y así sucesivamente. Pero la tipología presentada ofrece algunos indicios para elegir entre los estudios de casos y las encuestas muestrales. CLASIFICACION CRITERIO A B c 1. Envergadura de Fen6meno de inte- Nivel de poblado Fen6meno de la investiga- r5s raro y agru- o comunidad. Lu- intergs, muy ci6n pado en conglome- gar o instituci- extendido rados ón específicos por toda la zona 2. Tipo de entre- Espontánea, sin Preguntas abier- Cuestionario vista estructurar tas; estudios de cerrado y/o actitudes estructurado 3. Observaci6n y Técnicas que Exactas y minu- Recuentos medici6n exigen pericia ciosas simples y profesional mediciones = sencillas 4. Frecuencia Continuo o muy Visitas múlti- Visita frecuente. ples durante única. 1 el ano Las investigaciones que incluyan uno o más tipos (A) deberán basarse en estudios de casos. Los fenómenos raros, las entrevistas espontáneas, los exámenes profesionales y la observaci6n continua no son adecuados para las encuestas muestrales en gran escala, debido a los grandes requirimientos de la encuesta respecto a la selección de entrevistados adecuados, al tiempo que deben dedicar a los investigadores y a la pericia que deben tener gstos. - 69 - Las investigaciones que incluyan (1B) junto con (2B) son también más adecuadas para los estudios de casos. En realidad, casi todas las combinaciones en que haya (2B) indican la conveniencia de efectuar un estudio de casos como primera opción. Las encuestas en las que haya un número apreciable de preguntas abiertas y de preguntas de actitudes no son fáciles de controlar, si en ellas participa un gran número de enumeradores, pues los sesgos diferenciales entre los diversos enumeradores y los entrevistados pueden ser muy serios. La encuesta muestral es adecuada para las clasificaciones del tipo (1C) y (20) junto con combinaciones de (3B) o (30) y (4B) o (40). Si se incluye (3B), las mediciones deben tomarse con gran cuidado y exactitud y, si se quiere que la encuesta muestral dé buenos resultados, los equipos de terreno tienen que recibir un adiestramiento especialmente cuidadoso. Las encuestas muestrales con visitas múltiples del tipo (4B) son viables, pero costosas de realizar. También puede ser apropiado efectuar una encuesta muestral para las clasificaciones del tipo (1B) junto con (2C). El clásico estudio de caso sociol6gico puede describirse como: Tipo (1B)x (2A) x (4A) Un estudio de administración rural puede ser con frecuencia: Tipo (20) x (3B)x(4B) Esta combinaci6n puede ser conveniente para una encuesta muestral (v5ase lo dicho anteriormente), aunque la necesidad de efectuar mediciones exactas y detalladas junto con visitas múltiples hace que resulte difícil y costosa de realizar. Pero, con frecuencia, los estudios de administraci6n rural se inclinan hacia el Tipo (2B) x (3B) x (4A). Esta combinaci6n es más adecuada para los estudios de casos. El estudio de un determinao problema de salud pública puede ser: Tipo (1A) x (2B) x (3A) x (4C) Esto exige realizar un estudio de casos; pero obsérvese que una encuesta de nutrici6n en la que se efectúen mediciones antropométricas de ninos puede ser: Tipo (1C) x (2C) x (30) x (40) que se presta para realizar una encuesta muestral. Las investigaciones en que hay que identificar ciertos tipos de entrevistados en un lugar concreto, por ejemplo, las entrevistas con comerciantes del mercado, son del tipo (1B). Si intervienen entrevistas - 70 - del tipo (2A), es decir, espontáneas y sin estructurar (véase la Parte 6), es mejor efectuar la investigación basándose en estudios de casos. Sin embargo, la recopilaci6n de datos regulares, pero sencillos, de precios es del: Tipo (1B) x (2C) x (3C) x (4B) que puede llevarse a cabo mediante una encuesta muestral. 5.5 Combinación de varios métodos de investigación Se han descrito las características de las fuentes principales de datos y las ventajas e inconveninentes de cada una de ellas, a fin de indicar las cuestiones para las que son pertinentes por separado. En este contexto es natural "comparar" una posible selección con otra, como se ha hecho en la secci6n anterior. Pero en esta Parte no es posible dejar de subrayar, finalmente, que la tarea principal al diseniar los sistemas de seguimiento y evaluacion es la de combinar los distintos métodos en un programa global que utilice los recursos disponibles de la mejor manera posible. Para el seguimiento, esta combinación consistirá muchas veces en: (a) Análisis de los registros administrativos. (b) Observaci6n rápida. (c) Encuestas muestrales de tasas de aceptaci6n. (d) Estudios de casos para examinar problemas. Para la evaluaci6n, que cuenta con los datos obtenidos mediante el seguimiento, la combinaci6n será frecuentemente de: (a) Estudios de casos para examinar relaciones causales. (b) Encuestas muestrales a lo largo del tiempo. Mediante el estudio de casos basado en una investigaci6n intensiva llevada a cabo por profesionales se obtendrán conocimientos que es imposible obtener mediante una encuesta muestral. Gracias a estos conocimientos se determinarán las relaciones y limitaciones clave y se formularán hip8tesis, con lo cual la investigaci6n se centrará con mayor precisión y se propondrán indicadores que puedan recopilarse mediante una encuesta muestral. Esta combinaci6n de los resultados de los estudios de casos y de las encuestas muestrales proporcionará pruebas convincentes para determinar la verosimilitud de las afirmaciones sobre las repercusiones del proyecto y la manera en que éste funcion6. - 71 - Por ejemplo, un estudio de caso puede demostrar que Gnicamente los agricultores con mano de obra familiar equivalente, como mínimo, a la esposa y dos hijos pueden llevar a cabo las tareas indispensables durante una parte de un nuevo sistema de cultivo que se haya propuesto. Una encuesta.muestral puede establecer entonces la proporción de agricultores que disponen de los recursos necesarios de mano de obra. En consecuencia, puede aducirse lógicamente que el nuevo sistema de cultivo es viable en zonas en las que al menos el "x" por ciento de los agricultores exhiben dichas características. De forma análoga, un estudio de caso puede poner de manifiesto que una organización paraestatal de comercialización no ofrece el precio garantido de un. cultivo a los pequeños agricultores, los cuales dependen, por lo tanto, del precio ofrecido por los comerciantes locales. Si este precio baja por debajo de "y" unidades monetarias por saco, el agricultor no se sentirá inclinado a producir un excedente para vender. Una encuesta muestral puede determinar el precio que reciben los agricultores. Mediante estas dos investigaciones puede obtenerse con exactitud razonable la probabilidad de que los agricultores aumenten la producción. Estos ejemplos ilustran también las cuestiones relativas al personal. El cambio del estadístico durante la realización de la encuesta muestral no deberá significar una gran diferencia (suponiendo que ambos estadísticos sean competentes). En cambio, el estudio de casos depende mucho de la experiencia del investigador principal, y si se le sustituye durante el estudio es muy posible que sea preciso volver a empezar. - 72 - PARTE 6 METODOS DE OBSERVACION DIRECTA 6.1 Observaci6n directa La recopilaci6n de datos mediante métodos rápidos de observaci6n (o reconocimiento) y mediante estudios de casos se describe conjuntamente con el nombre de "métodos de observación directa", puesto que la responsabilidad de todas las tareas relacionadas con el diseio, observaci6n, análisis y presentación de los resultados se concentra en una sola persona o en un pequeio grupo de personas. Esta es una de las características fundamentales que distinguen a estos métodos de la encuesta muestral; otra característica a la que ya se ha hecho menci6n anteriormente es que falta la base lógica para una inferencia probabilística formal. Esta concentraci6n de todo el procedimiento de recopilaci6n y análisis de datos en una sola persona, o en un pequeño grupo que trabaja en estrecha colaboración durante toda la investigaci6n, es muy ventajosa, como ya se ha descrito en la Parte 5. La combinaci6n de diversas experiencias e informaci6n y el equilibrio entre distintos tipos de datos dentro de un marco intelectual común pueden dar lugar a la obtenci6n de nuevas percepciones, la formulaci6n de hip6tesis y el planteamiento de problemas con una amplia gama de posibles soluciones en forma econ6mica y eficaz. Por supuesto, el logro del éxito dependerá en gran medida de las cualidades de los investigadores y de la forma en que éstas armonicen con el objeto de la investigaci6n. Las características econ6micas, sociales y culturales de las comunidades rurales varían mucho de unos países a otros y, a veces, dentro de las fronteras. de un solo país. Por consiguiente, es arriesgado afirmar que poseen ciertas características comunes. Sin embargo, hay dos características de las comunidades rurales, tantas veces mencionadas y citadas en los estudios rurales, que forman una base común que debe tenerse en cuenta al planear los estudios de observaci6n directa. En primer lugar, en los poblados suele haber una estructura jerárquica. La jerarquía se basará en características distintas en diferentes lugares, pero los agricultores de mayores medios econ6micos generalmente detentan los cargos que confieren poder en la localidad. Por consiguiente, las opiniones de los que están en la parte superior de la estructura jerárquica serán más accesibles y evidentes. Sus contribuciones a las deliberaciones, y su dominio sobre éstas, pueden dar la impresi6n de que existen opiniones ampliamente aceptadas sobre los temas, problemas y decisiones de que se trate. Sin embargo, es muy posible que esa unanimidad no exista en la realidad. Será difícil descubrir las diferencias, puesto - 73 - que los más pobres, los que carecen de tierra, las mujeres u otros seguramente no están dispuestos a dar a conocer sus opiniones en un debate en presencia de miembros de la "elite". Aun en conversaciones privadas quizá no redunde en su beneficio manifestar oposici6n en contra de los dirigentes locales o indicar un orden distinto de prioridades. En segundo lugar, muchos campesinos tienen una escala de relaciones que va de dentro a fuera, es decir, desde una identificaci6n estrecha con sus parientes cercanos que viven en la misma localidad, pasando por sus parientes que viven en otros poblados y vecinos en general, hasta otros que están "fuera" (desde los agentes de extensi6n locales hasta funcionarios de más categoría a los que se les ve con menos frecuencia). Naturalmente, los campesinos serán cautos y evitarán hablar con franqueza a los que consideren extra?ños. A veces expresan lo que creen que esos extraños desean oír; o reproducen lo que consideran la postura "oficial", en la esperanza de obtener favores o tratamiento especial de los entrevistadores o de sus contactos oficiales. Puede haber conflictos internos en la comunidad o con otras comunidades que induzcan a los entrevistados a expresar una cierta opini6n para obtener el apoyo o la aprobaci6n a su propia postura. Esto no quiere decir que las personas ajenas a la localidad no puedan obtener informaci6n fidedigna ni aun en sus primeras visitas a los agricultores o al poblado. No obstante, hay tres consecuencias importantes de esta situaci6n que afectan a la organizaci6n de los sistemas de seguimiento y evaluaci6n. La primera de ellas es la considerable mejora en la calidad de los datos y en el conocimiento de situaciones que se derivan de la continuidad de un buen personal. A medida que los observadores repiten las visitas comienzan a perder su condici6n de "extraños" y van entendiendo las verdaderas actitudes,'intenciones, aspiraciones y prioridades de los campesinos. Comienzan a captar las características implícitas de la vida en la comunidad rural que con frecuencia son fundamentales para el éxito o fracaso del proyecto. La segunda consecuencia es la necesidad de ajustar la escala cronol6gica del proceso de recopilación de datos al tipo de información que se necesite. La base física de un proyecto de riego puede observarse con facilidad. Más tiempo llevará identificar la ramificaci6n del sistema de organizaci6n por medio del cual el agua llega al campo del agricultor en ciertas cantidades y en determinados momentos; y será una tarea todavía más complicada averiguar las causas de que no se disponga de mano de obra local para limpiar los canales de cieno. En el estudio de un proyecto en una zona rural de Afganistán se observa que no puede entenderse "la complejidad de la red de distribución de agua, los derechos de riego, las negociaciones entre los usuarios al comienzo y al final de los canales de riego mediante - 74 - las técnicas de encuestas...la informaci6n sobre las posibiliddes de introducir cambios...se obtuvo mediante entrevistas informales, combinadas con discusiones detalladas con funcionarios locales bien informados". En especial, se necesitarán métodos basados en estudios de casos, incluyendo técnicas antropológicas, a fin de determinar las relaciones causales entre los insumos y los efectos, y averiguar cuáles son los factores que afectan el comportamiento de los agricultores. No es necesario que esas investigaciones lleven tanto tiempo como los estudios antropol6gicos clásicos. Hay una experiencia creciente que demuestra que pueden obtenerse resultados "aplicados" valiosos en períodos más breves. No obstante, cualquier encuesta agrícola puede necesitar más de un ano para estudiar aquellos aspectos (y éstos serán numerosos) que requieran una observaci6n cuidadosa de la secuencia de las operaciones durante un ciclo agrícola completo. La tercera consecuencia es que hay que hacer un esfuerzo consciente para determinar los puntos de vista de los grupos que menos se dejan oír en los poblados rurales. Así, por ejemplo, es posible que las mujeres estén especialmente interesadas en el suministro de agua y en la obtención de combustible, que se hallen en mejores condiciones para juzgar las necesidades que existan en estas materias, y que presenten alternativas a las estrategias sustentadas por los hombres. Al diseiar una encuesta, la capacidad limitada de recordar de los entrevistados determina el período máximo respecto del cual se les puede solicitar informaci6n. Este tema se discute en la Parte 8. Por otra parte, la capacidad de recordar de los investigadores determina los procedimientos de observación directa que pueden ser utilizados. La regla es que la información debe anotarse lo antes posible. Alguna información puede anotarse a medida que se obtiene, por ejemplo, el resultado de la observación que haga un investigador de aspectos físicos, tales como la condiciones en que se encuentran los caminos o los cultivos en los campos a lo largo de la carretera. A veces es posible anotar una conversaci6n conforme ésta tiene lugar, de manera semejante a como los entrevistadores trabajan en una encuesta muestral habitual. En situaciones de observación directa, sin embargo, muchas veces no conviene tomar nota de manera obvia ya que se obstaculiza la formación de relaciones espontáneas entre el investigador y el entrevistado, las cuales son una de las ventajas principales de este método. Los resultados de las conversaciones deben anotarse en cuanto se pueda después de que éstas hayan tenido lugar, de preferencia el mismo día. Hay tres razones principales para ello. La primera es el evitar olvidos, problema agravado por el mayor cúmulo de información que se presenta en una situación de observaci6n directa. La segunda raz6n es el papel selectivo y estructural que tiene la memoria; los asuntos que no armonizan con la percepci6n mental de una situación tienen mayores probabilidades de olvidarse, pasar a segundo plano o recordarse de manera - 75 - deformada. Si se anotan en el momento, no habrá luego esos problemas. La tercera raz6n es la necesidad de mantener buenos hábitos, ya que, si se acumula una cantidad excesiva de observaciones no anotadas, puede ocurrir que la anotaci6n de éstas llegue a ser tan engorrosa que no se haga nunca. 6.2 Observación rápida: Observaci6n e investigaci6n En la Parte 5 se expuso la utilidad de la observaci6n rápida como fuente de datos con fines de seguimiento de un proyecto. Aun cuando éste es el método menos estructurado de recopilaci6n de datos, merece la pena llevar a cabo una cierta planificaci6n para asegurarse de que los datos, aunque se obtengan con rapidez, tienen una exactitud razonable. La eficiencia de un observador está determinada por atributos naturales (buena vista y buen oído), y conocimiento de los temas pertinentes y experiencia. La aptitud natural puede mejorarse con la práctica de anotar los resultados de la observaci6n. Los ejercicios te6ricos, las lecturas sobre el tema, pueden mejorar la eficiencia hasta cierto punto, pero la experiencia en el terreno es la mejor manera de lograr dicha mejora, especialmente si se lleva a cabo bajo la direcci6n de un experto. Por lo tanto, el resto de esta sección se dedica a examinar los conocimientos que es necesario tener de los temas pertinentes. Los investigadores deben iniciar su labor con una idea clara de los temas que se supone van a estudiar. Conviene preparar de antemano una lista de verificaci6n de los aspectos físicos que desean identificar y de los asuntos que quieren discutir. Esa lista deberá considerarse incompleta, ya que no pueden preverse todas las eventualidades. Sin embargo, la preparaci6n de tal lista requiere concentrarse en el tema y, al estudiar el primer borrador, quizá salgan a relucir otros asuntos en los que no se penso en un comienzo. Los temas que deben tratarse pueden a veces organizarse utilizando las ocho preguntas siguientes: ¿Quién? ¿D6nde? ¿Cuándo? ¿Quá? S¿C6mo? ¿Durante cuánto tiempo? . ¿Cuánto? ¿Por qué? Las preguntas pueden ser sencillas, por ejemplo, "¿Cuándo tuvo lugar la última entrega de fertilizante al punto de distribuci6n?"; "¿De qué clase era?"; "¿Cuánto fertilizante?" También pueden ser más extensas: "¿Qué factores impiden que los agricultores siembren pronto, tal como se recomienda?" - 76 - Evidentemente, el conocer el idioma local es una ventaja. Por lo menos hace falta un cierto conocimiento de agricultura y de ganadería (la capacidad de reconocer los diversos cultivos y el conocimiento de las prácticas y el calendario agrícolas). Los investigadores que carezcan de estos conocimientos deberán visitar primero una estaci6n experimental cercana, u obtener ayuda de los representates locales de los ministerios pertinentes antes de efectuar sus primeras visitas. Si el entrevistador manifiesta una ignorancia total, los agricultores no tomarán en serio la encuesta y ésta no producirá un registro útil del estado en que se encuentran los cultivos. De modo semejante, debería ser posible obtener de antemano cifras respecto al orden de magnitud de la producción de los productos principales (por ejemplo, rendimiento de leche por vaca). Es necesario conocer el régimen habitual de precipitaci6n (uno de los factores principales que determina el calendario agrícola) y el volumen reciente de precipitación. Conviene estudiar mapas recientes de la zona y llevarlos consigo en el viaje, o bien preparar a mano un mapa. En este mapa debe anotarse cualquier delimitación anterior de estratos estadísticos o de zonas ecol6gicas. Hay que obtener informaci6n sobre las unidades locales de medida y llevar una canasta o recipiente que se utilice localmente. Es preciso obtener informaci6n sobre los canales locales de comercializaci6n e identificar y marcar en el mapa los lugares y fechas en que tengan lugar los principales ferias y mercados. Hay que prestar atenci6n a la hora y las fechas en que conviene efectuar las visitas. La hora del día determinará quiénes van a encontrarse en el pueblo y quiénes en la explotaci6n; el día de la semana determinará si pueden observarse las actividades de comercializaci6n, y el mes o la estaci6n determinará las actividades agrícolas que se estén realizando. Con frecuencia sucede que solamente es posible conversar con los entrevistados de manera satisfactoria muy temprano o muy tarde en el día. Los comerciantes suelen llegar a los mercados muy pronto, a la salida del sol. Los agricultores solamente pueden conversar con tranquilidad al final del día, cuando han terminado las labores agrícolas. Las visitas ulteriores requieren menos preparaci6n, pero es preciso corregir y ampliar permanentemente la informaci6n básica y revisar la lista de verificaci6n teniendo en cuenta la experiencia y ampliarla a medida que se examinen nuevos temas. Cada entrevistador desarrolla su propio sistema de registro y anotaci6n, pero conviene exponer algunas reglas básicas: (a) An6tese la hora, fecha y lugar de la observación y discusión, y ciertas características identificadoras, como el estado civil o profesional de los entrevistados. Si es posible, an6tese por separado en un diario las observaciones que se hagan sobre un viaje. Las fechas, distancias y - 77 - nombres de los lugares pueden anotarse en orden sucesivo, junto con el registro apropiado de las observaciones y hechos. Si se ha de obtener información numérica estándar en varios lugares (por ejemplo, precios de ciertos productos en todos los mercados visitados), un formulario previamente preparado ahorrará tiempo y servirá para presentar una primera estructuraci6n de los resultados. (b) Las anotaciones en el diario deben seguir un método uniforme, de manera que se incluyan todos los temas de la lista.de verificaci6n, dejando una última secci6n abierta. De este modo, se aligera el trabajo y se evita pasar por alto algunas cosas. (c) Conviene elaborar un sistema de abreviaturas para las palabras que se usan con mayor frecuencia. Las citas literales se indican entre comillas "...". Hay que separar los comentarios e interrogantes del propio observador que exijan nuevas investigaciones, por ejemplo, poniéndolas entre corchetes (d) T6mense fotografías de las cosas principales, siempre que ésto no ofenda. P6nganse en las fotos las fechas, lugares y circunstancias. Una serie de fotografías tomadas a lo largo del tiempo es util. Si se promete enviar copias de las fotografías a los entrevistados hay que asegurarse de que esas promesas se cumplan. (e) Suele ser útil llevar una calculadora de bolsillo. (f) A veces es posible grabar las conversaciones, pero ésto puede no ser conveniente porque--al igual que sucede con las notas que se toman durante una conversaci6n--puede obstaculizar la libre expresión de las opiniones. No obstante, puede utilizarse una grabadora para llevar las anotaciones del diario cuando no haya el tiempo suficiente para escribirlo. NOTA: No conviene que las cámaras fotográficas, las calculadoras de bolsillo y las grabadoras estén tan a la vista que distraigan a los entrevistados y den la impresión de que el observador es un "turista". Las visitas de observación dependen en gran medida de que se cuente con una buena organización. Esta es, no obstante, muy dificil de obtener. Son muy pocos los viajes que de hecho comienzan a la hora prevista. Unas cuantas horas de retraso pueden reducir seriamente un programa u obligar a pasar varios días más de viaje. - 78 - En la Parte 8 se examinan los procedimientos que deben seguirse en las entrevistas. Aquí se insiste en la necesidad de adoptar una actitud sencilla, sin dar muestra alguna de arrogancia o de superioridad. Se debe suponer que si los agricultores siguen cierta práctica tiene que haber buenas razones para ello. El hecho de que los agricultores. no sigan las recomendaciones del proyecto puede deberse a limitaciones que no han sido apreciadas por los que diseiaron el proyecto, como la falta de recursos necesarios o el no haberse prestado el apoyo prometido en la cantidad, la calidad o las fechas convenidas. Así, es muy posible que los agricultores no siembren en la época recomendada si ésta coincide con el período en que se permite.al ganado vagar libremente; si un año el fertilizante.lleg6 · tarde, habrá dudas de si al aio siguiente llegará en el momento oportuno. Los agricultores pobres atribuyen un costo te6rico elevado a las nuevas prácticas, ya que el riesgo siempre parece ser elevado (y con frecuencia lo es). En las prácticas habituales puede haber elementos que ya no sean necesarios o no estén justificados, pero "tradicional" no es sinónimo de "anticuado", y aun cuando se describa de ese modo un cierto procedimiento puede haber s6lidas razones para que continúe. En realidad, cuando las prácticas recientemente adoptadas tienen éxito y se divulgan, rápidamente se las califica de tradicionales. Por ejemplo, el cultivo en curvas de nivel que se llevaba a cabo en una zona montañosa de Africa fue calificado gratuitamente de "tradicional" a los pocos años de haberse introducido. Las preferencias por ciertos alimentos están muy arraigadas y no es probable que cambien con rapidez, especialmente si la imposici6n parece venir desde el exterior. La experiencia demuestra que puede obtenerse informaci6n valiosa si el investigador muestra estar dispuesto a escuchar la opini6n del agricultor y trata de entender su postura (véase la Secci6n 8.4). Los funcionarios públicos que residen localmente pueden ser de gran utilidad, especialmente los que trabajan en agricultura y desarrollo de la comunidad. Siempre es conveniente, y con frecuencia necesario, darles informaci6n anticipada sobre los viajes que se vayan a hacer en su zona. Cabe mencionar una reserva sobre la informaci6n obtenida de dichos funcionarios. Las oficinas públicas suelen tener un punto de vista "oficial", al cual sus funcionarios se suscriben o creen que están obligados a respaldar. Puede suceder que amolden sus opiniones a la versión oficial. Por supuesto, los ministerios tendrán también actividades específicas en marcha, como, por ejemplo, la aplicaci6n de nuevas técnicas. Los funcionarios locales, cuyas carreras dependen de que se adopten estas técnicas (a veces especificadas en forma de metas), no son necesariamente informadores imparciales de lo que de hecho está sucediendo. Naturalmente, éste es tan s6lo un aspecto de una dificultad general con la que tropiezan todos los que trabajan en unidades de seguimiento y evaluaci6n. - 79 - La finalidad principal de la observacion rápida es la de ser rápida. Esto no se aplica únicamente al método de observaci6n. Todo el proceso tiene que ser rápido, desde la iniciaci6n del viaje hasta la presentación de un informe y recomendaciones a los que han de tomar las decisiones sobre la política que convenga adoptar. 6.3 El estudio de casos Como se ha indicado en la Parte 5, en este Manual se entiende por "estudio de casos" el estudio detallado de un pequeño número de unidades, seleccionadas como representativas del grupo o grupos que tienen que ver con el objeto estudiado, pero no necesariamente representativos de la población en conjunto. Se emplea este método cuando es preciso examinar a fondo las relaciones mutuas que existen entre la población y las instituciones;, identificar y explicar las actitudes y opiniones existentes, y demostrar el por qué se da un determinado comportamiento. Los estudios de casos prácticos son especialmente apropiados cuando se requiere un alto nivel de análisis. Estos no tienen las restricciones con que tropiezan las grandes encuestas muestrales en lo que respecta a cuestionarios y entrevistas, ni tampoco están limitados por el menor horizonte temporal que es propio de *Las tareas de observación rápida y que impiden el establecimiento de una relaci6n estrecha y fructífera entre los entrevistadores y los entrevistados. El período requerido para los estudios de casos suele ser lo suficientemente largo como para exigir la residencia de los entrevistadores en la comunidad objeto de estudio o en sus cercanías. Por consiguiente, los entrevistadores tienen la oportunidad de ser aceptados en la comunidad. Se pueden discutir cuestiones delicadas en un ambiente relajado y tranquilo y sin formalismos, y observar el comportamiento. Como es natural, los investigadores deben reducir al mínimo el efecto que su presencia tiene sobre todo aquello que ellos estén observando, de manera que, en lo posible, lo que existe "naturalmente" sea detectado, registrado y analizado. En este sentido, un informe de evaluación afirmaba: "El CIDER debiera explorar los medios encaminados a utilizar sus investigadores de evaluaci6n de manera más intensiva, asignando su personal a funciones sobre el terreno con carácter más o menos permanente (o prolongado). S61o se podrá realzar la eficacia de la gestión modificando significativamente la actual relación entre el tiempo pasado por el personal del CIDER en la sede y en las aldeas en favor del tiempo pasado sobre el terreno".1/ 1/ Michael Cernea, "La cuantificaci6n de los efectos de los proyectos: la vigilancia (seguimiento) y la.evaluación en el Proyecto de Desarrollo Rural PIDER-México", Documento de Trabajo de los Servicios del Banco Mundial No. 332 (Washington, D.C.: Banco Mundial, junio de 1979). - 80 - Como ejemplos de circunstancias que justificarían el emprender un estudio de casos se podrían citar los siguientes: (a) Graves distorsiones del proyecto no debidas a trastornos físicos patentes relacionados con la construcci6n, entrega u otras funciones logísticas. (b) Una amplia gama de variaciones en las respuestas o resultados en diferentes zonas o sectores. (c) Una ejecuci6n deficiente, general y extendida, u otros indicios que sugieren un posible fracaso en lo que respecta a organizar las actividades del proyecto para adaptarlas a las necesidades de los beneficiarios. Una característica común es la necesidad de presuponer e investigar las relaciones causales. La observaci6n peri6dica del proyecto podrá identificar el problema y con frecuencia ofrecer la base que permite establecer hip6tesis apropiadas, pero éstas deben ser comprobadas por medio de series de datos observados con mayor profundidad y precisi6n. Por otra parte, como ya se ha visto en las Partes 3 y 5, los estudios de casos se utilizarán en toda una serie de proyectos para establecer la base racional de apoyo que permite determinar la verosimilitud de argumentos causales opuestos, aun cuando no sea factible hacer una comprobaci6n rigurosa de su validez. Los estudios de casos debidamente realizados podrían destacar toda una serie completa de actividades relacionadas y no relacionadas con el proyecto en cuesti6n dentro de un marco de comportamiento único y tener en cuenta las interacciones del sistema. El informe sobre el PIDER, anteriormente mencionado, decía así: "Este tipo de estudios (multisectoriales, aunque restringidos a un área relativamente limitada) debieran captar el efecto sinergistico de los varios componentes del proyecto sobare la vida, economía, estructura, instituciones y organizaci6n de las comunidades individuales".1! El mismo puede proceder de una forma flexible--y con frecuencia especulativa--y con todo producir resultados finales dentro de un lapso temporal acceptable. Como ya se ha subrayado anteriormente, es muy eficaz cuando está complementado por otras técnicas. Dado que el éxito de un estudio de casos depende casi por completo del investigador (o investigadores) principal, deberá concederse una gran libertad a la persona (o personas) elegida para llevar a cabo la 1/ Idem, págs. 68-69. - 81 - encuesta de la manera que lo crea más conveniente. Estas personas id6neas se podrán encontrar entre el personal del proyecto en la unidad central de evaluaci6n (en su caso), en instituciones académicas o de investigación locales o en firmas consultoras o consultores individuales. Como frecuentemente es necesario utilizar tanto los recursos de las ciencias naturales como de las sociales, muchas veces será necesario nombrar a dos investigadores en colaboración (por ejemplo, un agr6nomo y un economista agr6nomo). En algunas culturas, tal vez sea necesario tener investigaciones de ambos sexos. "...la necesidad de un enfoque multidisciplinario se comprende mejor; un enfoque en el que el soci6logo y antropSlogo trabajen en colaboración con el economista y el investigador agr6nomo ... parece ser el más eficaz ara comprender e influir en el sistema de explotaci6n agrícola ...". / Desde el principio deberá hacerse hincapié en la presentaci6n de informes oportunos. Con frecuencia, los individuos más experimentados y competentes en esta clase de estudio, una vez que lo han iniciado, se encuentran envueltos en nuevas posibilidades imprevistas de investigaci6n, y persiguen mejoras adicionales a expensas de cumplir puntualmente con los plazos fijados. La prolongación del plazo para realizar el trabajo de campo retrasa el análisis directamente (al aplazar el esfuerzo requerido que hay que dedicarle) e indirectamente (al originar procedimientos más complicados). El informe final podrá ser un documento más completo en el sentido académico o en el contexto de la investigaci6n, pero tendrá poco valor práctico si el plazo para utilizar los resultados del estudio ha transcurrido ya. Si bien se ha de dar al investigador la libertad anteriormente mencionada, es preciso seguir de cerca la marcha de cualquier estudio de casos teniendo otros plazos en consideraci6n. En el pasado, una de las características de la metodologia de estudio de casos ha sido su carencia de plazos. Con todo, hay que reconocer que algunos resultados interesantes no se habrían podido obtener de otra forma. Por lo tanto, será cuestión de buen juicio determinar hasta quá punto--si éste fuere el caso--se podrá atender una solicitud de aplazamiento del plazo del estudio. Los aplazamientos deberán efectuarse únicamente en casos muy especiales; es demasiado fácil el proponer la continuaci6n de la investigación de unas relaciones adicionales "potencialmente interesantes", y el investigador podría también, por raz6n de su formación profesional, sentirse inconscientemente inclinado a querer relacionar todo con todo. Cuando se encarga un estudio de casos, hay que entregar términos de referencia al investigador. Dichos términos deben especificar el tema, los plazos, la escala y los sujetos a ser entrevistados. La precisión requerida en ciertos aspectos deberá combinarse con la flexibilidad en 1/ Idem. - 82 - otras, ya que una de las razones para utilizar la técnica del estudio de casos es precisamente su función exploratoria. La especificaci6n del tema será relativamente sencilla cuando el requisito es principalmente descriptivo, por ejemplo, el suministro de información sobre ciertos canales de comercializaci6n, o una investigaci6n de las actitudes de los agricultores para con un cierto servicio propuesto o recién implantado. Cuando el proyecto está experimentando distorsiones o amplias variaciones en las respuestas, los términos de referencia para el investigador (aun cuando se centre en torno a la distorsi6n o variaci6n particular) deberán ser más abiertos, es decir, deberán parecerse más a una reseia de problemas que a una formulación de requisitos específicos de informaci6n. El seguimiento del proyecto puede haber facilitado hipótesis o explicaciones provisionales que constituirán el punto de partida. En las etapas finales de la evaluación, sobre todo en la detecci6n de efectos imprevistos, los términos de referencia deberán sefialar las áreas motivo de especial preocupaci6n y el carácter general de los resultados previstos. En un proyecto de riego, por ejemplo, los rendimientos más altos que se obtuvieron como consecuencia de la utilización inicial del agua se estabilizaron a un nivel inesperadamente bajo. Con el objeto de explicar las razones de este fracaso en aprovechar completamente los recursos puestos a disposici6n, se emprendió un estudio de casos, en el que se especific6 como tema del mismo las limitaciones que experimentaban los agricultores como consecuencia de las nuevas circunstancias que había creado el proyecto. El período asignado al estudio debe, como ya se ha sefñalado anteriormente, conformarse a las necesidades del proyecto. Por lo general, cuanto más complejo sea el tema, tanto más tiempo se necesitará para investigarlo. Es posible que se requiera realizar una investigación, con frecuencia muy minuciosa, de las interacciones que existen en el sistema. Por ejemplo, las fechas de la siembra del maíz pueden verse limitadas por las fechas de la siembra de los frijoles que, a su vez, podrían estar condicionadas por la incidencia de una enfermedad. Pueden existir interrelaciones no detectadas entre las variedades de cultivos y el ganado. Por ejemplo, en un proyecto de maíz, al arrancarse las hojas del maíz en pie para alimentar a los animales, la diferencia entre los rendimientos de las distintas variedades llegó a ser un factor clave en la evaluaci6n de los rendimientos obtenidos por los agricultores. Por consiguiente, todo el sistema deberá ser revisado. En estos casos, el calendario real de la encuesta, así como la duración de la misma requieren una planificación detallada dentro del marco del proyecto. Las características del comportamiento que representan estrategias para reducir los riesgos son difíciles de precisar. Y lo que es más, los fracasos del proyecto pueden ser consecuencia de ineficiencia o de ilegalidad. Se requiere tiempo para comprender las decisiones adoptadas - 83 - por los agricultores y detectar simulaciones o evasivas. El estudio de casos deberá investigar con profundidad los acontecimientos anteriores y observar tambi5n el comportamiento en el momento en que éste se da. La mano de obra que participa en las diversas etapas de un cultivo constituye una buena ilustraci6n de ello: la frecuencia, el alcance y el tiempo requerido para labores tales como la preparaci6n de la tierra, la siembra del cultivo, la escarda, la aplicaci6n de fertilizantes y pesticidas, las faenas de cosecha y postcosecha, podrían requerir una observaci6n (o, por lo menos, que se recordaran durante un espacio de tiempo muy corto) a lo largo de la campaia agrícola. Esta posibilidad de poder observar el comportamiento a lo largo del tiempo--una de las características positivas del estudio de casos--deberá explotarse con discreci6n. Este tipo de observaci6n prolongada por observadores profesionales es una actividad costosa y deberá estar justificada por la demanda de un análisis detallado de los usuarios principales. Es frecuente que.el impulso de estos estudios lo den investigadores que no están involucrados directamente en los problemas del proyecto en cuesti6n. Los estudios de casos realizados al amparo de la evaluaci6n no son financiados para fines de investigaci6n. La escala o cobertura geográfica del estudio de casos influirá también en el plazo de tiempo requerido (a no ser que se organicen simultáneamente encuestas independientes paralelas). La cobertura puede que no tenga importancia en el caso de proyectos que tengan una zona de influencia limitada, pero en los proyectos de mayor alcance es preciso identificar los factores que clasifican a los beneficiarios del proyecto en distintos grupos de estudio apropiados. Las unidades del estudio de casos se eligen entonces de entre los grupos formados. Esta selecci6n no ha de confundirse con el muestreo estratificado o por conglomerados (v&ase la Parte 7). El fin que se persigue no es obtener estimaciones válidas para la poblaci6n total, sino más bien asegurar que el estudio de casos incluya ejemplos que demuestren los principales fen6menos estudiados. Los grupos atípicos o no modales van probablemente a necesitar una atenci6n especial. Es posible que ciertos grupos no tengan que ser estudiados. Es posible que el proceso de la selecci6n no se base en la aleatoriedad. Un requisito fundamental es identificar a los entrevistados y agruparlos en forma significativa,, de suerte que se pueda estudiar y comparar lo que ellos hacen y la manera en que llegan a adoptar la decisión de hacerlo. Los entrevistados o encuestados para la mayoría de los fines de desarrollo agrícola y rural serán los propios agricultores. Deben hacerse, sin embargo, dos salvedades. En primer lugar, si bien el agricultor puede tomar decisiones a un nivel dado, otros miembros de la familia pueden decidir las actividades a un nivel más bajo; por ejemplo, muchas prácticas de cultivo están determinadas por las mujeres que trabajan - 84 - en la parcela familiar. La unidad fundamental puede ser el hogar; "la unidad familiar es simultaneamente una unidad de producción y una unidad de consumo ... La sociología de este tipo de unidad está complejamente vinculada con su economía".1/ En segundo lugar, cuando la unidad del hogar familiar se rompe temporalmente a causa de la migración de algunos de sus miembros, la unidad de la toma de decisiones comienza a desintegrarse. La investigación entonces se hace inevitablemente más complicada. Cuando estos aspectos son importantes, las recomendaciones que se ofrecen aquí sobre los m6todos para agrupar a los agricultores deberán modificarse en forma apropiada. Los factores que influyen en las decisiones de los agricultores pueden agruparse como sigue: (a) Generales: (i) Régimen y variación climáticas (ii) Susceptibilidad a plagas y enfermedades (iii) Factores sociales, culturales y comunitarios .(iv) Facilidades de comercializaci6n y crediticias (v) Política oficial (b) Específicos: (i) Recursos: familia y mano de obra, tierra, ganado y capital. (i) Metas individuales con respecto a actitudes y respuesta al cambio. Evidentemente, la clasificaci6n por características generales es la más sencilla. Mucho se logrará con una divisi6n territorial, aunque incluso una zona con un régimen climático homogéneo podría todavía necesitar una subdivisi6n importante. Por ejemplo, la proximidad a las ciudades es un factor que influye en la comercialización y en las oportunidades de migración. Los grupos pastorales necesitarán generalmente categorías separadas. Con frecuencia, una clasificaci6n basada en características generales será todo lo que se puede precisar en los informes preparados para los estudios de casos prácticos en las etapas iniciales del proyecto, ya que no se dispondrá de ninguna información sobre las variaciones o características individuales. Más adelante, los registros del proyecto constituirán un medio de agrupaci6n específica; por ejemplo, aceptantes y no aceptantes, los que muestran progresos satisfactorios y los que presentan resultados decepcionantes. 1Idem, pág. 113. - 85 - A veces, los factores comunitarios, sociales o culturales pueden ser muy importantes, sobre todo, cuando toda o la mayor parte de la comunidad o localidad ha de adoptar el cambio propuesto para que éste di resultado. Una ilustraci6n de ello es el mantenimiento de un sistema de riego, que depende de un acuerdo comunitario sobre la distribuci6n del agua y la provisión de mano de obra local para mantenerlo en funcionamiento. En estos casos, la comunidad propiamente dicha será el foco central de la investigaci6n. A continuaci6n se examinan con mayor detalle los factores específicos en función de las características contenidas en las siguientes listas de verificaci6n: (a) Recursos (i) Familia y mano de obra: tamaio, edad, respuesta a las instrucciones de los agricultores, disponibilidad a lo largo del año, otros empleos, mano de obra contratada. (ii) Tierra: tamaio, fertilidad, posici6n (pendiente), disponibilidades de agua, acceso a mercados, sistemas de cultivo y calendario. (iii) Ganado: tipo, tamaño, carne, leche y capital. (iv) Capital: maquinaria en propiedad, maquinaria arrendada, almacenes, vehículos (incluidos bicicletas y carros de tracci6n animal). (b) Factores de comportamiento (i) Edad, educaci6n y experiencia anterior (ii) Posición en la comunidad (iii) Sensibilidad al riesgo (iv) Influencia de hijas o hijos educados o migrantes. Muchas de las variables enumeradas no se conocerán antes de emprenderse el estudio, pero se incluirán en el mismo como posibles causas explicativas de la variaci6n en las respuestas. Sin embargo, toda la informaci6n individual disponible se podrá utilizar, incluso en la fase de planificaci6n, con miras a establecer otros subgrupos. Cuanto más grupos se formen, tanto mayor será la homogeneidad de cada grupo. Pero la complejidad de la organizaci6n del estudio aumenta en este caso, por lo que tendrá que llegarse a cierto compromiso. Lo más - 86 - importante es que la variación entre los grupos respecto al tema en estudio deberá ser significativamente mayor que la variación dentro de los grupos. Cabe señalar que, una vez incluidos los factores específicos, los límites de los grupos raras veces serán de naturaleza geográfica; los agricultores pertenecientes a una misma comunidad pueden encontrarse incluidos en diferentes grupos. Sin embargo, para obtener la profundidad de percepción prometidos por los mátodos del estudio de casos, será preciso que las investigaciones se limiten a unos cuantos lugares y a un pequeño número de agricultores. El estudio de casos no deberá ser una encuesta aislada; el tema y la selecci6n de los grupos pertinentes están determinados por el lugar que ocupan los estudios individuales en las actividades generales de seguimiento y evaluación. Su planificaci6n se efectúa en el contexto de las actividades de seguimiento, y su replanteamiento se perfila mediante encuestas especiales y preliminares de observación rápida. Sus resultados se interpretan al mismo tiempo que cualquier encuesta muestral planeada conjuntamente con el estudio de casos. Al efectuarse las encuestas muestrales simultáneamente, se corrobora así el punto anterior, es decir, que el estudio de casos no perseguirá necesariamente "el promedio". A veces puede lograrse una mejor comprensi6n con un estudio de los extremos, por ejemplo, de aquéllos para los cuales el proyecto ha resultado beneficioso y de aquéllos que lo han rechazado por completo. - 87 - PARTE 7: EL MUESTREO Y EL DISEÑO DE ENCUSTAS MUESTRALES PARA EL SEGUIMIENTO Y LA EVALUACION 7.1 La l6gica básica del muestreo Si se recongen datos de cada miembro de la poblaci6n general--un censoý-no-se requerirá ninguna inferencia para relacionar los resultados obtenidos con dicha poblaci6n. Las únicas fuentes de error serán las relacionadas con la enumeraci6n y el análisis, como el registro defectuoso de los datos, la negativa a responder, los errores en las respuestas, las omisiones (o duplicaciones) y la mala codificaci6n y elaboraci6n de datos. Estos son errores no muestrales. Los censos no suelen ser prácticos, salvo en casos de simples recuentos de la poblaci6n efectuados por organismos nacionales. Por lo tanto, se recurre al muestreo, es decir, a la obtenci6n de datos de unos cuantos miembros de la población total. Se introduce entonces otro error, a saber, el error de muestreo, que se origina porque la muestra elegida no representa perfectamente a la poblaci6n. El resultado obtenido de otra muestra tomada de la misma poblaci6n será diferente. Pero este error adicional podrá contrarrestarse con creces mediante una reducci6n de los errores no muestrales mencionados anteriormente, como resultado de la mejor calidad de la enumeraci6n que puede lograrse al reducir la escala del estudio. El error de muestreo puede estimarse a partir de los datos de la misma muestra, si cada miembro de la población tiene una probabilidad conocida de ser incluido en la muestra. La l6gica del muestreo puede expresarse consderando una serie de muestras de- cierto tamaio extraídas de una poblaci6n, con el fin de calcular la media de un determinado atributo de la poblaci6n. Algunas muestras pueden dar una media inferior a la media de la poblaci6n total, otras darán una media más alta y algunas darán una media muy pr6xima a la media de la poblaci6n. El teorema fundamental es que la distribuci6n de estas medias muestrales, si las muestras son de tamaños razonables, se acercará a la de una curva normal que, a su vez, tiene una media equivalente a la de la poblaci6n. En consecuencia, el margen probable por el que una media muestral dada difiere de la media de la poblaci6n puede calcularse y es (con ciertas reservas que se mencionarán más adelante) inversamente proporcional a la raíz cuadrada del tamaño de la muestra. Para que puedan aplicarse estos resultados, deberá introducirse el principio de aleatoriedad en el proceso de selecci6n. La poblaci6n de la que se va a extraer la muestra puede. estar agrupada en varias categorías y ofrecer así distintas probablilidades de selecci6n para cada grupo. - 88 - Pero, una vez que se ha llevado a cabo éste y otros refinamientos del diseio, la selecci6n de una o varias unidades a partir del grupo deberá hacerse al azar. Este elemento esencial de la aleatoriedad es precisamente lo que distingue el muestreo probablilístico, que permite hacer inferencias con niveles precisos de confianza, de otras formas de muestreo que, si bien prácticas en ciertos casos, no pueden proporcionar estimaciones adecuadas del error de muestreo. De ésto se deduce que, para asignar a cada miembro de la poblaci6n una probabilidad conocida de selecci6n en un proceso de muestreo, la población deberá ser identificada en su totalidad. Se requerirá una lista básica, es decir, una lista completa de sus unidades integrantes. 7.2 La elecci6n de la unidad y la base del muestreo La selecci6n de la unidad muestral definitiva constituye una importante decisi6n que ha de adoptarse en las etapas iniciales del diseio. Entre las unidades posibles se pueden citar las siguientes: (a) un individuo (b) una familia (c) una cooperativa o grupo operativo (d) un poblado o grupo social (e) una parcela (f) una explotaci6n agrícola (g) una zona cartografiada (h) un lugar en que se da una actividad específica, y (i) un área administrada como una entidad única. Los individuos pueden servir adecuadamente como unidades muestrales en las encuestas demográficas y en ciertas encuestas de actitud, pero no tanto en las encuestas sobre medidas econ6micas y de calidad de vida, en que la unidad econ6mica o social es más pertinente. Además, los individuos son más difíciles de catalogar y de seguir que los hogares o las explotaciones agrícolas. Las encuestas que tienen por objeto estudiar una actividad determinda pueden utilizar como unidad muestral las localidades en que se lleva a cabo dicha actividad, por ejemplo, un mercado o clínica. La unidad elegida debe ser definida con precisi6n. De lo contrario, en las fases de preparación de lista básica, confección de listas e identificaci6n de las unidades muestrales, se producirán ambigüedades, y los distintos componentes del equipo de la encuesta harán diferentes interpretaciones. Como ya se señal6 en la Parte 4, existen prácticamente tantas definiciones de "hogar" como encuestas de hogares. Deberá hacerse un examen de los conceptos y definiciones que se utilizan localmente con miras a adoptar la definici6n uniforme, si es que existe. Lo más importante es que la definición sea clara, y que sea considerada como racional tanto por el entrevistador como por el entrevistado. De poco ENO - 89 - vale tener una definición clara si ésta contradice las costumbres locales. El muestreo por áreas es especialmente apropiado para las zonas rurales, en que es posible que la única lista básica disponible sea un mapa de toda la zona. Esta puede considerarse como un conjunto de pequeias áreas que pueden ser seleccionadas al diseñar una muestra. Sin embargo, será preciso también definir detalladamente las pequeias áreas y ponerlas en mapas. Limites no identificables en los mapas han sido, y continúan siendo, una de las fuentes de sesgo más importantes en la selecci6n de la muestra. Si la población que va a ser encuestada es un subconjunto expecífico de la poblaci6n general, como los beneficiarios del proyecto, es posible que haya registros administrativos con una lista de dicho subconjunto. Sin embargo, una lista básica de este tipo deberá ser comprobada para ver si hay: (a) errores de registro (b) omisiones y (c) duplicaciones. Por los general, no existe una lista completa de las unidades que integran la población. En tal caso, la lista básica del muestreo ha de establecerse en etapas, dando lugar a un muestreo de etapas múltiples (véase la Sección 7.6 más adelante). Las listas de las divisiones administrativas, demasiado extensas para considerarse unidades muestrales definitivas, podrán utilizarse para extraer una muestra primaria de dichas divisiones. Se procede entonces a preparar listas para establecer la lista básica de las unidades muestrales secundarias dentro de las unidades primarias elegidas. Si es necesario, se puede introducir una tercera o cuarta etapa, estableciéndose lista básica de cada etapa específica únicamente de entre las unidades elegidas en la etapa anterior. Estas decisiones sobre la elecci6n de la unidad muestral y la lista básica que se van a utilizar para la selección de las unidades se toman con frecuencia a la ligera, con el fin de comenzar rápidamente la encuesta. En consecuencia, se introducen sesgos que eliminan la posibilidad de lograr los objetivos de la encuesta, independientemente de cuál fuere el tamaño de la muestra y el cuidado con que se realizare la obtenci6n de los datos. En países que no cuentan con mapas cadastrales, se ha solido encontrar (más tarde) que las muestras de pequelas áreas que utilizan mapas de enumeración censal producen estimaciones con sesgos del orden del 15 al 25 por ciento. Los recursos a ser empleados para establecer una lista básica de la que extraer la muestra dependen, hasta cierto punto, de si ésta va a ser - 90 - utilizada para una encuesta expecífica concentrada en un solo tema, o bien para una serie de encuestas realizadas a lo largo del tiempo, que cubra muchos temas. En este iltimo caso, estará justificado dedicar un esfuerzo considerable, mientras que, en el primer caso, existe un límite más allá de cual la dedicaci6n de recursos adicionales logrará s6lo mejoras de menor importancia en la lista básica que no se justifican. 7.3 Elecci6n del procedimiento de muestreo Puede que no se requiera el empleo de procedimientos muestrales para obtener parte de la informaci6n necesaria para el s9guimiento y la evaluaci6n (sobre todo para el primero). Los registros de los insumos suministrados, de los beneficiarios de éstos, de las obras en construcci6n, etc. pueden estar completos y resumirse fácilmente. Aun cuando existan registros completos, si éstos son numerosos y no están almacenados en archivos computadorizados, el muestreo puede servir para facilitar la presentaci6n de informes peri6dicos (tal vez semanales) sobre el progreso logrado en la administración del proyecto. Será necesario un muestreo para obtener datos sobre muchos de los indicadores que se enumeran en la Parte 4. Un estudio de casos puede considerarse un tipo de muestra, pero, como ya se ha expuesto anteriormente, la investigaci6n detallada de un fen6meno particular puede hacer necesaria que la selecci6n de los casos sea intencional para representar el fen6meno en estudio. Cualquier intento por introducir una selecci6n aleatoria con miras a conseguir una credibilidad muestral podría debilitar lo que debiera ser el punto fuerte del estudio de casos, es decir, el examen detallado de unidades representativas meticulosamente elegidas. Existen otros procedimientos muestrales que, aunque no satisfacen los requisitos estrictos de la aleatoriedad, podrían, no obstante, producir conocimientos sobre la poblaci6n a mucho menos costo en materia de tiempo y recursos que los requeridos para el muestreo aleatorio. Las definiciones siguientes identifican la gama de procedimientos existentes: Una muestra aleatoria (o probabilística) es la selecci6n de un número de elementos procedentes de una poblaci6n estadística de tal modo que cada uno de los miembros de la poblaci6n tenga una probabilidad conocida de ser elegido. Una muestra aleatoria simple es aquélla en que cada miembro de la población tiene igual probabilidad de ser elegido. En la Secci6n 7.6, más adelante, se estudian otros diseios que mantienen el principio de la aleatoriedad. La precisi6n de estos otros diseños muestrales se aprecia comparándola con una muestra aleatoria simple como norma, pero ello no quiere decir que ésta sea la muestra más eficaz de adoptar. - 91 - Una muestra dirigida (o intencional) es la selecci6n de un número de elementos de una poblaci6n por una persona que escoge deliberadamente para extraer una muestra que represente a la poblaci6n. La intención de extraer inferencias numéricas sobre la poblaci6n total continúa existiendo (a diferencia del estudio de casos), pero la selección se hace subjetivamente, con el fin de reducir al mínimo los costos de la identificaci6n de los elementos de la muestra o de dar al enumerador la máxima comodidad. Cabe esperar que la muestra sea lo suficientemente representativa para los fines específicos que se persiguen, pero ásto no se sabrá con ningúun grado apreciable de precisi6n, es decir, la probabilidad de sesgo existe, pero su tamaño es desconocido. Una muestra por cuotas es la selecci6n de un número de elementos de una población, de manera que un número dado de ellos caiga dentro de cada uno de un conjunto definido de subgrupos de la poblaci6n, pero en que la elección de los elementos que han de constituir la muestra con respecto a cada subgrupo se hace a la discreci6n del enumerador. El encargado de preparar una muestra vali5ndose de procedimientos con selección dirigida o por cuotas debe conocer la gama completa de elementos que integran la poblaci6n y tratar de cubrirlos todos. Esto constituye una importante mejora con respecto a las t5cnicas más rudimentarias de observaci6n rápida, en que el observador se limita simplemente a desplazarse a lo largo de un camino específico en sus rondas de visita oficial a zonas determinadas de antemano. Si bien estas observaciones son "intencionales" en cierto sentido de la palabra, no es probable que los elementos encontrados valiéndose de dicho procedimiento representen todas las categorías de la poblaci6n objeto de estudio. Según las circunstancias en que las unidades de seguimiento y evaluaci6n se vean envueltas, el muestreo dirigido o por cuotas puede ser apropiado y aceptable. A continuación se exponen para su consideraci6n los ejemplos siguientes: (a) A.l analizar una posible ampliación de la zona del proyecto, se requiere determinar rápidamente la gama de sistemas de cultivo existentes en la zona, pero no existe informaci6n sobre el tamaño de la poblaci6n ni se dispone de lista básica de los poblados. (b) Una hip6tesis, que mantiene que la resistencia a adoptar el paquete técnico propuesto por el proyecto está relacionada con la situaci6n del agricultor respecto a la tenencia de la tierra, ha de comprobarse, pero no existe ningún registro de los números de agricultores por cada régimen de tenencia. - 92 - (c) Las diferencias de rendimiento por tamaio de explotación agrícola han de examinarse a la mayor brevedad posible; se conocen las proporciones de explotaciones agrícolas en ciertos grupos de tamaño por un censo anterior, pero no existe ninguna lista de explotaciones individuales por tamano. Supongamos también que la encuesta ha de iniciarse inmediatamente y no hay tiempo para establecer una lista básica, y que los recursos disponibles son insuficientes para la localización de segmentos elegidos al azar. Ejemplo (a): El muestreo dirigido podría ser la única opción viable. Se pueden seleccionar unas cuantas áreas pequeias con diferentes condiciones climáticas o pedológicas. El sistema de cultivo de cada área elegida se establece entrevistando a miembros destacados de la comunidad local. Estas áreas habrán sido elegidas deliberadamente, con el fin de representar la gama completa de sistemas de cultivo de toda la zona. Aunque no hay garantías de que se haya logrado ese prop6sito, el resultado será casi con toda seguridad más positivo que el que se hubiere obtenido entrevistando s6lo a funcionarios del gobierno central, cuya alegación de poseer conocimientos locales podría ponerse en duda, o bien utilizando datos obtenidos de otra zona, o estimaciones nacionales que se supone representan erróneamente las condiciones de la zona objeto de estudio. Ejemplo (b): Un tipo de muestra por cuotas es posible. Los regímenes de tenencia de la tierra pueden conocerse, pero no así el relativo predominio de cada uno de ellos. Se puede asignar a los enumeradores la tarea de localizar dentro de su área de operaci6n números previamente definidos de agricultores en cada régimen de tenencia y hacer una entrevista a cada agricultor. Deberá hacerse una previsi6n para cuando un enumerador no pueda cubrir fácilmente su cuota para un régimen particular. Tras efectuar ciertas indagaciones (como, por ejemplo, preguntando a las autoridades locales, etc.), deberá permitíersele indicar que ese régimen específico es raro o no existe en su área. Ejemplo (c): Este permite una mayor precisión en la selección de la muestra por cuotas. Puesto que se conoce el tamaio relativo de cada grupo de tamafño, la cuota para cada tamaño puede variarse según el caso. Cabe seialar, sin embargo, que no es necesario fijar la cuota en estricta relaci6n con la proporción de la poblaci6n en cada grupo de tamaio. Un grupo de tamaño que represente un número relativamente reducido de explotaciones agrícolas (por ejemplo, explotaciones de un tamaño mayor de diez hectáreas) podría tener, sin embargo, especial importancia, y asignársele una cuota igual a la de un grupo de tamaio que contenga una mayor proporción de las explotaciones agrícolas. Una vez más, el enumerador puede elegir libremente los elementos que han de constituir la muestra para cubrir sus cuotas lo mejor que pueda dentro de unas normas precautorias generales. - 93 - En cada uno de estos casos, lo que se pretende es recopilar información a partir de una muestra, cuyos resultados van a tomarse para representar a la poblaci6n. Las medias, intervalos o recorridos, relaciones y proporciones se calculan y serán consideradas como representativas del valor para el grupo pertinente. En el caso del ejemplo (c), pueden hacerse incluso estimaciones de los totales para la poblaci6n al conocerse las fracciones muestrales. Lo que no se puede hacer es calcular los errores de muestreo de estas estimaciones y, por tanto, determinar sus límites de confianza estadística. En el caso del muestreo por cuotas, los errores de muestreo se calculan a veces partiendo del supuesto de que los encuestados fueron elegidos al azar sin sesgo de selección, pero este supuesto no está normalmente justificado. Esta pérdida de eficacia en la utilizaci6n de los resultados puede que no preocupe indebidamente al usuario. Las vagas notas preventivas que se adjuntan a los resultados, subrayando el tamafio desconocido de los sesgos, podrían ser completamente aceptables; en realidad, el recipiente podría sentirse satisfecho de tener, al menos, este nivel de cuantificaci6n del problema. Cabría observar que muchos informes de encuestas que utilizan muestras probabilísticas no mencionan los errores de las estimaciones, agregadas o desagregadas, contenidas en ellos. Las cifras que aparecen en las casillas individuales de los cuadros de clasificación múltiple se consideran como si fueran tan confiablés como las cifras totales. Esta práctica, que no es deseable, pone en evidencia la falta de demanda de tales declaraciones de precisión por parte de muchos usuarios, frecuentemente como consecuencia de su desconocimiento de estas materias. Las preguntas que se han de contestar al elegir un procedimiento muestral podrían formularse como sigue: (a) ¿Se ha examinado si existe una lista básica o la posibilidad de establecerla? (b) ¿Existe otra informaci6n, más agregada, sobre la población y su distribuci6n? ¿Se puede utilizar? (c) Si una aleatorización formal no es posible, ¿qué normas y procedimientos podrán adoptarse para elegir las unidades definitivas de la muestra que minimicen, al menos, los riesgos de sesgo? (d) ¿Qué diseio será apropiado para extender la muestra lo más ampliamente posible, teniendo en cuenta los recursos y el tiempo disponibles? (e) Si se han recomendado métodos no aleatorios, ¿se ha hecho saber a los usuarios las limitaciones y riesgos asociados a los procesos de inferencia? - 94 - El valor de la informaci6n recibida sobre una poblaci6n depende, en primer lugar, de la exactitud con que se recogen los datos, como resultado de la pericia, la diligencia y el cuidado puestos en las operaciones de la encuesta, y, en segundo lugar, de la exactitud con que saquen las inferencias de los datos. Uno y otro dependen del diseio de la muestra. Uno de estos requisitos no debiera descuidarse en la fase del diseio por concentrarse en el otro. El arte que debe demostrar el dise?ño de la encuesta es lograr el balance 6ptimo utilizando los recursos limitados dados. Esto es aplicable, sobre todo, a las encuestas que se realizan en las zonas rurales, en que la insuficiencia de los conocimientos anteriores y las dificultades encontradas para medir las variables principales no son la excepci6n, sino la regla. 7.4 Tamaio de la muestra requerido y precisi6n de la encuesta El supuesto err6neo de que el tamaio de la muestra requerido o deseado es un porcentaje del tamaño de la poblaci6n total continúa siendo un mito sorprendentemente extendido. Según se informa frecuentemente, el tamaño de la muestra representa el uno por ciento, o el cinco por ciento, de la poblaci6n, como si fuere una declaraci6n necesaria para dar credibilidad a la muestra. O bien, una muestra mayor en una zona del proyecto en relaci6n con la de otra se justifica diciendo que una zona contiene una poblaci6n mayor que la otra. Vale la pena declarar al principio que: Si la poblaci6n total de la zona de la encuesta es muy grande, en comparaci6n con la muestra que se va a elegir, la varianza y, por ende, la precisi5n de las estimaciones calculadas a partir de los datos de la muestra serán una funci6n del número absoluto de elementos en la muestra, y no de la fracci6n muestral. El tamafño de la muestra requerido es una funci6n de la variabilidad de la característica medida y del grado de precisi6n requerido. La variabilidad puede representarse de la forma más conveniente por el coeficiente de variación (V) igual a la desviaci6n típica de la estimación partida por la estimaci6n (V = S/x). La precisión requiere dos factores, D y K. D representa la mayor diferencia aceptable entre el valor estimado a partir de la muestra y el valor real de la poblaci6n. Se expresa también en forma relativa. .K es.la medida de la confianza con la que se puede afirmar que el resultado que se persigue está comprendido en el intervalo representado por + D. Cuanto mayor sea el valor asignado a K, tanto mayor será el grado de confianza. Con frecuencia se elige un valor de K = 2, que representa un intervalo de confianza del 95% (es decir, un grado de confianza igual a una probabilidad de 19 a 1). - 95 - Un valor de K = 1 representa un intervalo de confianza del 68%, es decir, una probabilidad de 2:1. La f6rmula general será: K2 V2 n = D2 donde n es el tamaño de la muestra requerido para tener un grado de confianza K de que la estimaci6n obtenida mediante una muestra tomada de una poblaci6n con variabilidad V estará comprendida dentro de un margen D del valor real de la poblaci6n. Supóngase que la desviaci6n típica del rendimiento de una siega parcial de cierto cultivo es igual a la mitad del rendimiento medio, o sea V =-0,5. Sup6ngase también que el usuario de la informaci6n se contente con que la estimación obtenida mediante la muestra esté comprendida dentro del 10 por ciento del valor real de la poblaci6n, o sea, D = 0,1. Por tanto, el tamaio requerido de la muestra, n, es: 22 (0,5)2 4 x 0,25 n = = = 100 (0,1)2 0,01 Lo que se afirma con esta computación es que, cuando se calcula el promedio ¿Le una muestra de 100 siegas parciales (1) y su error de muestreo (E.M.), el resultado puede expresarse como sigue: La probabilidad de que el promedio real de la poblaci6n esté comprendido en el intervalo x + 2 E.M. puede justificadamente considerarse igual~a un 95% (o de 19:1). Por otra parte, el componente del intervalo, 2 E.M., dividido por i, será más o menos igual a la diferencia aceptable, D, siempre que la estimaci6n anterior de 1 fuere razonablemente precisa. Por consiguiente, el cálculo del tamaño requerido de la muestra, n, requiere tres insumos sobre los que habrá de consultarse con la administraci5n del proyecto. (a) La variabilidad de la característica a estimar en la poblaci6n original. El usuario podría tener cierto conocimiento de la misma obtenido de un estudio previo o de conocimientos generales. - 96 - (b) Una indicación del margen de error aceptable, D. En el caso de ciertos estudios, éste podrá ser relativamente grande; en el de otras, muy pequeio. (c) El grado de confianza (coeficiente de probabilidad) con que él desea encontrarse en dicho intervalo. Obsérvese que a medida que aumentan K y/o V, n disminuye en funci6n de K2 y/o y2. Por consiguiente, si una característica tiene un coeficiente de variación dos veces mayor que otro, n tendrá que ser 4 veces mayor para el mismo nivel de precisión. Ocurre lo mismo con la precisi6n requerida, D. D2 es el denominador. En el ejemplo anterior, D era igual a 0,1, D2 a 0,01, y el dividir por D2 equivalía a multiplicar por 100. Si D se divide por dos, es decir, igual a 0,05, D2 será 0,0025, y el dividir por D2 equivale a multiplicar por 400, o sea, 4 veces la cifra anterior de 100. Por lo tanto, si D se divide por 2, el tamaio de la muestra será 4 veces mayor. Reducir D por un factor g exige que el tamaño de la muestra sea aumentado por un factor g2. Como otro ejemplo, consideremos un proyecto que cubre una provincia grande que comprende seis zonas o distritos. Supongamos que se desea medir los rendimientos de los cultivos sobre la base de los rendimientos de siegas parciales de cultivos, de manera que la estimaci6n para cada zona esti comprendida dentro del 81 del valor real con un coeficiente de confianza del 95%, y que se exija que la estimaci6n para la provincia en conjunto esti comprendida dentro del 5% del valor real con un coeficiente de confianza del 95%. Se podrá suponer que el coeficiente de variaci6n del rendimiento dentro de una zona es de 0,5, pero, a nivel provincial, es relativamente más alto, es decir, de 0,7. En tal caso, la muestra requerida a nivel de zona vendrá dada por la fórmula: 22 (0,5)2 1 nz = = - = 160 aprox. (0,08)2 0,0064 mientras que a nivel provincial será: 22 (0,7)2 4 x 0,49 n = = = 780 aprox. S (0,05)2 0,0025 Si el tamaio de la muestra dentro de cada una de las seis zonas es 160, la precisión requerida para el nivel provincial se habrá sobrepasado. - 97 - En un tercer ejemplo tenemos que estimar una proporción, p, de la población que posee una determinada característica, por ejemplo, la proporción que adopta un insumo del proyecto. El error de muestreo en la p(1 -p) estimación de p es aproximadamente igual a , en que el valor p n está comprendido en el intervalo 0-1. Por tanto, dados un error de muestreo y un valor supuesto de p, se podrá calcular el tamaño de la muestra requerido. Si se espera que el valor de p sea de aproximadamente 0,5 y el error de muestreo aceptable de 0,05, se tendrá, pues: 0,5 x 0,5 n =100 (0,05)2 Como el numerador de la estimación del error de muestreo es p (1 - p), el error absoluto para p = 0,95 será el mismo que el error estimado para p = 0,05 para el mismo tamaño de muestra. El valor máximo del error absoluto se da cuando p = 0,5 y no varía mucho en el intervalo de p = 0,25 a p = 0,75. El error relativo (o coeficiente de variación).es, desde luego, mucho mayor para el valor p = 0,05 que para el de p = 0,95, aun cuando el error absoluto sea el mismo. Es precisamente este error relativo el que frecuentemente tiene más importancia para los efectos prácticos. Es preciso hacer tres comentarios a propósito de los ejemplos de tanaños de muestras qué acabamos de ver: (a) Se ha supuesto un muestreo aleatorio simple. Puede conseguirse una mayor eficiencia empleando técnicas de disefio de muestras como la estratificación, o una menor eficiencia con otras, como la aglomeración (ambas se verán más adelante). El tamafio de la muestra puede ser pequefio para una estimación determinada respecto a un área geográfica dada. Pero si se requieren estimaciones para casillas individuales de una clasificación múltiple de dos o más variables, o para subáreas dentro del área primaria, los tañafios muestrales totales requeridos para mantener un nivel dado de precisión a dichos niveles desagregados serán mayores que los requeridos para el área primaria. Por lo general, cuando se pretende preparar clasificaciones múltiples minuciosas de cualquier tipo, el número de casillas (o sub-clasificaciones cruzadas) aumenta rápidamente y el número de datos en las mismas se hace más pequeño. Una indicación aproximada del - 98 - tamaño de la muestra requerido, cuando los datos en las tablas son recuentos, puede calcularse de la forma siguiente: Una estimaci6n aproximada del error de muestreo del recuento que aparece en una casilla de una tabla es su raíz cuadrada. Supongamos que se desea que la estimaci6n para todos los grupos que representan, por lo menos, el cinco por ciento de la población, tenga un error de muestreo relativo máximo (que en el contexto de una muestra es equivalente a V, según se describió anteriormente) de 0,2. Pór tanto, si el recuento de unidades de la muestra en la casilla correspondiente se designa Y, se requeriría que: --- < 0,2 Y 0 sea, el valor de Y deberá ser, al menos, 25. Si este grupo representa el cinco por ciento de la poblaci6n, constituirá también aproximadamente el cinco por ciento de la muestra. Por tanto, el tamaio de la muestra será: 25 = 500. 0,05 (c) El usuario determina la precisi6n requerida en la estimaci6n. En el cálculo efectuado anteriormente sobre el tamaio, se ha supuesto que el único error involucrado es el error de muestreo. Este supuesto no es válido en la práctica y más adelante, en el apartado 7.5, nos ocuparemos con más detalle de sus consecuencias. Una gran parte del análisis efectuado para fines de seguimiento y evaluaci6n tiene que ver con la significaci6n de las diferencias observadas en dos o varios intervalos de tiempo. La medici6n de una variable en distintos momentos dados plantea una serie de interrogantes: (a) ¿Con que frecuencia deberán efectuarse las mediciones? (b) ¿Deberá continuarse utilizando las mismas unidades muestrales a lo largo del tiempo? (c) ¿Pueden utilizarse los datos anteriores para mejorarse la estimaci6n actual? - 99 - Un estudio completo de estas cuestiones exige una exposición detallada más allá del alcance de este Manual. Con todo, se pueden dar algunas recomendaciones al respecto. Sería demasiado ambicioso tratar de medir cambios relativamente pequeños entre una estación o año y el siguiente. Ciertos factores externos, como el clima, producen grandes variaciones a corto plazo que pueden ocultar durante algún tiempo la tendencia generada o influida por el proyecto. Una serie cronológica con una base de referencia anterior a la implantación del proyecto, mediciones repetidas durante la ejecuci6n del mismo, una medición a la terminaci6n del proyecto y una medici6n posterior constituyen la mejor base posible. La decisión sobre si continuar utilizando o no las mismas unidades muestrales a lo largo del tiempo depende en parte de las dificultades prácticas que se tengan para mantener la misma muestra. Depende también de si se pretende maximizar la precisi6n de las estimaciones más recientes o la precisi6n de las estimaciones del cambio a lo largo del tiempo. Los mejores procedimientos a seguir para el logro de estos dos objetivos son diferentes, pero en la mayoría de los sistemas de informaci6n sobre proyectos se hará mayor hincapié en el segundo objetivo. Si dos series de observaciones no están correlacionadas, la varianza de sus diferencias será igual a la suma de las dos varianzas. Esta misma regla se puede aplicar también a la comparaci6n de las medias de las muestras. Si dos series de observaciones están positivamente correlacionadas, el error muestral de una estimaci6n de la diferencia entre ellas es reducido por un factor que incluye (1 - r), en que r es el coeficiente de correlaci6n. Cuanto mayor sea el valor de r, tanto mayor será la reducci6n. Por lo tanto, cuando se mide un cambio, es conveniente elegir un procedimiento que maximice dicha reducci6n. Por &sto, normalmente se recomienda el mantenimiento de las mismas unidades muestrales, ya que las mediciones de la misma variable en las mismas unidades muestrales en diversos momentos suelen estar altamente correlacionadas. Suele ser posible mantener una alta proporci6n de los mismos agricultores en una muestra a lo largo del período del proyecto para medir el cambio. Pero, si la encuesta incluye una alta frecuencia de visitas a los encuestados, la interacci6n constante entre el enumerador y el encuestado influye en el comportamiento del encuestado, de manera que no continúa siendo ya un miembro típico de la poblaci6n que él, en su calidad de unidad muestral, se supone que representa. Y lo que es más, deberá también tenerse presente que no debe exigirse demasiado de la buena voluntad de un individuo a lo largo de un prolongado y continuo período de tiempo. (En la Parte 3 se ofrece un examen más detallado de estos puntos). Por estas razones, será normalmente necesario rotar o sustituir a los miembros de la muestra original, si bien las unidades muestrales - 100 - primarias por áreas de un diseio de muestra en etapas múltiples debieran mantenerse durante todo el tiempo que sea posible. Esta rotaci6n de la muestra permite establecer un eslabonamiento, ya que la muestra para dos períodos consecutivos cualesquiera contendrá una cierta proporción de unidades comunes. El efecto de las nuevas unidades muestrales se dispersa, por así decirlo, a lo largo de un período de tiempo prolongado, reduciendo así el trastorno en la línea de tendencia cronológica que constituye el principal parámetro. Por regla general, la sustitución o rotaci6n de aproximadamente una cuarta a una tercera parte de la muestra en cada ronda de una muestra parece dar un resultado relativamente bueno. Aparte de esa rotación planificada, habrá una reducci6n inevitable por causa de defunciones, migración o cambios en la composici6n de los hogares que tendrán como resultado la división o agregaci6n de las unidades originales. 7.5 Componentes del error de la encuesta Las declaraciones sobre la precisión de las estimaciones muestrales parten del supuesto de que los valores observados son exactos; el único error a tener en cuenta serie el error muestral. Por esta raz6n, en los informes sobre resultados de encuestas se suele expresar los márgenes de error (si es que realmente se mencionan en estos términos. Sin embargo, la medici6n de variables tales como la producci6n o el ingreso de los agricultores a nivel de semisubsistencia crea graves problemas de entrevista y de medici6n, según se vio en la Parte 4. Incluso las mediciones objetivas, como los rendimientos de siegas parciales de cultivos, pueden estar expuestas a errores significativos, a menos que las técnicas empleadas estén bien diseñadas y controladas con cierto rigor. Los errores en las contestaciones a las preguntas se producen por la resistencia a revelar la verdadera respuesta, la falta de comprensi6n de la pregunta, el desconocimiento de la respuesta en términos cuantitativos, el deseo de complacer dando una contestaci6n que se supone es favorable, las imprecisiones por falla de memoria y muchos otros factores. A diferencia del error de muestreo, éstos no son de carácter aleatorio. Estos errores tienden a introducir un sesgo en las estimaciones en una dirección, y seria mucha suerte si dos componentes de estos errores actúan en diferentes direcciones y se compensan mutuamente. La única manera prudente de proceder es esperar importantes sesgos, que quizás superen con creces los errores de muestreo. El efecto puede resumirse en la siguiente ecuacion: Error cuadrático medio = varianza muestral + cuadrado del sesgo.1/ La prueba que se puede encontrar en libros de texto de estadística avanzada no se ofrece aquí. - 101 - Cuando un usuario establece el margen de error que desea tengan las estimaciones sacadas de una muestra, es la raiz cuadrada del error cuadrático medio (RECM) en la que se piensa. La consideración de la posible relaci6n entre la varianza muestral, en función del tamafño de la muestra, y el tamafño del sesgo ayuda a investigar la forma en que se podría minimizar la RECM. La experiencia adquirida en la medición de indicadores rurales ha demostrado que los sesgos pueden controlarse si se adiestra y supervisa el equipo de enumeradores con gran cuidado. Este control riguroso de calidad suele darse Gnicamente cuando el equipo de enumeradores es de tamañlo reducido. Sin embargo, un equipo pequefio limita el tamafio de la muestra que puede ser enumerada. El aumento del tamaio de la muestra más allá de un nivel crítico podría afectar negativamente el control de calidad, incrementando así los errores no muestrales. Este aumento contrarrestaría con creces la reducción del error de muestreo debido al mayor tamafño de la muestra. Por desgracia, los sesgos correspondientes a distintos tamaños de equipos de enumeradores no pueden preverse fácilmente. No es posible determinar con precisi6n el equilibrio 6ptimo entre el tamaño de la muestra y la calidad de los datos. Sin embargo, la experiencia recomienda algunas directrices generales. Uno de los ejemplos que se citó en el Apartado 7.4 indicaba que una muestra de 780 encuestados arrojaría una diferencia máxima del 5%, que representaría un error de muestreo de aproximadamente el 2,5%. Si cada enumerador puede entrevistar a 20 encuestados, se requerirá un equipo de 39 enumeradores, complementado por unos 8 supervisores. Y si la muestra se duplica, es decir, es de 1.560 encuestados, se reduciría el error de muestreo de 2,5% a aproximadamente 1,8%, pero entonces el equipo de enumeradores requerido aumentaría a 78 y el de supervisores a 16. Pero si, como es posible que ocurra, no hay disponible un equipo de supervisores competentes de esa magnitud, la consiguiente pérdida de control sobre la calidad podría originar aumentos de los sesgos, lo que a su vez daría lugar a un aumento general de la RECM. La duplicación del tamafño de la muestra podría, por tanto, dar lugar a una estimación menos precisa. Cabe seialar que la duplicación del tamafño de la muestra no siempre exige también una duplicaci6n del equipo de enumeradores. Alternativamente, podría prolongarse el período de duración de la encuesta. Los resultados obtenidos en encuestas sobre rendimientos mediante siegas parciales de cultivos en la India revelan que, si son realizadas cuidadosamente por enumeradores competentes, utilizando un tamafño apropiado de area a segar, el sesgo en la estimación resultante puede reducirse a menos del 5%. Sin embargo, si dichas encuestas se realizan deficientemente, se producirían sobreestimaciones de los rendimientos del orden del 10 al 15 por ciento, y más. Sup6ngase que la unidad de seguimiento y evaluación puede asignar un número suficiente de personal competente para llevar a cabo solamente 200 siegas parciales de cultivos, y que el error estándar de esta muestra es del 10% con un sesgo del 4%. La - 102 - RECM vendrá dado entonces por la f6rmula: RECM = 102 2 = 10,8% aprox. Si se deseara reducir el error estándar al 5%, el tamaio de la muestra tendría que aumentarse a 800. Pero, a este nivel, se pierde el control de la calidad y los sesgos aumentan, digamos, al 10%. Por lo tanto, tendremos: RECM = ¡52 + 102 = 11,2% aprox. La cuadruplicaci6n de la muestra ha reducido la precisi6n de la estimaci6n. Por consiguiente, se recomienda que, cuando se trata de variables sometidas a grandes sesgos en las respuestas u observaciones, los cuales pueden únicamente reducirse mediante entrevistas exhaustivas o mediciones cuidadosamente supervisadas, la siguiente consigna sobre los tamalos de las muestras parece apropiada: Lo pequeio puede ser mejor El efecto que tiene el sesgo sobre las estimaciones de los cambios a lo largo del tiempo es bastante diferente. Si el sesgo es constante a lo largo del tiempo, la raiz cuadrada del error cuadrático medio (RECM) de la diferencia entre dos observaciones en diferentes momentos no estará relativamente afectada por el mismo. En tal caso, una estimaci6n sesgada sacada de una muestra grande, repetida a lo largo del tiempo, podría resultar más eficaz para detectar cambios que una estimación insesgada tomada de una muestra pequeia con un error estándar mayor. Sin embargo, como ya se ha visto en la Parte 4, es posible que el sesgo no sea constante a lo largo del tiempo. 7.6 Opciones útiles para el diseio de muestras Hasta aquí, el estudio del error de muestreo se ha presentado dentro del contexto del muestreo aleatorio simple. Existen otras opciones al alcance del diseiador de muestras para adaptar los principios considerados, dada una lista básica de la que sacar la muestra. Algunas de ellas mejoran la precisi6n de las estimaciones correspondientes a un tamaño de muestra dado; otras hacen más viable la ejecución de la encuesta a expensas de aumentar el error de muestreo. El refinamiento del diseio de la muestra puede llegar a ser excesivo. En el contexto del desarrollo rural, es probable que la lista básica sea inadecuada, la experiencia cartográfica limitada y los enumeradores inexpertos. Cuánto más complejo o - 103 - complicado sea el diseEo, tanto más probable será que se introduzcan sesgos grandes debido a errores en la identificaci6n de la muestra. No obstante, y dentro de ciertos límites, deberán tenerse presentes las siguientes opciones: (a) estratificación (b) muestreo sistemático (c) muestreo en etapas múltiples y por conglomerados (d) muestras autoponderadas, y (e) muestras interpenetrantes. (a) Estratificación Puede utilizarse la informaci6n disponible sobre cada unidad que figura en la lista básica para dividir las unidades en grupos según la característica estudiada, de suerte que cada grupo de unidades internamente más homogéneo que la población total. Si se saca entonces una muestra distinta de cada grupo, se obtiene una muestra estratificada, en la que cada grupo constituye un estrato. Así, en el ejemplo que se da en el Apartado 7.4 de seis zonas dentro de una provincia, las zonas podrían considerarse estratos, de los que se sacan una muestra. Las estimaciones de las medias muestrales, los totales muestrales, etc. se obtienen de las estimaciones de los estratos individuales. La varianza de la estimación total es la suma de las varianzas de los estratos individuales: la varianza entre estratos no contribuye al error de muestreo. Por tanto, la precisi6n de la estimaci6n general para un tamañio de muestra dado puede mejorarse considerablemente si pueden formarse distintos estratos de unidades relativamente homogéneas. O bien, podría obtenerse el mismo nivel de precisi6n que el de una muestra aleatoria simple utilizando una muestra más pequeña. Esto ocurre de la forma siguiente: i-ésimo: Sup6ngase que xij es la observación j-¡sima en el estrato xj, =media del valor xij en el estrato i-ésimo. x,, = media del valor xij en todos los estratos. La varianza no estratificada puede considerarse un múltiplo de EE (xij - y.')2 La varianza estratificada puede considerarse un múltiplo de EE(x,j - ,. )2, de donde, EE(xij - S)2 = EE(xij - ¡E¡ ) + ('i, - Si.)]2 - 104 - Según puede observarse, el desarrollo indicado contiene la varianza estratificada como un solo componente. La varianza entre los estratos indicada por (i. - y..) está comprendida en la varianza no estratificada, pero no está incluida en la varianza estratificada. Entre los puntos que deben considerarse para diseiar una muestra estratificada se pueden citar los siguientes: 1 . Deberá obtenerse una muestra de cada uno de los estratos, de lo contrario no se podrá obtener ninguna estimaci6n global de la poblaci6n. 2 . Para calcular una varianza deberá haber, al menos, 2 unidades en cada estrato. 3 . Poco se logrará si la mayor parte de los estratos son razonablemente homogáneos pero hay uno, por lo menos, que presenta variaciones muy amplias; la contribución a la varianza total por parte del único "punto débil" podría ser tan grande como la suma de las contribuciones de todos los otros estratos. Esta es la raz6n de que, si hay un estrato abierto (véase el ejemplo más adelante), éste requiera habitualmente una fracción de muestreo mucho mayor. Una estratificaci6n efectiva constituye el método más eficaz para mejorar la precisión. El riesgo asociado a su utilizaci6n es muy bajo. Aun cuando la estratificaci6n no logre obtener estratos tan homog6neos como era de esperar, se obtendrán ciertos beneficios. De todos modos, la mayoría de las estratificaciones que se efectúan en los proyectos de desarrollo agrícola y rural dividen la población en clases o grupos que serán útiles al estudio, aparte del aumento que pudieran suponer en la precisión. La informaci6n utilizada como base para estratificar la poblaci6n deberá estar relacionada con las variables que se van a medir. Si la encuesta cubrirá múltiples temas, la estratificación en función de una característica podría ser deseable para mejorar la estimaci6n de ciertas variables, pero podría contribuir poco a mejorar la estimaci6n de otras. El criterio para justificar la estratificación en dicho caso será el mejorar la estimación de las variables más importantes. La estratificación más corriente es por subdivisiones geográficas, en el supuesto de que las unidades que se encuentran en una misma zona geográfica presentan cierta homogeneidad. Los registros administrativos pueden enumerar a los recipientes, digamos, de crédito con una indicación de la cuantía recibida. Una encuesta por muestreo que investiga la utilizaci6n de crédito se beneficiaría evidentemente de la estratificaci6n basada en esta - 105 - información. Las encuestas sobre explotaciones agrícolas se beneficiarían mucho de la estratificación.por tipo o tamaño de la explotaci6n, si (y desafortunadamente, ésto sería mucho pedir) la lista básica contiene esta informaci6n. . La estratificación por tipo de suelo es también una posibilidad atractiva, pero si para ello se tuviera que agrupar subdivisiones geográficas situadas en diferentes divisiones administrativas, surgirán complicaciones a la hora de controlar el trabajo de terreno. No es preciso mantener una fracción de muestreo constante para cada estrato. Para calcular la proporci6n 6ptima de la muestra asignada a cada estrato se requiere un conocimiento de las varianzas dentro de cada estrato. Estas no suelen conocerse con exactitud., pero podría suponerse un modelo de varianzas relativas en función de la informaci6n general disponible. Considérese el siguiente ejemplo de estratos constituidos por tamaño de explotaci6n: Cuadro 2: Número de explotaciones agrícolas por tamaño de explotaci6n TAMAÑO (Hectáreas) ESTRATO O - 1 1 - 3 3 - 5 5 - 10 10 - 50 50 + NO. DE EXPLOT. AGR. 5.000 7.000 2.000 700 200 100 Sup5ngase que de las 15.000 explotaciones agrícolas se desean elegir 600. Una muestra fija del 4 por ciento de cada estrato escogerá sólo 8 y 4 explotaciones en los estratos que contienen las explotaciones de mayor tamaio. Pero estos estratos, sobre todo el último que es abierto, mostrarán grandes variaciones en el tamafño de la explotaci6n, la producci6n, etc. Una muestra más eficaz puede obtenerse eligiendo 100 explotaciones de cada estrato. Esto significa que la fracción de muestreo varía de 1/70 en el segundo estrato a 1 en el último estrato, es decir, todas las grandes explotaciones están incluidas. En cierto sentido, este tal vez sea un diseño eficaz de la muestra, pero habrá de buscarse un compromiso entre los beneficios de la reducción del error y la mayor complicaci6n del cálculo de las estimaciones - 106 - y sus varianzas. La muestra no es autoponderada en todos los estratos, es decir, las probabilidades de ser elegida no son las mismas para todas las unidades que componen la poblaci6n. (Véase la secci6n dedicada a las muestras autoponderadas más abajo). La determinaci6n de las fracciones de muestreo 6ptimas para cada estrato depende, naturalmente, de la varianza relativa dentro de cada estrato. Incluso una determinaci6n práctica, como la del ejemplo dado, podría resultar beneficiosa. Es posible que se conozcan las proporciones de la poblaci6n en un número de estratos potenciales, pero puede que no exista una lista básica de unidades individuales con la informaci6n requerida para'asignarlas al estrato correcto. La estratificaci6n posterior, según la que las unidades muestrales se asignan a los estratos después de recogidos los datos, puede resultar útil. Cabe sefñalar que deberán conocerse las ponderaciones que se han de asignar a cada estrato. En tanto que el número de unidades muestrales de cada estrato sea razonable (más de 30, es lo que suele aconsejarse), este procedimiento permite obtener algunos de los beneficios de la estratificación ordinaria. (b) Muestreo sistemático Si las unidades de la poblaci6n a estudiar están concentradas dentro de un área limitada, como, por ejemplo, los agricultores situados aguas abajo de una pequeia presa, y todos pueden ser entrevistados a un costo mínimo, se podría seleccionar directamente una muestra de encuestados, sin ninguna etapa intermedia. El muestreo de registros administrativos es un ejemplo específico del muestreo en una etapa. Si los registros están contenidos en archivos y cualquier registro particular puede localizarse fácilmente, la muestra puede sacarse sistemáticamente de los archivos. Consideremos, por ejemplo, el archivo de un banco de crédito que contiene los nombres de los recipientes de crédito y las cuantías de crédito otorgadas. El examen de una muestra de registros de recipientes bastará con frecuencia para verificar la distribuci6n del crédito por recipiente. La selección sistemática consiste en el procedimiento siguiente. Si de 6.000 registros se va a escoger una muestra de 400 (o sea, uno de cada quince), se determina la primera unidad muestral eligiendo un número aleatorio entre el 1 y el 15. Las unidades siguientes se seleccionan de una forma sistemática afiadiendo 15 al número aleatorio inicial. En el caso general: N Calcúlese - en donde N = número total de registros n n = número requerido en la muestra. - 107 - Selecci6nese un número aleatorio r entre 1 y n. N 2N L a s u n i d a d e s m u e s t r a l e s s e r á n , p u e s , r , r + - , r + - - . . . . . . . , (n-1)N n n r + -. n Una muestra sistemática puede considerarse equivalente a una muestra aleatoria simple si los registros se almacenan en un orden que no esté relacionado con la variable que se va a medir; por ejemplo, archivados en orden alfabético por beneficiario (no es probable que la cuantía del crédito esté determinada por la letra inicial del apellido de un beneficiario). Sin embargo, si el archivo está ordenado según la cuantía del crédito otorgado, el muestreo sistemático será mejor que el muestreo aleatorio simple y casi tomará la forma de un muestreo estratificado. El riesgo principal del muestreo sistemático estriba en que el archivo de datos tenga una periodicidad que está en cierta manera relacionada con el intervalo muestral; en tal caso, una muestra sistemática será sesgada. El riesgo es bajo en la mayoría de las aplicaciones prácticas, pero habrá de comprobarse. (c) Muestreo en etapas múltiples y por conglomerados Con frecuencia, la única lista básica dLe que se dispone para seleccionar hogares o beneficiarios individuales es un registro del número de estas unidades contenidas en cada una de las subdivisiones territoriales del proyecto. En este caso, bastará una muestra en dos etapas. Las unidades muestrales de la primera etapa (unidades primarias o de primer orden) son las subdivisiones territoriales del área del proyecto. Una vez elegido un número de éstas, se recopila localmente una lista de las unidades individuales pertinentes en cada una de las unidades primarias elegidas. En esta segunda etapa se extrae una muestra de las unidades muestrales definitivas de cada una de dichas listas (unidades secundarias o de segundo orden). Se puede continuar el proceso introduciendo más etapas. La unidad primaria para medir el rendimiento de cultivos mediante siegas parciales puede ser un distrito; la unidad secundaria, una subdivisi6n de distrito dentro de los distritos seleccionados; la tercera etapa, campos dentro de los subdistritos elegidos, y la etapa final, pequeños segmentos dentro de los campos elegidos. Sin embargo, cad. etapa adicional, en la que se requiere la intervenci6n local para identificar y enumerar las unidades necesarias para proceder a la siguiente etapa, aumenta el riesgo de que algo vaya a funcionar mal. - 108 - La utilización de áreas geográficas como unidades primarias se denomina muestreo por conglomerados. Este y la estratificaci6n constituyen las opciones más corrientes del diseño de una muestra. Una muestra conglomerada brinda ciertos beneficios--las unidades definitivas han de enumerarse únicamente en los conglomerados seleccionados y las unidades muestrales secundarias (por ejemplo, hogares) dentro de un conglomerado se agruparán más cerca entre sí que una muestra aleatoria simple de unidades extraídas de la población total. Esto reduce el costo de la identificación de las unidades de la muestra y los viajes del enumerador para trasladarse de un' encuestado a otro. Sin embargo, las unidades existentes en un mismo conglomerado pueden ser semejantes en cuanto a las características estudiadas, de manera que la contribución, en lo que se refiere a mejorar la precisión de la estimación, derivada de incluir una unidad muestral adicional dentro de un conglomerado es mucho menor que la representada por una unidad adicional no incluida en un conglomerado. Por lo tanto, una muestra de n unidades constituida por un conjunto de mi unidades contenidas en i conglomerados es menos eficaz que una muestra simple de n unidades dispersas al azar en la población. En teoría, se podrían formar conglomerados que contuvieran unidades heterogéneas, pero éstos no serían necesariamente áreas geográficas de tamaño pequeio, perdiéndose así la razón principal para adoptar dicho enfoque. Para estudiar el costo del muestreo por conglomerado en términos de pérdida de eficacia para un tamañio de muestra dado, es necesario introducir el concepto de correlación intraclásica. Esta sirve para medir el grado en que las unidades contenidas en un conglomerado son más semejantes entre sí que las unidades contenidas en conglomerados diferentes. Se define como: a2b (a2/M) (M-1) (a2/M) en que 02b= varianza entre conglomerados a 2 = varianza total M = número de unidades en un conglomerado. Si M es grande, una aproximación a 6 viene dada por a2b /a2 , o sea, la raz6n entre la varianza entre conglomerados y la varianza total. - 109 - La eficiencia relativa de una muestra aleatoria simple comparada con una muestra por conglomerados viene dada por: z = 1 + 6( - 1) en donde z.indica cuántas veces mayor tiene que ser una muestra por conglomerados que una muestra aleatoria simple para generar la misma precisi5n y"g es el número promedio de unidades elegidas dentro de un conglomerado. De esta expresi6n se deduce claramente que el valor 1 tendrá que mantenerse pequeio si 6 es positivo y grande; de lo contrario, se producirá una pérdida grave de eficacia. Por ejemplo, si 6 = 0,1 y I = 20 z = 2,9 o sea, que una muestra por conglomerados tendrá que ser casi tres veces más grande que una muestra aleatoria simple para obtenerse la misma precisi6n. La diferencia entre la estratificaci6n y la conglomeraci6n aparece ahora clara. Con una muestra estratificada, la varianza entre los estratos se excluye del cálculo 1/ del error muestral, mientras que con las muestras conglomeradas la varianza entre los conglomerados puede contribuir de forma significativa a la varianza total. Por lo tanto, con la estratificación, el fin que se persigue es maximizar la homogeneidad dentro de los estratos, pero con el muestreo por conglomerados de la homogeneidad dentro de los conglomerados reduce la eficacia de la muestra. Cuando se elige un diseno de muestra estratificada y conglomera.da, las ganancias de precisión obtenidas por la estratificación son disipadas, por así decirlo, por la pérdida de precisión producida por la conglomeraci6n. Un compromiso razonable podría ser buscar un resultado final aoroximadamente equivalente al de una muestra aleatoria simple del mismo tamaño. En la Secci6n 7.4 se demuestra que los tamaños de muestras requeridos para lograr niveles medianos de preci¡3i6n no han de ser muy grandes, por muy grande que sea la zona del proyecto. El efecto negativo de la conglomeración estriba en que, dependiendo de la variable que se mide, podría requerirse una muestra varias veces más grande que las que se citan en la Secci6n 7.4 para el mismo nivel de precisi6n. La prueba del mismo, que se puede encontrar en un libro de texto de estadística avanzada, no se ofrece aquí. - 110 - No es probable que se conozca 6 antes de realizar la encuesta. Partiendo del supuesto seguro de que para muchas variables agrícolas será positivo, una regla general sería que m deberá ser menor de diez. Un diseñio de muestra conglomerada requiere una lista de todas las unidades dentro de los conglomerados elegidos para seleccionar las unidades muestrales de segunda etapa. En el caso de requerirse urgentemente una o dos estimaciones de atributos simples de una poblaci6n objetivo, por ejemplo la tasa de aceptaci6n de una determinada innovaci6n técnica para la campaña en curso, podría resultar econ6mico omitir la etapa de preparaci6n de listas y hacer entrevistas breves a todas las unidades contenidas en el conglomerado. El número de unidades elegidas dentro de un conglomerado es también mayor que el indicado anteriormente, cuando se destina un enumerador por conglomerado y se desea darle un volumen de trabajo completo. En el caso de una encuesta sobre el acceso a-servicios públicos esenciales, la correlaci6n intraclásica puede ser tan alta que 3-6 entrevistas por conglomerado bastarían, y poco se ganaría con añadir entrevistas adicionales. En el caso extremo, existen ciertas preguntas que se podrían hacer a un solo dirigiente comunitario y sus respuestas describirían todo el conglomerado; por ejemplo, el número de clínicas, escuelas, bebederos, etc. No tendría sentido hacer esas preguntas a distintos individuales, aunque se sabe que ésto ha ocurrido. Un procedimiento corriente de muestreo estratificado por conglomerados en las encuestas agrícolas es el siguiente. La region se estratifica en divisiones administrativs y agrícolas racionales. Por ejemplo, una zona de proyecto podría dividirse en divisiones administrativas principales y en subdivisiones sucesivas, en cuanto sea necesario, en funci6n de los sistemas de cultivo. De esta forma, se podrían obtener entre 10 y 20 estratos. De cada uno de éstos se sacará una lista de conglomerados claramente delimitados, que podrían ser circunscripciones censales o poblados. Las listas básicas correspondientes a cada estrato deberán ser completas y los conglomerados individuales, identificables. Se saca una muestra de estos conglomerados dentro de cada estrato. Como ya se ha mencionado, el plan de muestreo para cada estrato puede ser un método aleatorio simple con la misma fracci6n de muestreo para todos los estratos, o bien puede ser más complicado. Sin embargo, deberá extraerse una muestra de conglomerados de cada estrato individual. Unicamente los conglomerados seleccionados se incluyen en la muestra. Estos se identifican en el terreno y las unidades de muestreo definitivas se seleccionan mediante uno de los métodos indicados anteriormente. (d) Muestras autoponderadas Si cada unidad que compone la población tiene una misma probabilidad de ser incluida en la muestra, la estimación de la muestra se hace para que corresponda a la población total multiplicándola por el valor recíproco de la fracción de muestreo. Si las unidades muestrales primarias, con números diferentes de unidades de población dentro de las mismas, se seleccionan en la primera etapa, dicha fracción de muestreo constante autoponderada podrá obtenerse si las probabilidades de selección en cada etapa se elijen teniendo ásto presente. Un método corriente consiste en seleccionar las unidades primarias con una probabilidad proporcional a su participación relativa en el número total de unidades en la población, y después seleccionar las unidades de segunda etapa de cada unidad primaria elegida anteriormente utilizando una tasa proporcional al valor recíproco del tamaño de la unidad primaria. De esta manera, la probabilidad de cada unidad de ser elegida es la misma, independientemente de cuál sea la unidad primaria a la que pertenece--la autoponderación se ha logrado. De este modo, se mantiene la simplicidad del tratamiento de los datos.de la muestra respecto a la ponderación. Si se dispone de equipo electrónico de elaboración de datos, la asignación de ponderaciones individuales a grupos de unidades de muestra no alterará significativamente la velocidad de la elaboración de los datos; pero la simplicidad no deberá descartarse a la ligera. La autoponderación es especialmente práctica cuando se propone realizar un análisis detallado adicional. Con todo, podrían surgir problemas prácticos. La asignación de las probabilidades de selección podría haberse basado en una información anterior muy inexacta. Es posible que no se obtengan datos de todas las unidades muestrales seleccionadas y que se tenga que emplear la "técnica de los datos perdidos" durante la elaboración de los datos. Y lo que es más, podría haber otras razones fundadas para variar la fracción de muestreo (sobre todo entre los estratos, como se ha visto ya anteriormente). (e) Muestras interpenetrantes Si las unidades muestrales seleccionadas se consideran como dos o varias submuestras independientes y se asigna a cada enumerador una submuestra específica, el análisis del error será más simple y eficaz, permitiendo estimar el componente de variabilidad debido a las diferencias existentes entre los enumeradores. Sin embargo, la puesta en práctica de estas medidas crea dificultades de carácter logistico. Las cifras involucradas podrían dar como resultado que la m`itad de las unidades muestrales de un conglomerado queden en una submuestra, y la otra mitad en otra submuestra, con distintos enumeradores trabajando en cada una de - 112 - dichas submuestras (y, por lo tanto, en cada conglomerado). La conveniencia administrativa y la reducci6n de los costos logísticos que se consiguen mediante el procedimiento del muestreo por conglomerados con un enumerador asignado a cada conglomerado se sacrifican para lograr un análisis adecuado de la varianza. Para la evaluaci6n de proyectos y en vista de las recomendaciones que se hacen en el presente Manual para llegar a un compromiso entre las exigencias de tipo práctico y el rigor estadístico, deberá considerarse esta excelente técnica. Sin embargo, si se sospechan sesgos importantes en los enumeradores y encuestados, deberá estudiarse la posibilidad de calcular la variabilidad entre los enumeradores. 7.7 Conclusiones Los costos de una encuesta por muestreo dependen del número de unidades muestrales primarias y definitivas y de la cantidad de datos recogidos por unidad muestral. La duplicación de una muestra aleatoria simple mejorará la precisi6n en un 40 por ciento, aproximadamente. Sin embargo, como la enumeraci6n en el terreno y la logística probablemente representan una mitad o más de los costos totales de la encuesta, y la mayor cantidad de datos representa un costo y tiempo adicionales de elaboración, el costo adicional podría ser mayor que el valor del aumento de precisi6n conseguido. Y lo que es mas, la mayor precisi6n debida a un tamaño más grande de la muestra podría invalidarse con creces por un aumento consiguiente en el sesgo. Por lo tanto, las muestras de tamaio más grande, que cuestan más dinero y toman más tiempo de analizar, contribuyen tal vez muy poco, si es que lo hacen a mejorar la precisi6n global de las estimaciones. - 113 - PARTE 8 OBTENCION DE DATOS MEDIANTE ENTREVISTAS Y MEDICIONES 8.1 Limitaciones de la entrevista y la medici6n En las partes precedentes se han estudiado varios métodos de recolecci6n de datos que abarcan desde la observaci6n subjetiva rápida hasta las encuestas por muestreo de gran envergadura. A excepción de la utilización de los registros administrativos, todos los métodos incluyen recuentos, medidas y/o la entrevista de miembros seleccionados de la poblaci6n. La elecci6n del nivel técnico adecuado es muy importante; las mediciones pueden tomarse con distintos niveles de exactitud y las entrevistas pueden realizarse de muchas formas, utilizando métodos que incluyen desde una conversación libre y espontánea hasta una interrogaci6n inquisitoria. Los principios generales por los que deberá regirse la elección del mé.todo son los siguientes: (a) La recopilaci5n de información deberá adaptarse a los entrevistados, de manera que sea aceptable para éstos y se ejerza un mínimo de presi6n sobre ellos, teniendo en cuenta el alcance de la encuesta. (b) Si se van a emplear enumeradores de bajo nivel, su tarea no deberá rebasar su capacidad y deberá reducirse al mínimo las dificultades que se pudieran encontrar. (c) Los datos deberán recogerse y registrarse de manera que se facilite el análisis subsiguiente. Los informes de encuestas por muestreo realizadas en países en desarrollo revelan que la tasa de respuesta es muy satisfactoria; o, dicho en otras palabras, la negativa a cooperar es rara, sobre todo en la zonas rurales. Esto parecería indicar que los principlos generales esbozados en el inciso (a) se han cumplido. Pero ésto no es necesariamente cierto. Los pequenos agricultores en general y los beneficiarios de los proyectos en particular no se sienten libres para despachar a un funcionario, aun cuando la encuesta les resulte ofensiva o les preocupen los usos que se van a hacer de sus respuestas. El aprovecharse de esta pasividad no s6lo es injusto desde el punto de vista de la 5tica profesional. También da una imagen falsa de la exactitud de los datos tan condescendientemente suministrados. Muchas de las encuestas que se realizan para el seguimiento y evaluaci6n de proyectos requieren la dolaboraci6n sincera del entrevistado si se va a evaluar la verdadera situaci6n; una colaboraci6n cortés, indiferente o impulsada por el miedo no servirá para lograr los fines pretendidos. La explicación previa de la finalidad de la encuesta, - 114 - la reducci6n al mínimo de la cantidad de preguntas sobre informaci6n "delicada" y el uso de un mínimo de tiempo de los entrevistados, constituyen medios importantes para atraerse la completa participaci6n de éstos. Es fundamental, especialmente en las encuestas por muestreo, que el tiempo de los entrevistados y el acceso que ellos facilitan a su propiedad sea aprovechado de forma eficiente; la entrevista ha de realizarse competentemente. Con demasiada frecuencia, los enumeradores se ven agobiados por una técnica o un cuestionario que ellos no pueden utilizar eficazmente. En este caso, el responsable de la preparación de la encuesta deberá recordar que una técnica o una pregunta que parecía perfectamente satisfactoria en ensayos preliminares especialmente controlados puede ser más difícil de aplicar en una situaci6n real sin controles. Es posible que el enumerador no logre conseguir condiciones apropiadas de independencia y confidencialidad para efectuar la entrevista; las parcelas de terreno que se van a medir pueden encontrarse esparcidas por una zona muy amplia; es posible que no se pueda interrumpir a los vendedores mayoristas a su llegada al mercado para hacerles preguntas sobre volúmenes y precios. Los intentos de formular las preguntas más claramente pueden dar lugar al empleo de palabras o expresiones técnicas desconocidas para los entrevistados. El enumerador tiene entonces que "explicar" la pregunta, lo que en la práctica significa con frecuencia que el entrevistado es inducido a dar una respuesta "prevista". Proteger la sensibilidad del entrevistado y facilitar la tarea del enumerador constituyen dos factores de suma importancia, pero es preciso también anotar los datos para que se pueda realizar un análisis eficiente y eficaz. Afortunadamente, los medios para lograr este objetivo suelen ser compatibles con los otros. Un conjunto claro y sencillo de preguntas cerradas puede ser más aceptable para el entrevistado, puede ser aplicado con mayor eficacia por el enumerador y puede ser más fácil de codificar y elaborar. Una "pregunta cerrada" es aquélla en que puede identificarse de antemano, y habitualmente pre-codificarse, todas las contestaciones posibles. La decisión de emplear técnicas de medición/observación directa o entrevistas personales depende del contexto (váase la Parte 4). Las entrevistas son de poca utilidad cuando el entrevistado nunca supo la información requerida en términos cuantitativos, o bien, habiéndola sabido alguna vez, no puede recordar la cifra en el momento de la entrevista con suficiente exactitud. La decisi6n de que dichas mediciones son inevitables influye de forma significativa en la envergadura y el contenido de la encuesta resultante. Estas encuestas requieren mucha pericia y tiempo y complican la programaci6n de la encuesta. En las encuestas en pequena escala pueden incluirse toda una serie de observaciones y mediciones, ya que el - 115 - enumerador pasará mucho tiempo con cada unidad de la encuesta. Los estudios de administraci6n rural, en que se lleva a cabo una observaci6n detenida de los sistemas de explotaci6n agrícola y se miden las zonas de cultivo y los rendimientos, constituyen un extraordinario ejemplo de ello. La magnitud de un estudio por entrevistas para recoger información pertinente a un nivel aceptable de exactitud está limitado por la actitud del entrevistado. Si la entrevista es larga o el método exige un número excesivo de visitas, es probable que el entrevistado muestre fatiga e irritación y que la eficiencia del entrevistador disminuya, con una pérdida consiguiente en la calidad de los datos. 8.2 Observación y medición Entre las clases corrientes de observación y medición figuran las siguientes: (a) Uso de instrumentos registradores o que deban ser lidos, por ejemplo, datos de caudales de agua y meteorológicos. (b) Medición de tierras y rendimientos, por ejemplo, superficies de explotaciones y parcelas y rendimientos de siegas parciales. (c) Medición o examen físico de individuos, por ejemplo, indicadores del estado de salud y nutrición. (d) Recuentos, por ejemplo, de las cabezas de ganado. (e) Observación directa, por ejemplo, tiempo necesario para realizar una cierta labor (observación a lo largo de un período), o estructuras y materiales de viviendas (observación instantánea). (f) Actuación directa, por ejemplo, la compra de artículos en el mercado para obtener los precios. Los instrumentos registradores, cuando se requieren, suelen ser identificados y comprendidos bien. Las mediciones de explotaciones requieren mucho tiempo, pero como cabe esperar que el personal menos experimentado maneje eficazmente las técnicas requeridas (mediante un adiestramiento adecuado y una supervisión intensiva), el mismo podrá utilizarse en investigaciones de envergadura relativamente grande. Las mediciones de superficies se han hecho satisfactoriamente utilizando una brújula de prisma y uno de los diversos medios disponibles para medir distancias, tales como tel9metros, cadenas de agrimensor, ruedas de medir, etc. Lo importante es que la persona que toma - 116 - las medidas posea- la competencia y los medios para calcular el área in situ. Cabe esperar un alto porcentaje de errores en las mediciones individuales, y un solo error, por ejemplo, en una lectura de la brújula, puede invalidar el resultado correspondiente a un campo de cultivo particular. Si estos errores se detectan más tarde, cuando se elaboran los datos en algún establecimiento central, las dificultades logísticas para que el trabajo se vuelva a realizar son enormes. En ciertos casos, ésto ya no puede hacerse, ya que la situaci6n ha cambiado en el intertanto, por ejemplo, que en la parcela se haya recogido ya la cosecha. Por consiguiente, el trazar en el lugar las direcciones y las distancias en papel cuadriculado con el fin de comprobar que el diagrama es una figura cerrada parece necesario. Una calculadora barata de bolsillo que se pueda programar para depurar los datos y calcular las áreas resultantes constituye un método más rápido y eficaz; el gasto de la calculadora suele estar más que justificado por la economía lograda en horas-hombre. En las técnicas de siega parcial, el enumerador cosecha una pequeña fracción, localizada al azar, de la parcela explotada por el entrevistado. El tamaio de esta pequena fracción puede variar entre unos cuantos metros cuadrados y 100 metros cuadrados, y las configuraciones ordinariamente adoptadas son cuadrados, círculos o triángulos. Cabe comentar varios puntos que se destacan en la literatura sobre este tema específico. (a) Aun cuando se midan con exactitud, los rendimientos obtenidos representan rendimientos biológicos más bien que el rendimiento real obtenido por el agricultor. Cuando el entrevistado cosecha sus parcelas, se producen pérdidas en las que no se incurrieron cuando se trataba de pequeñas superficies cuidadosamente cosechadas por un enumerador. (b) La siega parcial de cultivos, incluso después de tenerse en cuenta en inciso (a) anterior, tiende a sobreestimar los verdaderos rendimientos obtenidos; el tamaio del sesgo es aproximadamente inversamente proporcional al tamaio del area cosechada por el enumerador. (c) Un cefñimiento estricto a la localizaci6n al azar de la siega parcial es fundamental. Incluso enumeradores bien adiestrados tienden a evitar las partes desnudas o escasamente pobladas de la parcela, aun cuando las coordenadas aleatorias indiquen la elección de dicha porci6n de la parcela. Tal intervenci6n del enumerador da lugar a un grave sesgo en la estimaci6n total. (d) Los efectos de orilla y los sesgos de borde deben ser controlados. Estos resultan de la tendencia a incluir dentro de la siega parcial plantas que se encuentran en la - 117 - orilla misma del marco utilizado para señalar el área a ser cortada, y a elegir localizaciones de siega con una representaci6n insuficiente de los bordes de la parcela (en donde los rendimientos suelen ser más bajos), respectivamente. De nuevo, el efecto neto final tiende con frecuencia a sobreestimar los verdaderos rendimientos. Este puede ser, de hecho, la causa del sesgo positivo que se menciona en el inciso (b) precedente. (e) El tomar una muestra de una sola siega parcial de cultivo por parcela o incluso por explotaci6n agrícola puede ser un método eficiente para calcular el rendimiento medio de una zona o estrato. Pero el resultado de una sola siega parcial revela poco sobre el rendimiento medio de esa parcela o explotaci6n específica. Si se necesitan estimaciones a nivel de parcela o explotación para estudios de presupuestos de explotaciones individuales, se requerirán varias siegas parciales por parcela. Debido al uso intensivo de mano de obra de este método, varias siegas parciales por explotación harían difícil utilizar una muestra grande de explotaciones. (f) Las siegas parciales de cultivos son más apropiadas en parcelas plantadas uniforme y densamente con un solo cultivo (como el arroz de riego, que constituye la mejor ilustración). Las parcelas sembradas esporádicamente que contienen dos o varios cultivos no se prestan fácilmente para el empleo de esta técnica. La alternativa de pesar toda la producción.no debiera descartarse. Este método puede ser viable, sobre todo para los cultivos que no se venden inmediatamente o en pequeias unidades. Una informaci6n suplementaria para estos tipos de cultivos puede también obtenerse de los organismos que los elaboran o comercializan. El reconocimiento físico de individuos es obviamente una tarea propia de profesionales adecuadamente calificados o de personal paramidico adiestrado. Pueden existir datos provenientes de los registros que se mantienen en las clínicas o que son fruto de estudios de casos anteriores. Una excepci6n, en la cual puede utilizarse personal sin experiencia, es el registro de datos antropomátricos (fundamentalmente la edad, altura y peso), sobre todo de niños, según se ha visto en la Parte 4. Una vez más, la relaci6n entre el nivel de medici6n y la posible envergadura de la investigaci6n es clara. Los recuentos directos, sean de individuos, ganado, herramientas o sacos de productos, presentan sólo una dificultad mayor, a saber, el reunir todos los elementos que se van a contar. Esta dificultad es muy importante, sobre todo para los estudios de comunidades pastorales. Se - 118 - requiere la colaboraci6n total de las personas involucradas; lo que no se muestra no puede ser contado, y lo que no puede ser contado en unos cuantos lugares resulta incontrolable. La observación directa de cierta prácticas, sobre todo relacionadas con la utilización de la mano de obra, exige una grande dedicaci6n de tiempo por parte de los enumeradores. Además, hay que tener mucho cuidado para evitar que la presencia del enumerador provoque un cambio en la práctica que se observa. El entrevistado puede trabajar más intensamente, gastar más o preparar una comida mejor (en el caso de una encuesta de dieta alimentaria), simplemente porque la actividad está siendo' observada. Un tiempo preliminar, cuyas observaciones se eliminan más tarde, permite al entrevitado volver a su estado habitual y adoptar un comportamiento más representativo. Este tipo de obtenci6n de datos puede recomendarse úinicamente en estudios en pequeña escala. En la recolecci6n de datos sobre precios, la utilidad de llevar a cabo compras directas en comparaci6n con anotar los precios declarados es de sobra conocida. Tambi6n en este caso, la decisión depende de la exactitud requerida en comparación con la magnitud de las deformaciones posibles en contestaciones más informales. La recopilaci5n de precios en los mercados de las zonas rurales es relativamente más sencilla que los problemas intratables de la medici6n de la producci6n de cultivos. Pero ella exige una definici6n meticulosa de. la variedad Y calidad, una programación regular de las observaciones y que se tengan debidamente en cuenta los precios "reales" frente a los que pide al principio el vendedor. Una última cosa podría decirse sobre la observación. Cualquiera que sea el método de investigación, un ojo agudo puede recoger en observaciones improvisadas impresiones que afiaden una dimensi6n adicional a los resultados, aun cuando estas impresiones no sean mensurables o apropiadas para ser incluidas en un cuestionario de encuesta. Un observador experimentado, que visitaba las familias de los beneficiarios de un proyecto not6 una alta incidencia de manteles de plástico, en donde anteriormente había habido pocos. Esto fue un indicador significativo del progreso económico, aun cuando no se había previsto como un elemento a ser registrado. En síntesis, la evaluaci6n subjetiva de un observador capacitado puede brindar una informaci6n tan importante como la revelada por los datos registrados. En este contexto, la ausencia de un indicador previsto podría ser tan revelador como su misma presencia. 8.3 La entrevista: Los períodos de recuerdo y de referencia En cualquier entrevista que tenga por objeto registrar información sobre un momento o un período específico de tiempo, la cuesti6n de los períodos de recuerdo y de referencia reviste gran importancia. - 119 - El período de recuerdo es el intervalo de tiempo que ha transcurrido entre los sucesos que se pide al entrevistado informar y el momento de la entrevista. El período de referencia es el intervalo de tiempo al que se refiere la pregunta. Los ejemplos ilustrativos siguientes sirven para esclarecer las distinciones entre estos dos aspectos: (a) Una entrevista realizada en septiembre de 1980 solicitando detalles sobre la siembra a principios de la campaña agrícola, digamos, marzo-mayo; el período de recuerdo es de 4 a 6 meses; el período de referencia es de 3 meses. (b) Una entrevista realizada en diciembre de 1980 solicitando detalles sobre ventas de cultivos en el año agrícola, de abril de 1979 a marzo de 1980: . el período de recuerdo es de 9 a 21 meses; . el período de referencia es de 12 meses. Con frecuencia, los dos períodos coinciden. Por ejemplo, una pregunta sobre los nacimientos habidos durante los 12 meses anteriores a la entrevista tiene un período de recuerdo y referencia de 12 meses. Es posible que no se requieran unas especificaciones detalladas y rigurosas en las encuestas informales, en que los investigadores pueden manipular el plan de la discusi6n de una forma flexible. Sin embargo, una encuesta por muestreo exigirá reglas precisas que deberán ser aplicadas uniformemente por todos los enumeradores. Un estudio completo y detallado sobre los períodos de recuerdo y referencia se puede encontrar en muchos textos sobre encuestas. A continuación se ofrecen algunas normas generales. El período de referencia debe ser "cerrado", es decir, los puntos de iniciación y terminaci6n deben ser momentos claros e identificables en la memoria del entrevistado. La dificultad estriba en que lo que pudiera parecer un período formalmente cerrado no podría no serlo en la práctica. Este es, sobre todo, el caso cuando se utilizan fechas del calendario. Una pregunta puede formularse en términos de sucesos ocurridos en un año o mes específico, que tienen fechas de iniciación y terminaci6n específicas. Pero el entrevistado no recordará necesariamente los sucesos solicitados en términos de fechas. Este puede informar sobre sucesos indicando que ocurrieron dentro del período cuando, de hecho, tuvieron lugar fuera de él, y viceversa. Por el contrario, una pregunta como "¿Cuántas veces escard8 usted entre la siembra y la cosecha de esta o aquella estaci6n?" puede ser "cerrada" para el entrevistado, ya que la escarda está limitada por dos períodos de tiempo identificables que están vinculados con la misma actividad: la escarda no puede tener lugar antes de la siembra ni despues - 120 - de la recolecci6n. Como es natural, si la siembra se espaci6 a lo largo de un período de tiempo prolongado, el período de referencia se transforma en "abierto". Si el mercado local funciona un solo día a la semana, una pregunta relacionada con el día del último mercado será "cerrada", a menos que exista ambigüedad en cuanto al mercado al que se hace referencia. El recuerdo sobre la mayoría de los sucesos se va perdiendo en forma proporcional al tiempo que ha transcurrido desde su ocurrencia. El período Sptimo de recuerdo variará también en función del tema en cuestión. Cuanto más corriente e insignificante es el suceso, tanto más corto será el período en que se puede hacer una identificación precisa. Los sucesos más importantes se recordarán durante más tiempo, si bien se pueden olvidar las fechas precisas en que ocurrieron. Las encuestas sobre gastos constituyen un buen ejemplo de ello. Los gastos importantes, pero no corrientes (por ej., las compras de enseres dom&sticos) requieren un período de recuerdo relativamente largo, tal vez de un año. Los gastos en artículos cotidianos corrientes, tales como las compras de alimentos, requerirán un período de recuerdo muy corto, de no más de unos cuantos días. Desafortunadamente, cuánto más corto es el período de recuerdo, tanto mayor será la varianza de los datos (análogo a la alta variaci6n en los resultados de los rendimientos de cultivos estimados a partir de pequeias parcelas). Y lo que es más, la frecuencia de las visitas requeridas, si se utilizan períodos de recuerdo muy cortos, encarece la realizaci6n de la encuesta. El mejoramiento de la exactitud de los datos mediante la reducci6n del período de recuerdo debe justificar el costo en que se incurre para lograrlo. Con todo, si se espera que el entrevistado recuerde sucesos en forma detallada, se recomendará entonces lo siguiente: Elija un período de recuerdo que la experiencia, o una prueba piloto, demuestre ser el máximo período que ofrece una seguridad razonable de que se recuerden los sucesos. De allí podría sacarse el colorario siguiente: No pida al entrevistado que recuerde algo que nunca supo en los términos requeridos. 8.4 El tipo de entrevista Los criterios para seleccionar procedimientos de investigaci6n que se estudiaron en la Parte 5 incluyen el tipo de entrevista. En síntesis, éstos son los puntos fundamentales que se han de considerar: (a) ¿Deberá ser la entrevista informal y espontánea o, por el contrario, formal y dentro de unos límites fijos? (b) ¿Deberán ser las preguntas "cerradas" o "abiertas" (obsérvese que la palabra "cerrada" se refiere aquí al tipo - 121 - de pregunta y no a los períodos de referencia? (e) ¿Hasta qué punto y bajo qué circunstancias pueden incluirse percepciones y preguntas de actitud? La entrevista que se realiza en forma de un diálogo flexible, pero dirigido, sin preguntas formales ni anotación detallada simultánea de las respuestas, constituye un poderoso instrumento en manos de un encuestador capacitado y profesional que participa activamente en toda la encuesta. La mejor manera de ilustrar las posibilidades de este tipo de entrevista es mediante un ejemplo basado en la experiencia del CIMMT en el planeamiento de tecnologías apropiadas para los agricultores.1/ Se describe el empleo de una "encuesta exploratoria" para recoger información por medio de entrevistas informales, con el fin de investigar las prácticas de cultivo e identificar los problemas de los agricultores. Esta encuesta se considera un medio auxiliar para disefñar una encuesta formal complementaria que utilizará un cuestionario para cuantificar las variables importantes identificadas en la encuesta exploratoria. Se la emplea también para recopilar información que pudiera ser demasiado delicada o complicada como para incluirla en una encuesta formal. Las entrevistas se deben llevar a cabo dentro de un ambiente tranquilo e informal. El uso de lapiz y papel debe hacerse en forma restringida; sin embargo, la informacion pertinente debe anotarse inmediatamente después de las entrevistas. Existe la posibilidad de cubrir un solo topico de la lista en una entrevista con un agricultor; el tipo de información que se incluye dependerá de la prácticas que sigue el agricultor, de los problemas que afronta y de su grado de cooperación. Por ejemplo, cuando un agricultor está afrontando el problema de no poder completar sus deshierbes, de acuerdo con las observaciones hechas en su terreno, sería posible hacerle preguntas detalladas sobre la oferta y demanda de mano de obra asalariada, demandas competitivas de otros cultivos, calendario de las operaciones, etc. Es útil hacer algunas preguntas sobre temas generales acerca del cultivo-objetivo y el sistema en el cual se integra, y usar posteriormente las respuestas para decidir qué áareas específicas merecen la atención de la encuesta formal. No es necesario enfocar las preguntas sobre las prácticas que realiza un agricultor específico; en efecto, se puede ganar mucho, particularmente en las entrevistas con los líderes tradicionales, a través de las discusiones sobre las prácticas que- sigue la generalidad de los agricultores dentro del área. Para encontrar las respuestas a esos tipos de preguntas, son muy / . Byerlee, M. Collinson y colaboradores: Planeación de tecnologías apropiadas para los agricultores--Conceptos y procedimientos (México: CIMMYT, 1980), pgs. 28-31. - 122 - útiles las entrevistas con grupos de agricultores para obtener estimaciones más o menos aproximadas de la frecuencia de uso de varias prácticas. Es necesario que los investigadores prevean el tiempo necesario para recorrer los campos de los agricultores. Una secuencia que los autores han encontrado útil es realizar una entrevista en profundidad con un agricultor o un grupo de ellos en el,.centro de.población y posteriormente acompafiarlos hasta sus respectivos predios. Esto permite observar los predios de los agricultores vecinos, así como realizar algunas entrevistas cortas con otros agricultores a lo largo del camino. Al término de cada día de trabajo es conveniente que el equipo de investigadores discuta sobre lo que han aprendido ese día, formulen nuevas hip6tesis y determinen cuáles son las principales lagunas que tienen en sus conocimientos, así como las ideas conflictivas que se les presentan, para que puedan aclarar conceptos e ideas en entrevistas posteriores. La lista de comprobaci6n a la que se hace referencia en el pasaje anterior aparece en la Figura 3 de la página siguiente. Dicho ejemplo ofrece una buena ilustraci6n del enfoque general y resalta con claridad las pericias requeridas en el entrevistador. Los investigadores que poseen estas pericias pueden sondear actitudes y puntos de vista e incluso indagar las posibles reacciones frente a situaciones hipotéticas. Sin embargo, es preciso tener mucho cuidado cuando se utilizan dichas preguntas por las razones siguientes: (a) Es muy fácil inducir inconscientemente al entrevistado a que de una determinada respuesta que es razonable en opini6n del encuestador. (b) Aun cuando no sea inducido en este sentido, el entrevistado podría suponer que el enumerador espera ciertas respuestas y, en consecuencia, por cortesía trate de satisfacer dichas espectativas. (c) Las palabras o frases técnicas o confusas pueden ser mal comprendidas, creando una situaci6n en que una explicaci6n adicional produciría el caso descrito en el inciso (a), o bien, el entrevistado contestaría una pregunta distinta a la efectuada. (d) Si, para evitar el caso del inciso (c), la pregunta se pone en lo que se cree es el habla local, podría entonces aparecer como condescendiente o, debido a la falta de comprensi6n del significado exacto de los términos o expresiones locales, resultar engaiosa. - 123 - Figura 3: LISTA DE COMPROBACION DE LA INFORMACION RELATIVA A LAS PRACTICAS AGRICOLAS Preparación del terreno Equipo utilizado para su Secuencia de labores aplicaci6n Momento de efectuar cada labor Método de aplicaci6n (al en relacion con las lluvias voleo, en surcos, etc.) Aparejos o maquinaria empleados en cada una de las labores Lucha contra plagas y pestes Cambio de método en funci6n de Método de lucha (tipo, las lluvias, heladas, etc. dosis, equipo) Calendario de estas Plantaci6n actividades Variedad (o variedades) empleada Densidad y espaciamiento Riego Densidad y espaciamiento de Sistema de riego cultivos intercalados Frecuencia y calendario Calendario de plantaci8n en relaci6n del riego con las lluvias, heladas, etc. Escalonamiento de las fechas de Cosecha plantación Epoca de cosecha en rela- Secuencia de intercalaci6n ci6n con la madurez de cultivos Métodos de recolecci6n Método de plantaci6n (aporque, Empleo de las hojas y los siembra al voleo, etc.) ápices para piensos Método de cubrir la semilla Momento y sistema emplea- Prácticas de replantar parcial do para recoger las ho- o totalmente jas y los ápices Utilizaci6n de los tallos Raleo Calendario Post-cosecha Densidad fijada Método de trilla y des- Empleo del raleo cascaramiento Momento del trillado y Escarda descascaramiento Número de escardas Método y cantidad almace- Momento de efectuar cada una en nada relaci6n con las plantaciones Distribución del producto Aparejos o maquinaria utilizados Empleo del cultivo en la en la escarda alimentaci6n local Empleo de herbicidas (clase, dosis, momento y método de aplicación) Selecci6n de semillas Aprovechamiento de las malas hierbas Tiempo de la selecci6n Criterios empleados para Fertilizaci6n la selecci6n Tipo de fertilizante (o fertilizan- Métodos especiales de tes), incluidos los orgánicos producci6n y almacena- Dosis de aplicaci6n miento de semillas Número y momento de las aplicaciones Tratamiento de semillas - 124 - (e) Las preguntas que hacen que el entrevistado se ponga en una situaci6n hipotética son difíciles de contestar propiamente, incluso en el-caso de entrevistados más educados; la respuesta podría tener poca relación con lo que éste haría realmente si la situación hipotética fuere real. La pregunta cerrada de opción múltiple, en la que se precisan distintas respuestas para que el entrevistado marque o elija una de ellas, se estudia en la Secci6n 8.5 más adelante dedicada al diseño del cuestionario. Las entrevistas formales que utilizan un cuestionario abarcarán necesariamente un aserie de materias más limitada y constituyen la alternativa necesaria cuando se emplean enumeradores menos experimentados. En un cuestiónario de este tipo se pueden incluir algunas preguntas abiertas con el fin de obtener algunas de las ventajas propias de una entrevista informal y espontánea. Con todo, existen ciertas ventajas en la utilizaci6n exclusiva de preguntas cerradas por las razones siguientes: (a) Es más fácil lograr un cuestionario mejor organizado (las preguntas abiertas introducen incertidumbre respecto al .espacio que deberá dejarse para la respuesta). (b) La precodificación asegura que los enumeradores recojan la informaci6n necesaria. (c) Si el número de entrevistados es grande, se utilizará algún tipo de elaboración de datos codificados; por tanto, las respuestas "abiertas" tendrán que ser "cerradas" en la fase de la codificaci6n; por consiguiente, ¿por qué no "cerrarlas" ya en la fase anterior cuando interviene el enumerador? Se recomienda que, cuando se emplean enumeradores menos experimentados, se utilicen preguntas abiertas s6lo con el fin específico de brindar al entrevistado la oportunidad de expresar sus reacciones generales ante la investigación. 8.5 Diseio del cuestionario Las encuestas muestrales requieren un formato uniforme para registrar los datos, y los estudios de casos suelen beneficiarse de este requisito, al menos para parte del trabajo. Por lo tanto, el diseio del cuestionario es un aspecto importante, y el hecho de no prepararse una serie apropiada de preguntas, ordenada convenientemente en una disposición práctica, podría poner en peligro el éxito de la obtención de datos antes de comenzarse. - 125 - En el seguimiento y evaluación de proyectos agricolas y de desarrollo rural, se reqiere normalmente cuestionarios para registrar datos sobre los siguientes asuntos: (a) Características familiares, demográficas y econ6micas. (b) Sistemas de cultivo y economía de la explotaci6n. (c) Actitudes y puntos de vista de los beneficiarios. (d) Información social sobre los beneficiarios y sus comunidades. Los tipos de cuestionario que se pueden aplicar a estos varios temas son muy diversos y, como se ha indicado ya, la disposici6n del cuestionario depende del nivel de conocimientos del entrevistado, la experiencia del enumerador y el método de elaboración de datos a ser empleado. El contenido del cuestionario deberá determinarse tratando de incluir el número mínimo de preguntas (o encabezamientos de columnas) requerido para lograr los objetivos claramente precisados. Existe la tendencia casi inevitable de hacer más preguntas de las necesarias. Como ya se ha visto en la Parte 4, será necesaria cierta informaci6n general para ayudar a interpretar los valores de las principales variables estudiadas, pero el responsable de la preparaci6n del cuestionario deberá tener en mente una hip6tesis respecto de esta relaci6n causal antes de incluir una característica que no interesa directamente. La entrevista ha de centrarse en torno a asuntos de interés directo y.principal, y no a cuestiones secundarias. El tiempo para realizar la entrevista compl-eta no deberá sobrepasar ciertos límites. Salvo en circunstancias especiales (por ejemplo, una entrevista exhaustiva con un entrevistado muy dispuesto a colaborar), la duraci6n de la entrevista no deberá ser mayor de una hora. Esto limita obviamente el número de preguntas que se han de incluir, y cuánto más detallada y más incitadora a la reflexi6n sea la pregunta, tanto más limitado deberá ser el número de ellas. El cuestionario ha de ser sencillo de utilizar como guía del enumerador y como instrumento para registrar respuestas. El enumerador tiene ante sí una situación frecuentemente difícil y delicada. Por consiguiente, los instrumentos proporcionados deberán, al menos, facilitar la tarea. Es preciso prestar especial atenci6n a la calidad del papel y al tamaño de las hojas empleadas, a la claridad de la impresión y presentación, así como a los espacios dejados para registrar las respuestas. - 126 - El cuestionario ha de ser completo en sí en cuanto a que estén incluidos la identificación del entrevistado, el enumerador, la fecha de la entrevista, etc. En muchos casos, es preciso comprobar de nuevo con el enumerador o entrevistado cuando se detectan inconsistencias, errores o una respuesta poco usual. El cuestionario deberá, en lo posible, estar precodificado, a fin de evitar una codificación manual en la oficina. Las respuestas numéricas y las codificadas deberán también alinearse, cuando sea el caso, de manera de facilitar la tarea del encargado de entrar los datos en la computadora. Se pueden identificar tres clases fundamentales de cuestionario: (a) El formato tabular de filas y columnas, en el que se registran las respuestas, pero que no especifica los términos de la pregunta. (b) Listas de preguntas siguiendo el orden general en que ellas fluirán durante la entrevista, pero sin especificar los términos exactos de las preguntas y sin instrucciones precisas respecto a las bifurcaciones o las vías alternativas de avance. (c) Enumeraci6n literal de las preguntas con instrucciones precisas sobre las alternativas para el avance, dependiendo de las contestaciones dadas a las preguntas anteriores. El formato tabular de filas y columnas Este tipo de cuestionario se emplea mucho para dos de los principales objetos que se investigan en las encuestas de seguimiento y evaluaci6n, a saber, la enumeraci6n de los miembros de la familia y el registro de datos sobre explotaciones agrícolas, bien campo por campo, o cultivo por cultivo. Por lo general, las "preguntas" están implícitas en los encabezamientos de las columnas y las respuestas correspondientes a una persona, campo o cultivo determinado, en una fila. (En lugar de campos o cultivos, las entradas de las filas pueden también, como es natural, abarcar rubros tales como tipo de ganado o prácticas de explotaci6n). En las Figuras 4 y 5 se ofrecen dos ejemplos de dichas disposiciones, en los que se ilustra un formulario de composici6n de la familia y otro para datos de explotaciones. Las ventajas y desventajas de este tipo de disposici6n pueden ser vistas en dichos ejemplos. Las ventajas son: - 127 - (a) Una hoja o formulario contiene los resultados de lo que podría haber sido una serie bastante larga de preguntas. (b) La imposibilidad de precisar de antemano el número de casos que se va a abarcar se resuelve al insertar un nimero grande de filas, una para cada caso particular. (c) El enumerador dispone de cierta flexibilidad en cuanto a la manera de plantear y al orden a seguir en las preguntas implícitas (pero ésto puede ser también una desventaja). Las desventajas son: (a) Las preguntas no se pueden precisar completamente; Inicamente están implícitas en los encabezamientos de las columnas. (b) La falta de secuencia y estructura podría dar lugar a omisiones, a que el enumerador dirija mal al entrevistado o registre err'neamente la informaci6n (por ej., colocando la respuesta correspondiente a una casilla del cuadro en otra). (c) El encabezamiento abreviado de una columna podría indicar que el diseñador no se di6 cuenta de que la pregunta implícita era efectivamente una serie de preguntas, de las que algunas es posible que no se puedan contestar. A veces se trata de combinar el formato tabular con las preguntas literales y las instrucciones de la codificaci6n incorporadas en los encabezamientos de las columnas. En la Figura 6 se ofrece un ejemplo. Existen distintas opiniones sobre la utilidad de este método. Ha sido criticado, aduciéndose que el espacio ocupado por los encabezamientos reduce excesivamente el espacio disponible para registrar las respuestas, y que la impresión de las preguntas completas exige que el ancho de las columnas varíen en función de la extensi6n de la pregunta y no de las exigencias de la respuesta. Si es acertado permitir al enumerador la considerable flexibilidad que requiere la disposición tabular depende del tema de la encuesta, la calidad del enumerador y la clase de entrevistado. No cabe duda que una capacitaci6n meticulosa y una supervisi6n intensiva revisten especial importancia si se adopta dicho formato. En particular, el enumerador debe estar completamente familiarizado con las definiciones y las preguntas implícitas que están resumidas en los encabezamientos de las columnas. No es práctico hacer referencia a un manual en el curso de una entrevista. Por lo tant,o, es preciso que el enumerador tenga las instrucciones necesarias facilmente accesibles. FIGURE 4 LIST BELOW First all household members, present or absent Today ' date: Last Sunday's date: Then any other persons who slept last Sunday night in household Was he l e ASK ALL FEMALES AGED 14 OR OVER in this househotd Agner o-6o Sex col. 7, Place of Is Is Of all the children borne alive Of your most recent M NOT both Marital torigin father mother ty you in your whole life .,. live birth .. Full namn Relationship M Moth Stal Tribe POinC ? alive? How many are How many are How many Date of Child or C nths Status PROVINCE YES YES now in this now living How my Dat sCild eCoin- if only or NO or NO household? elsewhere? have died? birth alive? YES or NO YES or NO pltdudr-YES E Y years 2 years M F M F M F Year Month or NO " (1) (21 (3) (4) (5) (6) (7) (8) (9) (10) (11) (121 (13) (14) (15) (16) (171 (18) (19) (20) 1-4 - __ __ __ __ SUPERVISOR'S Supervisors Enumerator's CHECK Form checked in office O Signature Signature Interview watched O Date Reinlerviewe,d O: FIGURE 5 CROPS PRESENT BY PLOT TO BE COMPLETED BY ENUMERATOR TO BE COMPLETED BY For each plot owned or operated by the Household 1 12 SENIOR ENUMERATOR you should record the crops present on the plot at Reg. 0E5 trie of your interview. Do not record crops until they have been planted or after they have been harvested. Field/ Cd Plot Crop Crop Crop Crop Crop Crop Crop Total Next Cd Se ot Crops present now No. No. Code Code Code Code Code Code Code Crops I P. No. E Name Po rp rsn o o No. 1 2 3 4 5 6 7 K_____________ _ 14 15.16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 74 75 75 77 78 79 80 0 2 0 3 0 4 015 0 6 1~0 7 Ce4 0 8 09 10 112 113 15 7 -- - -Sp - - - - - -- - __ _ __ __ _ _ 1 6 .- 1 9 2 0 212 22 . 234 FIGURE 6 AN EXAMPLE OF A HOUSEHOLD QUESTIONNAIRE ASK OF HEAD OF HOUSEHOLD OR OTHER ELIGIBLE RESPONDENT ASK QUESTIONS COLUMN BY COLUMN MARITAL RELATIONSHIP TO HEAD OF STATUS OF NO.. NAME SEX DATE OF BIRTH AGE STATUS HOUSEHOLD THE MOTHER What are the names of the A2 A3 In what month and year were A4 How Are you FILL IN THE CODE A7 Doesyour membersof this household? you born? . old curren- What is SHOWING THE RELA- mother live are you? tly? the name TIONSHIP TO THE in this household WRITE IN THE NAMES OF Are you of the head of HEAD OF HOUSEHOLD outside of this HOUSEHOLD MEMBERS Single - 1 this housod? Head - household, or is FILL IN MONTH AND YEAR OF BIRTH Married - 2 thWifesoflhead - 2 she already dead? L AFTER WRITING ALL THE IN THE WESTERN OR ISLAMIC CALEN. Widowed - 3 What is the Wile of head - 2 NAMES GIVEN BY R. READ - DARS OR __Divorced - 4 relationship Own child of head - 3 THE NAMES AGAIN THAT Male - L OTHER. Separated - 5 of each person head - 4 FILL IN CODE I YOU HAVE WRITTEN AND Femae - F 1 with the head head -4 ASK: of this house- Grand child - 5 WIEhold? Parent of head - 6 Lives in this N Are there any other household AGEIN Parent bf wife Lives outside members who have not yet been YA ahter-i this household - 2 mentioned, such as: Son/daughter-inthsoueld- E mYong ch as: Law - 8 Already dead - 3 E__._Young chdrn r wh a MONTH YA Other family - 9 Don't know - 4 babies? COE FILLL IN WRT NTE No-aiysc 02. Household members wAr MONTH YEAR CODE RELATIONSHIPNo-aiysh temporarily away from home? WITH THE 3. Other household members such ISLAM/ ISLAM/ HEAD OFL as other'relatives or servants JAVA JAVA HOUSEHOLD who live with you? WEST. - WEST. - NAMES OTHER OTHER ES, ENTER THEIR NAMESOTEOHR (1) (2). (3) (4) (5) . (6) (7) (8) (9) (10) (11) (12) WO [I Cr] OLI CO E -O O O Ur] ___ E CO ECOL] . __ O]OEO C-D O CD CECO O1 ,_ El EC] [] El E E ED COI El E . EU]C __ COl E ____OE EO - 131 - La simplificaci6n del encabezamiento de una columna no hace la pregunta menos complicada. Por consiguiente, un encabezamiento de columna "Ingreso" en un formulario concebido para administrarlo a pequeños agricultores de semisubsistencia no resuelve el problema de la determinaci6n de su ingreso. Nada pone en mayor evidencia a un diseñador de un cuestionario inapropiado como una abrogaci6n semejante de responsabilidad, mediante la cual la carga se asigna al que no le pertenece: el enumerador. El cuestionario no literal Este tipo corriente de cuestionario presenta las preguntas por temas y sigue un orden secuencial que pretende reflejar un progresi6n l6gica de la entrevista a través de los temas investigados. Sin embargo, las preguntas no están impresas en una forma literal y puede no incluir las bifurcaciones ni las vías alternativas de avance a lo largo de la entrevista. Este formato no suele requerir que el cuestionario sea imprimido en el idioma de la entrevista. Sin embargo, la pregunta se expresa aproximadamente en la forma en que se va a hacer, tal vez en una forma más breve que la que se va a utilizar durante la entrevista propiamente dicha. Por lo tanto, se trata de un tipo intermedio entre los cuestionarios tabulares y literales, en que se permite cierta flexibilidad al enumerador., La forma en que la pregunta se va a expresar en la traducci6n, el. seguimiento que pudiera requerirse en la clarificaci6n y el reconocimiento de que una pregunta posterior ha resultado innecesaria a causa de una respuesta anterior son tres cuestiones que se dejan a la discreci6n del enumerador. Al igual que en el caso del formato tabular, ésto puede ser una ventaja o una desventaja. El requisito esencial es que los temas y las preguntas sean sencillos y fáciles de comprender por el entrevistado. El enumerador no deberá ser forzado a hacer difíciles traducciones de términos técnicos 1/ ni a tener que explicar la pregunta de tal manera que "induzca" una respuesta del entrevistado. El grado de discreci6n permisible constituye un punto que merece una especial atención y los requisitos de capacitaci6n son tan exigentes como los del. cuestionario tabular que se ha descrito anteriormente. Dado que la redacci6n precisa de la pregunta no es un requisito necesario, el diseñador tiene ante sí una tarea más fácil en lo que respecta a obtener una disposici6n que cumpla con los principios generales esbozados anteriormente, sobre todo la comodidad de la utilizaci6n y de los 1/ No son únicamente los términos técnicos los que presentan dificultad. Con frecuencia, simples palabras o conjunciones se traducen o interpretan mal. - 132 - FIGURE 7 AN EXAMPLE OF A PRE-CODED FORM NATALIDADE Se nos dois últimos anos alguma mulher desta casa ficou grávida, tome os seguintes dados: 1. Idade da mulher ao engravidar pela última vez nesse periodo. 1 2 3 4 2. Idade da mulher ao engravidar pela primeira vez. 5 6 7 8 3. Número de gestaçocs anteriores. EIiLIiEIE 9 10 11 1 4. Número de abortos. 13 14 5. Número de natimortos. 0 ] 15 1N 6. Número de crianças falecidas antes de 1 anos. 7. Número de crianças falecidas de 1 a 5 anos. JEI 19 20 8. Número de crianças falecidas com mais de 5 anos. 1EI0 21 22 9. Problemas na ultima gestaçào (78 ou 79) (1..hemorragia; 2. infecçào; 3.eclampsia; 4. aborto; 5 outro: especifique). 23 24 25.26 10. Fase da gestaçào cm que ocorreu o problema (1. até o 3. 0 més; 2. no curso do 4. mês; 3. no curso do 5. més;4. no curso do 6. 0 més; 5. no curso do 7. 0 més; 6. no curso do 80 mês 7. no curso do 9. o mês) 27 2a 29 30 11. Em que fasa da gestaçao iniciou o pré-natal, na ultima gestaçao (78 ou 79) (1. Antes do 3. o més; 2. no curso do 4. 0 mês; 3. no curso do 5. O mês; 4. no curso do 6. 0 mês; 5. no curso do 7. O mês; 6. no curso do 8. O més; 7. no curso do 9. o mês). 31 32 12. Número de filhos no último parto, dentro dos últimos 2 anos. LE E 33 ;4 13. Nascidos (1. vivos; 2. mortos; 3. 1 vivo e I morto). 1j 0 35 36 14. Locai do parto (1. residência; 2. maternidade localizada no muni- cípio; 3. maternidade localizada no município vizinho; 4. materni- dade localizada em municipio nào vizinho; 3. a caminho da maternidade; 6. fora da residência). 37 38 15. Parto assistido por: (1. médico; 2. pessoal paramédico; 3. agentes leigos de saúde; 4. outras pessoas). 39 40 - 133 - requisitos de codificación y análisis. En la Figura 7 se ofrece un ejemplo. Este tipo de cuestionario es muy apropiado cuando se utilizan listas impresas de preguntas cerradas de opciones múltiples en las que se dan instrucciones al enumerador para que indique qué respuesta se aproxima más a la opini5n del entrevistado. Sin embargo, la preparaci6n de la lista de opciones requiere un conocimiento detallado de la cuestión investigada; es muy fácil imponer una serie de respuestas que no tenga ninguna conexión real con la verdadera reacci6n de los entrevistados. En efecto, el mismo orden en que las opciones están enumeradas y la gama de opciones ofrecidas van sin duda a influir en la respuesta. Y lo que es más, una gama de respuestas opcionales desde muy negativas hasta muy positivas podría hacer que una reacci5n compleja se convirtiera en una respuesta superficial. Existe también la tendencia a "amontonarse" en el punto medio de la escala. Es preciso que el responsable del diseño del cuestionario evite la pregunta múltiple encubierta y la pregunta demasiado hipotética. Estos son dos ejemplos pertinentes: "¿Trabaja usted normalmente en su explotaci6n agrícola, pero busca también empleo en otras explotaciones?" "¿Cree usted que sus hijos estarán en condiciones de ganarse la vida trabajando en el campo cuando sean mayores?" En el primer ejemplo, desde luego, se hacen dos preguntas. Supongamos que la respuesta es "no"; ¿qué interpretaci6n puede hacerse dé la respuesta? En el segundo ejemplo, se exige al entrevistado imaginar una situación en que éste puede visualizar varias posibilidades de cambio o de ausencia de cambio. Como éstas no se revelan en la respúesta registrada, la contestaci6n puede ser inútil. Ambas preguntas y variantes análogas se han venido utilizando por aios. Las mejores encuestas de actitud conducen al entrevistado de una declaraci6n factual sobre su comportamiento a sus razones para actuar como lo hizo, a las circunstancias que él cree que influyeron que él cambiara su comportamiento. El cuestionario literal Este tipo de cuestionario no permite ninguna discreci6n al enumerador. Las preguntas se imprimen con la redacción exacta que se va a emplear durante la entrevista; las opciones y los procesos de bifurcación que pudieran presentarse durante la entrevista están identificados en el cuestionario, en el que están incluidas también las instrucciones - 134 - específicas. En casos extremos, incluso se indican procedimientos de cortesía para el comienzo y el final de la entrevista. Este tipo de cuestionario.es el que mejor se adapta para realizar una entrevista detallada encaminada a investigar un asunto específico en que la gama de comporatamiento es a la vez limitada e identificable de antemano.. Su empleo más amplio se ha hecho en encuestas demográficas, en especial de fecundidad, para las que parece muy apropiado. No suele ser apropiado, sin embargo, para encuestas generales sobre explotaciones, en que la reacci6n del enumerador ante la gran variedad de características y modalidades de explotaciones agrícolas es casi esencial, para que la entrevista parezca inteligente al entrevistado. La decisi6n de adoptar este tipo de cuestionario tiene las siguientes consecuencias: (a) El cuestionario deberá imprimirse en el idioma de la entrevista. (b) Las posibles vías de avance de la entrevista deberán ser totalmente previsibles. (c) La duraci6n del cuestionario (o de de la entrevista propiamente dicha) constituye un importante problema de diseio. La necesidad de que el cuestionario sea impreso en el idioma de la entrevista es obvia. De lo contrario, no se podrá lograr el plan previsto de no permitir discreci6n al enumerador. Por desgracia, en el caso de ciertos países ello supone la traducción del cuestionario a varios idiomas. Esta es una tarea pesada y ha de efectuarse y comprobarse con mucho cuidado. Una traducci6n descuidada produce el mismo resultado que si los enumeradores emplearan su discreción para redactar las preguntas. Asimismo, si se utilizan palabras técnicas y el entrevistado no las entiende, el enumerador se ve forzado a tener que explicar su significado; una vez más, esto obstaculiza el objetivo de organizar la entrevista con miras a eliminar el sesgo del enumerador. Una medida habitual de seguridad es la de traducir las preguntas al idioma requerido y luego volver a traducir la versión de la traducción a la lengua original, con el fin de verificar deficiencias y ambigüedades. Todas las vías de avance posibles que las preguntas y las respuestas pudieran tomar deberán tenerse en cuenta mediante instrucciones y preguntas alternativas escritas. En este caso, el cuestionario va sin duda a ser extremadamente largo, aun cuando, en cualquier entrevista individual, el nimero de preguntas hechas sea limitado.' En la Figura 8 se ofrece un ejemplo de un extracto de un cuestionario estructurado. Sin embargo, los malos ejemplos son más abundantes que los buenos. - 135 - FIGURE 8 AN EXAMPLE OF A STRUCTURED QUESTIONNAIRE 1. Did you do any work in the last 7days?! Yes...1 No....2 SKIP TO 6 2. What was that work? 3. How many hours altogether did you work over the last 7 days? HOURS 4. Did you want more hours of work during those 7 days? Yes.. .1 SKIP TO 9 No... .2 5. Why did you not want more hours of work? CIRCLE ONE ONLY Worked fully .......... 1 Atshoot2...........*2 ALL Housekeeping ....ke**3 SKIP Too young/old ........4 TO 9 Physical defect ........5 Other (SPECIFY)...*..6 6. Do you have a business for which you did Yes.. . SKIP TO 9 anything during the last 7 days? No... .2 7. Did you look for work during the last 7 days? -Yes .. .1 SKIP TO 9 No...2 8. Why were you not working during the last 7 days? CIRCLE ONE ONLY. Vacationo .............. Illness ................ 2 Strike *.******...***** 3 ALL Lay-offf.********4***.4 Off-season ............ 5 Other (SPECIFY).***-6 - 136 - Manual de capacitaci6n del enumerador Deberá prepararse un manual de capacitaci6n para cada cuestionario. Este constituirá el documento básico de referencia en el curso de capacitaci6n del enumerador. Deberá contener lo siguiente: (a) Detalles explicativos sobre la encuesta. (b) Instrucciones para identificar a los entrevistados. (c) Directrices generales sobre c6mo realizar una entrevista. (d) Definiciones precisas de cada t6rmino empleado en el cuestionario, por ejemplo, hogar, explotación agrícola, campo de cultivo, ingreso, etc. (e) Explicaci6n de cada una de las preguntas acompañada de ejemplos de c6mo se han de registrar las respuestas. (f) Instrucciones de codificaci6n (si éstas no aparecen en el cuestionario). (g) Otras instrucciones operacionales y de programaci6n de actividades. Conviene subrayar que, al finalizar el curso de capacitaci6n, el enumerador deberá estar tan familiarizado con los puntos (b) a (e) que no le sea necesario tener que recurrir al manual durante la entrevista. Sin embargo, el manual continuará siendo un valioso documento de referencia para el enumerador, sobre todo respecto a los puntos (f) y (g), y también cuando se presente una dificultad o problema relacionado con la interpretaci6n de las definiciones en una situaci6n imprevista. - 137 - PARTE 9: ELABORACION Y ANALISIS DE DATOS 9.1 Introducci6n Como ya se indic6 al principio, este Manual está concebido para varios tipos de usuarios y, por lo tanto, contiene materias a distintos niveles. Este es sobre todo el caso de la presente Parte. En las primeras secciones se estudian, a nivel muy elemental, pasos iniciales sencillos que podrían ser fitiles para la primera etapa fundamental del análisis exploratorio antes de tomar una decisión sobre los detalles de un análisis más formal, sea computadorizado o no. En las secciones siguientes se examinan problemas que suelen ser perceptibles únicamente para los que poseen una formaci6n estadística avanzada. Las materias se han seleccionado teniendo en cuenta dos fines: (a) Ofrecer ejemplos de técnicas sencillas de elaboración de datos, relativos al objetivo principal del presente Manual, es decir, convertir los datos obtenidos en información para la gerencia. (b) Senalar algunas de las causas principales de las dificultades que se encuentran en el análisis, proporcionando así una serie de advertencias para que no se saquen falsas conclusiones y se solite asesoramiento estadístico profesional cuando sea necesario. En efecto, mucho se puede lograr mediante el empleo de técnicas de análisis sencillas, tales como la preparaci6n de gráficos, el cálculo de tasas y medias sencillas, la clasificación por rangos y la construcci6n de tablas sencillas. Estas tácnicas son especialmente apropiadas para la presentaci6n rápida y oportuna de informes de seguimiento. Este tipo de análisis exploratorio es también un primer paso necesario antes de emplearse técnicas más complejas. No hay casi lugar a duda de que procedimientos más complejos, sobre todo el análisis multivariante, serán necesarios cuando se requiera un análisis causal, especialmente en las etapas posteriores de la evaluaci6n. Será necesario el asesoramiento estadístico profesional para decidir lo que deberá hacerse y, con frecuencia, lo que es igualmente importante, lo que no deberá hacerse. La disponibilidad de "programas envasados" está actualmente tan generalizada que los datos son frecuentemente sometidos a manipulaciones inapropiadas, cuyos resultados se leen en los listados de la computadora sin prestar la adecuada atención a si los modelos de análisis son apropiados, en vista del carácter de los datos y los métodos que se han empleado para obtenerlos. - 138 - Las técnicas sencillas son importantes para las primeras evaluaciones de la calidad de los datos, así como para establecer órdenes de magnitud de las principales características obseradas. Se pueden emplear también para obtener una informaci6n inicial sobre la sensibilidad de los resultados a las desviaciones de la norma. Encuestas de diferentes tipos y coberturas tienen distintos requisitos relativos a la depuración y codificaci6n de los datos; las siguientes secciones deberán interpretarse teniendo ésto en cuenta. La experiencia demuestra que las etapas de la elaboración y la presentación de los datos en la producción de información son difíciles de completar. Existen numerosas encuestas y estudios en que los datos recogidos no han sido nunca debidamente analizados ni utilizados. Entre algunas de las razones se podrían citar las siguientes: (a) Se presta insuficiente atención a estas etapas posteriores cuando se planea la encuesta y se diseia el cuestionario; es preciso tener pensados los principales tipos de análisis y de presentación antes de obtener los datos. (b) Las deficiencias que se describen en el inciso (a) dan lugar a que se recojan muchos datos innecesarios, lo que complica la elaboración de los datos y retrasa el trabajo sobre los datos que más interesan. (c) Las expectativas de obtener un análisis rápido basadas en los progresos de la elaboración eletrónica de datos suelen ser demasiado optimistas. (d) El carácter tedioso del trabajo de depuración y codificación de los datos enfría el empeio y el entusiasmo, induciendo a hacer más trabajo de campo antes de llevar a término el estudio en curso. (e) La tarea de crear grandes ficheros de datos y luego validarlos, sobre todo los que se refieren a encuestas longitudinales, suele subestimarse grandemente. 9.2 Preparación de los datos Una etapa de depuración es necesaria para todas las investigaciones, salvo las de menor envergadura. Los datos se depuran con miras a su integridad y consistencia; las omisiones e inconsistencias halladas se enumeran de nuevo sobre el terreno o bien se eliminan o corrigen mediante un proceso de imputación. Si se siguen las recomendaciones que se hicieron en la Parte 8, el trabajo de codificación en la oficina se puede reducir a un mínimo - 139 - mediante la utilizaci6n de preguntas precodificadas. Los datos codificados resultantes bien se transcriben directamente a tablas resúmenes o se transfieren a tarjetas, discos o cintas para un análisis ulterior. A menos que la direcci6n actúe con rigor, dicho trabajo podría terminar en caos. Los cuestionarios deben registrarse, ordenarse en grupos según enumeradores, áreas o estratos apropiados, y anotarse su circulaci6n entre las distintas etapas y diversos analistas. Será necesario mantener registros detallados de cualquier cuetionario que se remita de nuevo al terreno o que se tome provisionalmente para otros fines. Deberá evitarse cualquier trastorno del proceso normal mediante el cual grupos de cuestionarios se someten a depuraci6n, correcci6n y perforaci6n. El control frecuente de la cantidad de formularios revisados diariamente sirve para vigilar la actuaci6n del personal. Se pueden utilizar totales parciales, calculados a mano, de algunas de las variables principales con miras a obtener medias, tasas, Srdenes de magnitud y primeras estimaciones de las principales características objeto de estudio. Si existen cifras previas o preliminares con las que se pueden confrontar las primeras estimaciones, las discrepancias observadas podrían constituir una señal anticipada de que algo no marcha bien. Es conveniente que la persona encargada del estudio examine y depure una muestra de los cuestionarios a medida que vayan llegando. De esta manera puede comprobar las evaluaciones iniciales de la calidad del trabajo de campo, y asegurarse que las instrucciones de revisi6n para detectar inconsistencias son correctas. En efecto, a menos que se lleve a cabo una prueba preliminar, es frecuente que las instrucciones para la depuraci6n y codificaci6n de los datos no se pueda completar hasta que no se hayan examinado meticulosamente algunos cuestionarios. No todos los errores exigen la devoluci6n de los cuestionarios al terreno para comentario, nueva visita y modificacion. Algunos son errores obvios y se pueden corregir en la oficina. Otros, como, por ejemplo, las mediciones incorrectas de áreas, no pueden corregirse sin una investigación de campo adicional, que deberá hacerse a la brevedad. Tambi&n son necesarias las comprobaciones de campo en casos de información que parece dudosa, pero no necesariamente err6nea. Los datos falsificados no son de extralar, ya que en la mayoría de los equipos de encuesta hay enumeradores deshonestos que consiguen pasar el curso de adiestramiento y el proceso de selección. Por esta raz6n, es conveniente agrupar los cuestionarios por enumeradores, ya que un revisor bien preparado puede detectar con frecuencia ciertas características constantes en las respuestas, por ejemplo, una regularidad sospechosa en la estructura de las familias o la ausencia de ceros de cuando en cuando, que serían un indicio de que podría haber falseamiento de los datos. - 140 - La depuraci6n, sobre todo en las etapas iniciales, debería también indicar si ha habido algún error de procedimiento que no haya sido notado por la supervisión en el terreno. Por ejemplo, supóngase que se decidi6 que, en caso de ausencia del marido, la mujer iba a figurar como cabeza de familia; si los cuestionarios de algún área no registran casos de mujeres como cabezas de familia, ello podría indicar que allí no se siguió dicha instrucción. Con frecuencia se combinan las operaciones de depuración y codificación. Este método tiene sus ventajas y desventajas. Por regla general, a no ser que las preguntas est5n precodificadas en su casi totalidad, es preferible separar las dos actividades. Es necesario un control de calidad (una verificación peri6dica de una muestra de cuestionarios después de efectuadas la depuración y la codificaci6n) para asegurar que el trabajo se está realizando debidamente. Esta verificación ha de mantenerse a través de todo el proceso y es posible que tenga que intensificarse en las etapas posteriores, cuando el entusiasmo y empefño iniciales empiezan a disiparse. 9.3 Elaboraci6n de datos El equipo y los programas de elaboración de datos están experimentando una rápida evolución. En especial, la aparici6n de las microcomputadoras va, sin duda, a cambiar la situación considerablemente. Esta innovación podría evitar el "distanciamiento" entre el encuestador y los datos que tiene lugar con las instalaciones centrales de cómputo. Con una microcomputadora, el encuestador puede controlar mejor el proceso, el acceso al análisis y el diseñio de éste. El diseño en sí puede ser más flexible. El encuestador puede controlar más fácilmente la organización y validación de los ficheros de datos, evitando así algunas de las numerosas corridas de validaci6n que son características de la elaboración electrónica de datos. Por otra parte, las microcomputadoras tienen hasta la fecha una capacidad limitada para manejar grandes ficheros, y el desarrollo de los programas está rezagado respecto al de los equipos. En la perspectiva actual de rápida innovación, el ofrecer recomendaciones específicas y detalladas no sería apropiado. Con todo, debemos hacer dos comentarios. En primer lugar, la computadora no es el único o necesariamente el mejor medio para elaborar datos. Mucho se puede hacer utilizando grupos competentes para resumir y analizar los datos con la ayuda de calculadoras baratas, programables y manuales. Cuando la puntualidad es un factor importante, y éste es frecuentemente el caso de las actividades de seguimiento, algunas tabulaciones sencillas sacadas de los datos, o de una muestra de ellos, serán suficientes para cumplir satisfactoriamente con los requisitos existentes. Si los datos. que se utilizan para seguimiento pueden elaborarse en computadoras, valdrá bien la pena la inversi6n inicial para poner en - 141 - marcha el-sistema; &sto constituye un aspecto de la utilización general de la computadora para los fines de la administración. Sin embargo, las operaciones que se realizan en lugares distantes con condiciones climáticas desfavorables podrían encontrar problemas. Además, deberá evitarse la tentaci6n a ampliar los informes excesivamente por la única raz6n de que las instalaciones son accesibles. La experiencia varía de un proyecto a otro, y hasta proyectos similares dentro del mismo país muestran variaciones considerables en los resultados que son difíciles de tener en cuenta. En segundo lugar, el tiempo asignado para la elaboración de datos de encuestas suele ser demasiado limitado, sobre todo cuando se realiza en forma computadorizada. En un caso reciente de elaboración de la Encuesta Mundial sobre la Fecundidad, Rattenbury escribe que Se calculan estimaciones realistas multiplicando las estimaciones normales por un factor de realismo o factor-R, para tener en cuenta las deficiencias en el rendimiento y los problemas imprevisibles. La experiencia de numerosos casos indica que este factor será frecuentemente de tres o más para la elaboración de datos. La duración efectiva de la elaboración de datos para los países objeto de la Encuesta Mundial sobre la Fecundidad ha sido, por término medio, de aproximadamente tres veces mayores que las previsiones. 1/ En general, en el país participante se dio cierta preferencia a la Encuesta Mundial sobre la Fecundidad, y se utilizó considerablemente las pericias adicionales en materia de elaboración de datos del personal internacional