Monitoreo
Monitoreo
Monitoreo
Esta obra está bajo la Licencia Creative Commons Atribución No Comercial 4.0 Internacional bajo los
siguientes términos:
Atribución: Para su uso se debe dar crédito de manera adecuada, brindar un enlace a la licencia e
indicar si hay cambios de la versión original. Se puede hacer de cualquier manera razonable, pero
no de forma tal que sugiera que el licenciante le ha autorizado el uso de la obra.
Información de la versión
ii
Guía MEAL DPro
Agradecimientos
Para aquellos que contribuyeron a la creación, revisión y edición de esta guía.
Al grupo de trabajo MEAL DPro que brindó información sobre el alcance, el contenido y la gestión de esta
iniciativa: Lupe Staigers, Paul Saitoti, Velida Dzino-Silajdzic, Marianna Hensley, Jenny Haddle, Alexandra
Causton y Heather Dolphin.
Las herramientas y diagramas presentados en MEAL DPro son una selección de los que ya se utilizan
ampliamente en los sectores de desarrollo, de ayuda humanitaria y ambiental. El estudio de caso del
Proyecto PDI Río Delta que se usó a lo largo de la guía fue creado utilizando una amalgama de casos y
ejemplos desarrollados por Humentum, PM4NGOs, Catholic Relief Services, Mercy Corps, OMS y UNICEF.
Esta iniciativa no hubiera sido posible sin el apoyo de Catholic Relief Services. También estamos en deuda
con la Academia de Liderazgo Humanitario y con los Profesionales en Asistencia y Protección Humanitaria
(PHAP) por su aliento y apoyo.
Autores
Esta guía fue escrita por Mike Culligan y Leslie Sherriff, con contribuciones de Clara Hagens, Guy Sharrock y
Roger Steele.
iii
Guía MEAL DPro
Acrónimos y abreviaturas
CAQDAS Software de análisis de datos cualitativos asistido por computadora
CoP Comunidad de práctica (Community of Practice)
ML Marco lógico
OE Objetivo estratégico
OMS Organización Mundial de la Salud
ONG Organización no gubernamental
iv
Guía MEAL DPro
Índice
Contenido
Introducción ............................................................................................................................................................... 9
MEAL: Un elemento clave que contribuye al éxito del proyecto........................................................................... 9
Capítulo 1: MEAL en proyectos de desarrollo ................................................................................................................ 2
1.1 ¿Qué es MEAL? .............................................................................................................................................. 2
Monitoreo y Evaluación ......................................................................................................................................... 3
Accountability y Lecciones aprendidas (aprendizaje) ............................................................................................ 4
1.2 El modelo de fase MEAL ................................................................................................................................. 6
1.3 Estándares éticos en el MEAL ........................................................................................................................ 7
1.4 Temas transversales en el MEAL .................................................................................................................... 8
Participación........................................................................................................................................................... 8
Pensamiento crítico ............................................................................................................................................... 9
1.5 Adaptando el MEAL DPro ............................................................................................................................. 10
Capítulo 2: Diseño de modelos lógicos ........................................................................................................................ 11
2.1 Introducción ................................................................................................................................................. 11
2.2 ¿Qué es un modelo lógico? .......................................................................................................................... 11
2.3 Teoría del cambio ......................................................................................................................................... 13
2.4 Componentes de una teoría de cambio ....................................................................................................... 14
El cambio a largo plazo es el impacto duradero deseado que la intervención pretende apoyar........................ 16
Pensamiento crítico. La teoría de cambio debe usarse como un documento vivo ............................................. 20
2.5 Marco de resultados .................................................................................................................................... 20
2.6 Marco lógico (ML) ........................................................................................................................................ 25
2.7 Declaración de objetivos (columna 1).......................................................................................................... 26
2.8 Supuestos (columna 4) ................................................................................................................................. 27
2.9 Indicadores (columna 2)............................................................................................................................... 29
¿Indicadores estándares o construidos a la medida? .......................................................................................... 32
¿Indicadores directos o indirectos (proxy)? ......................................................................................................... 33
¿Indicadores cuantitativos o cualitativos? ........................................................................................................... 34
2.10 Métodos de medición (columna 3) .............................................................................................................. 36
Balance entre el costo y la complejidad de los métodos de medición ................................................................ 39
Capítulo 3: Planificación de actividades de MEAL ....................................................................................................... 44
v
Guía MEAL DPro
Introducción ............................................................................................................................................................. 44
Sección A: Herramientas de planificación de MEAL: ................................................................................................... 44
3.1 Plan de Gestión de Desempeño ......................................................................................................................... 45
Declaraciones de objetivos e indicadores ............................................................................................................ 47
Recopilación de datos: Métodos, frecuencia, responsabilidad y participantes .................................................. 48
Medios de análisis ................................................................................................................................................ 49
Uso de datos......................................................................................................................................................... 51
3.2 Tabla de Seguimiento a los Indicadores de Desempeño ................................................................................... 54
3.3 Flujograma del Mecanismo de Retroalimentación y Respuesta ........................................................................ 57
3.4 Plan de aprendizaje ............................................................................................................................................ 61
3.5 Herramientas de planificación para las comunicaciones MEAL......................................................................... 65
3.6 Planificación de la evaluación ............................................................................................................................ 69
Tabla de resumen de evaluación ......................................................................................................................... 70
Términos de referencia de la evaluación ............................................................................................................. 72
Sección B: el MEAL en la gestión de proyectos ............................................................................................................ 74
3.7 El MEAL en el calendario del proyecto............................................................................................................... 75
3.8 El MEAL en el presupuesto del proyecto ........................................................................................................... 76
Capítulo 4: Recopilación de datos de MEAL................................................................................................................. 79
4.1 Calidad de los datos ........................................................................................................................................... 79
4.2 Desarrollo de herramientas de recopilación de datos ....................................................................................... 80
Herramientas de recopilación de datos cuantitativos: Cuestionarios ............................................................... 82
Herramientas de recopilación de datos cualitativos: Entrevistas semiestructuradas y discusiones de grupos
focales .................................................................................................................................................................. 84
4.3 Creación de muestras......................................................................................................................................... 86
Muestreo aleatorio .............................................................................................................................................. 86
Muestreo intencional ........................................................................................................................................... 91
4.4 Uso de herramientas de recopilación de datos ................................................................................................. 93
Ingreso de datos ................................................................................................................................................... 95
Depuración de datos ............................................................................................................................................ 96
Almacenamiento y seguridad de datos................................................................................................................ 97
Conservación y anonimato de datos .................................................................................................................... 97
Capítulo 5. Análisis de los datos de MEAL................................................................................................................... 99
5.1 Introducción al análisis de datos ...................................................................................................................... 100
5.2 Fundamentos del análisis de datos cuantitativos ............................................................................................ 100
Comprensión de los datos cuantitativos ............................................................................................................ 101
vi
Guía MEAL DPro
Análisis de datos cuantitativos utilizando estadísticas descriptivas .................................................................. 102
Medidas de frecuencia ....................................................................................................................................... 103
Medidas de tendencia central ........................................................................................................................... 105
La media ............................................................................................................................................................. 106
Análisis inferencial ............................................................................................................................................. 111
Contribución: Una alternativa a la causalidad ................................................................................................. 113
Errores de análisis cuantitativos ........................................................................................................................ 114
5.3 Fundamentos del análisis de datos cualitativos............................................................................................... 114
5.4 Visualización de datos ...................................................................................................................................... 118
5.5 Interpretación de datos cuantitativos y cualitativos ....................................................................................... 122
Limitaciones de datos para tener en cuenta durante la interpretación ............................................................ 122
Capítulo 6: Uso de datos MEAL .................................................................................................................................. 126
6.1 Introducción ............................................................................................................................................... 126
6.2 Gestión ajustable ....................................................................................................................................... 126
6.3 Informe de progreso .................................................................................................................................. 128
6.4 Uso de datos del Proyecto PDI Río Delta ................................................................................................... 128
Glosario ...................................................................................................................................................................... 131
vii
Guía MEAL DPro
Notas:
viii
Guía MEAL DPro
Introducción
ix
Guía MEAL DPro
x
Guía MEAL DPro
Capítulo 1: MEAL en proyectos de desarrollo
Al final de este capítulo, podrá:
1
Catholic Relief Services.2015 ProPack I: El Paquete de Proyecto de CRS; Guía de diseño de proyectos para los gerentes de proyectos y
programas de CRS.
2
Guía MEAL DPro
Comencemos respondiendo la pregunta “¿Qué es MEAL?" mediante la exploración de las dos primeras
letras, a saber, M&E corresponden a monitoreo y evaluación.
Monitoreo y Evaluación
El monitoreo y la evaluación a menudo se discuten juntos como si fueran un concepto único e inseparable.
Sin embargo, no lo son, cada uno tiene propósitos y procesos distintos:
Monitoreo es la recopilación continua y sistemática de datos para proporcionar información
sobre el progreso del proyecto.
Una de las formas en que el monitoreo y la evaluación difieren está relacionada con las preguntas que se
formulan (y se responden). Por ejemplo, la mayoría de los proyectos está interesada en medir su progreso
y logros en las siguientes tres áreas: cobertura, proceso y resultados del proyecto. Estas áreas se pueden
explorar a través de actividades de monitoreo y evaluación. Sin embargo, las preguntas que se hacen para
explorarlas a través del monitoreo serán muy diferentes de las preguntas que se formulan durante la
evaluación.
Figura 2: Preguntas de monitoreo versus preguntas de evaluación
Cobertura del ¿Cuántas personas o comunidades se ¿El proyecto está llegando (o alcanzó) a
proyecto alcanzaron? aquellos con mayor necesidad? Si no, ¿por qué
no?
Proceso del ¿Se completaron las actividades del ¿Invirtió el proyecto de manera efectiva y
proyecto proyecto en tiempo y dentro del apropiada el tiempo y presupuesto para llevar
presupuesto? a cabo sus actividades?
Resultados del ¿Tuvo éxito el proyecto en cuanto al ¿Cómo han variado los resultados alcanzados
proyecto logro de las metas establecidas para los para los diferentes grupos dentro del área
objetivos previstos? objetivo?
Sin embargo, la diferencia entre las actividades de monitoreo y evaluación no se limita a las preguntas
formuladas. Estas actividades también difieren en términos del propósito, la frecuencia, el momento y el
uso de datos.
3
Guía MEAL DPro
Figura 3: Comparación del propósito y el proceso de monitoreo y evaluación
Monitoreo Evaluación
Responsabilidad Los miembros del equipo del proyecto Las actividades suelen ser dirigidas
realizan las actividades. externamente, aunque deben implicar la
participación del personal del proyecto.
Uso de los datos Brindan información para la toma de Identifica posibles correcciones de rumbo.
decisiones oportuna y la acción Contribuye al aprendizaje organizacional a
correctiva a corto plazo en apoyo a la largo plazo.
gestión ajustable.
Los proyectos con accountability son más relevantes, tienen más probabilidades de recibir apoyo de las
partes interesadas y, en última instancia, tendrán un mayor impacto. Un compromiso con la rendición de
cuentas requiere que los equipos del proyecto tomen medidas proactivas y reactivas, para abordar las
4
Guía MEAL DPro
necesidades de las partes interesadas clave mientras entregan los resultados del proyecto.
Los proyectos adoptan acountability al promover:
● Comunicaciones transparentes: comparten información y resultados de monitoreo, así como la
evaluación con comunidades, socios, donantes y otras partes interesadas.
● Alineación con los estándares: demuestran que el trabajo del proyecto se ha llevado a cabo de
conformidad con los requerimientos acordados con los donantes y con las mejores prácticas de
MEAL.
● Capacidad de respuesta: establecen canales a través de los cuales las partes interesadas pueden
expresar sus comentarios, ideas, sugerencias y quejas, así también se comprometen a proporcionar
una respuesta adecuada sobre la forma en que su aporte brinda información para la toma de
decisiones del proyecto.
● Participación: fomentan diversos grados de contribuciones de diferentes tipos de partes
interesadas para iniciar, definir los parámetros y llevar a cabo el MEAL.
5
Guía MEAL DPro
1.2 El modelo de fase MEAL
Entonces, ¿Cómo se debe ver un proceso de MEAL sólido en la práctica? El resto de esta guía está dedicado
a responder esta pregunta. Sin embargo, podemos comenzar a responder explorando cómo el MEAL
interactúa con el ciclo de vida general del proyecto.
El MEAL está presente y en curso durante cada etapa de un proyecto; desde los primeros pasos de su
diseño hasta las últimas actividades de cierre del mismo. Las actividades de MEAL se organizan en cinco
fases, que se describen en la Figura 4.
Al trabajar desde los fundamentos de MEAL establecidos en los modelos lógicos, se necesitará
desarrollar planes más detallados y completos. Existen varias herramientas que facilitan la
planificación de MEAL, que deberán usarse dependiendo del tamaño y la complejidad del proyecto;
sin embargo, independientemente de estos factores, es importante que las actividades, los
presupuestos y los calendarios de MEAL estén integrados y alineados con el plan general del
proyecto.
Una vez que se complete la planificación de MEAL, se deberá desarrollar y utilizar herramientas
para recopilar datos de alta calidad, que midan el progreso y ayuden a tomar decisiones y a
aprender de manera oportuna.
6
Guía MEAL DPro
Fase 4: Análisis de los datos de MEAL
Para que cobren valor, los datos de MEAL necesitan ser utilizados. Los datos se utilizan
internamente para brindar información para la toma de decisiones de gestión y externamente
para ofrecer información para las comunicaciones y promover la rendición de cuentas.
Juntas, las cinco fases de MEAL forman un ciclo que promueve de manera continua e intencional el
accountability y las lecciones aprendidas. Los proyectos deben usar los datos de MEAL para revisar
periódicamente la lógica, el diseño, y la implementación del proyecto, y de su sistema de MEAL. Además,
en función de las lecciones aprendidas, se debe actualizar el diseño original del proyecto y ajustar el
sistema apropiadamente, si fuera necesario.
● Malgastar los recursos del proyecto y el tiempo de los participantes haciendo preguntas
incorrectas o recopilando datos que no se utilizarán.
● Comprometer la seguridad y el bienestar social de los participantes al no respetar los estándares
de confidencialidad y anonimato.
● Reducir el impacto del proyecto, e incluso, arriesgarse a llevarlo en la dirección equivocada, al no
recopilar y analizar los datos de MEAL necesarios para mejorar sus operaciones y estrategia.
Reconociendo que el MEAL mal implementado tiene el potencial de causar serios problemas, muchas
organizaciones han creado principios éticos que deben seguirse para garantizar altos niveles de conducta
profesional. Si bien estos variarán según la organización, la mayoría incluye los siguientes temas: 2
Representación: todas las poblaciones, incluidas las vulnerables y las marginadas, tienen derecho
a ser tomadas en cuenta y a ser representadas adecuadamente en los datos.
Consentimiento informado: la participación en actividades de recopilación de datos debe ser
voluntaria. Los participantes tienen derecho a ser informados sobre el proceso, sobre la forma en
que se utilizarán los datos y a recibir los resultados de esa actividad. Al trabajar con niños y
algunos adultos es posible que los participantes no puedan dar su consentimiento legal. En estos
casos, es posible que se deba obtener el consentimiento del padre o tutor legal y la anuencia del
participante.
7
Guía MEAL DPro
Privacidad y confidencialidad: las prácticas de recopilación y almacenamiento de datos deben
mantener al participante y sus opiniones en forma privada y confidencial.
Seguridad de los participantes: los participantes no deben enfrentar ningún riesgo de seguridad
como consecuencia de participar en las actividades de recopilación de datos.
Minimización de datos: el equipo debe asegurarse de que los datos recopilados sean relevantes y
oportunos para las necesidades del proyecto, manteniendo el alcance de las actividades MEAL lo
más simple posible y centrado solo en los datos específicos necesarios para responder las
preguntas de MEAL.
Uso responsable de datos: los proyectos deben establecer y seguir políticas para proteger los
datos que recopilan; establecer procedimientos para garantizar que los datos se usen de manera
adecuada, se almacenen de forma segura y se destruyan cuando ya no se necesiten.
8
Guía MEAL DPro
diferentes niveles de implementación del proyecto.
● Promover una asignación de recursos más eficiente.3
Pensamiento crítico
Un adecuado proceso de MEAL, requiere de principio a fin, un compromiso constante con el pensamiento
crítico.
Pensamiento crítico es un proceso de pensamiento que es claro, racional, abierto a diferentes
opiniones y que obtiene información de la evidencia.
En la práctica, el pensamiento crítico requiere que los equipos de proyecto apliquen los siguientes
comportamientos mientras diseñan, planifican e implementan actividades de MEAL:
● Voluntad de identificar los supuestos que dan forma a su pensamiento y que influyen en sus
acciones
● Deseo de probar hasta qué punto sus supuestos son correctos y están bien fundamentados
● Capacidad de hacer preguntas reflexivas para lograr una comprensión más profunda
● Apertura a perspectivas múltiples, a veces conflictivas, que reflejan diferentes habilidades,
experiencias y evidencia.
● Compromiso de reflexión y análisis para brindar información sobre las acciones. 4
Una de las ventajas de aplicar el pensamiento crítico a las actividades de MEAL es que ayuda a reducir el
riesgo de sesgo en los datos, al descubrir algunos de los supuestos que pueden respaldar su enfoque.
Sesgo es cualquier tendencia sistemática o desviación del valor verdadero.
Los profesionales experimentados en MEAL entienden que nunca podrán eliminar totalmente los sesgos
de sus datos. Las personas no son máquinas y ningún sistema es perfecto para recopilar, analizar,
interpretar y comunicar datos. Sin embargo, al adoptar los comportamientos de pensamiento crítico
anteriores, los equipos pueden actuar deliberadamente para reducir el sesgo y mejorar la calidad de los
datos del proyecto.
Hay muchos tipos de sesgos que pueden influir en los datos; ¡Algunos investigadores han identificado
hasta 50 categorías de sesgo! Está fuera del alcance de esta guía explorar todas esas categorías; sin
embargo, se revisará este tema a lo largo de la misma. A medida que presentemos las herramientas y los
procesos de MEAL, identificaremos áreas potenciales de sesgo que deben reconocerse y administrarse
para garantizar que se trabaje con datos de la más alta calidad posible.
3 Adaptado de: Aubel J. 1999. Manual de evaluación del programa de participación. CRS y el Proyecto de Apoyo Técnico
de Supervivencia Infantil.
9
Guía MEAL DPro
1.5 Adaptando el MEAL DPro
Cada proyecto es diferente y sus sistemas de MEAL reflejarán cualquier número de elementos, incluyendo
las políticas y la cultura de una organización en favor del MEAL; el contexto, el valor y la duración del
proyecto; los requisitos de MEAL de los donantes y la complejidad del proyecto, así como los riesgos
asociados.
Se debe usar y adaptar las herramientas y los procesos de MEAL DPro a cada contexto. Por ejemplo, si se
está administrando un proyecto grande y complejo, se puede optar por desarrollar un plan de análisis
completo para el MEAL. Sin embargo, los proyectos más pequeños podrían abstenerse de desarrollar un
plan de análisis de MEAL separado e incluir actividades de análisis como un componente del Plan de
Gestión del Desempeño (véase el capítulo 3).
Como parte del esfuerzo por ayudar a adaptar el MEAL DPro, la guía presenta un estudio de caso, el
Proyecto de Personas Desplazadas Internamente (PDI) Río Delta. El estudio de caso se basa en una serie de
experiencias aprendidas a través de múltiples proyectos y será revisado repetidamente a lo largo de la
guía para proporcionar ejemplos prácticos de cómo usar los modelos, las herramientas y los procesos de
MEAL en un proyecto.
Antecedentes
UNITAS, una organización no gubernamental (ONG), ha trabajado en la región Río Delta durante 10
años. Se esfuerza por reducir las enfermedades transmitidas por el agua mediante el trabajo con las
comunidades para instalar letrinas y sistemas de agua. También ha implementado campañas de
cambio de comportamiento destinadas a mejorar las prácticas de saneamiento y nutrición. UNITAS
tiene fuertes relaciones en la región Río Delta y tiene una red de socios que abarca ministerios
gubernamentales, ONG y organizaciones comunitarias.
Un donante se ha acercado al equipo, para participar en una iniciativa diseñada para abordar las
necesidades de las personas desplazadas internamente, que se han mudado a la región en los
últimos 12 meses. Con base en un análisis preliminar de la situación, UNITAS y el donante han
identificado tres problemas centrales que es necesario abordar:
1. Las familias desplazadas internamente carecen de acceso a oportunidades de producción
agrícola y a actividades generadoras de ingresos.
2. Las mujeres, los niños y las niñas desplazados carecen de acceso a alimentos nutritivos.
3. Hay una mayor incidencia de enfermedades transmitidas por el agua entre las PDI en
comparación con las familias de las comunidades vecinas.
El donante está financiando a tres socios implementadores para abordar los problemas descritos
anteriormente. UNITAS es uno de los tres socios y se le ha pedido centrar sus esfuerzos en disminuir
la incidencia de enfermedades transmitidas por el agua entre las PDI.
10
Guía MEAL DPro
2.1 Introducción
El primer paso para establecer las bases de un sistema de MEAL es crear modelos lógicos para el proyecto.
¿Qué es un modelo lógico?
En términos sencillos, un modelo lógico es un panorama de
cómo
se supone que funcionará el proyecto. Un modelo lógico
efectivo no pretende ser un plan detallado y completo. Eso
viene más tarde. En cambio, un modelo lógico proporciona una
visión general que aborda preguntas como:
● ¿Cuál es el impacto deseado?
● ¿Cómo se cree que se realizará el cambio?
● ¿Qué supuestos necesitan ser ciertos para que ocurra el cambio?
● ¿Cómo se va a medir y a dar seguimiento al progreso?
¿Suenan familiares estas preguntas? Debería ser así, porque estas también son las preguntas
fundamentales que se deben formular al diseñar el sistema de MEAL para un proyecto.
En la práctica, un proyecto desarrolla más de un modelo lógico. Juntos, los modelos se alinean para crear
un mapa de cómo se supone que debe funcionar el proyecto. Este capítulo explora tres modelos lógicos de
proyectos de uso común: la teoría del cambio (ToC), el marco de resultados (MR) y el marco
lógico (ML).
En esencia, los modelos lógicos identifican la lógica del proyecto. Estos ayudan a que los equipos articulen
el cambio deseado a largo plazo y a que tracen un mapa de lo que debe suceder para lograr ese cambio.
Sin embargo, en la práctica, los modelos lógicos hacen mucho más. Muchas partes interesadas utilizan la
información contenida en los modelos lógicos para múltiples propósitos.
● Personal de desarrollo Utiliza los modelos lógicos para explicar la lógica del proyecto y los
de productos resultados a los posibles financiadores.
● Equipos de proyecto Revisan los modelos lógicos durante la implementación del proyecto,
actualizando estrategias y procesos a medida que aprenden de la
experiencia y se adaptan a eventos imprevistos.
● Equipos de MEAL Utilizan los modelos lógicos como insumos principales del diseño de
sistemas de MEAL.
Cada modelo lógico (ToC, MR, ML) se obtiene y se basa en la información que se encuentra en las
herramientas anteriores. Por esta razón, es mejor crearlos en secuencia. La Figura 6 explora cada una de
las tres herramientas del modelo lógico, identifica el contenido central y compara el propósito de cada
una.
12
Guía MEAL DPro
2.3 Teoría del cambio
La teoría del cambio (ToC) proporciona el panorama general del cambio previsto. Define el objetivo a largo
plazo de un proyecto, así como las amplias áreas estratégicas de intervención, y luego crea un mapa de los
componentes fundamentales o las condiciones previas que deben existir para que ocurra el cambio a largo
plazo. La teoría del cambio también identifica los supuestos que deben cumplirse para que el proyecto
tenga éxito y la evidencia disponible para respaldarlos.
Teoría del cambio es una descripción completa y visual de cómo y por qué se espera que ocurra
un cambio deseado.
Las teorías del cambio vienen en varios formatos, algunos bastante simples y otros complejos. Las
descripciones adjuntas se pueden escribir como un documento de texto, pero las ToC son más
comúnmente respaldadas con gráficas, que incluyen diagramas de flujo, mapas, diagramas de red o tablas.
Hay muchas ventajas al presentar la ToC en un formato visual, entre ellas están:
● Visualizar datos e ideas complejas en una imagen que sea más fácil de entender.
● Identificar la gama completa de cambios necesarios para lograr el impacto deseado. Estas incluyen
cambios implementados por otras partes interesadas.
● Reconocer el cambio no lineal.
● Hacer explícitos los supuestos, es decir, los riesgos potenciales que podrían alterar la lógica del
proyecto.
● Generar debate y participación abriendo espacios para hacer preguntas, cuestionar supuestos y
sugerir alternativas.
La teoría del cambio debe basarse en un análisis amplio y exhaustivo de las necesidades, los activos, las
oportunidades y el entorno operativo. Este análisis debe basarse en las perspectivas de las partes
interesadas y en el conocimiento local para fundamentar la conversación en circunstancias específicas de
la vida real. El proceso de desarrollo de una teoría de cambio debe ser participativo y debe involucrar una
muestra representativa del personal (gerencia, expertos técnicos / sectoriales y MEAL) y de las partes
interesadas clave, para beneficiarse de sus muchas perspectivas. Hay productos de software disponibles
que generan una visualización digital de una teoría de cambio.
Las teorías de cambio son más sólidas cuando se basan en evidencias y cuando deliberadamente se
alimentan y alinean con la investigación, la teoría, la práctica y la experiencia. Al comenzar a definir la
teoría de cambio, se deben identificar los marcos conceptuales existentes basados en evidencias, que
puedan proporcionar información para construirla.
Marco conceptual es un modelo probado y basado en evidencias para una intervención en el sector
de desarrollo o humanitario.
Revise los requerimientos de su donante para ver si dichos lineamientos obligan el uso de un marco
conceptual específico. Por ejemplo, el programa de la Oficina de Alimentos para la Paz (FFP) de USAID
requiere que las actividades de seguridad alimentaria utilicen su Marco Conceptual para la Seguridad
Alimentaria y Nutricional. Cuando no exista dicho requerimiento, es aconsejable utilizar un marco
existente o crear uno.
13
Guía MEAL DPro
Algunos de los marcos conceptuales más utilizados para proyectos, abordan desafíos relacionados con la
seguridad alimentaria, la nutrición y el cambio de comportamiento. Entre ellos, se incluyen:
● Seguridad Alimentaria: Marco conceptual de FFP de USAID para la Seguridad Alimentaria y
Nutricional
● Nutrición: Marco conceptual de UNICEF para la desnutrición materno infantil y
Marco conceptual de nutrición multisectorial de USAID
● Cambios de comportamiento: Modelo social y de comportamiento para el cambio de FHI 360
14
Guía MEAL DPro
Figura 7: Teoría del cambio Proyecto PDI Río Delta
15
Guía MEAL DPro
Dediquemos un tiempo a comprender la lógica de la teoría del cambio de UNITAS.
Podría surgir la pregunta: ¿Por qué estos otros ámbitos de cambio, que no son responsabilidad
directa de UNITAS, se incluyen en la ToC? ¡Recuerde! La teoría del cambio proporciona una visión
general de lo que se necesita para lograr el objetivo a largo plazo. Una ToC puede incluir condiciones
previas y vías de cambio que no son responsabilidad directa del proyecto. Es importante incluirlas
porque son fundamentalmente importantes para lograr el cambio a largo plazo; ¡No pueden ser
ignoradas! Esto a su vez implica la necesidad de buscar alianzas con otras organizaciones para
garantizar un proyecto holístico que aborde todas las vías y las principales condiciones previas.
Una vez que se han identificado los ámbitos de cambio, el equipo continúa trabajando de forma
16
Guía MEAL DPro
inversa, identificando las condiciones previas que conducirán al éxito en cada ámbito y los
organiza en vías de cambio.
Las vías de cambio identifican las conexiones entre las condiciones previas, la forma en que
estas se relacionan entre sí y se ordenan. La mayoría de las iniciativas tienen múltiples vías
que contribuyen al objetivo a largo plazo.
La siguiente figura muestra las condiciones previas y las vías de cambio para el ámbito del cambio
asignado a UNITAS, específicamente para la "Disminución de la incidencia de enfermedades
transmitidas por el agua entre las PDI".
Al revisar la Figura 8, se puede observar que UNITAS necesitará manejar varias vías de cambio que,
según se anticipa, contribuirán a un descenso de la incidencia de enfermedades transmitidas por
el agua entre las PDI.
A lo largo de las diferentes vías hacia la realización del cambio deseado a largo plazo, será
necesario cumplir una serie de condiciones previas que involucren a diferentes partes interesadas.
3. Supuestos
A medida que se desarrolle la teoría de cambio, se deberá determinar si existen supuestos que
17
Guía MEAL DPro
vayan a afectar seriamente la capacidad del proyecto para cumplir con sus compromisos. Se debe
preguntar: “¿Cuáles son los tres supuestos principales que deben ser válidos para que el proyecto
tenga éxito?"
Los supuestos son las condiciones o recursos que están fuera del control directo de la
gestión del proyecto, pero que deben cumplirse para avanzar hacia el futuro logro de la
meta a largo plazo.
Siempre se desarrollan supuestos al diseñar y planificar proyectos. Por ejemplo, se puede suponer
que:
• Los planes, políticas y acciones gubernamentales respaldarán el trabajo.
• Los resultados de las elecciones conducirán a una transferencia estable de poder
• Otras organizaciones continuarán operando en la misma área
• Las tendencias en los mercados nacionales e internacionales serán favorables
• Las comunidades están interesadas, motivadas y tienen tiempo para involucrarse
• El personal del proyecto puede operar de manera segura con total libertad de movimiento
Los supuestos proporcionan una verificación de la realidad de la teoría de cambio. Los supuestos
señalan los riesgos potenciales que pueden interferir con el éxito del proyecto. Todo continuará bien si
los supuestos identificados se cumplen. Sin embargo, los supuestos que no se cumplan pueden alterar
por completo la forma en que se desarrolla el proyecto, o incluso que este llegue a funcionar. Por lo
tanto, UNITAS necesita identificar y analizar aquellos supuestos clave o críticos que se requieren para
el éxito del proyecto y debe verificar cuidadosamente que sea probable que se cumplan.
A medida que se identifiquen los supuestos de la teoría de cambio, será importante desarrollar un
plan para reunir la evidencia que confirme que los supuestos se cumplirán.
● Si la evidencia indica que es casi seguro que el supuesto se cumpla, entonces probablemente
no es necesario incluirlo en la teoría de cambio.
● Si la evidencia indica que es probable que el supuesto se cumpla, pero existe algún riesgo,
entonces debe incluirse en la teoría de cambio y debe haber un compromiso de monitorear
su estado.
● Si la evidencia indica que el supuesto NO se cumplirá, habrá que rediseñar esta parte del
proyecto. Observación: Si no hay opciones para rediseñar el proyecto, entonces el proyecto
puede no ser viable.
Si no se puede encontrar evidencia relacionada con un supuesto importante, es posible que se deba
decidir cuál es la mejor forma de reunir evidencia, para poder determinar en cuál de las tres categorías
antes mencionadas se encuentra dicho supuesto.
Tenga cuidado con los "supuestos letales". Estos son supuestos que se espera se cumplan, pero que la
evidencia sugiere que es poco probable, por lo que potencialmente podrían "matar" el proyecto.
Volviendo a los supuestos de la Figura 8, tenga en cuenta que el éxito en la reducción de las
enfermedades transmitidas por el agua supone que "El gobierno cumpla con las obligaciones de
facilitar letrinas y sistemas de agua". El equipo que desarrolla la teoría de cambio necesita confirmar
que el gobierno cumplirá con su compromiso. Si esto fuera poco probable, entonces esto se convierte
en un "supuesto letal" y se debe encontrar un enfoque alternativo para que el proyecto tenga éxito.
18
Guía MEAL DPro
19
Guía MEAL DPro
Si la teoría del cambio se trata como un documento estático, los equipos asumirán que debe
aceptarse y seguirse, incluso después de que quede claro que esta no refleja con precisión el contexto
del proyecto. Los modelos lógicos deben considerarse documentos vivos y deben actualizarse según
sea necesario o cuando se presenta nueva información.
Se debe revisar y probar los modelos lógicos durante la vida del proyecto para garantizar que sean
precisos. Los donantes apoyan cada vez más este tipo de proceso de revisión. Dependiendo del
proyecto, este podría ser un evento de reflexión sobre la teoría de cambio, ya sea anual, en un punto
intermedio o al cierre del proyecto. Es importante documentar su aprendizaje y compartirlo con los
donantes y con otras partes interesadas para que los nuevos proyectos no hereden una teoría de
cambio obsoleta o incorrecta.
Al reflexionar sobre la teoría de cambio, hay que estar atento a cualquier "punto ciego" y a los “mitos
existentes" que puedan perjudicar la validez de los modelos lógicos.
Los puntos ciegos son omisiones involuntarias en el pensamiento o errores que ocurren
debido a hábitos, juicios apresurados o exceso de confianza. Eventualmente, estos puntos
ciegos aparecen en los modelos porque representan la forma de pensar de quien los construye
Los mitos existentes incluyen supuestos equivocados como expresar "acceso es igual a uso",
"conocimiento es igual a acción " y "actividades igual a resultados".
En la práctica, un adecuado modelo lógico requiere varias rondas de revisión antes de proporcionar
un panorama preciso del funcionamiento del proyecto.
Piense en una experiencia en la que su teoría del cambio no reflejó con precisión el contexto o la
lógica deseada de su proyecto.
• ¿Qué cree que llevó a estas debilidades en su modelo lógico?
• ¿Actualizó la ToC para abordar estas debilidades? ¿Por qué sí, o por qué no?
• Dada esta experiencia, ¿qué haría de diferente la próxima vez durante el diseño de la ToC?
Figura 10: Criterios para determinar qué se incluye en las intervenciones del proyecto6
Viabilidad financiera / • ¿Se justifica la inversión del proyecto en función del rendimiento
económica previsto?
Una vez que se hayan tomado estas decisiones estratégicas, se podrá identificar lo que está dentro y fuera
del alcance del marco de resultados, por lo que puede comenzar a mapear el contenido de la teoría del
cambio según este MR.
Como es el caso con todos los modelos lógicos, el marco de resultados variará en cuanto al número de
niveles y a los términos utilizados para describir dichos niveles. La plantilla del marco de resultados
utilizada por cada proyecto dependerá de los requerimientos del donante o, en su defecto, de los de la
propia organización.
La siguiente figura compara algunas de las variaciones, en términos de niveles y lenguaje, entre los
modelos del marco de resultados comúnmente utilizados en el sector de desarrollo. Con una teoría de
cambio complicada, no necesariamente habrá una alineación obvia entre los niveles de dicha teoría y los
niveles del modelo del marco de resultados utilizado. Se necesitará usar cierto grado de juicio a medida
que traslada el contenido entre los dos modelos lógicos.
Figura 11: Variaciones en los modelos de marco de resultados, por nivel y terminología
La guía para el MEAL DPro utiliza un modelo de marco de resultados de cuatro niveles que incluye una
jerarquía de objetivos compuesta por el impacto, objetivos estratégicos, resultados intermedios y
productos. Observe cómo la inclusión de productos, a menudo considerados como los entregables del
proyecto, aclara la estrategia de intervención de forma tangible, según lo elige el mismo proyecto.
Particularmente con la inclusión de algunos productos clave, el marco de resultados puede ser una
herramienta de comunicación muy útil, que muestra, de forma sencilla pero no simplista, lo que el
proyecto pretende lograr y la forma en que lo hará.
22
Guía MEAL DPro
Figura 12: Jerarquía de objetivos de cuatro niveles7
Nivel Descripción
Objetivos Los objetivos estratégicos expresan el propósito central del proyecto. Estos
estratégicos (OE) describen los beneficios significativos que se anticipan al final de este. En la mayoría
de los casos, los objetivos estratégicos abordan las causas inmediatas del problema
central.
Resultados Los RI expresan los cambios esperados en los comportamientos, sistemas, políticas o
intermedios (RI) instituciones como resultado de los productos y de las actividades del proyecto.
Por ejemplo: los participantes del proyecto promueven la adopción de nuevos
comportamientos o habilidades; expansión del alcance o cobertura del proyecto;
nuevas formas de organizar o gestionar sistemas; cambios a las políticas; o cualquier
otra cosa que muestre que los productos se utilizan por los beneficiarios del
proyecto. Se denominan "intermedios" porque el progreso en este nivel es un paso
necesario hacia el logro de los objetivos estratégicos. Puede haber más de un
resultado intermedio para cada objetivo estratégico.
Productos Los productos son los entregables derivados de las actividades del proyecto. Estos
incluyen productos, bienes, servicios, conocimientos, habilidades y actitudes (por
ejemplo, personas capacitadas con mayor conocimiento y habilidades; carreteras de
calidad que se han construido). Puede haber más de un producto para cada RI.
Las descripciones de los niveles de objetivos en la Figura 12 resumen los tipos de declaraciones que se
encontraron en cada nivel del marco de resultados. Las declaraciones de objetivos deben reflejar la escala
y la complejidad específicas del proyecto. Por ejemplo, un proyecto de 1 año puede esperar alcanzar un
objetivo estratégico que será notablemente diferente del de un proyecto de 5 años. Se requiere juicio a
medida que se escriben las declaraciones de objetivos.
La Figura 13 proporciona un ejemplo de cómo traducir el contenido de una teoría de cambio a un marco
de resultados, que utiliza la plantilla de cuatro niveles del MEAL DPro:
● El nivel de impacto en el marco de resultados es consistente con el cambio a largo plazo
identificado en la teoría de cambio.
● El nivel de los objetivos estratégicos en el marco de resultados corresponde con las declaraciones
de la teoría de cambio, que se encontraron en el nivel de los ámbitos de cambio.
● Los resultados intermedios y los niveles de productos corresponden a las condiciones previas de la
teoría de cambio.
Sin embargo, hay que recordar que no todas las condiciones previas de la teoría de cambio están incluidas
en el marco de resultados, solo están las que son responsabilidad específica del proyecto.
7 Adaptado de: Catholic Relief Services 2015. ProPack I: El Paquete de Proyecto de CRS: Guía de diseño de proyectos para los gerentes de
proyectos y programas de CRS.
23
Guía MEAL DPro
Figura 13: Traducción del contenido de la teoría del cambio en declaraciones de objetivos del
marco de resultados
Para comprender mejor los componentes del marco de resultados, volvamos al proyecto UNITAS. En
colaboración con los socios, los donantes y los miembros de la comunidad, el equipo del proyecto creó el
siguiente marco de resultados.
24
Guía MEAL DPro
Deben escribirse todas las declaraciones de los objetivos claramente, usando oraciones completas y
asegurando incluir información que indique:
Impacto Escriba una oración completa, como si ya se hubiera logrado. El sujeto de la oración
deben ser las comunidades generales de los participantes a quienes se dirige el proyecto.
Objetivos Escriba una oración completa, como si ya se hubiera logrado. El sujeto de la oración
estratégicos deben ser los grupos de participantes a quienes va dirigido el proyecto.
Resultados Escriba una oración completa, como si ya se hubiera logrado. El sujeto de la oración
intermedios deben ser los individuos específicos o los grupos cuyo comportamiento se espera que
cambien.
Productos Escriba una oración completa, como si ya se hubiera logrado. El sujeto de la oración
deben ser los individuos específicos o los grupos que reciben los productos.
25
Guía MEAL DPro
Marco lógico es un modelo lógico que describe las características clave del proyecto (objetivos,
indicadores, métodos de medición y supuestos) y destaca los vínculos lógicos entre estas. Con la
inclusión de estos elementos adicionales, el marco lógico proporciona la base para el posterior
desarrollo del plan de MEAL.
Al igual que la teoría del cambio y el marco de resultados, el marco lógico pretende comunicar el propósito
y los componentes principales de un proyecto de la manera más clara y sencilla posible. Sin embargo, el
marco lógico incluye información que falta en la teoría del cambio y en el marco de resultados,
concretamente contiene:
• Indicadores que son medidas utilizadas para hacer el seguimiento del progreso, para reflejar el
cambio o para evaluar el desempeño del proyecto.
• Métodos de medición que identifican la forma en que el proyecto recopilará los datos para dar
seguimiento al progreso de los indicadores.
Como es el caso con todos los modelos lógicos, hay muchas variantes de marcos lógicos. Esta guía utiliza
una matriz de cinco niveles para estructurar el marco lógico.
Objetivos estratégicos
Resultados intermedios
Productos
Actividades
26
Guía MEAL DPro
"El equipo de UNITAS desarrolla el formato del informe de calidad del consejo de agua"
En los niveles superiores del marco lógico (el indicador y los objetivos estratégicos), las declaraciones de
objetivos tienden a ser más estratégicas y se centran en articular los objetivos del proyecto. El seguimiento
del progreso relacionado con estas declaraciones de objetivos se realiza mediante actividades de
evaluación. Para realizar dicho seguimiento, se deberá responder a preguntas de evaluación como: ¿El
proyecto está logrando los cambios proyectados? ¿Los cambios, son sostenibles? ¿Ha habido cambios en el
comportamiento? ¿Se están adoptando nuevas prácticas?
En los niveles inferiores del marco lógico (productos y actividades), las declaraciones de objetivos tienden
a ser más operativas y se centran en articular los productos del proyecto. El seguimiento del progreso
relacionado con estas declaraciones de objetivos se realiza mediante actividades de monitoreo. Para
realizar un seguimiento del progreso, se deberá responder preguntas de monitoreo como: ¿Se hizo lo que
se dijo? ¿Se están entregando los productos y servicios indicados?
27
Guía MEAL DPro
Ya se abordó el tema de los supuestos en el apartado anterior sobre la teoría del cambio. En principio, se
pueden copiar los supuestos de dicha teoría en el marco lógico. Pero es importante recordar que, la teoría
del cambio es una vista mucho más amplia del contexto completo del proyecto, por lo que incluye supuestos
que podrían no afectar directamente las declaraciones de objetivos en el marco lógico.
El árbol de decisiones en la siguiente figura puede ayudar al equipo a decidir qué supuestos incluir en el
marco lógico. Se debe tomar el tiempo para revisarlos, a fin de garantizarse que el diseño del proyecto
haya hecho todo lo posible para minimizar el riesgo asociado con ellos, y que haya identificado aquellos
que necesitarán validación.
28
Guía MEAL DPro
Figura 18: Árbol de decisiones para seleccionar los supuestos del marco lógico
29
Guía MEAL DPro
Las respuestas a estas preguntas ayudarán a identificar qué indicadores usar y la cantidad de indicadores
que se necesitarán. Por ejemplo, mientras un donante puede requerir un indicador específico para
presentar sus informes, es posible que se necesite otro tipo diferente de indicador para brindar
información para la toma de decisiones y actualizar a las comunidades.
El tipo de información que necesita también dependerá del tipo de declaración de objetivos al que el
indicador pretende dar seguimiento.
Objetivos estratégicos Los indicadores reflejan el cambio que se busca, a menudo desde una sola
iniciativa, entre los participantes, las poblaciones objetivo y los socios.
30
Guía MEAL DPro
Una vez que se tenga claro que información se necesita, entonces se puede comenzar a identificar los
indicadores del marco lógico. A medida que se identifican, se puede usar la lista de verificación de
indicadores SMART (Figura 20) para determinar si cumplen con los estándares de calidad. El SMART es una
herramienta mnemotécnica que identifica cinco criterios: específicos, medibles, alcanzables, relevantes, y
acotados en el tiempo, que en conjunto ayudan a los equipos a evaluar la calidad de los indicadores del
proyecto.
Específico Los indicadores deben estar estrechamente relacionados con las áreas de mejora
deseadas, definidas en las correspondientes declaraciones de objetivos y, que
deben incluir las siguientes características:
● Cantidad son las representaciones numéricas esperadas de lo que se debe
lograr
● Calidad son los logros esperados descritos mediante el uso de palabras o
gráficas
● Ubicación es el límite geográfico de los logros esperados
● Población objetivo es la persona o personas que se espera que hagan o
experimenten el cambio anticipado.
Medible Los indicadores deben estar escritos de manera que promuevan una evaluación
precisa del progreso.
Alcanzable Los indicadores deben ser alcanzables dado el presupuesto, el tiempo y los recursos
disponibles.
Relevante Los indicadores deben medir con precisión el cambio al que desean dar
seguimiento.
Acotado en el Los indicadores deben identificar el plazo dentro del cual se espera que ocurra el
tiempo cambio.
Para comprender los componentes de un indicador sólido, se analizarán dos indicadores que se crearon
para el Proyecto PDI Río Delta. Al revisar los dos indicadores, queda claro que están escritos de una
manera específica, medible y con un plazo determinado. Como paso final para evaluar la calidad del
indicador, el equipo deberá determinar si los indicadores también son alcanzables y relevantes.
31
Guía MEAL DPro
Figura 21: Indicadores ilustrativos del Proyecto PDI Río Delta
Declaraciones del Cada trimestre, el 100 % de los pozos Para el 3er año del proyecto, el 80 %
indicador de agua administrados por los consejos de las PDI mostraron conocimiento de
comunitarios de agua cumplen con los que las manos deben lavarse con
estándares de calidad del agua de la jabón después de eventos específicos
OMS
¿Qué se mide? Calidad del agua Saber que las manos deben lavarse con
jabón después de eventos específicos
32
Guía MEAL DPro
Figura 22: Recursos para indicadores estándar
En general, se recomiendan y prefieren los indicadores estándar siempre que sea posible,
especialmente para objetivos de nivel superior. Sin embargo, habrá ocasiones en que los
indicadores estándares no estén disponibles o no satisfagan las necesidades específicas de
información. En esos casos, se deberá desarrollar un indicador específico.
Volviendo al ejemplo del Proyecto PDI Río Delta, el equipo de UNITAS necesita identificar un
indicador para el Resultado Intermedio 1: "Las PDI han mejorado el acceso a un suministro de
agua adecuado". El equipo elige un indicador estándar que se basa en la guía de la OMS respecto a
la cantidad mínima de agua necesaria para beber, cocinar y lavar8. El indicador expresa: “Para el
3er año del proyecto, se dispone de un promedio de 30 litros de agua por persona por día para las
PDI a través de un pozo de agua.”
¿Indicadores directos o indirectos (proxy)?
A menudo, es relativamente fácil dar seguimiento al cambio, mediante una observación directa a
lo que se está tratando de medir. Por ejemplo, si se desea saber cuántos pozos se construyeron,
cuantos agentes de agua se capacitaron o cuantas visitas a la comunidad se realizaron, se puede
medir el progreso utilizando un indicador directo.
8 Reed BJ. Centro de Agua, Ingeniería y Desarrollo, Universidad de Loughborough. Cantidad mínima de agua necesaria para uso
doméstico . OMS / SEARO Notas técnicas para emergencias, Nota técnica No. 9.
33
Guía MEAL DPro
Los indicadores indirectos o proxy dan seguimiento al cambio mediante el análisis de
indicadores que generalmente se aceptan como proxy (aproximados) de lo que se está
tratando de medir.
Los indicadores proxy son especialmente útiles cuando el resultado que se intenta monitorear es
difícil de medir o es demasiado costoso. Por ejemplo, el número de reuniones grupales se puede
usar como una medida proxy del éxito grupal. Sin embargo, hay que ser cuidadosos, porque es
difícil encontrar indicadores proxy que representen de manera consistente y confiable lo que se
está tratando de medir.
Volviendo al ejemplo del Proyecto PDI Río Delta, el equipo de UNITAS necesita identificar un
indicador para el Resultado Intermedio 2: "Las personas desplazadas internamente mejoran sus
prácticas de lavado de manos". El equipo debe decidir si usa un indicador directo (observación
directa) o un indicador proxy (la presencia de agua y jabón en los lugares donde están las letrinas).
La Figura 23 identifica las ventajas y desventajas de cada tipo de indicador al medir los cambios en
las prácticas de lavado de manos.
Figura 23: Indicadores directos y proxy utilizados para medir el cambio en el comportamiento de
lavado de manos
El marco SPICED se desarrolló para ayudar a los equipos a colaborar más eficazmente
con las comunidades a fin de desarrollar indicadores. El enfoque SPICED cree que los
indicadores desarrollados de manera colaborativa son más sólidos cuando son:
9 Lennie J, Tacchi J, Koirala B, Wilmore M y Skuse A. 2011. Kit de herramientas para monitoreo y evaluación participativos de acceso
equitativo Módulo 2 .
10 Roche C. 1999. Evaluación de impacto para agencias de desarrollo: Aprendiendo a valorar el cambio . Oxfam GB.
35
Guía MEAL DPro
Participativos Los indicadores deben desarrollarse junto con aquellos mejor preparados
para evaluarlos. Esto significa involucrar a los participantes del proyecto,
pero también puede involucrar al personal local y otras partes
interesadas.
Interpretados Los objetivos/indicadores definidos localmente (creados a través de
métodos
Y comunicados participativos) pueden no estar claros de inmediato para otras
partes interesadas, por lo que a menudo necesitan explicarse
(interpretarse) para una audiencia más amplia.
Comprobados La validez de las evaluaciones debe verificarse de forma cruzada,
comparando
Y comparados diferentes indicadores y avances, así como utilizando diferentes
informantes, métodos e investigadores.
Empoderan El proceso para el establecimiento y evaluación de indicadores
debería empoderar a los involucrados y permitir que grupos e
individuos reflexionen críticamente sobre los cambios en su
situación cambiante.
Diversos y Debe haber un esfuerzo deliberado para buscar diferentes
indicadores de una
Desagregados gama de grupos, especialmente hombres y mujeres. Esta
información debe registrarse de tal manera que estas diferencias
puedan evaluarse con el tiempo.
Piense en una situación en la que una mayor participación aumentó o habría aumentado
la calidad de sus indicadores.
● ¿Qué contribuciones habrían agregado los grupos e
individuos de la comunidad que hubieran mejorado la
calidad del indicador?
● ¿Hubo algún desafío que le impidió ser más
participativo en el desarrollo de indicadores?
● ¿Cómo mejorarían los resultados de su proyecto
mediante el uso de indicadores informados y definidos
por los grupos comunitarios e individuos?
36
Guía MEAL DPro
Los métodos cuantitativos recopilan datos que pueden contarse y someterse a análisis
estadísticos.
Como el término lo indica, los métodos cuantitativos miden cantidades, ya sean números puros,
proporciones o porcentajes. Los indicadores cuantitativos se usan ampliamente en proyectos de
desarrollo, ya que proporcionan una medición muy clara; además, los datos cuantitativos son fáciles de
comparar a lo largo del tiempo (o entre proyectos). Los ejemplos de métodos de medición cuantitativa
incluyen bitácoras de seguimiento, cuestionarios, observación estructurada, pruebas de conocimiento y
logros y mediciones del estado de salud fisiológico.
Los métodos cualitativos capturan las experiencias de los participantes usando palabras,
imágenes e historias. Estos datos cualitativos se recopilan a través de preguntas que generan
reflexión, ideas y discusión. Los datos cualitativos se analizan mediante la identificación de
argumentos, temas y palabras clave.
Los datos cualitativos dan seguimiento a los cambios en las actitudes y percepciones de los participantes,
identifican por qué y cómo está ocurriendo el cambio y se analizan mediante la organización de temas
emergentes. Los métodos de medición cualitativa son especialmente buenos para responder las preguntas
“¿Cómo está ocurriendo el cambio?" y "¿Por qué está ocurriendo?" Los tres métodos cualitativos más
comunes son entrevistas semiestructuradas, discusiones de grupos focales y observación de participantes.
Si se comparan los métodos de medición cuantitativos y cualitativos, se verá que cada enfoque tiene sus
propias fortalezas y debilidades (véase la Figura 24).
Fortalezas Debilidades
37
Guía MEAL DPro
los sentimientos detrás de dichas acciones ● Es más difícil transcribir datos
● Identifican lo inesperado: son útiles para identificar directamente a dispositivos
y explorar factores imprevistos o inesperados digitales
El uso de un solo tipo de medidas cuantitativas o cualitativas puede ser insuficiente para dar seguimiento y
comprender el cambio. Es por ello por lo que, los profesionales de MEAL de hoy en día, a menudo abogan
por un enfoque mixto que emplee ambos tipos de métodos de medición.
Un enfoque de métodos mixtos profundiza en la comprensión del proyecto, lo cual proporciona datos más
completos e integrados para el seguimiento del progreso, el análisis de los resultados y la toma de
decisiones. El uso de métodos de medición cuantitativos y cualitativos ofrece la posibilidad de responder
preguntas muy diferentes sobre el mismo indicador. Tal enfoque puede dar una idea de la dirección y el
grado de cambio junto con una comprensión de lo que ha contribuido o inhibido este cambio.
Y, un enfoque de métodos mixto puede fortalecer análisis e interpretación de datos, si incorpora
conscientemente un proceso llamado triangulación.
Triangulación es la validación de datos a través de la verificación cruzada de más de dos fuentes.
En otras palabras, los equipos triangulan mediante la recopilación de datos utilizando una combinación de
métodos. Esto permite a los equipos verificar en forma cruzada y reforzar los resultados. Por lo tanto, la
triangulación ayuda a superar algunas de las debilidades de los métodos descritos anteriormente. La
planificación e incorporación del concepto de triangulación para los esfuerzos de recopilación y análisis de
datos se trata más ampliamente en los Capítulos 3 y 4.
En general, las fuentes de datos primarios proporcionan los datos más confiables y apropiados para
medir el progreso del proyecto.
Sin embargo, cuando sea posible, también se debe considerar usar fuentes de datos secundarias.
Los datos secundarios provienen de información que ya está disponible a través de otras
fuentes publicadas o no publicadas.
La ventaja de recopilar datos de fuentes secundarias es que es más rentable y reduce el riesgo de
duplicar esfuerzos. Los ejemplos de fuentes de datos secundarias incluyen registros, estadísticas e
informes ya existentes.
Sin embargo, en la práctica, el acceso a datos secundarios a menudo es limitado y puede ser un
desafío encontrar datos que aborden directamente las necesidades precisas del proyecto. Si se elige
utilizar datos secundarios, hay que ser claro respecto a los criterios que se utilizan para confirmar que
los datos son válidos, confiables y que representan directamente el área de interés. Por ejemplo, si se
utilizan datos nacionales para medir las tasas de pobreza, se corre el riesgo de tergiversar las tasas
reales de pobreza en las comunidades en las que trabaja, o entre las poblaciones a las que se dirige el
proyecto.
38
Guía MEAL DPro
● ¿Alguna vez ha utilizado fuentes de datos secundarias para informar sobre los indicadores de su
proyecto?
● ¿Experimentó desafíos relacionados con la pertinencia, puntualidad o calidad de los datos?
● ¿Pudo abordar estos desafíos? ¿Cómo?
Volviendo al Proyecto PDI Río Delta, exploremos cómo el equipo de UNITAS ha elegido utilizar métodos de
medición mixtos para dar seguimiento a los indicadores relacionados con el Resultado Intermedio 2: "Las
personas desplazadas internamente mejoran sus prácticas de lavado de manos". La Figura 25 identifica
cómo el proyecto utilizará un enfoque de métodos mixtos para monitorear el progreso referente al
indicador para este resultado intermedio.
39
Guía MEAL DPro
A medida que se identifiquen los métodos de medición que se utilizarán para recopilar datos para los
indicadores, se deberá considerar las compensaciones entre la calidad, el costo y la complejidad de cada
opción. Volviendo al Proyecto PDI Río Delta, el equipo de UNITAS necesita dar seguimiento al indicador
que dice: "Para el 3er año del proyecto el 80 % de las personas desplazadas internamente informaron por
sí mismas sobre el aumento en el lavado de manos en momentos específicos."
Al decidir qué métodos de medición usar, el equipo consideró dos opciones para medir la frecuencia de
lavado de manos:
● Un estudio de observación en el que los recolectores de datos estudiarían el comportamiento de
las personas desplazadas internamente en instalaciones sanitarias., o
● Un cuestionario en el que estas mismas personas informarían sobre su comportamiento de lavado
de manos.
La Figura 26 identifica las compensaciones entre las dos opciones en términos de costo, complejidad y
calidad de los datos. El equipo deliberó sobre las ventajas y desventajas de cada enfoque y documentó sus
hallazgos en la Figura 27.
40
Guía MEAL DPro
Figura 27: Medición del comportamiento de lavado de manos mediante la observación directa o a través
de cuestionarios
Con base en las ventajas y desventajas enumeradas anteriormente, el equipo de UNITAS eligió medir la
frecuencia del lavado de manos mediante cuestionarios.
Si bien el equipo pensó que la calidad de los datos podría haber sido mejor si hubiera utilizado métodos de
observación directa, el costo era prohibitivo y el proyecto carecía de personal capacitado para realizar un
estudio de observación. El equipo también recibió comentarios de socios locales que indicaban que
colocar observadores cerca de las instalaciones sanitarias sería culturalmente inapropiado. Por esa razón,
sus socios recomendaron que era preferible el uso de cuestionarios.
impacto "Las personas desplazadas internamente (PDI) de la región Río Delta han mejorado sus medios de vida".
41
Guía MEAL DPro
Resultado ● Para el tercer año, el 75 % de las personas ● Cuestionario ● "El gobierno cumple con su
intermedio 1: "Las desplazadas internamente indica que el ● Grupos focales obligación de facilitar
personas acceso al agua satisface las necesidades de ● Visitas al pozo sistemas de agua".
desplazadas consumo de sus hogares. de agua ● Las personas desplazadas
internamente han ● Para el 3er año, el 85 % de los hogares de las ● Informes internamente no obtienen
mejorado el acceso personas desplazadas internamente se trimestrales del agua de fuentes que no sean
a un suministro encuentran a no más de 500 metros de un consejo de los pozos de agua
adecuado de agua pozo de agua. agua designados.
". ● Cada trimestre, el 100 % de los pozos de
agua administrados por los consejos de agua
comunitarios cumplen con los estándares de
calidad del agua de la OMS
● Para el 3er año, las personas desplazadas
internamente disponen de un promedio de
30 litros de agua por persona por día a través
de los pozos de agua.
Resultado ● Para el 3er año, el 80 % de las personas ● Cuestionario ● Ninguna otra fuente de
intermedio 2: Las desplazadas internamente informaron por sí ● Grupos focales enfermedades transmitidas
personas mismos sobre el aumento en el lavado de ● Visitas a las por el agua aumenta
desplazadas manos en momentos específicos. instalaciones significativamente
internamente ● Tanto el agua como el jabón están sanitarias ● Las personas desplazadas
mejoran sus constantemente presentes en las internamente mantienen la
prácticas de lavado instalaciones sanitarias. adopción de mejores
de manos. prácticas de higiene
Producto 1.1: los ● Para el 3er año, se establecieron 40 pozos de ● Informes ● Se dispone de repuestos y
consejos de agua agua (4 por pueblo) trimestrales del mecánicos capacitados en
comunitarios ● Para el 3er año, se cuenta con la operación de consejo caso de que surjan averías en
establecen pozos 10 consejos comunitarios de agua comunitario de el pozo de agua.
de agua en las capacitados. agua ● Los pozos de agua se
comunidades de las ● Para el 3er año, el 100 % de los pozos de agua establecieron en lugares
PDI cumplen con los estándares de calidad del seguros y protegidos para
agua mujeres y niños.
Producto 2.1: los ● El 100 % de los voluntarios de WASH pueden ● Hojas de ● Las personas desplazadas
voluntarios explicar eficazmente los principios WASH a asistencia al internamente confían en los
mejoran el las personas desplazadas internamente al taller de voluntarios de WASH
conocimiento de finalizar los eventos de capacitación. capacitación
los principios de ● 40 voluntarios de WASH aprueban el examen ● Resultados de la
WASH de certificación cada año certificación
Producto 2.2: las Para el 3er año, el 80 % de las personas ● Cuestionario Las comunidades culturales y
personas desplazadas internamente demuestran saber religiosas de las personas
● Grupo o grupos
desplazadas que las manos deben lavarse con jabón desplazadas internamente
focales
internamente después de eventos críticos Indican que los mensajes de
aumentan el cambio de comportamiento
● Para el 3er año, el 75 % de las mujeres
conocimiento sobre no violan las costumbres.
desplazadas internamente presentan niveles
el lavado de manos más altos de confianza para prevenir
enfermedades transmitidas por el agua.
42
Guía MEAL DPro
Actividades del RI 1:
1.1.1: UNITAS y el consejo de agua identifican nuevas ubicaciones de pozos de agua
1.1.2: UNITAS consigue y distribuye los materiales de los pozos de agua.
1.1.3: Se identifican, capacitan y ponen en funcionamiento los consejos comunitarios de agua
1.1.4: El equipo de UNITAS desarrolla el formato del informe de calidad del consejo de agua"
Actividades RI 2:
2.1.1 El equipo de saneamiento de UNITAS identifica a los voluntarios y capacitadores de WASH
2.1.2 El equipo de saneamiento diseña planes de estudio y materiales de capacitación de WASH e identifica lugares y horarios
de capacitación.
2.1.3 El equipo de saneamiento brinda capacitación sobre WASH a los voluntarios
2.1.4 El equipo de saneamiento desarrolla materiales y mecanismos para la campaña de lavado de manos 2.1.5: Los
voluntarios de la comunidad implementan eventos de promoción de lavado de manos.
43
Guía MEAL DPro
Introducción
Si bien los modelos lógicos proporcionan un mapa útil para las
actividades de MEAL, cualquiera que haya realizado un viaje
sabe que un mapa no es suficiente. Se necesita un plan más
completo y detallado que identifique el momento de salida, la
ruta precisa a seguir, los recursos necesarios y más.
Este capítulo está organizado en dos secciones que ayudarán
durante la planificación de MEAL del proyecto.
Sección A: Herramientas de planificación de MEAL, aquí presentamos herramientas de
planificación que ayudan a desarrollar un plan completo, detallado e integrado para el MEAL del
proyecto.
Sección B: MEAL en la gestión de proyectos, en este presentamos las mejores prácticas para
incluir componentes de MEAL en el plan de proyecto general. Estas incluyen sugerencias sobre
cómo garantizar que el MEAL se integre en los presupuestos, calendarios y planes de personal.
44
Guía MEAL DPro
Esta sección del Capítulo 3 presenta una serie de herramientas de planificación de MEAL que ayudan a
responder esta pregunta para crear un sistema de MEAL que funcione.
El tamaño y la complejidad del sistema de MEAL del proyecto y las herramientas utilizadas para
planificarlo, dependen de varios factores: El tamaño del proyecto, su complejidad, el riesgo inherente a su
entorno operativo, la cantidad de partes interesadas involucradas, el presupuesto que se tiene para llevar
a cabo las actividades de MEAL y los requerimientos de MEAL del donante, si los hubiera, que deben
cumplirse.
Si un proyecto es relativamente pequeño y sin complicaciones, la planificación de MEAL podría ser tan
simple como completar varias matrices. Sin embargo, a medida que un proyecto aumenta en valor y
complejidad, la complejidad de sus herramientas de planificación de MEAL también aumentará. Las
herramientas de planificación de MEAL ayudan a que el proyecto satisfaga las necesidades de información
de todas las partes interesadas, incluso de los miembros del equipo, los miembros de la comunidad, los
participantes y los donantes del proyecto.
Plan de gestión del Se basa en el marco lógico, proporcionando información adicional sobre
desempeño (o un plan de definiciones de indicadores, planes de recopilación de datos, medios de análisis y
monitoreo y evaluación) uso de datos.
Tabla de indicadores de Ayuda a los equipos a dar seguimiento al progreso referente a los objetivos del
desempeño indicador de un proyecto en un formato de tabla fácil de leer.
Flujograma del mecanismo de Mapea el flujo de la retroalimentación de las partes interesadas e identifica cómo
retroalimentación y respuesta responderá el proyecto a los comentarios que recibe.
Tabla de resumen de Describe las evaluaciones planificadas, incluye las preguntas prioritarias, el
evaluación tiempo y el presupuesto.
Términos de referencia de la Planifica los detalles de una evaluación, incluye las preguntas de evaluación
evaluación concisas, métodos propuestos, roles y responsabilidades.
45
Guía MEAL DPro
Si bien los planes de gestión de desempeño varían en formato, deberán responder las siguientes
preguntas, independientemente de la plantilla que se utilice:
● ¿Cómo se definen los indicadores?
● ¿Quién es responsable de las actividades de MEAL?
● ¿Cuándo tendrán lugar las actividades de MEAL?
● ¿Cómo se analizarán los datos?
● ¿Cómo se usarán los datos?
El formato del plan de gestión de desempeño debe ser simple y claro. Muy a menudo es una tabla, en la
que primero se inserta información relevante extraída directamente del marco lógico del proyecto, y
luego, se completa cuando el equipo planifica su trabajo detalladamente. Si es necesario, se pueden
agregar explicaciones escritas como complemento de la tabla del plan de gestión de desempeño.
Objetivo
estratégico 1:
Objetivo
estratégico 2:
Resultado
intermedio 1.1
Resultado
intermedio 2.1
Producto 1.1
Producto 2.1:
Supuestos clave
Supuesto 1 ...
Supuesto 2 ...
46
Guía MEAL DPro
Se debe tomar en cuenta que la plantilla anterior incluye todas las declaraciones de objetivos del marco
lógico, así como los supuestos. Es importante que los supuestos clave sean monitoreados durante el
proyecto para verificar que aún sean válidos. Como se mencionó anteriormente, si la evidencia indica que
un supuesto no es válido, se deberá explorar opciones para rediseñar el proyecto de manera que se
aborden los riesgos resultantes. El monitoreo de los supuestos hace que los equipos estén conscientes de
estos cambios lo suficientemente temprano, como para realizar cambios oportunos en el proyecto.
Un desarrollo más reciente en el sector humanitario ha sido que algunos donantes ahora requieren que los
proyectos más grandes, incluyan un evento anual de reflexión durante el cual se revisen los modelos
lógicos, que a su vez incluyan los supuestos que sustentan el éxito del proyecto, para determinar si es
necesario hacer algún tipo de modificaciones.
Declaraciones de objetivos e indicadores
El PGD utiliza las declaraciones de objetivos e indicadores extraídos del marco lógico. Sin embargo, no
incluye las declaraciones de impacto o de actividades, por las mismas razones que el marco lógico del
proyecto no incluye indicadores en estos niveles: es poco probable que el proyecto haga un seguimiento
del progreso relacionado a nivel de impacto o de actividades.
Figura 31: Traslado del contenido del marco lógico a las declaraciones de los objetivos e indicadores del
plan de gestión de desempeño
47
Guía MEAL DPro
Al completar un PGD, primero se deben copiar las declaraciones de resultados en la plantilla desde el
marco lógico. A continuación, se traen los indicadores desde el marco lógico. A medida que se coloquen
los indicadores, se debe revisar cada uno para confirmar que están claramente definidos. Por ejemplo, el
marco lógico de UNITAS incluye varios indicadores que necesitan definirse con más detalle en el plan de
gestión de desempeño. El ejemplo de PGD en la Figura 31 incluye una pequeña cantidad de espacio para
estas definiciones. En la práctica, es preferible agregar definiciones como un adjunto al plan de gestión de
desempeño. Algunos donantes requieren que se usen plantillas específicas para este propósito, como la
Hoja de Referencia de Indicadores de Desempeño (PIRS) solicitada por USAID.
RI 1: "Las personas
Para el 3er año, las personas desplazadas El indicador de “30 litros de agua por
desplazadas
internamente han internamente disponen de un promedio persona por día está planeado para
mejorado el acceso a de 30 litros de agua por persona por día suministro doméstico solamente.
un suministro a través de los pozos de agua Las categorías de uso del agua incluyen:
adecuado de agua ". • 10 litros para beber
• 10 litros para cocinar
• 10 litros para limpieza personal
En los 30 litros no se pretende incluir
agua para lavar la ropa, limpiar la casa o
cultivar alimentos.
Cada trimestre, el 100 % de los pozos de
El objetivo sobre la calidad de agua debe
agua administrados por los consejos de
cumplir con los estándares nacionales
agua comunitarios cumplen con los para el tipo y tamaño de los pozos de
estándares de calidad del agua de la OMS agua. La calidad del agua se evalúa por
medio de inspecciones sanitarias y de
mediciones analíticas adecuadas de los
niveles totales de coliformes y de
coliformes fecales.
RI 2: Las personas Para el 3er año, el 80 % de las personas Los momentos específicos incluyen
desplazadas desplazadas internamente informaron por actividades antes de manipular alimentos
internamente mejoran sí mismos sobre el aumento en el lavado y después de usar el baño.
sus prácticas de lavado de manos en momentos específicos.
de manos.
Los datos cualitativos se analizan utilizando lo que se llama "análisis de contenido". Este es un
proceso de revisión de notas de grupos focales y entrevistas para desarrollar temas. El plan de
gestión de desempeño debe indicar este tipo de análisis cuando el método de medición es un
método cualitativo.
● Subgrupos: Mientras se planifica el análisis de datos, se debe determinar si las necesidades de
información requieren la comparación de datos de diferentes grupos de personas que participan
en el proyecto. Cuando se identifiquen estos grupos o "estratos" durante el diseño de la
recopilación de datos, se pueden desglosar los datos que cada grupo proporcione durante el
análisis.
49
Guía MEAL DPro
serían evidentes si los datos se examinaran en su conjunto.
La desagregación mejora la utilidad de los datos al aumentar la capacidad de hacer comparaciones
significativas. Al analizar datos desglosados, hay tres comparaciones simples que se pueden hacer
para mejorar significativamente la capacidad para usar dichos datos.
● Comparación entre subgrupos: la desagregación puede revelar la forma en que los
resultados de un subgrupo se comparan con los de otros.
● Comparación con períodos anteriores de desempeño: la desagregación puede revelar si la
tendencia de los resultados para un subgrupo desagregado se está moviendo en la
dirección esperada.
● Comparación con objetivos: la desagregación permite establecer objetivos específicos
para cada subgrupo desagregado.
¿Qué subgrupos necesita y cuándo desagrega los datos como parte de su análisis? Las respuestas a
estas preguntas están determinadas por lo que se necesita saber. Se debe comenzar examinando
los indicadores. Esto ayudará a comprender si los subgrupos son necesarios. Dependiendo del
indicador, se puede elegir dividir la población en subgrupos relacionados con la clase, el nivel
educativo, la afiliación étnica o la ubicación de la comunidad.
Por ejemplo, uno de los indicadores de UNITAS declara: "Para el 3er año del proyecto, el 75 % de
las personas desplazadas internamente indican que el acceso al agua satisface las necesidades de
consumo de sus hogares." El equipo de UNITAS ha decidido que necesita saber más sobre los
diferentes tipos de hogares que participan en el proyecto y sus distintas necesidades de consumo.
Por lo tanto, los subgrupos incorporan el tamaño del hogar, comparando los datos recopilados de
hogares grandes (con 5 o más miembros) y hogares pequeños (con 4 o menos miembros).
Las decisiones sobre los subgrupos también deben tomarse con una comprensión de los recursos
disponibles para la recopilación y el análisis de datos. Agregar subgrupos a los planes de
recopilación y análisis posiblemente puede duplicar el tiempo necesario, dado que se debe
asegurar una completa representación de cada uno en sus datos. En consecuencia, estos
subgrupos deben tenerse en cuenta en las decisiones que se tomen sobre cómo seleccionar a las
personas de las que se recopilarán datos. Dado el aumento en los requerimientos de recursos, hay
que asegurar que los subgrupos sean realmente necesarios para proporcionar información crítica y
que no se esté recopilando datos que sean simplemente "interesantes de conocer".
Hay que tomar en cuenta que algunos equipos, dependiendo del tamaño y la complejidad del
proyecto, eligen crear un plan de análisis separado. Este plan entra en mucho más detalle que el
plan de gestión de desempeño, ya que especifica preguntas críticas (incluyendo preguntas de
monitoreo, evaluación y aprendizaje), y todos los subgrupos que se necesitan para estudiar y
cualquier requerimiento especial de informes. Alternativamente, si el equipo elige no hacer un
plan de análisis por separado, simplemente pueden elaborar actividades de análisis en un archivo
adjunto al plan de gestión de desempeño.
50
Guía MEAL DPro
Los socios implementadores y los contactos locales a menudo están mejor ubicados para
identificar a los participantes más apropiados al recopilar datos de MEAL. Ellos son los que
pueden responder preguntas como "¿Es difícil llegar a los participantes?","¿Proporcionan los
participantes una perspectiva lo más equilibrada, justa y precisa posible sobre los
indicadores?","¿Qué características describen al participante típico?"
Estas consideraciones afectan las decisiones que se tomarán más adelante en el proceso de
planificación. Por ejemplo, al diseñar herramientas de recopilación de datos, se necesitará
saber si los participantes están lo suficientemente alfabetizados como para completar una
encuesta sin apoyo. De lo contrario, se debe pensar en una forma diferente de recopilar datos.
Ellos también son un factor en la toma de decisiones sobre el análisis, que constituye la
siguiente sección del plan de gestión de desempeño.
Además, la selección de subgrupos a comparar debe reflejar una comprensión del contexto
local y de las personas que el proyecto busca apoyar. Las partes interesadas del proyecto
pueden ser un recurso invaluable para ayudar al equipo a determinar qué comparaciones son
importantes en el contexto del proyecto.
Uso de datos
Luego, se debe completar la tabla del plan de gestión de desempeño agregando los detalles sobre la forma
en que se utilizarán los datos recogidos. Esta sección puede ser relativamente directa si el proyecto tiene
necesidades simples con respecto a la rendición de cuentas y al aprendizaje. En este caso, la columna
puede incluir declaraciones simples tales como “informe trimestral” o “informe de la evaluación,” que
satisfaga las necesidades de información de las partes interesadas.
Sin embargo, no hay que limitar el uso de datos solamente a la presentación de informes. Hay que incluir
usos relacionados con el aprendizaje, la toma de decisiones administrativas y las comunicaciones. Se debe
preguntar cómo se usarán los datos para brindar información para la toma de decisiones en las reuniones
administrativas ordinarias, o en las de monitoreo del proyecto y, cómo se comunicarán regularmente a las
comunidades y a otras partes interesadas.
51
Guía MEAL DPro
Pensamiento crítico: uso de mapas de flujo de datos para mejorar el uso de la información
Cuando se inicia un proyecto, hay un compromiso con las partes interesadas de informar sobre
ciertos indicadores. Estos compromisos definen las necesidades de información. Al crear un
mapa de flujo de datos, se identifican los formatos, los procesos de recopilación y los informes
que ayudarán a recopilar los datos necesarios para cumplir con el compromiso de compartir la
información.
Los mapas de flujo de datos ilustran el flujo de los datos de cada formato de
recopilación hacia el informe correspondiente.
Su visualización permite involucrar al equipo en el proceso y ayuda a encontrar brechas en el
sistema; espacios donde se puede necesitar crear un nuevo formato o informe. Puede también
ayudar a encontrar formas más eficientes de trabajo; espacios donde usar un formato para
completar dos informes.
El diseño del mapa de flujo de datos depende en gran medida de la complejidad del proyecto. Un
solo mapa puede ser suficiente para representar todas las relaciones de flujo de datos de proyectos
menos complejos. Pero un proyecto complejo puede requerir un mapa separado para cada uno de
sus componentes.
Para crear un mapa de flujo de datos, se deben seguir estos pasos:
1. Identificar todos los requerimientos de informes, internos y externos, utilizando la
información del plan de gestión de desempeño.
2. Documentar qué indicadores se incluirán en cada informe.
3. Hacer un mapa de los procesos de recopilación de datos asociados con cada informe,
identificando sus respectivas fuentes.
4. Incluir quién es responsable de la recopilación de datos y de los informes con base en la
información del plan de gestión de desempeño.
5. Asegurar que el proceso actual de recopilación de datos y los indicadores satisfagan todas
las necesidades de informes, identificando oportunidades para simplificar el sistema cuando
sea posible.
Es posible que la creación del mapa de flujo de datos genere ideas para actualizar los procesos de
informes y recopilación de datos. Esto no es problema. Es una forma de demostrar cómo el plan de
gestión de desempeño debe ser un documento vivo, algo que se actualiza a medida que la
comprensión del proyecto y las necesidades de información cambian y crecen.
52
Guía MEAL DPro
La siguiente figura presenta una muestra de un mapa de flujo de datos para el proyecto UNITAS.
53
Guía MEAL DPro
Figura 34: Plan de gestión del desempeño del Proyecto PDI Río Delta (parcialmente lleno)
RI 1: Las
"Para el 3er Anual Jefe de PDI Cuantitativo: Hogares Informe anual para
personas año del equipo de Análisis encabezados el donante, reunión
desplazadas proyecto, el MEAL estadístico de por mujeres y anual de socios
internament 75 % de las hombres; implementadores,
Cuestionario
la encuesta de
PDI hogares Reunión anual para
e han satisfacción
indica que el grandes (5+) y dar información y
mejorado el acceso al hogares retroalimentación a
acceso a un agua pequeños (4 o la comunidad
suministro satisface las menos)
necesidades
adecuado de
de consumo
agua. de sus
hogares”
Anual Consultor Cualitativo: Ninguno Informe anual para
Cabezas de Análisis de el donante, reunión
familia de las contenido de anual de socios
Grupos focales
* "Satisface las necesidades de consumo" se define como suficiente para beber, cocinar y para la limpieza de todo el hogar.
11 McMillan DE, Sharrock G y Willard A. 2008. Guías IPTT: Guías y herramientas para la elaboración y uso de la tabla de seguimiento del
desempeño del indicador: CRS y Cruz Roja Americana.
54
Guía MEAL DPro
Al igual que con todas las herramientas de MEAL, las IPTT pueden variar en formato y contenido. Muchos
donantes requieren formatos específicos para que puedan cargar fácilmente información estandarizada en
sus propios sistemas de análisis. Por lo tanto, es importante cumplir con los requerimientos de cualquier
donante en su IPTT. La Figura 35 muestra una IPTT parcialmente llena utilizada para el Proyecto PDI Río
Delta. Esta muestra uno o dos indicadores de cada nivel del marco lógico con fines comparativos. Una IPTT
completa debe incluir todos los indicadores del proyecto.
Figura 35: Muestra de la IPTT para el Proyecto PDI Río Delta (parcialmente llena)
55
Guía MEAL DPro
Producto 1.1: Para el 3er 0 10 Año1 30 año 2 40 año
los consejos de año, se
agua establecieron 2-T1 5-T1 2-T1
comunitarios 40 pozos de 2- T2 5-T1 2- T2
establecen agua (4 por 3- T3 5-T1 3- T3
pozos de agua pueblo) 3 T4 5-T1 3 -T4
en las
comunidades
de las PDI
40 voluntarios
Producto 2.1: 0 40 año 1 40 año 2 40 año 3
de WASH
los voluntarios
aprueban el
mejoran el 10-T1 10-T1 10-T1
examen de
conocimiento 10-T2 10-T2 10-T2
certificación
de los 10-T3 10-T3 10-T3
cada año
principios de 10-T4 10-T4 10-T4
WASH
* Hasta qué punto el rendimiento real varía del nivel del rendimiento esperado.
Como se ilustra en la Figura 35, la IPTT enumera los indicadores verticalmente, en el mismo orden que el
plan de gestión de desempeño. Horizontalmente, las columnas incluyen mediciones de línea de base
iniciales para cada indicador y luego se proporcionan actualizaciones del estado del progreso por período
de informe, se incluyen las metas, el estado real y la diferencia (o varianza) entre el desempeño esperado
y el real.
Se debe tomar en cuenta que las metas en diferentes niveles de la IPTT tienen distintas frecuencias de
recopilación de datos. A nivel de producto, las metas del indicador anual se desglosan por métricas
trimestrales. Esto refleja que el cambio ocurre más rápidamente a nivel de producto y por esa razón se
debe monitorear con mayor frecuencia.
Dos componentes clave de la IPTT son las líneas de base y las metas.
Línea de base es el valor de un indicador antes de la implementación de una actividad, contra el
cual se puede evaluar el progreso posterior.
Meta es el nivel de cambio específico y planificado que se logrará durante la vida del proyecto.
Idealmente, todos los indicadores del proyecto deben tener datos de línea de base. Estos datos deben
recopilarse antes de la implementación de una intervención y pueden usarse para definir metas. Si los
datos de línea de base del indicador no pueden recopilarse hasta haber avanzado en una estrategia,
proyecto o actividad, la IPTT debe documentar cuándo y cómo se recopilarán dichos datos.
Los datos de la línea de base pueden generarse a partir de fuentes primarias o secundarias. La recopilación
de estos datos desde fuentes primarias (donde el equipo del proyecto realiza la recopilación) es un
proceso complicado y que toma tiempo. No todos los proyectos pueden hacer esto. Por lo tanto, puede
ser necesario trabajar con socios y partes interesadas para crear cifras de referencia utilizando fuentes
secundarias. En este caso, los datos podrían recopilarse utilizando estadísticas gubernamentales,
información de un proyecto o socio diferente, etc. El proyecto UNITAS pudo realizar una recopilación
limitada de datos de línea de base; también se utilizaron fuentes secundarias para desarrollar las cifras de
línea de base que se muestran en la IPTT anterior. Tenga en cuenta que algunos de los datos de dicha línea
para el proyecto UNITAS serán cero, por ejemplo, "para el 3er año, 40 pozos de agua establecidos (4 por
56
Guía MEAL DPro
pueblo)".
Las metas identifican el nivel de cambio planificado, expresado como un número o un porcentaje, que se
espera ver como resultado de la implementación del proyecto. Todos los indicadores SMART tendrán una
cifra meta asociada. Para establecer tales metas se requiere la colaboración entre el personal del proyecto
y las partes interesadas.
Una vez que se completa la IPTT, esta debe servir como un punto de agenda para las reuniones de
implementación, actividades de reflexión de los socios y las reuniones del equipo de gestión. Por ejemplo,
si se programa una reunión mensual con los socios para discutir problemas de implementación, uno de los
puntos de agenda puede ser una revisión de la IPTT en la que se han ingresado las últimas cifras de
monitoreo.
La clave para un buen FRM es garantizar que la comunicación fluya en dos direcciones:
● Mecanismos de retroalimentación. Las comunidades brindan retroalimentación al equipo del
proyecto a través de canales que incluyen reuniones, buzones de sugerencias, líneas directas y
otros.
● Mecanismos de respuesta. El equipo del proyecto acusa recibo de los comentarios y proporciona
respuestas apropiadas a la comunidad.
57
Guía MEAL DPro
Para comprender mejor cómo diseñar un sistema del mecanismo de retroalimentación y respuesta, es útil
revisar un ejemplo. La Figura 37 es un diagrama de flujo de FRM para el Proyecto PDI Río Delta. Muestra
cómo el proyecto recopila comentarios utilizando cajas de sugerencias y reuniones comunitarias. Luego,
describe cómo se procesa y utiliza la información y, posteriormente, cómo responde el proyecto a las
comunidades y a sus miembros.
Figura 37: Diagrama de flujo del mecanismo de retroalimentación y respuesta del Proyecto PDI Río
Delta12
12 Adaptado de: Visión Mundial Proceso para manejar la retroalimentación de la comunidad: Respuesta al Tifón Haiyan WVDF .
58
Guía MEAL DPro
Al revisar el diagrama de flujo, se puede observar que este responde explícitamente cinco preguntas
críticas, sobre el diseño del sistema del mecanismo de retroalimentación y respuesta del Proyecto PDI Río
Delta.
1. ¿Cómo se recopilarán la información para retroalimentación?
El Proyecto PDI Río Delta utiliza dos mecanismos para recopilar comentarios: buzones de
sugerencias y reuniones comunitarias programadas regularmente.
Cuando se diseñe el mecanismo de retroalimentación y respuesta para un proyecto, hay que
asegurarse de:
a. Consultar con los miembros de la comunidad para identificar los mecanismos de
recopilación que sean apropiados para el contexto del proyecto y que sean efectivos para
obtener comentarios útiles.
b. Los comentarios compartidos informalmente durante las visitas de campo también estén
documentados. Por ejemplo, si un miembro de la comunidad comparte comentarios fuera
de una reunión comunitaria, estos también deben documentarse.
2. ¿Quién recibe la información para retroalimentación?
El Proyecto PDI Río Delta identifica a un miembro del equipo del proyecto, que sirve como punto
focal para el sistema del mecanismo de retroalimentación y respuesta. Este encargado es
responsable de administrar el proceso de FRM.
59
Guía MEAL DPro
procedimientos también deben incluir un proceso de apelación para aquellos que creen que su
queja no se ha manejado adecuadamente.
Una vez que el diseño de mecanismo de retroalimentación y respuesta esté completo y los procedimientos
estén documentados, hay que crear instrucciones específicas y claras sobre cómo las comunidades pueden
acceder y usar el mismo. Las instrucciones deben compartirse con las comunidades a través de sesiones de
orientación, y con el personal a través de eventos de capacitación para que todos comprendan el proceso
60
Guía MEAL DPro
y el uso del mecanismo.
Una de las razones por las cuales el aprendizaje es especialmente importante en los proyectos de desarrollo
y humanitarios es porque con frecuencia el trabajo se lleva a cabo en entornos dinámicos de inestabilidad y
transición. Incluso en contextos más estables, las condiciones cambian y pueden afectar los programas de
manera impredecible. Para que los proyectos sean efectivos, los equipos deben poder adaptarse para
responder a contextos cambiantes y a nueva información. La capacidad de adaptación requiere un entorno
que promueva el aprendizaje intencional y el diseño flexible de proyectos, que minimice los obstáculos para
modificar los proyectos y cree incentivos para una gestión ajustable.
Gestión ajustable es un enfoque intencional para tomar decisiones y realizar ajustes en el proyecto
en respuesta a nueva información y cambios en el contexto13.
Si bien esta se centra en el aprendizaje del proyecto, la información generada a partir de los sistemas de
MEAL también se puede utilizar para ayudar en el aprendizaje y cambio de la organización completa.
Aprendizaje organizacional es el proceso por el cual una organización descubre y se adapta a
nuevos conocimientos.
Hay tres conceptos que contribuyen al aprendizaje organizacional, los cuales están intrínsecamente
vinculados a los procesos MEAL.
● Creación de conocimiento: el nuevo conocimiento se crea combinando nueva información (los
datos que se están recopilando a través de los procesos de MEAL) con el conocimiento existente, o
descubriendo nuevas formas de organizar dicho conocimiento.
● Transferencia de conocimiento: Una organización no aprende hasta que el conocimiento se
transfiere hacia la organización completa. La transferencia de conocimiento puede ser de persona
a persona y a través de plataformas de conocimiento que se utilizan para compartir información
entre programas, oficinas y diferentes ubicaciones.
● Retención de conocimiento: El aprendizaje organizacional ocurre cuando el nuevo conocimiento
se integra a los procesos y a las actividades, ya sea a nivel de proyecto, de organización y de
sector14. Esta es la razón por la cual el ciclo MEAL es circular, para apoyar un proceso de
integración del aprendizaje en el trabajo de la organización.
Los sistemas de MEAL del proyecto tienen el potencial de ser un aporte fundamental en la estrategia de
aprendizaje de la organización. Los datos que el proyecto recopila, analiza y comunica son un aporte
13 Oficina de Políticas, Planificación y Aprendizaje de USAID. 2018. Nota de discusión: ¿A qué se le llama gestión ajustable?
14 USAID. 2015. Medición de impacto. Uso del portafolio: Aprendizaje organizacional en USAID.
61
Guía MEAL DPro
invaluable para conformar el aprendizaje organizacional. Sin embargo, para que esto suceda, se necesita
establecer conexiones entre los planes de MEAL del proyecto y las necesidades de aprendizaje de toda la
organización. Las preguntas que se deben hacer al realizar estas conexiones incluyen:
• ¿Existen preguntas de aprendizaje, que la organización está tratando de responder como parte de
una agenda de aprendizaje organizacional más amplia que podría utilizar como fuente de
información la evidencia del proyecto?
• ¿Existen indicadores organizacionales estándares que necesitan incluirse en el diseño del sistema
de MEAL para garantizar que los datos sean consistentes y comparables con los datos de otros
proyectos?
• Si es así, ¿Están dichas actividades en el plan de gestión de desempeño, plan de comunicaciones y
matriz de evaluación resumida del proyecto?
● ¿Trabaja con una organización o donante que tiene una agenda de aprendizaje?
● ¿Cómo se alinean e integran los sistemas de MEAL para contribuir a la agenda de
aprendizaje general?
62
Guía MEAL DPro
plataformas digitales. Por ejemplo15:
● Las redes de profesionales pueden reunirse en comunidades de práctica en línea para
intercambiar los últimos hallazgos de las investigaciones y las experiencias prácticas. (Esta guía
alienta a todo el personal del proyecto a unirse a dichas comunidades de MEAL en línea, por
ejemplo, para mantenerse al tanto de los últimos desarrollos en MEAL).
● Los cursos abiertos masivos en línea, o MOOC, y las plataformas de aprendizaje abierto ofrecen cada
vez más oportunidades avanzadas para aprender y compartir a escala.
● Las redes sociales se han convertido en canales poderosos para compartir conocimientos.
La planificación para el aprendizaje implica que existe una intención de cómo y cuándo se integrará el
aprendizaje y como se piensa compartirlo en toda la organización y en el sector. Al hacer esta planificación,
se debe invertir en actividades relacionadas con las siguientes cuatro áreas:
● Cultura de Aprendizaje
● Incorporación de procesos de aprendizaje:
● La capacidad del personal y de los socios para aprender
● Compartir aprendizaje
Una cultura de ● Promover un entorno que fomente relaciones abiertas y honestas, así como un
Aprendizaje compromiso con el aprendizaje y la mejora continua.
● Crear un espacio seguro para desafiar constructivamente los supuestos.
● Identificar y apoyar a los pensadores críticos y alentar su participación activa en los
procesos de MEAL.
● Identificar las actitudes, habilidades y conocimientos de aprendizaje específicos que el
proyecto necesita para promover el aprendizaje continuo.
Incorporar ● Incluir "el aprendizaje y la reflexión" como un punto de agenda para todo el equipo de
procesos de MEAL y para las reuniones relacionadas con el proyecto. Las herramientas de MEAL,
aprendizaje: como la tabla de seguimiento del desempeño del indicador, son un buen punto de
partida para estas discusiones.
● Incluir palabras claves de aprendizaje en herramientas de monitoreo regulares
diseñadas como parte del sistema de recolección de datos de MEAL.
● Incorporar revisiones posteriores a la acción, debates sobre aprendizaje para la acción
y otros eventos de aprendizaje como parte de las actividades clave de
implementación.16
La capacidad del ● Identificar actividades de capacitación específicas para el personal, los socios y otras
personal y de los partes interesadas respecto a los principios básicos y las prácticas de aprendizaje y
socios para administración adaptativa.
aprender ● Asegurar que el personal esté capacitado para facilitar procesos intencionales de
aprendizaje para grupos.
15 Janus SS. 2016. Convertirse en una organización que comparte conocimientos: Un manual para ampliar las soluciones a través de adquirir
y compartir conocimiento. Banco Internacional de Reconstrucción y Fomento/Banco Mundial Washington DC. Licencia: Creative Commons
Atribución CC 3.0 IGO.
16 Para obtener más información sobre las revisiones después de la acción, consulte USAID. 2013. Guía de revisión después de la acción.
63
Guía MEAL DPro
Compartir ● Coordinar las actividades para compartir con quienes se encargan de una planificación
aprendizaje de comunicaciones más amplia, a fin de que el aprendizaje se incluya en reuniones o
conferencias, en la publicación de informes o en herramientas para compartir
información apropiada para cada contexto.
Documentar los planes de aprendizaje es fundamental para garantizar que este suceda. La documentación
ayuda a convertir las buenas intenciones en acciones prácticas. Al igual que con muchas de las
herramientas descritas anteriormente, la herramienta utilizada para documentar la planificación de
aprendizaje varía en función del contexto (recursos, requerimientos, etc.). No importa qué herramienta se
use, el plan de aprendizaje debe incluir:
● Actividad o proceso: es una descripción concisa de la actividad o proceso específico.
● Funciones y responsabilidades: las funciones y las responsabilidades de la oficina o de los
miembros del personal responsable de dirigir la actividad o proceso.
64
Guía MEAL DPro
● Resultados esperados: es el resultado previsto para cada elemento de acción que describe los
cambios esperados de la implementación de la actividad o proceso identificado.
● Cronograma: los hitos y plazos clave para la actividad o proceso. Este cronograma debe estar
vinculado a los calendarios de implementación del proyecto.
● Recursos: los recursos (que incluye el tiempo del personal, los mecanismos, los socios
implementadores, la financiación, etc.) necesarios para implementar el ítem de la acción. Esta
planificación debe completarse en coordinación con la planificación general del proyecto para
asegurarse de que estos recursos estén disponibles.
65
Guía MEAL DPro
comunicación. Cada uno requerirá que se le brinde información de manera o maneras que les sean
apropiadas.
Necesidades de información ¿Qué necesita saber cada audiencia? Una buena comunicación
requiere una comprensión de las partes interesadas y de sus necesidades de información. Algunos
ejemplos de necesidades de información de las partes interesadas incluyen:
● Impacto y objetivos del proyecto, incluyendo las metas del proyecto y quién recibirá apoyo
● Acceso y uso de los mecanismos de retroalimentación y respuesta
● Progreso del proyecto, cambios y actualizaciones
● Resultados de los esfuerzos de aprendizaje
Métodos de comunicación: La información debe ser lo más accesible posible. Los métodos de
comunicación más eficaces se diseñarán teniendo en cuenta las preferencias de las partes
interesadas. Esto puede ser muy útil para considerar cuestiones tales como: ¿Cuáles son los niveles
de alfabetización y el lenguaje preferido? ¿Tienen las partes interesadas acceso a la tecnología?
¿Qué tan amplia es la audiencia a la que estamos tratando de llegar?
No se debe asumir que un solo método de comunicación funcionará para todas las partes
interesadas. Por ejemplo, el donante requerirá información a través de informes escritos. Sin
embargo, el formato utilizado para los informes escritos para los donantes a menudo será
inapropiado para otras audiencias debido a su lenguaje, duración, nivel de detalle, etc. Por lo
tanto, hay que ser creativo a la hora de identificar las mejores maneras de comunicarse. Por
ejemplo, los miembros de la comunidad que no pueden leer o escribir requerirán información
mediante el uso de diagramas durante las reuniones comunitarias, mientras que los jóvenes de la
comunidad pueden preferir recibir la misma información a través de mensajes de texto por
teléfonos celulares.
La Figura 40 identifica posibles métodos de comunicación, categorizados por:
● Requerimientos de alfabetización (baja/alta)
● Tamaño de la audiencia (general/específico)
● Ya sea que promuevan la presentación unidireccional de la información o el intercambio
bidireccional de la misma.
66
Guía MEAL DPro
Figura 40: Métodos de comunicación del proyecto
Tiempo y frecuencia: todas las comunicaciones deben planificarse de acuerdo con el equipo de
implementación general y el calendario. Esto dará tiempo suficiente para comunicarse
eficazmente.
La Figura 41 muestra el plan de comunicaciones para los componentes de MEAL del Proyecto PDI Río
Delta.
67
Guía MEAL DPro
Figura 41: Plan de comunicación (componentes MEAL)
Al revisar el plan de comunicaciones, se debe asegurar que este se dirige a todas las partes interesadas
que necesitan información del proyecto. El plan de comunicaciones no solo debe centrarse en promover la
rendición de cuentas ante los patrocinadores y otros en la jerarquía organizativa (mediante la generación
de informes y la programación de eventos), sino también en garantizar que exista comunicación de
manera que promueva la rendición de cuentas ante las comunidades, los socios implementadores y ante
otras partes interesadas, actualizándolos sobre el progreso de las actividades del proyecto. Hay que
recordar quienes son el centro de lo que se hace.
Es importante comunicarse con las partes interesadas para asegurarse de que los proyectos sean:
68
Guía MEAL DPro
● Transparentes: la comunicación eficaz con las comunidades garantiza que estas tengan acceso a
información oportuna, precisa y relevante en el idioma, el formato y en los canales pertinentes,
que sean culturalmente apropiadas y accesibles a los distintos grupos.
● Participativos: el establecimiento y mantenimiento de múltiples canales inclusivos para lograr un
diálogo sostenido, fortalece la participación de las comunidades en la programación.
● Responsivo: los proyectos necesitan ser responsivos a las necesidades de información de las
comunidades, los socios y otras partes interesadas. Se debe asegurar de consultar a los usuarios
principales y a las partes interesadas, para determinar cuándo y en qué forma quieren recibir la
información.
Impacto u Evaluar qué tan bien un proyecto cumplió su Al final del proyecto. También requiere la
objetivo impacto al producir cambios. Las evaluaciones de recopilación de datos de línea de base al
impacto pueden utilizar rigurosas recopilaciones principio de la implementación y actividades de
y análisis de datos, así como grupos de control. monitoreo regulares y rigurosas
Ex post Evaluar la sostenibilidad a largo plazo del Después de la fecha de finalización formal del
proyecto proyecto, a veces de 3 a 5 años después.
Evaluación de Se utiliza para diseñar una respuesta a una Constantemente durante la implementación del
desarrollo necesidad conocida, especialmente en proyecto.
situaciones complejas donde se están probando
enfoques de respuesta. Esto apoya enfoques
69
Guía MEAL DPro
creativos e innovadores y proporciona
retroalimentación en tiempo real para informar
sobre el diseño continuo del proyecto.
Evaluación del Un enfoque que busca mejorar la A lo largo de la implementación en el sentido de
empoderamien implementación proporcionando a los propios que los participantes requieren que se les
to participantes del proyecto, las herramientas facilite y capacite en relación con las
para evaluar la planificación, el diseño y la herramientas de evaluación. La evaluación pasa
implementación del mismo. a formar parte de la implementación del
proyecto.
Evaluación Una evaluación sistemática y formal de las Externo al ciclo de implementación del
meta evaluaciones. Examina los métodos utilizados en proyecto.
una evaluación o conjunto de evaluaciones para
respaldar la credibilidad de los hallazgos. A
menudo se utiliza en la configuración de la
formulación de políticas.
Se debe tomaren cuenta que los métodos de recopilación de datos utilizados en cada tipo de evaluación
varían. Algunos tipos de evaluación se basan más en datos cuantitativos, mientras que otros lo hacen en
datos cualitativos. La regla de oro para seleccionar los métodos es elegir el método más adecuado para
cumplir los objetivos de la evaluación. Muchas evaluaciones utilizan una combinación de métodos para
recopilar la información necesaria que responda a las preguntas relevantes.
Se debe comenzar a completar la tabla identificando los tipos de evaluación que se desean llevar a cabo y
el propósito de cada evaluación. Para proyectos más grandes, puede haber varias evaluaciones.
A continuación, se necesita identificar las preguntas prioritarias que se responderán con la evaluación(es).
Un paso preliminar al identificar las preguntas de evaluación es establecer los criterios de evaluación.
Los criterios de evaluación son un conjunto de principios que guían el desarrollo de preguntas de
70
Guía MEAL DPro
evaluación y el proceso de planificación de evaluación general.17
Algunos de los criterios de evaluación más utilizados provienen de la Organización para la Cooperación y el
Desarrollo Económicos (OCDE).18 que incluyen:
Relevancia es la medida en que el proyecto es importante para las prioridades, necesidades y
oportunidades del grupo objetivo, del destinatario y del donante.
Eficiencia es la medida en que el proyecto utiliza los recursos menos costosos posibles para lograr
los resultados deseados. Esto generalmente requiere comparar enfoques alternativos para lograr
los mismos productos, para ver si se ha adoptado el proceso más eficiente.
Eficacia es la medida en que un proyecto alcanza sus objetivos.
Impacto son los cambios positivos y negativos producidos por una intervención de desarrollo,
directa o indirecta, planificada o no.
Sostenibilidad es la medida en que es probable que los beneficios de un proyecto continúen
después de que se haya retirado el apoyo (monetario y no monetario).
Si el donante solicita un cierto tipo de evaluación y ha incluido el financiamiento correspondiente,
entonces tendrán que considerarse esos requerimientos a medida que se establezcan los criterios de
evaluación.
Una vez que se hayan identificado los criterios de evaluación, se deberá identificar las preguntas concretas
que guiarán dicha evaluación.
Las preguntas de evaluación son declaraciones claras de lo que se necesita saber a través de la
evaluación.
Las preguntas que se hagan variarán en función de los criterios de evaluación explorados. La Figura 44
proporciona ejemplos de preguntas de evaluación según el área de criterios de la OCDE/CAD.
17 Peersman G. 2014. Informes metodológicos: Evaluación de impacto No. 3. Criterios de evaluación . UNICEF.
18 Organización para la Cooperación Económica y el Desarrollo. Criterios de evaluación del CAD para la asistencia para el desarrollo.
19 Hagens C, Morel D, Causton A y Way C. 2012. Guía para monitoreo y evaluación. Catholic Relief Services.
71
Guía MEAL DPro
● ¿Fue suficiente la participación de la comunidad en la evaluación de las necesidades, el
diseño, la implementación, el monitoreo y la evaluación del proyecto? ¿Por qué sí, o
por qué no? Si no, ¿Cómo se puede aumentar la participación durante el resto del
proyecto (para evaluaciones intermedias) o en un proyecto futuro (para evaluaciones
finales)?
Eficiencia ● ¿Logró el proyecto los productos planificados (de acuerdo con el plan de
implementación detallado) según el cronograma? ¿Por qué sí, o por qué no?
● ¿El sistema de monitoreo y evaluación proporcionó la información correcta en el
momento correcto para permitir la gestión oportuna de proyectos y la toma de
decisiones? ¿Por qué sí, o por qué no?
● ¿Trabajar con otros socios ha aumentado la efectividad y la calidad del proyecto? ¿Por
qué sí, o por qué no?
● ¿Ha sido eficaz el proyecto para desarrollar la capacidad de los socios? Si es así, ¿Cómo
se ha desarrollado la capacidad de los socios? Si no, ¿por qué no? y, ¿Cómo se puede
mejorar esto para la próxima vez?
Efectividad ● ¿Son eficientes las estructuras de personal y gestión del proyecto? ¿Por qué sí, o por
qué no?
● ¿El personal del proyecto tenía suficiente capacidad para implementar un proyecto de
alta calidad? ¿Por qué sí, o por qué no?
● ¿Cuál fue el costo por participante del proyecto? ¿Es esto razonable dado el impacto
del proyecto? ¿Por qué sí, o por qué no?
Impacto ● ¿Ha logrado el proyecto el impacto planificado (consulte los indicadores del marco
lógico para determinar dicho impacto)? ¿Por qué sí, o por qué no?
● ¿El impacto varió para diferentes áreas, hogares o individuos objetivo (por ejemplo,
hombres y mujeres)? Si es así, ¿Cómo y por qué?
● ¿Hubo algún impacto no deseado del proyecto, ya sea positivo o negativo? ¿Qué
impacto fue más valioso para las comunidades participantes? ¿Por qué?
Una vez que se tenga claro el tipo o tipos de evaluación y los criterios de esta, se pueden proporcionar
estimaciones de alto nivel respecto al calendario y al presupuesto de evaluación.
Logística de evaluación y otros soportes: incluir detalles sobre la logística y el apoyo para el
equipo de evaluación. Indicar si se recibirá apoyo oportuno de los socios locales, particularmente
en cuanto a la recopilación de datos. Si es necesario, se debe incluir tiempo adicional al realizar
evaluaciones más complicadas para diseñar muestras y finalizar las bases de datos, así como sus
correspondientes planes de ingreso.
A medida que el equipo planifica el MEAL, es fundamental que estos planes estén alineados e integrados
en el presupuesto, cronograma y requisitos generales de personal del proyecto. Cuando se pasan por alto
las actividades de MEAL durante la creación de planes generales de gestión de proyectos, pueden surgir
cualquier número de problemas, que pueden incluir un presupuesto y los recursos de personal
inadecuados para realizar actividades de MEAL, así como conflictos de programación entre las actividades
de MEAL y otras actividades de implementación de proyectos.
El aporte más importante, al desarrollar presupuestos y calendarios de MEAL, es una lista completa y
detallada de las actividades de MEAL del proyecto. A completar las herramientas de planificación en la
Sección A de este capítulo, se habrán identificado muchas de estas actividades. El plan de gestión del
desempeño y la tabla de resumen de evaluación serán especialmente útiles; sin embargo, otros
documentos como el plan de aprendizaje y el plan de comunicaciones también serán importantes para su
consulta.
74
Guía MEAL DPro
3.7 El MEAL en el calendario del proyecto
El equipo encargado de desarrollar el calendario para las actividades de MEAL debe enumerar todas las
actividades incluidas en los documentos de planificación. La lista debe incluir todas las visitas de
monitoreo, actividades de evaluación, iniciativas de aprendizaje, mecanismos de retroalimentación y
respuesta, esfuerzos de comunicación y cualquier informe que se necesite crear. A partir de esta
información, construya un diagrama de Gantt específicamente para las actividades MEAL del proyecto.
Diagrama de Gantt Es un diagrama de barras que ilustra un cronograma del proyecto,
identificando la fecha de inicio, la fecha de finalización y la duración esperada de todas las
actividades.
Es especialmente importante que el equipo del proyecto trabaje en colaboración con otras partes
interesadas a medida que desarrolla el diagrama de Gantt de MEAL. El uso de un enfoque participativo
para la programación ayuda a identificar oportunidades para programar eficientemente y reducir el riesgo
de conflictos de programación, entre las actividades de MEAL y otras actividades de la implementación del
proyecto.
La Figura 45 muestra un ejemplo de diagrama de Gantt para los primeros 3 años de actividades de MEAL
para el Proyecto PDI Río Delta. El diagrama de Gantt incluye tanto las actividades de monitoreo como las
de evaluación del proyecto. Esta lista de actividades se extrae del plan de gestión del desempeño, la tabla
de resumen de evaluación y el plan de comunicaciones para el proyecto. Las actividades enumeradas en
esos documentos incluyen reuniones del mecanismo de retroalimentación y respuesta, visitas trimestrales
al consejo de agua, discusiones anuales de grupos focales, cuestionarios anuales, una evaluación
intermedia y una revisión posterior a la acción.
75
Guía MEAL DPro
Figura 45: Diagrama de Gantt de MEAL del proyecto PDI de la región Delta
77
Guía MEAL DPro
A medida que se revisa el presupuesto del Proyecto PDI Río Delta, se puede observar que el equipo ha
clasificado los gastos para cada una de las áreas de actividades de MEAL en tres categorías de costos:
personal, viajes y materiales y suministros. La categoría de personal es, por mucho, la que incluye los
costos más altos. Cuando se trata de estimar los requerimientos de personal para el MEAL, las necesidades
de personal dependerán del tamaño y la complejidad del proyecto, del sistema de MEAL y del presupuesto
disponible.
Al preparar el presupuesto para el MEAL, se debe identificar claramente la estrategia para contar
con el personal de MEAL para que las estimaciones del presupuesto sean precisas y completas. Se
deben hacer las siguientes preguntas a medida que se desarrolla la estrategia de selección de
personal para el MEAL:
● ¿Tenemos la intención de contratar especialistas de MEAL que sean los principales
responsables de la implementación de las actividades de nuestro proyecto?
● ¿Compartiremos la responsabilidad de las actividades de MEAL entre los diversos
miembros del equipo del proyecto?
● ¿Requerirá nuestro proyecto el apoyo de asesores técnicos en MEAL de forma
ocasional para apoyar las actividades críticas?
● ¿Necesitamos encuestadores, facilitadores de encuestas y otro personal para
realizar las encuestas, cuestionarios, discusiones de grupos focales y otras
herramientas de recolección de datos de MEAL?
● ¿Tenemos la intención de contratar a un consultor externo o independiente, o a una
empresa para realizar las actividades de evaluación?
Finalmente, se debe observar que la sección del presupuesto titulada actividades de monitoreo incluye
una categoría de costo llamada equipo. Hay que asegurarse de incluir los gastos relacionados con la
tecnología de la información y las comunicaciones (TICs) en la categoría de equipos. Por ejemplo, el
Proyecto PDI Río Delta tiene la intención de comprar un software especial para el análisis de datos
cualitativos asistido por computadora (CAQDAS) para analizar los datos recopilados durante las
discusiones de los grupos focales, así como dispositivos portátiles para encuestadores, de modo que los
datos se puedan registrar directamente en un formato digital. No hay que olvidar que las nuevas
inversiones en TICs requerirán la capacitación del personal, por lo que se ha incluido una línea de
capacitación en la categoría de personal para ese propósito.
78
Guía MEAL DPro
20 Texto adaptado de PACT. 2014. Publicaciones sobre monitoreo, evaluación, resultados y aprendizaje. Módulo 2. Guía de campo para la
gestión de datos de calidad; USAID. 2009. Consejos de monitoreo y evaluación del desempeño: Estándares de calidad de los datos .
79
Guía MEAL DPro
Validez: los datos son válidos cuando representan con precisión lo que se pretende medir. En
otras palabras, los datos que se recopilan ayudan a medir los indicadores que se han elegido. Al
diseñar los métodos de recopilación, se debe asegurar que se recojan datos que ayuden a medir
los indicadores descritos en el plan de gestión de desempeño. Además, la combinación de
métodos de recopilación debe satisfacer las necesidades de triangulación.
Fiabilidad: los datos son confiables cuando los métodos de recopilación utilizados son estables y
consistentes. Se recopilan datos confiables mediante el uso de herramientas como cuestionarios
que se pueden implementar de la misma manera varias veces. En la práctica, esto significa que, si
se usa el mismo cuestionario para hacerle las mismas preguntas a la misma persona y nada más ha
cambiado, se deberían obtener las mismas respuestas. Hay que tomar en cuenta este factor
cuando se diseñen las guías de discusión y cuestionarios para los grupos focales y para las
entrevistas.
Precisión: los datos son precisos cuando tienen un nivel de detalle que brindan una imagen exacta
de lo que está sucediendo y permiten tomar buenas decisiones. Por ejemplo, estos permiten
comparar resultados entre hombres y mujeres, si esto es importante para el proyecto. Al diseñar
las herramientas de recopilación de datos, hay que asegurar que todos los subgrupos que se hayan
identificado estén incorporados en el diseño. En consecuencia, se recopilan datos precisos con el
uso de métodos de muestreo apropiados, según se describen en detalle más adelante.
Integridad: los datos tienen integridad cuando son precisos. Los datos deben estar libres de los
tipos de errores que ocurren, consciente o inconscientemente, cuando las personas recopilan y
administran datos. Los errores se dan cuando, por ejemplo, el cuestionario se administra
erróneamente o los datos no se ingresan correctamente en la base de datos. La integridad de los
datos que se recolectan aumentará, al seguir la guía que se describe más adelante sobre el diseño
e implementación de herramientas de recopilación y gestión de datos.
Momento oportuno: los datos oportunos deben estar disponibles cuando se necesiten, para
generar el conocimiento necesario para la toma de decisiones y para propósitos de comunicación.
Los datos no son útiles cuando llegan demasiado tarde para alimentar estos procesos. Este factor
juega un papel importante en la planificación para la recopilación de datos, y es la razón de que
aparezca la columna de tiempo en el plan de gestión de desempeño. Se deben diseñarlas
actividades de recopilación de datos para que coincidan con el momento en que se necesite tomar
decisiones e informar a las partes interesadas. Este estándar también debe tenerse en cuenta en el
diseño e implementación de herramientas. Es importante asegurar que el diseño sea lo más
eficiente posible y que solo recopile los datos que son imprescindibles.
Esta sección explora tres de las herramientas más utilizadas para recopilar datos cuantitativos y
cualitativos: cuestionarios, entrevistas semiestructuradas y discusiones de grupos focales.
Antes de describir estas herramientas en detalle, es útil comprender que todas ellas, ya sea un
cuestionario o una guía de discusión utilizada para facilitar un debate o entrevista de grupo focal, están
diseñadas utilizando un esquema similar. La revisión de este esquema ayuda a ilustrar las buenas prácticas
para diseñar herramientas de recopilación de datos:
Sección 1: Introducción
La introducción a la herramienta brinda la oportunidad de explicar el proyecto y el proceso de
recopilación de datos al participante. Este resumen debe explicar:
● ¿Por qué se recopila la información?
● ¿Cómo se identificaron los participantes?
● ¿Cómo se recopilarán los datos?
● ¿Cuánto tiempo llevará la recopilación de datos?
● ¿Cómo se usarán los datos?
● ¿Quién tendrá acceso a los datos?
Es de especial importancia que en la introducción se expliquen los principios éticos que guían las
actividades para la recopilación de datos. En consecuencia, todas las herramientas deberían
explicar:
Sección 2: Preguntas
● Asegurar que el lenguaje que se utiliza en las preguntas sea sencillo, claro y sin jerga. Esto
ayudará a recopilar datos de manera apropiada al contexto y a los participantes.
● Organizar las preguntas usando una secuencia clara y ordenada. La estructura de las
preguntas formuladas debe ser lógica y debe tener sentido para los recopiladores de datos
y para los participantes. Se recomienda que las herramientas comiencen con preguntas
simples y luego pasen a preguntas más difíciles y delicadas.
● Asegurar que la herramienta de recopilación de datos incluya campos para registrar
análisis de datos importantes e información de gestión, como:
○ Lugar y fecha de la recopilación de datos.
○ Identificación del participante (o seudónimos codificados), área geográfica,
comunidad, género, etc. Esto es particularmente importante si se tiene la
intención de desglosar los datos por subgrupos.
○ Si es necesario, asignar a cada campo de datos un número o código de respuesta
que pueda usarse para facilitar el análisis.
Sección 3: Conclusión
82
Guía MEAL DPro
preguntas, en el mismo formato y orden a cada participante. Esto ayuda a garantizar que las respuestas
sean claras, válidas y confiables. Debido a que los cuestionarios recopilan datos que se espera analizar
estadísticamente, estos utilizan principalmente preguntas cerradas que generan respuestas fáciles de
codificar y analizar.
Las preguntas cerradas son preguntas que proporcionan una lista predefinida de opciones de
respuesta. Esto facilita la codificación numérica de las respuestas, lo que permite el análisis
estadístico.
Los tipos de preguntas cerradas de uso común se describen en la Figura 47.
Figura 47: Tipos de preguntas cerradas
Calificación o 4. Indique hasta qué punto está de acuerdo con esta ❏ Totalmente en desacuerdo
En desacuerdo
escala Likert declaración “Mi hogar tiene suficiente agua para
❏ Ni de acuerdo ni en
cubrir sus propias necesidades de consumo".
❏ desacuerdo
De acuerdo
❏ Totalmente de acuerdo
❏
83
Guía MEAL DPro
categoría.
Otra opción fundamental relacionada con el diseño de cuestionarios es en torno a qué medios se utilizarán
para aplicar dichos cuestionarios a los participantes y cómo se registrarán las respuestas.
Tradicionalmente, los cuestionarios se realizaban en papel, y el encuestado o el entrevistador
completaban las respuestas con lápiz. Hoy en día, los cuestionarios a menudo se completan digitalmente
utilizando una de las muchas herramientas de encuestas en línea. Al elegir los medios que se usarán para
implementar el cuestionario, se debe considerar la población objetivo y la logística local, las características
de los posibles participantes, los tipos de preguntas que se planea incluir, el tema, la tasa de respuesta
deseada, el costo o tiempo necesario para recopilar los datos.
El siguiente cuadro describe las ventajas y desventajas de los métodos de entrega de cuestionarios.
Figura 48: Ventajas y desventajas de los modos de entrega del cuestionario
Entrevista personal ● Los participantes no ● Las actividades requieren ● Espacio y privacidad para
necesita saber leer y mucho tiempo y son las entrevistas.
escribir caras. ● Presupuesto para viajar
● Los facilitadores ● Los facilitadores pueden ● Facilitadores capacitados
pueden motivar y influir en la forma en que
apoyar a los los participantes
participantes interpretan las preguntas
● Existe una alta tasa de (y sus respuestas)
cooperación y una baja ● El ingreso de datos puede
tasa de rechazo. ser difícil si las respuestas
no se recopilan mediante
dispositivos digitales
Cuestionarios que ● Fácil y barato de ● Requiere de participantes ● Logística para distribuir y
completa el distribuir. alfabetizados recolectar los
encuestado sin que ● Acceso a una ● El ingreso de datos puede cuestionarios.
medie un población más amplia ser complicado si las ● Presupuesto para
encuestador (en en un área geográfica respuestas no se distribuir y recolectar
línea o fuera de más grande. recopilan mediante cuestionarios.
línea) dispositivos digitales
● Tasas de respuesta
potencialmente bajas
84
Guía MEAL DPro
La entrevista semiestructurada es una discusión guiada entre un entrevistador y un solo
entrevistado, diseñada para explorar y comprender la amplia riqueza y el contexto de las
perspectivas, opiniones e ideas del entrevistado.
La discusión de grupo focal es una conversación guiada entre los participantes en un grupo. Es
una herramienta de recopilación de datos cualitativa diseñada para explorar y comprender la
amplia riqueza y el contexto de las perspectivas, opiniones e ideas de un grupo.
A diferencia de una entrevista con un solo participante, una discusión de grupo focal brinda una
oportunidad para que un pequeño grupo interactúe entre sí, construya sobre ideas y presente
perspectivas divergentes. Sin embargo, si bien el intercambio entre los participantes del grupo
proporciona enormes conocimientos, para facilitar una discusión de grupo focal se requiere de mayor
experiencia. Además de un facilitador experimentado, se requiere de una persona que tome notas.
Generalmente, un grupo focal incluye de 8 a 12 participantes.
Para las discusiones de grupos focales es crucial invitar a los participantes correctos. Una vez que se hayan
reducido los temas y las preguntas, se comprenderá mejor quién debe participar en la discusión. Se deben
elegir participantes que puedan hablar directamente sobre las perspectivas o experiencias que se
necesitan conocer. Cuando los participantes hablan sobre perspectivas y experiencias personales, existe
una mayor probabilidad de tener una discusión animada, lo que conduce a una información más rica y a
datos más confiables. Además, se debe identificar a los participantes del grupo focal con una característica
o experiencia compartida para que la discusión no se convierta en una lluvia de ideas desenfocada.
Ya sea que se esté diseñando o no una entrevista semiestructurada o una discusión de grupo focal, la clave
para una sólida recopilación de datos cualitativos es planificar cuidadosamente las preguntas que
enmarcarán la conversación. Estas preguntas planificadas se preparan con anticipación, se redactan
cuidadosamente y se documentan en una entrevista o guía de discusión. A diferencia de las preguntas
cerradas que se usan en los cuestionarios, la mayoría de las preguntas de las guías son abiertas.
Las preguntas abiertas son aquellas que permiten a alguien dar una respuesta de forma libre en
sus propias palabras.
Hay dos tipos de preguntas abiertas:
Las preguntas de mapeo también se conocen como preguntas de apertura. Estas están
destinadas a iniciar la exploración, presentando e indagando de manera general sobre un tema.
Para promover una abundante discusión o las respuestas deseadas para la recopilación de datos
cualitativos, los facilitadores a menudo acompañan las preguntas de mapeo con preguntas de
profundización.
Las preguntas de profundización también se conocen como preguntas de sondeo. Estas son
preguntas de seguimiento que generan más detalles o explicaciones sobre una respuesta a una
pregunta de mapeo.
A diferencia de las preguntas de mapeo, las preguntas de profundización no utilizan guiones, sino que son
de forma libre. Los facilitadores deben tener las habilidades y la flexibilidad para adaptar el flujo de la
conversación y hacer las preguntas correctas. Las preguntas de profundización permiten al facilitador
85
Guía MEAL DPro
indagar más ampliamente sobre un tema y conocer aspectos no anticipados.
Volvamos al ejemplo de UNITAS para explorar estos dos tipos de preguntas. UNITAS llevará a cabo
discusiones de grupos focales para comprender el acceso al agua potable que tienen las personas
desplazadas internamente. La guía de discusión del grupo focal incluye esta pregunta de mapeo: ¿Cuáles
son las principales barreras que enfrentan las personas desplazadas internamente al acceder al agua
potable? Se espera que algunas respuestas requieran un seguimiento, por lo que las preguntas de
profundización serán útiles. Por ejemplo, si el facilitador recibe una respuesta que indica que las personas
desplazadas internamente no siempre se sienten seguras accediendo a los pozos de agua, las posibles
preguntas de profundización podrían ser: ¿Puede explicarme por qué dijo:" No me siento seguro”? y
¿Puede darme un ejemplo?
Se debe tener en cuenta que las preguntas de profundización no tienen ninguna estructura. A menudo se
puede anticipar algunas de ellas y se pueden documentar como posibles preguntas de seguimiento en la
guía de discusión.
21 Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja 2011. Guía de monitoreo y evaluación de proyectos /
programas (M&E).
86
Guía MEAL DPro
generalizarse para representar a la población en general.
En el capítulo 3, se abordó sobre la importancia de recopilar datos de calidad que sean válidos, confiables,
precisos y generalizables. Una forma de promover este objetivo es tomar medidas para evitar sesgos de
muestreo en las actividades de recopilación de datos.
El sesgo del muestreo ocurre cuando algunos miembros de la población tienen más o menos
probabilidades que otros de ser seleccionados para participar en las actividades de recopilación de
datos.
Cuando la muestra está sesgada, significa que no se están tomando en cuenta todas las perspectivas, ideas
y opiniones disponibles. Por lo que los datos no serán tan válidos (precisos) y no pueden generalizarse
fácilmente a la población que se desea abordar.
La generalización es posible cuando los datos recopilados de una muestra representan con
precisión la población general de la que se extrajo dicha muestra.
Por ejemplo, si se está estudiando los efectos de establecer nuevos pozos de agua comunitarios, sobre la
incidencia de enfermedades transmitidas por el agua entre las familias, los datos serán menos válidos y
generalizables si solo se completan cuestionarios entre hombres. Esto se debe a que es más probable que
las mujeres sean responsables de muchas de las actividades del hogar que requieren acceso al agua.
Además, si solo se recopilan datos de los hombres, cualquier hallazgo y recomendación hecha a partir de
esos datos puede no ser válido para toda la comunidad.
Por lo tanto, se debe diseñar el método de muestreo de manera que reduzca el sesgo del muestreo al dar
a todos aquellos que requieren acceso al agua, tanto mujeres como hombres, una oportunidad igual de
participar en las actividades de recopilación de datos.
Cuando se trabaje para reducir el sesgo del muestreo, se debe prestar mucha atención a dos tipos
específicos de sesgo que pueden ser especialmente problemáticos.
● El sesgo de muestreo por conveniencia ocurre cuando se recopilan datos de participantes de fácil
acceso o con los que es fácil trabajar. Los datos que sufren de este sesgo podrían correr el riesgo
de sobrerrepresentar a las personas ubicadas más cerca de las carreteras principales, o a los
grupos que hablan el idioma predominante.
Después de haber considerado todos estos factores, los pasos para identificar una
muestra aleatoria incluyen:
Muestra sistemática Es el proceso de preparar una lista y numerar a todos los sujetos potenciales y
luego seleccionar a cada 10ª persona, por ejemplo, hasta que se haya alcanzado
el tamaño de la muestra.
Muestreo de grupos La población originalmente se divide en grupos, tales como áreas geográficas,
escuelas o lugares de trabajo. Todos los grupos se enumeran y de estos se
selecciona aleatoriamente una muestra.
En algunos casos, todos los sujetos del grupo son incluidos en la recolección de
datos. En otros casos, los equipos llevarán a cabo un proceso de muestreo en
dos etapas, en las que los participantes son seleccionados del grupo y
representan una muestra de este.
Si los planes de análisis de datos, como se definen en el plan de gestión de proyectos, incluyen la
separación por subgrupo, el método de muestreo debe incluir específicamente esos subgrupos o
estratos de la población. El muestreo estratificado permite analizar grupos estratificados dentro
de la población en su conjunto.
La muestra estratificada es un tipo de método de muestreo en el que la población se
22 Bamberger M, Rugh J y Mabry LS. 2012. Evaluación en el mundo real: Trabajar bajo presupuesto, tiempo, datos y restricciones políticas,
Edición 2. SAGE.
88
Guía MEAL DPro
divide en subgrupos separados, llamados estratos. Luego, se extrae una muestra de
probabilidad de cada subgrupo, lo que permite la comparación estadística de resultados
dentro de la muestra.
Por ejemplo, es posible se desee saber si existe una diferencia entre las opiniones de las familias
numerosas (de cinco o más miembros) y las familias pequeñas (de menos de cinco miembros), con
respecto a si tienen o no suficiente agua para satisfacer sus necesidades de consumo. Para
recopilar esta información, se necesitará una muestra estratificada que seleccione e identifique a
los participantes de acuerdo con el tamaño de la familia. Hay que prever, generalmente, cuando se
tiene una muestra estratificada, el tamaño total de la muestra necesitará ser mayor, lo que tiene
implicaciones en cuanto al tiempo y al presupuesto.23
Si se elige crear muestras estratificadas, se necesitará revisar los métodos de muestreo aleatorio
en la Figura 49, para decidir qué método se utilizará para identificar la muestra aleatoria
(muestreo aleatorio simple, sistemático o por grupo).
Paso 3: Determinar el tamaño de la muestra
Es importante determinar el tamaño de la muestra porque cuanto mayor sea su tamaño, más
probable es que esta represente con precisión a la población.
Dos datos estadísticos importantes miden qué tan bien representa una muestra a la población: el
margen de error y el nivel de confianza.
El margen de error expresa la diferencia máxima esperada entre la población real y la
estimación de la muestra. Para que sea significativo, el margen de error debe calificarse
mediante una declaración de probabilidad (a menudo expresada en forma de un nivel de
confianza).
El nivel de confianza se refiere al porcentaje de todas las muestras posibles que se puede
esperar incluyan el verdadero parámetro de la población
Entonces, ¿cómo se ve el margen de error y el nivel de confianza en la práctica? Veamos los dos
conceptos usando un ejemplo del Proyecto PDI Río Delta. UNITAS realiza un cuestionario y se
entera de que el 50 % de los participantes informan que "se lavan las manos después de eventos
específicos". El nivel de confianza para la encuesta se establece en el 95 %, con un margen de error
de más menos el 3 %. Esta información significa que, si la encuesta se realizara 100 veces, el
porcentaje de personas que informaría "que se lava las manos después de eventos específicos"
oscilaría entre 47 y 53 % la mayoría de las veces (95 %).
Los expertos de MEAL deben tomar decisiones sobre el margen de error y el nivel de confianza en
función de sus necesidades de información, el contexto en el que trabajan y los recursos
disponibles para el MEAL. Sin embargo, como guía general, el nivel de confianza aumentará (y el
margen de error disminuirá) a medida que aumente el tamaño de la muestra.
23 Ibíd. p256.
89
Guía MEAL DPro
Volviendo al cuestionario del Proyecto PDI Río Delta, exploremos cómo influye el tamaño de la
muestra
sobre los márgenes de error y los niveles de confianza:
● Una muestra muy pequeña, como del 50 % de participantes, tiene un margen de error de
aproximadamente el 14 %, mientras que una muestra de 1,000 tiene un margen de error
del 3 %.
● Para obtener un margen de error del 3 % a un nivel de confianza del 90 % se requiere un
tamaño de muestra de aproximadamente 750. Mientras que a un nivel de confianza del 95
%, se requeriría una muestra de aproximadamente 1,000.
Figura 50: Margen de error
El mejor y peor caso de muestreo Compara comunidades o individuos que se consideran los mejores y peores
casos según ciertas características. (Es decir, los más vulnerables y los menos
vulnerables).
24 Ibíd.
25 Ibíd.
91
Guía MEAL DPro
Muestreo de caso típico Proporciona una comprensión del escenario general al elegir aquellas
comunidades o individuos que se consideran promedio.
Muestreo de caso crítico Recopila información de comunidades o individuos que son importantes
para comprender un contexto o situación particular.
Muestreo por cuotas Intenta recopilar información de los participantes con características de
interés de acuerdo con las estimaciones de su proporción en la población.
Muestreo Bola de nieve o en Recopila información de los participantes en etapas, comenzando con los
cadena participantes conocidos por los evaluadores o socios, y luego solicitando a
dichos participantes que recomienden con quién más hablar. La ventaja de
este método es que ayuda a identificar fuentes de información previamente
desconocidas.
Las instrucciones escritas que acompañan la herramienta de recolección son esenciales. A menudo,
también se necesita capacitación adicional, tanto para los nuevos recopiladores como para la
actualización de los expertos. La capacitación debe incluir lo siguiente:
● Explicación de los principios éticos básicos de una buena recopilación de datos.
● Explicación del propósito de la herramienta. Se debe garantizar que todos los que usan la
herramienta comprendan el propósito de cada pregunta y de cómo las respuestas que se
reciban se incorporarán al análisis y al uso.
● Dar instrucciones que enfaticen las habilidades necesarias para usar la herramienta. Los
recopiladores de datos necesitan habilidades para recolectar datos de alta calidad. Las
habilidades necesarias para la recopilación de datos cuantitativos y cualitativos a menudo
son diferentes. Por ejemplo, al recopilar datos cuantitativos, los encuestadores necesitan
capacitación para conocer el orden de las preguntas, y cómo formularlas sin influir en los
participantes. Al recopilar datos cualitativos, los entrevistadores deben ser capaces de
obtener información de los participantes, al mismo tiempo que los hacen sentir cómodos,
y deben crear una relación de confianza con ellos sin dejar de ser neutrales en actitud y
apariencia.
● La oportunidad de validar la herramienta con posibles participantes.
La capacitación de los recopiladores de datos tiene dos propósitos: desarrollar sus habilidades y
garantizar que la herramienta funcione como debería. Siempre se debe validar la herramienta,
proceso que puede integrarse directamente en la capacitación. La validación de la herramienta
con posibles participantes garantiza que:
● Se recopilarán los datos que se pretende recolectar.
● Las preguntas están escritas usando un lenguaje que los participantes y los recopiladores
comprenden.
● Las herramientas no tardarán mucho en implementarse. Evitará situaciones en las que se
pone demasiada carga en los participantes o donde se corre el riesgo de que se pierda la
motivación y el enfoque.
● Las herramientas explican adecuadamente a los participantes las normas y estándares
93
Guía MEAL DPro
éticos relacionados con el consentimiento informado, el anonimato y la confidencialidad.
● Los recopiladores de datos han sido suficientemente capacitados. Comprenden las
instrucciones de la herramienta, el flujo lógico de las preguntas y cómo se deben registrar
los datos de los participantes.
Paso 3: Revisar y finalizar las herramientas
Después de que haya validado la herramienta, se pueden incorporar los cambios al documento
final.
95
Guía MEAL DPro
Paso 2: Si es necesario, identificar los requerimientos para aquellos que ingresan datos
La mayor parte del ingreso de datos ahora se realiza electrónicamente, a menudo utilizando
dispositivos digitales para recopilar información que luego se carga automáticamente en la base
de datos de MEAL del proyecto. Sin embargo, en algunos entornos, aún puede ser necesario
ingresar datos a mano. Cualquier protocolo de ingreso, debe indicar claramente si se requiere
experiencia o capacitación previa para hacerlo. Si corresponde, identificar a un supervisor que sea
el responsable final de la gestión de calidad del proceso de ingreso de datos.
Todo el personal de ingreso de datos debe estar capacitado respecto a los objetivos de sus
actividades y a los métodos de recolección que se están utilizando, la base de datos en sí misma y
el protocolo configurado para el ingreso de información. Si quienes ingresan los datos entienden el
panorama general, será más probable que su trabajo se realice de manera completa e íntegra. Por
ejemplo, ellos deben sentirse cómodos con el formato del cuestionario y cualquier lógica de
omisión incluida, así también deben estar al tanto de cualquier posible error en la recopilación.
Depuración de datos
Es importante que el equipo de proyecto confirme que los datos de MEAL son correctos, completos y de la
más alta calidad. Con el uso cada vez mayor de dispositivos digitales para la recopilación, existe un menor
riesgo de los errores de transcripción que surgen al transferir datos del papel a las bases de datos. Sin
embargo, los equipos aún deben invertir en un proceso de depuración para ayudar a garantizar que la
información sea precisa y libre de errores.
La depuración de datos es la detección y eliminación de errores e inconsistencias de los datos
para mejorar su calidad.
Algunos de los métodos de depuración más comunes incluyen:
Realización de controles de calidad, selección y comparación aleatoria de los datos sin procesar
con los datos ingresados electrónicamente, para verificar el ingreso y los errores de codificación.
Los equipos que utilizan dispositivos digitales para recopilación pueden omitir este paso.
La identificación de valores atípicos es la comprobación que se hace para detectar si hay ingresos
inesperados en los datos. Esto podría significar que la persona que ingresa no comprende el
proceso y ha cometido un error de codificación. Por ejemplo, si un cuestionario formula una
pregunta sobre la edad y se ingresó una edad de 110 años, se detectará rápidamente el error y se
podrá evitar otros similares.
Eliminación de entradas duplicadas. Se confirma que cada registro de datos (cuestionario,
formulario, etc.) tiene un número de identificación específico y único y que no se han repetido
números en la base de datos.
Se debe mantener un registro y revisar las tendencias y patrones que se observan en los errores, con el
equipo que ingresa los datos para mejorar los resultados futuros. En un entorno donde la información se
ingresa automáticamente a través de dispositivos electrónicos, esta verificación debe realizarse el primer
día de ingreso de datos para asegurarse que se identifique y aborde cualquier problema sistemático.
96
Guía MEAL DPro
El principal beneficio que el RGPD brinda al individuo es que se han fortalecido las condiciones
para el consentimiento del uso de datos. Las organizaciones ya no pueden usar los datos de
una persona sin un consentimiento claro. Y no pueden obtener ese consentimiento de
manera poco transparente. Una solicitud de consentimiento debe indicarse claramente
utilizando un lenguaje sencillo que pueda ser entendido por todos. Además, las personas
tienen derecho a acceder a sus datos y a "ser olvidados" si lo desean. Los esfuerzos para
proteger la privacidad del individuo y sus datos deben ser parte del diseño inicial de cualquier
sistema de gestión de datos.
Descarte de datos: El método que use para destruir datos y registros dependerá de los siguientes
factores:
4.5.8 Leyes vigentes.
4.5.9 Políticas de la organización y requerimientos de los donantes
97
Guía MEAL DPro
4.5.10 Contexto operativo local
4.5.11 Sensibilidad de los datos que requieren eliminación.
4.5.12 Volumen de datos que requieren eliminación
Otro factor que determinará el método utilizado para destruir datos es su formato:
4.5.13 Registros en papel. Cualquier registro en papel debe destruirse quemándolo o
triturándolo. No deberían poder volver a usarse ni reconstruirse en el futuro.
4.5.14 Registros electrónicos. La destrucción de registros electrónicos debe ser responsabilidad
de un profesional de TI con conocimiento de cómo eliminar todos los rastros de los
archivos. Las unidades de disco y las bases de datos deben limpiarse por completo y los
datos en medios regrabables, como CD y DVD, cintas de audio y video, se deben borrar
por completo antes de volver a usarlos.
Anonimato: Si se elige conservar los datos después del final de las actividades del proyecto, se puede
llevar a cabo un proceso en el que se pueda mantener el anonimato de los participantes. Dejar datos
anónimos y usar seudónimos son dos técnicas que pueden utilizarse con este propósito.
4.5.15 El anonimato es la eliminación de datos de cualquier información identificable, lo que
hace imposible obtener información sobre una persona individual, incluso por el
responsable de dicha eliminación.
4.5.16 El uso de seudónimos es el reemplazo de los campos que contienen la información de
identificación personal con un código que protege la identidad del participante. Sin
embargo, con el uso de una "clave" de datos, aún se puede acceder a la identidad del
individuo.
98
Guía MEAL DPro
99
Guía MEAL DPro
5.1 Introducción al análisis de datos
El plan de gestión de desempeño guía el análisis de datos. Una revisión cuidadosa del plan de gestión de
desempeño dirá qué datos se analizarán, cuándo y cómo se analizarán y, cómo se usarán los resultados.
La forma de analizar depende del tipo de datos. Los datos cuantitativos se analizan utilizando métodos
estadísticos cuantitativos y paquetes informáticos como Microsoft Excel o SPSS. Los resultados del análisis
cuantitativo de datos son numéricos y se visualizan fácilmente mediante un diagrama, gráfica o mapa.
El análisis cualitativo se realiza con mayor frecuencia leyendo datos cualitativos que se presentan en forma
de transcripciones, como son las notas de las discusiones de grupos focales o las entrevistas, a fin de
identificar los temas que surgen de los mismos. Este proceso se llama análisis de contenido o análisis
temático y puede apoyarse en un software, pero a menudo se hace con papel, bolígrafos y notas
adhesivas.
El momento del análisis de datos depende de cuándo éstos se recopilen y del momento en que las partes
interesadas necesiten la información. Los datos a nivel de producto cambian rápidamente y, por lo tanto,
se analizan con mayor frecuencia que los datos a nivel de resultados intermedios y de objetivos
estratégicos del marco lógico.
El análisis y la interpretación de los datos a menudo ocurren antes de una reunión trimestral importante
del proyecto, antes de la fecha límite para presentar informes o como parte de una evaluación. Sin
embargo, muchos abogan por que el análisis y la interpretación de los datos se realicen con mayor
frecuencia como parte de un sistema MEAL que usa datos de manera proactiva. Por ejemplo, las
actividades del proyecto pueden incorporar discusiones que involucran análisis e interpretación después
de las visitas de campo y durante las reuniones trimestrales. Este enfoque tiene muchos beneficios,
incluyendo una mejor gestión de los desafíos y del aprendizaje oportuno, así como de la adaptación de la
implementación del proyecto.
Es particularmente importante coordinar el análisis de datos con el calendario general de implementación
del proyecto. Las actividades de recopilación de datos y análisis, visualización e interpretación posteriores
requieren tiempo y aportes en general del equipo del proyecto que no pertenece al área de MEAL. No hay
que olvidar incluir esto en la planificación. Es importante recordar siempre que el objetivo es proporcionar
respuestas oportunas y relevantes a las partes interesadas, aprender de manera efectiva, presentar los
informes requeridos y, en general, encontrar formas de hacer que los datos sean lo más útiles posible.
100
Guía MEAL DPro
Comprensión de los datos cuantitativos
Antes de comenzar el análisis cuantitativo, se debe comprender con qué tipo de datos se está trabajando.
El tipo de datos cuantitativos que se tengan determinará el tipo de análisis estadístico que se puede
realizar.
La comprensión de los datos comienza con la comprensión de las variables.
La variable es cualquier característica, número o cantidad que se pueda medir o contar. Hay dos
categorías de variables, independientes y dependientes:
● Las variables independientes son exactamente lo que parecen, se mantienen
independientes y no cambian en función de las otras que se están analizando. La edad, la
religión y el grupo étnico son ejemplos de variables independientes.
● Las variables dependientes son categorías que dependen de otros factores. Por ejemplo,
una variable dependiente podría ser la distancia recorrida para recoger agua o la incidencia
de enfermedades transmitidas por el agua.
Los diferentes tipos de variables se miden o cuentan de manera diferente. Por ejemplo, el tiempo se mide
usando minutos o segundos. El conocimiento, por otro lado, podría medirse por los puntajes de las pruebas
u observando los cambios en el comportamiento de las personas. Estas variables se analizan de manera
diferente.
El análisis adecuado de datos requiere que se comprendan en términos del "nivel de medición". Los datos
se clasifican en cuatro niveles fundamentales de medición: nominales, ordinales, de intervalo y de
proporción (ratio).
Datos recopilados en Género, etnia, Los datos nominales se pueden contar, pero no se
Datos
forma de nombres religión, lugar de puede hacer mucho más. La información recopilada a
nominales
(no números) y que nacimiento, etc. partir de datos nominales es muy útil, incluso
están organizados esencial, ya que permite descripciones básicas del
por categoría. proyecto.
Datos que tienen un Escalas que miden En sentido estricto, los datos ordinales solo se
Datos
orden. niveles de pueden contar. Sin embargo, no se ha alcanzado un
ordinales
Se pueden clasificar satisfacción o consenso entre los estadísticos sobre si se puede
de menor a mayor. niveles de calcular un promedio para los datos recopilados
acuerdo utilizando una escala ordinal.
Datos expresados en Temperatura, Las distancias entre los valores en una escala de
Datos de
números que pueden tiempo intervalos son siempre las mismas. (Este no es
intervalo
analizarse siempre el caso con las escalas ordinales). Eso
estadísticamente significa que los datos de intervalo se pueden contar
y que, se pueden realizar cálculos estadísticos más
avanzados para conjuntos de datos de intervalo.
101
Guía MEAL DPro
Datos expresados en Peso, talla Esto significa que los datos de proporción no pueden
Datos de
números, con el ser negativos. Debido a que estos datos tienen un
proporción
elemento agregado cero absoluto, se pueden hacer declaraciones como
(ratio)
de un valor de "cero "un objeto es el doble de largo que otro".
absoluto".
No importa cuál sea el tipo, los datos no son particularmente útiles si no se han procesado. Se debe
analizar los datos sin procesar antes de poder determinar si el programa está cumpliendo sus objetivos,
utilizarlos para tomar decisiones o comenzar una comunicación con las partes interesadas. Para
comprender la dificultad de utilizar datos sin procesar, se puede examinar la Figura 53, que muestra cómo
se organizan en la base de datos del proyecto, los datos recopilados en bruto de cuatro participantes por
medio de un cuestionario del Proyecto PDI Río Delta. La columna de la izquierda muestra el código de cada
participante. Por ejemplo, el primero de la primera aldea se codifica como V1R1. Cada columna posterior
muestra cómo respondieron los participantes a las primeras seis preguntas del cuestionario.
Figura 53: Ejemplo de datos sin procesar del cuestionario del Proyecto PDI Río Delta (parcialmente
desarrollado)
Identificador del P1 P2 P3 P4 P5 P6
participante / (Edad) (Número de (Uso de (Frecuencia (Distancia (¿Incidente
cuestionario miembros pozos de diaria de uso del caminada al diarreico en los
del hogar) agua) pozo de agua) pozo de agua) últimos 3
meses?)
V1R1 27 1 Sí 2 50 No
V1R3 19 2 No 3 400 Sí
V1R4 21 4 Sí 5 200 Sí
Al observar estos datos, se puede observar las tendencias generales, pero no se puede hacer ninguna
declaración específica sobre los hallazgos. Y, además, esta tabla solo incluye datos de cuatro participantes,
lo que hace que sea relativamente simple ver las tendencias. Si la tabla incluyera datos de 400 o incluso
4,000 participantes, su capacidad para usarla sería extremadamente limitada hasta que se haya analizado.
Análisis de datos cuantitativos utilizando estadísticas descriptivas
Existen tres categorías de cálculos que se utilizan para analizar datos utilizando estadísticas descriptivas:
● Medidas de frecuencia muestran el número de incidencias de un valor o valores particulares en un
conjunto de datos (tablas de frecuencia, tablas de tabulación cruzada).
● Medidas de tendencia central calculan el valor central de los conjuntos de datos (media, mediana,
moda).
● Medidas de variabilidad determinan hasta donde los valores en el conjunto de datos difieren del
promedio y entre sí (rango, desviación estándar).
102
Guía MEAL DPro
Medidas de frecuencia
Una medida de frecuencia indica cuántas veces ocurrió algo o cuántas respuestas encajan en una
categoría particular. Se puede analizar las frecuencias utilizando dos herramientas: las tablas de
frecuencia y las tablas de tabulación cruzada. La herramienta que se utilice dependerá de si se está
midiendo la frecuencia de los valores de respuesta de un solo grupo (tabla de frecuencias) o de
varios grupos (tabla de tabulación cruzada).
❏ Totalmente de acuerdo
❏ De acuerdo
❏ Ni de acuerdo ni en desacuerdo
❏ En desacuerdo
❏ Totalmente en desacuerdo
Pregunta "Puedo acceder al agua que necesito para Número de respuestas Porcentaje
satisfacer las necesidades de consumo de mi hogar".
Totalmente en desacuerdo 6 10 %
En desacuerdo 10 16 %
Ni de acuerdo ni en desacuerdo 7 12 %
De acuerdo 25 42 %
Totalmente de acuerdo 12 20 %
Total 60 100 %
Si bien las tablas de frecuencia ayudan a analizar la frecuencia de los valores de datos de acuerdo
con una sola variable categórica (por ejemplo, los 60 participantes que respondieron el
cuestionario), a veces se querrá analizar la frecuencia de las respuestas de acuerdo con múltiples
variables. Aquí es donde una tabla de tabulación cruzada puede ayudar.
103
Guía MEAL DPro
La tabla de tabulación cruzada es una representación visual de la frecuencia de valores
en un conjunto de datos completo, incluidos los subgrupos dentro del conjunto de datos.
Volvamos al ejemplo anterior del cuestionario que pedía a los participantes que indicaran su nivel
de satisfacción con su nivel de acceso al agua para satisfacer las necesidades del hogar. Pero esta
vez, queremos comparar las respuestas de hogares grandes (aquellos con cinco o más miembros) y
hogares pequeños (aquellos con cuatro o menos miembros). Los participantes habían identificado
si eran parte de un hogar grande o pequeño anteriormente en la encuesta. Usando esa
información, el equipo de UNITAS crea una tabla de tabulación cruzada para comparar las
respuestas de los dos subgrupos.
Figura 55: Tabla de tabulación cruzada: nivel de satisfacción con respecto al acceso al agua del
hogar
104
Guía MEAL DPro
La tabla de tabulación cruzada y su correspondiente gráfica de barras permiten comparar las
respuestas de los dos grupos. Por ejemplo, el equipo de UNITAS puede ver que, de los 60 hogares
entrevistados, el 62 % está totalmente de acuerdo o de acuerdo en que tienen suficiente agua
para satisfacer sus necesidades de consumo, lo cual es un resultado aceptable. Sin embargo, este
porcentaje puede interpretarse de manera diferente cuando se ve desde la perspectiva de los
hogares grandes y pequeños. De los hogares grandes, solo el 36 % está totalmente de acuerdo o
de acuerdo en que tienen acceso a suficiente agua. De los hogares pequeños, por otro lado, el 79
% está totalmente de acuerdo o de acuerdo en que tienen acceso a suficiente agua.
Revisaremos el tema de las tablas de tabulación cruzada al abordar la estadística inferencial. Cuando
combine tablas de tabulación cruzada con las mediciones estadísticas inferenciales descritas en la
siguiente sección, se puede comenzar a evaluar las relaciones entre múltiples variables.
Medidas de tendencia central
Una de las formas más comunes de analizar frecuencias es observar medidas de tendencia central.
Las medidas de tendencia central ayudan a identificar un solo valor alrededor del cual se
organiza un grupo de datos.
Hay tres herramientas utilizadas para medir la tendencia central:
Media es el promedio de un conjunto de datos, identificado al sumar todos los valores y
dividirlos entre el todo.
Mediana es el punto medio de un conjunto de datos, donde la mitad de los valores caen
por debajo de este y la otra mitad están por encima.
Moda La respuesta o valor más común.
Para ilustrar las diferencias entre la media, la mediana y la moda, usemos otro conjunto de datos
recogido por el Proyecto PDI Río Delta. Al recordar que uno de los indicadores para
el proyecto es: " Para el 3er año, el 85 % de los hogares de las personas desplazadas internamente
se encuentran a no más de 500 metros de un pozo de agua”. Para rastrear este indicador, el
personal realizó visitas de campo a cada pueblo donde trabaja el proyecto. El equipo de UNITAS
seleccionó al azar 10 hogares de desplazados internos en cada pueblo y midió físicamente la
distancia que caminaron para recoger agua. Los datos sin procesar de los hogares en el pueblo 1 se
registran en la tabla que se presenta a continuación.
Figura 56: datos sin procesar: metros caminados para recoger agua
Hogares (pueblo 1) Distancia recorrida (metros)
R1 100
R2 300
R3 600
R4 400
R5 300
R6 700
R7 2,000
R8 300
R9 800
R10 100
105
Guía MEAL DPro
UNITAS puede usar cualquiera de las tres herramientas para describir la forma en que los datos
anteriores se agrupan alrededor de un valor central. Se debe tomar en cuenta que esto se debe a
que la distancia recorrida para recoger agua es una proporción: el conjunto de datos se expresa en
números, se puede manipular estadísticamente e incluye una medición con cero absoluto (0
metros).
La media
La media (o promedio) es la medida más conocida de tendencia central.
Para calcular la media, se suman todas las respuestas de la pregunta sobre la distancia
recorrida y se divide entre el número de participantes.
(100 +300 +600 +400 +300 +700 +2,000 +300 +800 +100) ÷ 10 = 560 metros
La media solo se puede usar para analizar datos numéricos (ordinales y de proporción o
ratio). Sin embargo, algunas personas creen que se puede calcular la media de los datos
ordinales solo si se tiene la certeza de que la distancia entre los puntos en la escala ordinal
es uniforme. Por ejemplo, ¿Qué tan satisfecho está con su nivel de acceso al agua? (1 = el
más bajo; 10 = el más alto).
La mediana
La mediana también se puede usar para describir la forma en que los datos se agrupan
alrededor de un valor central. Al igual que la media, la mediana se usa para analizar datos
numéricos.
Para calcular la media, complete los siguientes pasos:
● Escriba todos los valores en orden numérico.
100 - 100 - 300 - 300 -300 - 400 - 600 - 700 - 800 - 2,000
● Luego, tache el primer y el último número de la fila hasta llegar al número de en
medio.
100 - 100 - 300 - 300 - 300 - 400 - 600 - 700 - 800 - 2,000
100 - 300 - 300 - 300 - 400 - 600 - 700 - 800
300 - 300 - 300 - 400 - 600 - 700
300 - 300 - 400 - 600
300 - 400
Los conjuntos de datos que contienen un número par de valores, como este, no tendrán un
valor medio. En estas situaciones, se calcula la mediana tomando el promedio de los dos
números en el punto medio del conjunto de datos.
(300 + 400) ÷ 2 = 350
La mediana no se usa con tanta frecuencia como la media, pero es una herramienta
valiosa para verificar si la media proporciona una representación justa de los datos. Si se
encuentra que hay una gran diferencia entre la media y la mediana, entonces podría ser
una señal de que hay valores atípicos (valores inusualmente pequeños o grandes en el
conjunto de datos) que están sesgando la media.
106
Guía MEAL DPro
La moda
La moda establece cual es la respuesta o valor más frecuente en el conjunto de datos. Para
calcular la moda, se debe escribir una tabla de frecuencias e identificar el valor de
respuesta más frecuente:
100 metros = 2 respuestas
300 metros = 3 respuestas
400 metros = 1 respuesta
600 metros = 1 respuesta
700 metros = 1 respuesta
800 metros = 1 respuesta
2,000 metros = 1 respuesta
Entonces, ¿cuál de estos tres cálculos expresa mejor la tendencia central de este conjunto
de datos? Hay tres factores que brindarán información para dar respuesta a esta pregunta:
● ¿Qué tipo de datos se tienen (nominal, ordinal, de intervalo o de proporción)?
● ¿El conjunto de datos tiene valores atípicos o está sesgado?
● ¿Qué se intenta mostrar con los datos?
Como se indicó anteriormente, el conjunto de datos contiene datos de proporción, por lo
que podemos calcular las tres medidas de tendencia central.
Sin embargo, se debe observar que el conjunto de datos de la Figura 56 está sesgado. Más
específicamente, el valor del participante No. 7 (2,000 metros) es un valor atípico
significativo. Esto da como resultado una gran diferencia entre la media (560 metros) y la
mediana (350 metros). Los valores atípicos tienen menos impacto en el cálculo de la media
si el tamaño de la muestra es grande. Sin embargo, en este conjunto de datos, con un
tamaño de muestra de solo 10 hogares, los valores atípicos del encuestado 7 tienen un
gran impacto en el valor de la media.
La mediana es especialmente útil cuando el cálculo de la media no representa justamente
el centro de su conjunto de datos. Este es el caso con el conjunto de datos de la Figura 56.
107
Guía MEAL DPro
Al medir la tendencia central de un conjunto de datos numéricos que está sesgado, se
puede elegir ya sea usar la mediana, o usar tanto la mediana como la media juntas para
expresar la tendencia central. De hecho, los expertos sugieren que el análisis nunca debe
usar una sola medida de tendencia central. Las medidas de tendencia central por sí
mismas pueden ser engañosas. El uso de dos o más aporta más claridad a su análisis.
¿Por qué no usar la moda en el caso anterior? La moda no se usa comúnmente para
analizar conjuntos de datos numéricos. Sin embargo, hay otros tipos de conjuntos de
datos (como los datos nominales) que solo pueden usar la moda para medir la tendencia
central.
Por ejemplo, el cuestionario PDI Río Delta hace una pregunta usando una escala nominal:
“¿Cuál es la principal fuente de agua para los miembros de su hogar?"
Medidas de variabilidad
Las medidas de variabilidad son el tercer conjunto de cálculos utilizados para analizar datos
usando estadísticas descriptivas. Indican la extensión o la variación de los valores en un conjunto
de datos. ¿Son las respuestas muy diferentes entre sí en la escala de posibles respuestas o están
agrupadas en un área? En esta sección, se utilizarán dos herramientas para calcular la variabilidad
del conjunto de datos: el rango y la desviación estándar.
El rango
El rango es la diferencia entre los valores más bajos y más altos de un conjunto de
datos.
El rango es fácil de calcular restando el valor más bajo en el conjunto de datos del valor
más alto. En el caso del conjunto de datos del Río Delta, la distancia más larga recorrida es
de 2.000 metros, y la distancia más corta es de 100 metros. Por lo tanto, el rango es de
1.900 metros.
La desviación estándar
La desviación estándar calcula por cuanto difieren las respuestas (se desvían) de la
media (promedio).
Una desviación estándar alta indica que los valores del conjunto de datos difieren mucho de la
media. Una desviación estándar baja significa que los valores están cerca de la media. Una
desviación estándar cero significa que los valores son iguales a la media.
Por ejemplo, si la estatura promedio de un hombre estadounidense es de 70 pulgadas, con una
desviación estándar de 3 pulgadas, entonces la mayoría de los hombres tienen una altura entre 3
pulgadas más y 3 pulgadas menos que el promedio (67 "–73 "). Se puede analizar los datos
identificando qué porcentaje de hombres estadounidenses se encuentran dentro de una, dos o
tres desviaciones estándar de la media.
Figura 57: la distribución de las estaturas de los hombres adultos en los Estados Unidos
El cálculo de la desviación estándar de un conjunto de datos es mucho más difícil que cualquiera
de los otros cálculos que hemos presentado hasta ahora, especialmente si se hace manual. La
buena noticia es que la mayoría de las bases de datos incluyen funciones para calcular la fórmula
de las desviaciones estándar.
109
Guía MEAL DPro
Una vez que se hayan calculado las estadísticas descriptivas, el proceso de análisis es mucho más
rico, y ayuda a aprender si se detiene en este punto para hacer alguna interpretación básica.
La interpretación de datos no es algo que ocurre a puerta cerrada entre los estadísticos, ni debe
realizarla una persona la noche anterior a la fecha límite de presentación de informes. La mayor
parte de la interpretación de datos no requiere procesos complicados, y las múltiples perspectivas
aportadas a través de una mayor participación pueden ayudar a enriquecer la interpretación, así
como la reflexión, el aprendizaje y el uso de la información. Cualquier recomendación sugerida
puede verse diferente desde la perspectiva de un miembro del personal de la oficina de campo, un
participante, un miembro del personal de la sede, etc. Además, la participación de las partes
interesadas también puede ayudar con la apropiación para el seguimiento y el uso de los hallazgos,
conclusiones y recomendaciones.27
A medida que se realiza una interpretación inicial de los resultados del análisis de datos, se deben
hacer estas preguntas:
● ¿Cuáles son los valores máximos y mínimos para las frecuencias...? ¿Cuál es el rango? ¿Qué
debemos hacer a continuación con nuestro análisis si el rango es muy grande?
● ¿Cuál es la extensión de estos valores? ¿Están agrupados de alguna manera? ¿Es la media
muy diferente a la moda? Si es así, ¿cuál es nuestro próximo paso para el análisis?
● ¿Qué nos muestran nuestras tablas de contingencia? ¿Hay diferencias o similitudes
interesantes entre los subgrupos identificados en nuestro plan de gestión de desempeño?
27 Federación Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja 2011. Guía de monitoreo y evaluación de proyectos /
programas (M&E).
110
Guía MEAL DPro
Análisis inferencial
Las estadísticas descriptivas pueden ser suficientes para satisfacer las necesidades de análisis. Sin
embargo, es probable que se necesite más información, especialmente cuando se evalúan resultados.
Es interesante conocer si los patrones que se ven en la muestra pueden ser ciertos para la población en
general. Y es posible que se desee poder mostrar, estadísticamente, si el proyecto está causando los
cambios que se están viendo. Este tipo de análisis se realiza mediante el cálculo de estadísticas
inferenciales. Es importante tener en cuenta que las estadísticas inferenciales solo son posibles cuando se
tiene una buena muestra aleatoria que genere datos de alta calidad. En particular, la demostración de
causalidad generalmente solo es posible cuando el sistema MEAL está diseñado para facilitar este análisis.
Las estadísticas inferenciales requieren habilidades adicionales; estas proporcionan una comprensión muy
interesante de los resultados. El análisis inferencial ayuda a:
1. Comparar el significado de las diferencias entre grupos: determinar si las diferencias que existen
entre los subgrupos son lo suficientemente grandes como para importar.
2. Examinar la importancia de las diferencias entre las variables para determinar la correlación y,
potencialmente, la causalidad: determinar si las actividades contribuyeron a los cambios que se
están viendo.
Este es el punto en el que se necesitará consultar a los expertos en estadística del equipo. El propósito de
esta sección de la guía es describir estas pruebas estadísticas para qué se pueda observar que es posible.
Esto ayudará a garantizar que los planes de muestreo apoyen las necesidades de análisis.
1. Exploración de la importancia de las diferencias entre subgrupos:
Las pruebas t de student, el análisis de varianza (ANOVA) y las pruebas de chi cuadrado ayudan a
determinar si las diferencias entre las estadísticas descriptivas para los subgrupos son
significativas. Algunas estadísticas inferenciales calculan si las diferencias en las frecuencias son
significativas, mientras que otras las calculan en los promedios. La siguiente tabla describe
brevemente estas tres pruebas principales utilizadas para explorar las diferencias entre los
subgrupos. Es más fácil entender estas pruebas examinando primero la pregunta que pretenden
responder.
111
Guía MEAL DPro
Análisis de la ● La prueba ANOVA compara el resultado ¿La distancia promedio recorrida para recoger
varianza promedio de tres o más grupos para agua varía significativamente entre las aldeas 1,
determinar las diferencias entre ellos. 2, 3 y 4?
Prueba de Chi- ● La prueba de chi-cuadrado funciona con Se espera que la creación de nuevos pozos de
cuadrado frecuencias o porcentajes en forma de agua mejore el acceso al agua y, por lo tanto,
tabla de tabulación cruzada. satisfaga las necesidades de consumo para
● Ayuda a ver la relación (si la hay) entre hogares grandes y pequeños. Una prueba de chi-
las variables y a saber si los resultados cuadrado ayuda a probar estadísticamente esta
son lo que se espera ver. expectativa analizando la información que brinda
la tabla de tabulación cruzada en la Figura 55.
2. Examinando las diferencias entre las variables para determinar la correlación y la causalidad
Las pruebas anteriormente descritas pueden decir si existe una relación estadísticamente
significativa entre dos grupos, lo que puede dar una indicación temprana de los efectos del
proyecto. Pero, la limitación de las pruebas t de student, ANOVA y chi-cuadrado radica en que no
especifican qué variables influyeron en esa relación y cuáles no.
Aquí es donde el análisis de regresión puede ayudar.
El análisis de regresión brinda una comprensión de cómo los cambios en la o las variables
afectan a otra u otras variables. El análisis de regresión es una forma de clasificar
matemáticamente cuál de esas variables [independientes] tiene un verdadero impacto [en
la variable dependiente]. Esta responde a las interrogantes: ¿Qué factores son más
importantes? ¿Qué se puede ignorar? ¿Cómo interactúan esos factores entre sí? Y, quizás
lo más importante, ¿Qué tan seguro se está de todos estos factores?28
El análisis de regresión permite comprender la correlación. En otras palabras, este tipo de análisis
dará una idea de cuán estrechamente están relacionadas las variables.
28 Gallo A. 4 de noviembre de 2015. Un repaso sobre el análisis de regresión . Harvard Business Review
112
Guía MEAL DPro
Es importante tener en cuenta que la correlación no implica necesariamente causalidad.
La causalidad es cuando los cambios en una o más variables son el resultado de cambios
en otras variables.
Por ejemplo, si el análisis muestra una correlación entre los mensajes de lavado de manos, las
prácticas mejoradas de lavado de manos y la reducción de enfermedades transmitidas por el agua,
no necesariamente se puede decir que el proyecto causó estos cambios.
Es extremadamente difícil probar la causalidad: decir con 100 % de certeza que un proyecto causó
un cambio particular. Esto es especialmente cierto cuando se trabaja en el "mundo real", fuera de
un entorno de laboratorio. Sin embargo, existen dos estrategias que pueden usarse para aumentar
la confianza en que la causalidad existe entre las variables:
Escenarios contrafactuales y grupos de control: El uso de escenarios contrafactuales y grupos de
control es una estrategia generalmente utilizada en evaluaciones de impacto. Estas evaluaciones
están diseñadas para comprender la causa y el efecto entre un proyecto y los resultados que se
observan. El "escenario contrafactual" mide lo que le sucede al "grupo de control", un grupo de
personas que no están involucradas o afectadas por un proyecto. Durante el análisis y la
interpretación, se comparan los resultados de la muestra del proyecto con el grupo de control en
un esfuerzo por demostrar la causalidad. Este tipo de estudio requiere una gran cantidad de
planificación y estructura, lo que incluye un diseño de muestreo riguroso. El problema con esta
estrategia es que no todos los proyectos tienen los recursos y la capacidad para diseñar un análisis
riguroso del impacto que incluya a los grupos de control.
Enfoques de métodos mixtos: Muchos expertos creen que es posible tener un mayor nivel de
certeza sobre la causalidad si se utiliza una mezcla de evidencia para triangular los resultados. Por
ejemplo, se puede recopilar datos a través de un cuestionario cuantitativo; entrevistas
semiestructuradas cualitativas y observación directa y sistemática en el sitio del proyecto. Si estos
tres métodos de recopilación de datos y el análisis resultante llevan a la misma conclusión,
entonces se han triangulado los datos y potencialmente se han demostrado bases más sólidas
para la causalidad.
Contribución: Una alternativa a la causalidad
Los expertos en MEAL entienden lo difícil que es confiar en la causalidad en entornos de desarrollo como
lo es el caso UNITAS. Como resultado, se ha desarrollado una alternativa llamada análisis de contribución.
Aquellos que abogan por el análisis de contribución sugieren que, si bien la causalidad puede ser
demasiado difícil de probar, la contribución no es tan difícil y puede ser suficiente para sus necesidades de
información. El análisis de contribución se utiliza en situaciones en las que no son posibles los procesos
rigurosos de muestreo y de recopilación de datos, y no sería realista intentar establecer la causalidad
estadística. En lugar de preguntar ¿Nuestro proyecto causó los cambios que observamos?, estos expertos
preguntan: “¿Contribuyó nuestro proyecto a los cambios que observamos?"
El análisis de contribución es un proceso que claramente delimita una "historia" de contribución
que sigue de manera transparente estos seis pasos:
● Definir claramente las preguntas que necesitan ser respondidas
113
Guía MEAL DPro
● Definir claramente la teoría del cambio del proyecto y sus riesgos asociados
● Recopilar la evidencia existente que respalda la teoría del cambio (marcos conceptuales)
● Reunir y evaluar la historia de contribución del propio proyecto
● Buscar evidencia adicional cuando sea necesario
● Revisar y concluir la historia de contribución
Al seguir y documentar estos pasos, el análisis de contribución puede demostrar que un proyecto
contribuyó al cambio.
El análisis cualitativo a menudo se denomina "análisis de contenido" y requiere que se revisen varias veces
los datos (contenido) para que la información se vuelva más manejable. El proceso de familiarización con
los datos generará temas que se utilizarán en el análisis. Revisar múltiples veces los datos es
especialmente importante en el análisis cualitativo, ya que se necesita conocer muy bien la información
para generar temas e interpretaciones confiables. También implica la inclusión de múltiples perspectivas
en el análisis.
El análisis cualitativo comienza con los datos sin procesar, que pueden tomar muchas formas. Se podrían
tener grabaciones de entrevistas o notas de las conversaciones de los grupos focales. Los datos sin
procesar deben organizarse para que sean fáciles de revisar. Si se están utilizando notas bien transcritas de
entrevistas y de los grupos focales, es posible que no se necesite hacer mucho en esta etapa. Pero, si se
tienen grabaciones y notas, o notas que son difíciles de revisar por varias personas, será útil hacer algún
trabajo con los datos antes de analizarlos. Es posible que se necesite hacer alguna transcripción de las
grabaciones. O bien, podría ser necesario reescribir las notas que se tomaron en taquigrafía. Hay que
asegurar siempre que el documento final esté escrito en el idioma que se utilizará en el análisis; por esta
razón, la traducción puede ser necesaria.
Una vez que se haya organizado los datos sin procesar, se necesitará completar los siguientes pasos:
Eventualmente, estos códigos se mapearán en una matriz que ayudará a visualizar los datos y a
comenzar a interpretar su significado. (Véase el paso 4.)
115
Guía MEAL DPro
Hay teorías que compiten sobre la codificación, que no se pueden tratar en esta guía. Sin
embargo, es útil tener en cuenta las diferencias entre la codificación deductiva y la codificación
inductiva.
La codificación deductiva es un enfoque para codificar en el que se desarrollan códigos
antes de revisar los datos. Durante la revisión, los códigos se asignan a los datos.
La codificación inductiva es un enfoque para codificar en el que se desarrollan los códigos
a medida que se revisan los datos, utilizando las palabras específicas que los propios
participantes mencionaron. Los códigos se construyen y modifican durante el propio
proceso de codificación.
La codificación deductiva utiliza etiquetas en los datos que se relacionan con las preguntas de la
herramienta, que, por supuesto, se relacionan con los indicadores del plan de gestión de
desempeño y las preguntas en los términos de referencia de evaluación. Por otro lado, la
codificación inductiva, significa que se crean códigos con base en los temas que surgen
naturalmente de la experiencia de los participantes tal como se registran en los datos. En este
caso, se utilizan las propias palabras de los participantes para crear los códigos. Es útil practicar
ambos métodos de codificación. La codificación deductiva puede ayudar a organizar los códigos y
análisis, mientras que la codificación inductiva ayuda a identificar nuevas ideas. La codificación
deductiva rara vez identifica todos los códigos que se necesitará antes de analizar los datos. Esa es
la belleza del análisis cualitativo; plantea muchos temas interesantes y conocimientos que quizás
no se hayan pensado antes.29 Por esa razón, utilice una combinación de codificación deductiva e
inductiva para llegar a los resultados más completos.
Paso 2: Datos del índice
Al comenzar a leer las transcripciones, es posible que se necesite hacer coincidir los conceptos y
las citas relevantes con los códigos que se han identificado. Esto se denomina indexación, un paso
que se utiliza a menudo cuando se clasifican grandes cantidades de datos cualitativos. Al indexar
los datos, esencialmente se etiqueta el contenido de las transcripciones utilizando los códigos del
paso anterior. A continuación, se crea una lista de esas etiquetas y de dónde se encuentran en los
datos en forma de índice.
Una vez que se haya indexado el contenido, se podrán revisar los códigos y se encontrará más
fácilmente los diferentes conceptos y citas relevantes relacionadas con los códigos de las
transcripciones. También se podrá identificar qué tan denso es un código; con qué frecuencia
aparece el código y dónde, en relación con los otros códigos que se han creado. La indexación es
especialmente importante, si se necesita volver para encontrar una idea o una cita digna de
atención que se desee mencionar cuando se estén presentando los resultados.
Paso 3: Marco de datos
En este punto, se comienza a poner los datos cualitativos con los que se está trabajando en una
forma en que se puedan entender. El método más utilizado para describir datos cualitativos es una
matriz, a veces denominada enfoque de marco de trabajo, que organiza los datos según las
29 Alkin MC y Vo AT. 2018. Elementos esenciales de evaluación de la “A” a la ”Z”. Guilford Press.
116
Guía MEAL DPro
categorías en que son útiles. La estructura de una matriz variará dependiendo del tipo de
recopilación de datos que se esté haciendo. Por ejemplo, una matriz que incluye datos de
entrevistas semiestructuradas puede mostrar al participante a lo largo de la columna izquierda y
las preguntas a lo largo de la fila superior. Las respuestas se incluyen en el cuadro correspondiente
a la pregunta y al participante.
Los datos que surgen de las discusiones de grupos focales pueden estructurarse de otra manera,
dependiendo de la naturaleza del grupo y de las necesidades de información. Por ejemplo, se
podría crear una matriz para un grupo determinado en una ubicación, otra para un subgrupo
dentro del grupo focal en esa ubicación, e incluso una que compare los resultados de los
subgrupos en varias ubicaciones.
La Figura 59 muestra una matriz creada para analizar los datos recopilados de las preguntas
formuladas durante las discusiones de grupos focales realizadas en dos pueblos. Para cada sesión,
el líder del grupo focal hizo preguntas relacionadas con las necesidades de consumo de los
hogares, y si los nuevos pozos de agua ayudaron a satisfacer esas necesidades. Los participantes
incluyeron jefes de hogares pequeños y grandes en cada pueblo (hogares pequeños son familias
de cuatro o menos miembros y hogares grandes constan de cinco o más miembros).
El equipo del proyecto creó primero matrices de análisis para las respuestas de cada grupo focal
en cada pueblo, incluyendo una matriz para cada subgrupo. Luego, esas respuestas se resumieron
en esta matriz en el campo correspondiente a su pueblo y tamaño de hogar.
Figura 59: Matriz de análisis cualitativo: “El acceso al agua satisface las necesidades de consumo de mi
hogar".
Pueblo 1 Acceso: generalmente está bien, pero Acceso: mucho mejor que antes
necesita visitar el pozo de agua a menudo
durante el día. Necesidades de consumo: satisface las
necesidades de consumo. Consenso de que 30
Necesidades de consumo: no hay consenso L por persona por día es aceptable.
sobre si 30 L por persona por día es suficiente.
Algunos requieren más para lavar y cocinar Ubicación: la nueva ubicación no es segura
que otros. para los niños, por lo que necesita enviar a un
adulto o niño mayor para recoger agua. Pero
Ubicación: todavía demasiado lejos para feliz en general con el hecho de que está más
algunos. No hay consenso. cerca.
Calidad: huele y sabe diferente, pero Calidad: huele y sabe diferente, pero es
generalmente es aceptable. mucho mejor que antes.
117
Guía MEAL DPro
Pueblo 2 Acceso: todos están de acuerdo en que la Acceso: algunos se quejan de que algunas
nueva ubicación del pozo de agua es una gran familias tienen más acceso que otras en la
mejora. nueva ubicación.
Una matriz ayuda a visualizar y a comenzar a interpretar los datos cualitativos, lo que le permite
llegar a conclusiones significativas. La matriz de análisis cualitativo también es una buena
herramienta para apoyar conclusiones, las cuales se pueden presentar a las partes interesadas si
es necesario. Se debe recordar que, al crear la matriz, el número de filas y columnas que se utilice
dependerá del contexto, del número de preguntas que se formulen y del tipo de respuestas que se
reciban. Se puede imaginar toda una pared cubierta con notas adhesivas, con las respuestas
codificadas generadas por una sala llena de partes interesadas, que discuten sobre los datos. La
codificación y las matrices ayudarán a darle sentido a todos los datos.
El análisis cualitativo es flexible. Se pueden utilizar o adaptar los pasos descritos anteriormente
para ajustarse a cada contexto y situación. Básicamente, es muy importante incorporar una amplia
variedad de perspectivas en el análisis, así como lo es en la recopilación de datos. Por lo tanto,
muchos expertos aconsejan hacer este análisis como un taller participativo en el que se involucran
diferentes partes interesadas.
118
Guía MEAL DPro
Se debe considerar la posibilidad de seguir estos pasos para asegurar que los productos son eficaces,
especialmente si se tiene la intención de utilizar la visualización de datos para ayudar a la comunicación
con las partes interesadas (por ejemplo, en un informe):
Antes de diseñar la visualización, se deben identificar las audiencias clave. Hay que consultar la
planificación de las comunicaciones y crear la visualización de acuerdo con las partes interesadas
identificadas. Se debe tener en cuenta que las personas tienen diferentes estilos de aprendizaje.
Consultar el plan de comunicaciones para determinar el contenido de lo que "se necesita saber"
para cada una de las partes interesadas identificadas. A continuación, determinar dónde será más
útil una herramienta visual en función de los hallazgos, necesidades de información y los datos que
se tengan disponibles.
Los miembros del equipo con habilidades y experiencia en software digital pueden crear
visualizaciones de datos utilizando los prototipos que se desarrollaron en un pequeño grupo o
taller. Algunas de estas herramientas de visualización se pueden crear en Microsoft Excel, si ese es
el software que se está utilizando para organizar y analizar los datos. Para muchos, sin embargo,
se necesitará la ayuda de un miembro del equipo que sea experto en software digital y
visualización. La colaboración entre expertos digitales y el personal de MEAL será necesaria para
crear visualizaciones más complejas.
119
Guía MEAL DPro
Figura 60: Ejemplos y uso de escenarios de herramientas de visualización de datos
Herramienta Uso
Gráfica de barras
● Muestra varias respuestas en diferentes subgrupos o puntos en el
tiempo.
● Resulta útil cuando se presentan varias respuestas para solo unos pocos
subgrupos o puntos en el tiempo.
● No es apropiado cuando las respuestas dadas son numéricas o iguales al
100 % en total.
Gráfica circular
● Muestra la composición del conjunto de datos cuando las piezas del
componente suman el 100 %.
● Resulta útil cuando se muestran los diferentes subgrupos o los datos
demográficos representados dentro de un conjunto de datos.
● No es apropiado con varios valores (más de cinco, etc.) representados o
cuando el total no es igual al 100 %.
Gráfica de líneas
● Muestra las tendencias en diferentes puntos en el tiempo.
● Resulta útil cuando se realiza un seguimiento del cambio en muchos
puntos en el tiempo.
● No es apropiado para mostrar datos acumulativos o al comparar varias
(más de cinco) tendencias diferentes.
120
Guía MEAL DPro
Gráfica de dispersión
● Muestra la relación entre dos variables continuas (es decir, cantidad de
cosecha o escala de calificación) o distribución dentro de un conjunto de
datos.
● Útil cuando se buscan patrones o valores atípicos y para la correlación en
grandes conjuntos de datos.
● No es apropiado cuando se usan variables binarias (sí / no, etc.) o con
muy pocos puntos de datos.
Mapa de calor
● Muestra la distribución de resultados en un área geográfica, con
mayores distribuciones representadas por una mayor intensidad de color
("más acentuado") (en este caso, rojo).
● Útil cuando se cubre una región o distrito completo.
● No es apropiado para demostrar el cambio dentro de un subgrupo o
entre diferentes puntos en el tiempo.
Histograma de línea
● Muestra la distribución con un rango de datos numéricos.
● Útil cuando se busca el rango para acompañar un valor promedio.
● No es apropiado cuando se presentan datos categóricos (datos que se
pueden dividir en grupos mutuamente excluyentes), se dan respuestas
múltiples o cuando se da seguimiento a los cambios a lo largo del
tiempo.
Tableros de datos
Visualmente muestra una colección de puntos de datos clave para
monitorear el estado de un proyecto. Un tablero puede incluir múltiples
herramientas de visualización, así como sus subcomponentes.
121
Guía MEAL DPro
5.5 Interpretación de datos cuantitativos y cualitativos
El análisis cuantitativo genera frecuencias, promedios y niveles de diferencias existentes en los datos. El
análisis cualitativo identifica temas y patrones. Ambos tipos de análisis necesitan interpretarse para dar
sentido a la información que ofrecen. Junto con el equipo y otras partes interesadas importantes, se debe
interpretar el conjunto de datos dándole significado. El significado que se le da es la historia del proyecto,
la historia que utilizará para tomar decisiones y para compartir resultados con los demás.
Al igual que con el análisis, los documentos de planificación ayudarán a decidir cuándo interpretar. Se
debe interpretar después de analizar y visualizar, aunque el proceso a menudo es reiterativo. La
interpretación puede llevar a la necesidad de una mayor recopilación de datos para nuevamente analizar e
interpretar y así sucesivamente. No hay ningún proceso prescrito para interpretar los datos, pero hay
varias prácticas recomendadas para una mejor interpretación a través de una mayor participación y
pensamiento crítico. Estas incluyen:
● Crear visualizaciones de los resultados para ayudar a las personas a comprender e interpretar
mejor sus datos. Se debe asegurar que las visualizaciones se utilizan para ofrecer el panorama
completo de los datos y que no sean engañosos.
● Triangular datos mediante la presentación conjunta de los resultados del análisis, tanto
cuantitativo como cualitativo, para que pueda comparar dichos resultados.
● Convocar a una reunión de partes interesadas para interpretar los datos. En esta reunión se debe
involucrar a las partes interesadas con diferentes perspectivas sobre el proyecto. La incorporación
de múltiples perspectivas en su interpretación es fundamental para la creación de información
que será útil y fiable para ayudar a que el proyecto mejore.
● Planificar una cantidad adecuada de tiempo para analizar e interpretar datos. Como se ha indicado
a lo largo de este capítulo, el proceso de análisis e interpretación lleva tiempo. Es importante
asegurarse de que estos procesos formen parte del plan general de implementación del proyecto.
● Garantizar que los roles y las responsabilidades en torno a la interpretación sean claros. Por lo
general, el equipo de MEAL realiza el análisis inicial mientras el personal del proyecto organiza y
facilita los eventos de interpretación.
A medida que el equipo y las partes interesadas realizan la interpretación de los datos, se necesita tener en
cuenta la interpretación (así como los resultados y recomendaciones posteriores) a través de la misma
perspectiva que se utilizó para ver la calidad de los datos. Por ejemplo:
● Validez su interpretación se considera más válida si se puede demostrar claramente que se basa
en datos que se respaldan directamente.
● Confiabilidad la interpretación se considerará más confiable si se puede demostrar la consistencia
de los métodos de análisis y su uso en varios conjuntos de datos.
● Integridad la interpretación se considerará más íntegra si se puede demostrar que se basa en
procesos de recopilación y análisis de datos que están relativamente libres de errores y sesgos.
Limitaciones de datos para tener en cuenta durante la interpretación
El proceso de interpretación debe considerar que el tipo de datos que tiene limita la capacidad para hacer
interpretaciones y llegar a conclusiones. Los métodos de recopilación de datos elegidos y los diseños de
muestreo relacionados determinan el tipo y la calidad (utilizando los estándares descritos anteriormente)
122
Guía MEAL DPro
de los datos que se tienen disponibles. El tipo de datos que se tienen determina el tipo de pruebas que se
pueden hacer y, por lo tanto, el tipo de conclusiones y recomendaciones que se pueden desarrollar.
Mientras se interpretan los datos, siempre se debe estar consciente y tener en cuenta los diversos tipos de
sesgo que pueden estar presentes en la interpretación. Hay diferentes tipos de limitaciones y sesgos a
considerar:
● Limitaciones relacionadas con el tipo de datos. Con respecto a los datos cualitativos, se debe
tener muy claro el hecho de que estos representan solamente las perspectivas de las personas que
participan en las discusiones del grupo focal o en el conjunto de entrevistas. No deben utilizarse
para hacer generalizaciones amplias sobre la población. Sin embargo, esta información se puede
utilizar para respaldar otros hallazgos, tales como los que se generan mediante el uso de datos
cuantitativos.
Los datos cuantitativos generan diferentes desafíos de interpretación. En teoría, los datos
cuantitativos, si se recopilan y analizan rigurosamente, pueden ayudarle a generalizar y a hacer
declaraciones respecto a la correlación e incluso respecto a la causalidad. Sin embargo, la
recopilación de datos cuantitativos es, por naturaleza, bastante limitada en la amplitud de la
información que recopila. Las respuestas "Sí" o "No" son claras y concisas. Pero no cuentan toda la
historia. Los datos cuantitativos pueden indicarle si algo ha ocurrido, pero posiblemente no
explican por qué. Siempre que sea posible, combine interpretaciones de datos cuantitativos con
interpretaciones de apoyo a partir de datos cualitativos.
El muestreo intencional, por otro lado, se utiliza para comprender mejor un contexto o situación
específica, generalmente uno en el que se espera triangular los datos. A veces, los mejores
esfuerzos para recopilar datos de acuerdo con el plan de muestreo intencional no tienen éxito. Por
ejemplo, tal vez solo se pudo llevar a cabo una discusión de grupo focal con familias pequeñas
mientras que se tienen tres conjuntos de datos de familias más grandes. Cualquier resultado que
se informe debe tener en cuenta esta situación y hacerla explícita.
Además, cualquier interpretación o comparación que se realice en relación con los subgrupos solo
es posible si la estrategia de muestreo lo permite. Si los planes de análisis identificaron grupos
basados en el tamaño del hogar y los métodos de recolección incorporaron esta estratificación (es
decir, se recopiló información de hogares grandes y pequeños), entonces se podrá analizar e
interpretar los datos usando estos subgrupos. Si los datos no se recopilaron de esta forma,
entonces no se podrá hacer estas distinciones.
123
Guía MEAL DPro
● Limitaciones relacionadas con la calidad de los datos. Se debe ser explícito acerca de cualquier
problema de calidad existente con cualquier dato y sobre cómo podría influir este en la
interpretación. La información que se recopile nunca será perfecta. Los cuestionarios tendrán
respuestas omitidas, los líderes de los grupos focales pueden influir involuntariamente en los
participantes y las respuestas espontaneas pueden ser mal entendidas. La interpretación tanto de
datos cuantitativos como de datos cualitativos debe incorporar la comprensión de cualquier
problema de calidad de datos.
Se debe ser transparente sobre todas las limitaciones del análisis e interpretación. Por ejemplo,
cuando se escriban los hallazgos en un informe, se debe asegurar incluir las limitaciones al lado de
estos.
El sesgo de muestreo es cuando ciertos tipos de participantes son más propensos que
otros de ser incluidos en la muestra, como en el muestreo de conveniencia y el sesgo de
respuesta voluntaria. Este sesgo compromete la validez de la muestra aleatoria.
El sesgo de análisis de datos se produce cuando el análisis incluye, intencional o
involuntariamente, prácticas tales como:
● Eliminación de datos que no respaldan una determinada conclusión.
● Uso de pruebas estadísticas que no son adecuadas para el conjunto de datos.
El sesgo de interpretación de datos se produce cuando la interpretación no refleja la
realidad de los datos. Por ejemplo, el equipo de análisis puede:
124
Guía MEAL DPro
Sesgo de comunicación y publicación de datos Esto ocurre cuando quienes publican o
informan sobre los resultados del proyecto actúan con negligencia; por ejemplo, cuando
consideran todos los resultados por igual, ya sean positivos o negativos. Hay muchas
historias de éxito publicadas y comunicadas, pero no son tantas como las historias de
"fracaso" o las historias de "lecciones aprendidas".
Participación: Colaborar con las partes interesadas para validar los temas de análisis de datos y
las conclusiones
Validar o probar los temas y las conclusiones que se generan a partir del análisis de datos es
siempre parte importante del proceso. La inclusión de múltiples partes interesadas tiene
beneficios claros al validar temas y conclusiones.
La forma más sencilla de validar los temas y las conclusiones del análisis de datos es
simplemente preguntar a las fuentes, si se han capturado correctamente sus opiniones y
pensamientos, a través de los temas generados. Al incluir múltiples y variadas perspectivas, es
más probable que se soliciten explicaciones diferentes sobre los resultados que se observan.
Una manera de promover esta dinámica es pedirse a sí mismo y a los demás que asuman el
papel de "escépticos". Esto implica preguntar a las partes interesadas, ¿Qué pasa si lo que
encontré NO es cierto? Validar los resultados a través de múltiples perspectivas de las partes
interesadas, puede ayudar a revelar sesgos que pueden haber entrado en el análisis consciente
o inconscientemente.
● ¿Puede pensar en un ejemplo de alguna ocasión en que sus temas y conclusiones
del análisis de datos estaban incompletos o sesgados?
● ¿Se habrían mejorado los resultados al incorporar una variedad de objetivos
de las partes interesadas? ¿Cómo?
● ¿Qué medidas prácticas podría tomar para colaborar más estrechamente con las
partes interesadas cuando se validan los temas y conclusiones del análisis de datos?
125
Guía MEAL DPro
6.1 Introducción
Ahora llegamos a lo que muchos consideran la fase más
importante del ciclo, donde se tiene la oportunidad y la
obligación de usar la información de MEAL para la toma
de decisiones. De hecho, un enfoque disciplinado en el
uso final de la información habrá alimentado decisiones
con información a lo largo de los procesos descritos en
los capítulos del 1 al 5.
Los datos de MEAL son fundamentales para la gestión del proyecto y del MEAL, así como para la
comunicación de los resultados del proyecto a las partes interesadas.
En este capítulo, se explora el propósito y la práctica de utilizar los datos de MEAL para informar sobre la
gestión y dirección del proyecto, a través de una discusión sobre la gestión ajustable. Este capítulo
también incluye orientaciones para satisfacer las principales necesidades de información de las partes
interesadas, en particular en lo que respecta a la presentación de informes sobre los progresos realizados
y evaluaciones.
Los líderes fomentan la estandarización y el control Los líderes fomentan la interacción y el cambio.
Una cultura de gestión ajustable es el resultado de una serie de inversiones intencionales relacionadas con
el diseño del proyecto, la dotación de personal, el presupuesto, la toma de decisiones y más. Un proyecto
que aplica una gestión ajustable responderá afirmativamente a las preguntas de la Figura 62.
Figura 62: ¿El proyecto está diseñado para promover la gestión ajustable?
30 Valters C, Cummings C, Nixon H. 2016. Colocar el aprendizaje en el centro: Programación del desarrollo ajustable en la práctica .
Overseas Development Institute.
127
Guía MEAL DPro
¿El proyecto acepta Su proyecto hace esto al ...
y promueve el ● Promover la flexibilidad, adaptabilidad y emprendimiento.
cambio? ● Revisar los modelos lógicos y los planes de implementación para promover el
aprendizaje.
● Promover y premiar la innovación.
Sin embargo, si bien la incidencia de enfermedades transmitidas por el agua no disminuyó tan
significativamente como se esperaba, muchos otros valores pintaron una imagen más positiva del
proyecto:
● Los datos cualitativos recopilados a través de discusiones de grupos focales indicaron, que los
miembros de la comunidad y otras partes interesadas locales describieron el proyecto como muy
valioso y, como responsable de cambios positivos para las comunidades.
● Los datos relacionados con el resultado intermedio 2 (las personas desplazadas internamente
mejoran sus prácticas de lavado de manos) indicaron que, si bien las tasas de adopción variaron
según la comunidad, algunas de ellas habían logrado un progreso significativo respecto al
cumplimiento de sus objetivos de adopción de lavado de manos.
Faltaba un mes para la fecha límite de presentación de informes anuales del donante del proyecto y el
equipo de UNITAS no estaba seguro de cómo interpretar los datos. A algunos miembros les preocupaba
que el proyecto tuviera fallas fundamentales. Les preocupaba que la teoría del cambio fuera incorrecta o
que hubieran omitido un supuesto esencial. Otros sintieron que había mensajes opuestos en los datos y
que era demasiado pronto para suponer que el proyecto tenía fallas.
La oficial de MEAL de UNITAS solicitó tiempo extra para analizar más a fondo los conjuntos de datos.
Primero analizó los datos relacionados con la reducción de la incidencia de enfermedades desglosando los
resultados por género. Ella trató de determinar si las tasas de disminución diferían entre los hogares
encabezados por hombres y mujeres. Pero, los datos desglosados no proporcionaron información
adicional.
Después de realizar varios cálculos adicionales, el asesor de MEAL utilizó los datos existentes para explorar
otra pregunta que quería evaluar: ¿Las comunidades que adquirieron prácticas mejoradas de lavado de
manos, redujeron su incidencia de enfermedades transmitidas por el agua más significativamente que las
comunidades que no lo hicieron?
Luego desglosó los datos sobre la incidencia de enfermedades transmitidas por el agua en dos grupos:
"comunidades con alta adopción" que habían mejorado sus prácticas de lavado de manos, y "comunidades
de baja adopción" que no habían cambiado sus prácticas de lavado de manos. Al observarse los datos a
través de las perspectivas de estos dos grupos se transmitió una historia completamente nueva. Si bien el
progreso general en la reducción de las enfermedades transmitidas por el agua fue de bajo rendimiento;
esta reducción entre las comunidades de alta adopción fue notable.
Con esta nueva interpretación de datos, el equipo de UNITAS pudo comunicarle confiadamente al donante
129
Guía MEAL DPro
dos hallazgos:
1. La teoría del cambio no tenía fallas y siguió siendo relevante para el contexto y el problema del
proyecto
2. La inversión en mejores prácticas de lavado de manos fue clave para reducir la incidencia de las
enfermedades transmitidas por medio del agua.
Al compartir estos resultados en el informe anual del donante, el equipo de UNITAS visualizó los datos
mediante la creación de un mapa de calor que ilustró las prácticas mejoradas de lavado de manos por
pueblo y la forma en que se relacionan con la reducción de enfermedades transmitidas por el agua. La
narrativa del informe también recomendó actividades para mejorar la adopción de prácticas mejoradas de
lavado de manos en comunidades que no las adoptaron. Las estrategias sugeridas incluyen:
● Programar entrenamientos en diferentes momentos para que los niños mayores y los adultos
jóvenes puedan asistir.
● Asegurar que los mercados locales tengan suficiente jabón disponible a la venta.
● Confirmar que hubiera acceso confiable al agua y jabón en todas las instalaciones sanitarias (área
de letrinas).
● Realizar cursos de actualización para las comunidades con baja adopción de lavado de manos.
En respuesta al informe, el donante aprobó cambios en los planes del proyecto. Estos incluyen lo
siguiente:
● Insertar nuevas actividades en el marco lógico del proyecto, en el presupuesto y en el diagrama de
Gantt. Estas actividades incluyeron proporcionar cursos de actualización en comunidades de baja
adopción y monitoreo de la disponibilidad de jabón a través de verificaciones del mercado.
● Actualizar el plan de gestión de desempeño y la IPTT para incluir nuevos subgrupos de análisis
(comunidades de alta y baja adopción).
Luego, las actualizaciones del plan del proyecto se compartieron con los líderes de la comunidad, a
quienes se invitó a que aportaran ideas sobre cómo hacer que la capacitación de actualización fuera más
interesante y efectiva.
Mediante el uso cuidadoso y diligente de los datos de su sistema de MEAL, el equipo de UNITAS pudo
realizar mejoras significativas en el proyecto. Mediante una combinación de interpretación profunda,
visualización de datos y administración adaptativa, durante los siguientes 12 meses, el proyecto pudo
aumentar la adquisición de mejores comportamientos de lavado de manos en todas las comunidades de
personas desplazadas internamente. Esto, a su vez, dio como resultado que el proyecto cumpliera su
objetivo estratégico de reducir la incidencia de enfermedades transmitidas por el agua.
Al finalizar el proyecto de 3 años, el aprendizaje del Proyecto PDI Río Delta se codificó en un estudio de
caso que se compartió internamente y se publicó en el blog de UNITAS. El gerente del proyecto UNITAS
también hizo varias presentaciones en conferencias sobre la relación entre las prácticas de lavado de
manos y la reducción en la incidencia de enfermedades transmitidas por el agua.
130
Guía MEAL DPro
Glosario
Accountability: es un compromiso para equilibrar y responder a las necesidades de todas las partes
interesadas (incluye a los participantes del proyecto, los donantes, los socios y a la propia organización) en
las actividades del proyecto. En algunos contextos se ha utilizado el término de rendición de cuentas
como el término en español más cercano a accountability, sin embargo, en otros contextos este término
está limitado únicamente a aspectos contable-financieros.
Actividades: se refiere al trabajo que se llevará a cabo para entregar los productos del proyecto.
Ámbitos de cambio son las amplias áreas estratégicas de intervención, que contribuyen más directamente
al logro del objetivo a largo plazo de la ToC.
Análisis de contribución: este es un proceso paso a paso que claramente delimita una "historia" de
contribución que sigue de manera transparente estos seis pasos:
● Definir claramente las preguntas que necesitan ser respondidas
● Definir claramente la teoría del cambio del proyecto y sus riesgos asociados
● Recopilar la evidencia existente que respalda la teoría del cambio (marcos conceptuales)
● Reunir y evaluar la historia de contribución del propio proyecto
● Buscar evidencia adicional cuando sea necesario
● Revisar y concluir la historia de contribución
Análisis de datos: es el proceso de llevar orden y estructura a los datos recopilados. Convierte piezas
individuales en información que se puede usar. Esto se logra mediante la aplicación de métodos
sistemáticos para comprender los datos, buscando tendencias, agrupaciones u otras relaciones estadísticas
entre los diferentes tipos de datos.
Análisis de regresión: brinda una comprensión de cómo los cambios en la o las variables afectan a otra u
otras variables. El análisis de regresión es una forma de clasificar matemáticamente cuál de esas variables
[independientes] tiene un verdadero impacto [en la variable dependiente]. Esta responde a las
interrogantes: ¿Qué factores son más importantes? ¿Qué se puede ignorar? ¿Cómo interactúan esos
factores entre sí? Y, quizás lo más importante, ¿Qué tan seguro se está de todos estos factores?
Análisis descriptivo de datos: describe patrones y características de un grupo en particular, generalmente
de la muestra.
Análisis inferencial de datos: permite utilizar datos de muestras para hacer generalizaciones estadísticas
sobre las poblaciones de las que se extrajeron los datos.
Anonimato: es la eliminación de datos de cualquier información identificable, lo que hace imposible
obtener información sobre una persona individual, incluso por el responsable de dicha eliminación..
Aprendizaje (Lecciones aprendidas): hacer tiempo y tener procesos listos para la reflexión intencional.
Aprendizaje organizacional: es el proceso por el cual una organización descubre y se adapta a nuevos
conocimientos.
Áreas de los cambios: son las amplias áreas estratégicas de intervención que contribuyen más
directamente al logro del objetivo a largo plazo de la teoría del cambio del proyecto.
● Atribución: ¿Pueden los datos demostrar de manera realista que el proyecto causó los cambios
identificados?
● Busca evidencia adicional cuando sea necesario
Cambio a largo plazo: es el impacto duradero deseado que la intervención pretende apoyar.
131
Guía MEAL DPro
Causalidad: es la capacidad de indicar que los cambios en una o más variables son el resultado de
cambios en otras variables.
Condiciones previas: son los componentes básicos de la teoría del cambio. Son los requerimientos que
deben existir para que se produzca el cambio a largo plazo.
Correlación: es una medida estadística (generalmente se expresa como un número) que describe el
tamaño y la dirección de la relación entre dos o más variables.
Criterios de evaluación: son un conjunto de principios que guían el desarrollo de preguntas de evaluación
y el proceso de planificación de la evaluación general. Entre ellos, se incluyen:
Relevancia es la medida en que el proyecto es importante para las prioridades, necesidades y
oportunidades del grupo objetivo, del destinatario y del donante.
Eficiencia es la medida en que el proyecto utiliza los recursos menos costosos posibles para lograr
los resultados deseados. Esto generalmente requiere comparar enfoques alternativos para lograr
los mismos productos, para ver si se ha adoptado el proceso más eficiente.
Eficacia es la medida en que un proyecto alcanza sus objetivos.
Impacto son los cambios positivos y negativos producidos por una intervención de desarrollo,
directa o indirecta, planificada o no.
Sostenibilidad es la medida en que es probable que los beneficios de un proyecto continúen
después de que se haya retirado el apoyo (monetario y no monetario).
Cuestionario: Es un conjunto estructurado y cuantitativo de preguntas diseñadas para obtener
información específica de los encuestados.
Datos de intervalo: son datos que se expresan en números y que pueden analizarse estadísticamente.
Datos de proporción (ratio): se expresan en números, con el elemento agregado de un valor de "cero
absoluto".
Datos nominales: son aquellos que se recopilan en forma de nombres (no números) y que están
organizados por categoría.
Datos ordinales: tienen un orden en sí mismos. Se pueden clasificar de menor a mayor.
Depuración de datos: es la detección y eliminación de errores e inconsistencias de los datos para mejorar
su calidad.
Desagregación: es la práctica de dividir los datos recopilados de una población en grupos de acuerdo con
las características clave: género, religión, edad, etc. La desagregación permite la identificación de
tendencias, patrones o información que no serían evidentes si los datos se examinaran en su conjunto.
Desviación estándar: calcula por cuanto difieren las respuestas (se desvían) de la media (promedio).
Una desviación estándar alta indica que los valores del conjunto de datos difieren mucho de la media. Una
desviación estándar baja significa que los valores están cerca de la media. Una desviación estándar cero
significa que los valores son iguales a la media.
Diagrama de Gantt: es un diagrama de barras que ilustra el tiempo de la programación de un proyecto.
Discusión de grupo focal: es una conversación guiada entre los participantes en un grupo. Es una
herramienta de recopilación de datos cualitativa diseñada para explorar y comprender la amplia riqueza y
el contexto de las perspectivas, opiniones e ideas de un grupo.
Discusiones de Aprendizaje a la acción (LAD): son debates específicamente planificados que reúnen al
personal para reflexionar sobre los datos y comprender el progreso del proyecto.
Entrevista semiestructurada: es una discusión guiada entre un entrevistador y un solo entrevistado,
diseñada para explorar y comprender la amplia riqueza y el contexto de las perspectivas, opiniones e ideas
130
Guía MEAL DPro
del entrevistado.
Error de medición: esto ocurre cuando los problemas con el proceso de medición de datos dan como
resultado datos inexactos.
Error tipo I: es un error que ocurre cuando el análisis estadístico concluye erróneamente que un proyecto
tiene un efecto significativo en la población objetivo cuando no lo tiene. A esto también se le llama falso
positivo.
Error tipo II: es un error que ocurre cuando el análisis estadístico concluye erróneamente que un proyecto
no tiene un efecto significativo en la población objetivo cuando realmente si lo tiene. Esto también se
denomina error de exclusión o falso negativo. Este es lo contrario de un error de Tipo I.
Evaluación: es la evaluación sistemática, centrada en el usuario, del diseño, de la implementación y de los
resultados de un proyecto en curso o completado.
Fiabilidad: esta se obtiene cuando los indicadores y los métodos de medición recopilan datos consistentes
que pueden replicarse con el tiempo.
Frecuencia: esta indica cuántas veces ocurrió algo o cuántas respuestas encajan en una categoría en
particular.
Generalización: es posible cuando los datos recopilados de una muestra representan con precisión la
población general de la que se extrajo dicha muestra.
Gestión Ajustable: es un enfoque intencional para tomar decisiones y realizar ajustes en el proyecto en
respuesta a nueva información y a cambios en el contexto.
Gestión de datos: es el proceso de administrar los datos a través de las fases del ciclo de manejo de estos.
La gestión completa de datos incluye cuatro componentes principales: ingreso, depuración,
almacenamiento y seguridad, así como conservación y descarte.
Indicadores: son medidas utilizadas para hacer el seguimiento del progreso, para reflejar el cambio o para
evaluar el desempeño del proyecto.
● Indicadores directos: dan seguimiento al cambio analizando directamente lo que se está tratando
de medir.
● Indicadores indirectos o proxy: dan seguimiento al cambio mediante el análisis de indicadores
que generalmente se aceptan como proxy (aproximados) de lo que se está tratando de medir.
● Indicadores cualitativos: miden juicios, opiniones, percepciones y actitudes respecto a una
determinada situación o tema.
● Indicadores cuantitativos: miden cantidades o montos. Permiten medir el progreso del proyecto
en forma de información numérica
Integridad (de los datos): los datos tienen integridad cuando son precisos. Los datos deben estar libres de
los tipos de errores que ocurren, consciente o inconscientemente, cuando las personas los recopilan y
administran.
Interpretación de datos: es el proceso de atribuir significado a los datos. La interpretación requiere llegar
a conclusiones sobre generalización, correlación y causalidad y está destinada a responder preguntas clave
de aprendizaje sobre el proyecto.
Línea de base: es el valor de un indicador antes de la implementación de una actividad, contra el cual se
puede evaluar su posterior progreso.
Mapas de flujo de datos ilustran el flujo de los datos de cada formato de recopilación hacia el informe
correspondiente
131
Guía MEAL DPro
Marco de resultados (MR): es un modelo lógico que organiza los resultados de un proyecto en una serie
de relaciones "si-entonces". Las declaraciones en el marco de resultados articulan la jerarquía de objetivos
del proyecto y describen la lógica causal (o vertical) del mismo
Marco conceptual: es un modelo probado y basado en evidencias para una intervención en el sector de
desarrollo o humanitario.
Marco lógico: es un modelo lógico que describe las características clave del proyecto (objetivos,
indicadores, métodos de medición y supuestos) y destaca los vínculos lógicos entre estas.
Marco muestral: es una lista específica de unidades (hombres, mujeres, hogares, individuos, niños y niñas,
adolescentes, etc.) que se utilizarán para generar la muestra. Los ejemplos podrían ser una lista censal o
una lista de maestros contratados, una bitácora de registro o una lista de participantes del proyecto.
Margen de error: expresa la diferencia máxima esperada entre la población real y la estimación de la
muestra. Para que sea significativo, el margen de error debe calificarse mediante una declaración de
probabilidad (a menudo expresada en forma de un nivel de confianza).
Mecanismos de retroalimentación y respuesta: son mecanismos de comunicación bidireccionales
diseñados para reunir y responder a los comentarios de los participantes del proyecto y de otras partes
interesadas de la comunidad.
Media: es el promedio de un conjunto de datos, identificado al sumar todos los valores y dividirlos entre el
todo.
Mediana: es el punto medio de un conjunto de datos, donde la mitad de los valores caen por debajo de
este y la otra mitad están por encima.
Medidas de tendencia central: ayudan a identificar un solo valor alrededor del cual se organiza un grupo
de datos. Incluyen la media, la mediana y la moda.
Medidas de variabilidad: identifican la extensión o la variación en un conjunto de datos. Estas analizan si
las observaciones difieren mucho entre sí en la escala de posibles respuestas o si están agrupadas en un
área
Meta: es el nivel de cambio específico y planificado que se logrará durante la vida del proyecto.
Métodos cualitativos: capturan las experiencias de los participantes usando palabras, imágenes e
historias. Estos datos cualitativos se recopilan a través de preguntas que generan reflexión, ideas y
discusión. Los datos cualitativos se analizan mediante la identificación de argumentos, temas y palabras
clave.
Métodos cuantitativos: recopilan datos que pueden contarse y someterse a análisis estadísticos.
Métodos de medición: estos identifican la forma en que el proyecto recopilará los datos para dar
seguimiento al progreso de los indicadores.
Métodos de recopilación de datos primarios: provienen de información recopilada directamente por
el equipo del proyecto y por las partes interesadas.
Métodos de recolección de datos secundarios: se basan en información que ya está disponible a través de
otras fuentes (publicadas o no).
Mitos prevalecientes: son supuestos equivocados como "acceso es igual a uso", "conocimiento es igual a
acción" y "actividades son iguales a resultados".
Moda: es la respuesta o valor que se registra más comúnmente.
Modelo lógico: es una forma sistemática y visual de presentar un resumen de la visión de un proyecto y de
cómo funciona.
Monitoreo: es la recopilación continua y sistemática de datos que brinda información sobre el progreso
130
Guía MEAL DPro
del proyecto.
Muestra: es un subconjunto de la población o comunidad que se elige estudiar y que ayudará a
comprender a dicha población o comunidad en general
Muestra estratificada: es un diseño de muestra que incluye diferentes capas o grupos de personas.
Muestreo aleatorio: incluye a los participantes seleccionados de una lista de toda la población de interés,
de forma que cada miembro de la población tenga las mismas posibilidades de ser seleccionado. El
muestreo aleatorio se utiliza cuando se necesita confiar en que lo que es cierto para una muestra
probablemente sea cierto para toda la población (o para un subgrupo de la población total).
Muestreo intencional (selectivo): es una muestra no probabilística donde las unidades de muestreo que se
investigan se basan en el criterio del investigador. Las unidades de muestreo se seleccionan en función de
las características de una población y del objetivo del estudio.
Nivel de confianza: se refiere al porcentaje de todas las muestras posibles que se puede esperar incluyan
el verdadero parámetro de la población.
Partes interesadas: es alguien que tiene interés o influencia en el proyecto.
Participación: fomenta diversos grados de contribuciones de diferentes tipos de partes interesadas para
iniciar, definir los parámetros y llevar a cabo el MEAL.
Pensamiento crítico: es un proceso de pensamiento que es claro, racional, abierto a diferentes opiniones y
que obtiene información de la evidencia.
Plan de comunicación: este define quién necesita tomar conciencia e informarse sobre las actividades de
MEAL del proyecto, lo que necesitan saber, cómo y con qué frecuencia se distribuirá la información, así
como quién será responsable de la distribución.
Población: es un conjunto de personas, elementos o eventos similares que son de interés para alguna
pregunta o experimento.
Porcentaje: es una sección de datos que constituye una proporción del total. Se expresa como una tasa,
número o cantidad en cada ciento.
Precisión (de los datos): se relaciona con indicadores y métodos de medición que están suficientemente
detallados y enfocados para proporcionar un buen panorama de lo que está sucediendo en un proyecto.
Preguntas abiertas: son aquellas que permiten a alguien dar una respuesta de forma libre en sus propias
palabras
Pregunta cerrada: es una pregunta que requiere que el encuestado elija la respuesta de una lista
predeterminada de opciones. Esto facilita la codificación numérica de las respuestas que permite el
análisis mediante el uso de modelos estadísticos.
Pregunta de mapeo: también se conocen como preguntas de apertura. Estas están destinadas a iniciar la
exploración, presentando e indagando de manera general sobre un tema.
Preguntas de profundización también se conocen como preguntas de sondeo. Estas son preguntas de
seguimiento que generan más detalles o explicaciones sobre una respuesta a una pregunta de mapeo.
Pregunta Inductiva: es una pregunta que induce al participante, a través de las palabras específicas
utilizadas o por medio de la forma en que esta se formula, a proporcionar una respuesta que no se habría
dado si la pregunta se hubiera formulado de manera más neutral.
Preguntas de evaluación: son declaraciones claras de lo que se necesita saber cómo resultado de la
evaluación.
Puntos ciegos: son omisiones involuntarias en el pensamiento o errores que ocurren debido a ciertos
hábitos (como juicios apresurados, confianza, experiencia)
131
Guía MEAL DPro
Rango: compara el puntaje más alto con el puntaje más bajo para indicar la extensión. Esta es la medida
más simple de variabilidad.
Sesgo: es cualquier tendencia sistemática o desviación del valor verdadero.
Sesgo de muestreo: ocurre cuando algunos miembros de la población tienen más o menos probabilidades
que otros de ser seleccionados para participar en las actividades de recopilación de datos.
Sesgo no muestral: incluye errores que no están relacionados con los procedimientos de muestreo
específicos. Hay tres tipos comunes de sesgo no muestral:
● Los problemas del marco de muestreo se producen cuando dicho marco está incompleto o es
incorrecto. Por ejemplo, la lista de personas desplazadas internamente que viven en un pueblo en
particular puede subestimar significativamente el número real.
● Los problemas de no respuesta ocurren cuando un número significativo de personas puede elegir
no participar en una encuesta. Esto tendrá un impacto negativo en los datos y en la capacidad de
sacar conclusiones sobre el trabajo. Por ejemplo, puede haber personas desplazadas internamente
que no participan porque están trabajando fuera del pueblo en los momentos en los que se realiza
la encuesta. Sus perspectivas se perderán
● Los errores de medición ocurren cuando la información es sistemáticamente falsa o manipulada.
En otras palabras, las personas eligen específicamente, por cualquier razón, no responder con
precisión a las preguntas de la encuesta. O tal vez la persona que realiza la encuesta no
comprende la pregunta y constantemente ingresa los datos incorrectamente en el formulario.
Significación estadística: indica que la diferencia o relación entre variables existe y no se debe a una
selección de muestra fortuita.
Supuestos: son las condiciones o recursos que están fuera del control directo de la gestión del proyecto,
pero que deben cumplirse para que las vías de cambio tengan éxito.
Tabla de frecuencia: es una representación visual de la frecuencia de los valores en su conjunto de datos.
Tabla de Seguimiento a los Indicadores de Desempeño (IPTT): es una tabla estandarizada que ayuda a dar
seguimiento, documentar y mostrar el rendimiento frente a los indicadores en un plan de gestión de
desempeño.
Tabla de tabulación cruzada: es una representación visual de la frecuencia de valores de un conjunto de
datos completo, que incluye los subgrupos dentro de dicho conjunto de datos.
Tablas de contingencia o de tabulación cruzada: estas tablas usan datos que se pueden separar en
diferentes categorías que son distintas entre sí. Estas ofrecen un panorama básico de dos o más grupos de
datos (subgrupos) y de las interacciones entre ellos, en cuanto a cómo están relacionados y cómo pueden
diferenciarse.
Teoría del cambio: es una descripción completa y visual de cómo y por qué se espera que ocurra un
cambio deseado.
Triangulación: es la validación de datos a través de la verificación cruzada con más de dos fuentes.
Unidad de muestreo: es la persona individual, la categoría de personas o el objeto del que se toma la
medición (observación).
Uso de seudónimos: es el reemplazo de los campos que contienen la información de identificación
personal con un código que protege la identidad del participante. Sin embargo, con el uso de una "clave"
de datos, aún se puede acceder a la identidad del individuo.
Validez: describe datos que representan con precisión lo que se va a medir. Hay tres tipos de validez:
130
Guía MEAL DPro
● Validez aparente: ¿Las partes interesadas y otros expertos están de acuerdo en que los datos son
una medida real del resultado logrado?
● Atribución: ¿Pueden los datos demostrar de manera realista que el proyecto causó los cambios
identificados?
● Validez de medición: ¿Puede el método de medición recolectar datos usando herramientas que
están bien diseñadas y limitan la posibilidad de errores?
131