Conceptos básicos de la

evaluación de impacto y
del método experimental.


ÍNDICE

II. Conceptos básicos de la evaluación de impacto y del

método experimental.

2.1.- Recordemos que es una evaluación de impacto y los

experimentos. (2)

2.2.- La clave de las evaluaciones de impacto: concepto de

contrafactual. (3)

2.3.- Requisitos técnicos de una evaluación de impacto experimental

- Aleatorización como solución al problema de selección. (12)

2.4.- Modelo analítico para calcular la magnitud del impacto. (23)

!1
!


2.1.- Recordemos que es una evaluación de impacto y los

experimentos.
La evaluación de impacto busca medir la diferencia entre los
resultados que obtienen los beneficiarios de un programa vs. lo que
esos mismos beneficiarios hubiesen obtenido en ausencia de ese
mismo programa.
Un experimento es la metodología ideal (estándar de oro), pues
replica lo que se hace en un “laboratorio”. Esta metodología,
comúnmente utilizada en las investigaciones científicas, toma dos
muestras de unidades de observaciones (animales/células), una de
ellas como grupo tratamiento y la otra como grupo de control.
Estos dos grupos deben ser idénticos en sus características, y se les
dan las mismas condiciones externas (temperatura, comida, etc.). Esto
implica que todos los factores se encuentran controlados y la única
modificación, que NO interviene sobre el grupo de control, es el
tratamiento.
Por tanto, el experimento de laboratorio va a medir de manera
controlada, los efectos causales de un tratamiento determinado. Ello
se logra comparando el resultado del tratamiento y del control luego
de haber llevado a cabo la intervención.

!2
!


2.2.- La clave de las evaluaciones de impacto: concepto de

contrafactual.
Dentro del concepto de evaluación de impacto, anteriormente,
mencionamos que para medir qué impacto ha tenido un programa,
necesitábamos comparar los resultados que se dan cuando un
individuo es beneficiado por el programa con los resultados que se
dan cuando ese mismo individuo no es beneficiado.
Lo anterior implica comparar los resultados de un hecho que ocurrió
(el programa) con los resultados de algo que no ocurrió (pero que sí
hubiese ocurrido de no existir el programa). Para un mismo individuo
sólo existe uno de estos dos resultados; el otro no se puede observar,
ni mucho menos medir.
Poder observar al mismo individuo, en un mismo momento, pero en
dos condiciones diferentes, es algo imposible. Lo ideal es conseguir a
alguien tan parecido a él como sea posible, es decir un “clon” o un
“gemelo”.
¿Por qué es necesario el grupo de control o contrafactual? ¿Y cuáles
son las condiciones que debe cumplir?
No podemos evaluar el impacto de un programa observando
únicamente el resultado de los individuos beneficiados ... ¡ya
entenderemos por qué!

!3
!


Recordemos nuestra pregunta de evaluación de impacto: ¿Cuál es el

impacto de la provisión de alimentación escolar sobre la estatura de
los niños beneficiarios?
En la siguiente figura tenemos el resultado (estatura) de los niños que
reciben el programa de alimentación escolar durante el año 2017,
período identificado por la línea verde. La figura nos muestra que
antes de iniciar el programa, en 2016, los niños beneficiarios tenían
una estatura promedio de 120 cm. Luego del programa, en 2018 los
niños beneficiarios tienen una estatura promedio de 130 cm. Ante
este resultado ¿Podríamos decir que el impacto que tiene el
programa de alimentación escolar sobre la estatura de los niños
beneficiarios es de 10 centímetros en promedio por año de
intervención?

130 ¿Impacto del

programa?
NO.
120

!4
!


La respuesta es NO… porque de todas maneras esperaríamos que,

con el tiempo, los niños crezcan, incluso en ausencia del programa de
alimentación escolar.
Pensemos ¿qué otros factores pueden modificar el curso normal de la
estatura de los niños?:
• Cantidad y calidad de la alimentación que recibe en el hogar.
• Los hábitos alimenticios.
• El estado de salud.
• La actividad física.
Entre el 2016 y 2018 (antes y después de la intervención), suceden
dos cosas:
1) Programa de alimentación escolar
2) Otros factores que pueden modificar a su vez el curso normal de
la variable de resultado (estatura del niño).
En la comparación que hacemos en el gráfico, no sabemos si estamos
midiendo (1) o estamos midiendo (2), o hasta qué punto ambos
factores se combinan.
Por lo tanto, necesitamos saber si el crecimiento que los niños
experimentan cuando participan en el programa es mayor, menor o
igual al que experimentarían en ausencia de este. Es decir, para saber
el impacto del programa necesitamos saber qué hubiese pasado con

!5
!


la estatura de esos niños si no hubiesen participado y comparar esa

estatura con la que efectivamente podemos observar en 2017.
Como no podemos saber qué hubiese pasado sin el programa de
alimentación (debido a que los niños ya han sido beneficiados por el
mismo) necesitamos un contrafactual o grupo de control (o grupo de
comparación). Es decir, otro grupo de niños que no haya sido
beneficiado por el programa y que nos ayude a aproximar ese
contrafactual que no podemos observar.
• ¿Cuál es un buen grupo de control?
Grupo idéntico o “gemelo - clon” del tratamiento que no sea
beneficiario del programa. En nuestro ejemplo, el mejor control sería
“literalmente” el hermano gemelo de cada niño que es beneficiario
del programa de alimentación escolar. Al no haber recibido el
beneficio del programa de alimentación escolar, este gemelo va a ser
alimentado en su hogar.
• El grupo de control debe cumplir con las siguientes condiciones:
1.Es un grupo que nos muestra qué hubiera pasado con los
tratados en caso de no haber recibido el tratamiento.
2.Los efectos del programa deberían ser los mismos para ambos
grupos (tratamiento o control). Esto quiere decir que, si las
unidades del grupo de control son las que reciben el
tratamiento (en lugar de lo que realmente ocurre: los del
tratamiento son los beneficiados), el impacto sería exactamente
!6
!


el mismo que vamos a medir a través de la evaluación. En otras

palabras, los grupos son parecidos entre sí, y es irrelevante qué
personas específicamente dentro de cada grupo reciben el
tratamiento.
3.Los factores externos, que afectan a todos los niños, deberían
tener el mismo efecto sobre el grupo de comparación (control) y
el tratamiento.
Pensemos estos tres puntos en términos de nuestro ejemplo:
El hermano gemelo, en comparación con su hermano que participa
en el programa de alimentación, tiene más o menos las mismas
características genéticas que determinan el crecimiento, vive en el
mismo hogar, en general es alimentado de la misma manera, participa
más o menos en las mismas actividades. Si el tratamiento no
ocurriera, podríamos esperar que ambos gemelos tengan un patrón
de crecimiento similar. Por este motivo, claramente el gemelo que no
participa nos da información sobre qué hubiera pasado si su hermano
no hubiera recibido el programa de alimentación escolar.
Supongamos que el gemelo que no recibe programa de alimentación
escolar en un año creció 8 cm.
Si tenemos múltiples parejas de gemelos, dentro de cada pareja uno
va a ser el gemelo A y otro el gemelo B. Si para todas las parejas,
tomamos al gemelo A como beneficiario, esperamos que los efectos
del programa sean idénticos que si tomáramos todos los gemelos B

!7
!


de cada pareja. Es decir, si el gemelo A es el beneficiario del

programa, este crecerá 10 cm y el gemelo B crecerá 8 cm. Pero si
tomamos al gemelo B como beneficiario del programa en todas las
parejas, él crecerá 10 cm y su hermano que no tiene el tratamiento, el
gemelo A, crecerá 8 cm. Por lo tanto, independientemente de cuál
de los dos niños es asignado al tratamiento, el impacto promedio del
programa será siempre de 2 cm.
En cuanto a factores externos, pensemos que el año 2017 fue un año
de muchas lluvias y por tanto los niños presentaron muchas
enfermedades respiratorias. Esperaríamos que las lluvias afecten de la
misma forma el apetito y crecimiento de los niños del grupo
tratamiento y del grupo de control, por tanto, el crecimiento de los
dos grupos se va a ver disminuido en magnitudes similares.
Otro ejemplo, que afectaría positivamente el crecimiento, se daría en
el caso de que la escuela iniciara unos entrenamientos de baloncesto
para todos los niños, esto va a afectar de la misma manera al grupo
tratamiento que al grupo control.
Ahora vamos a incluir dentro de nuestra gráfica a los dos grupos de
niños: i) los que recibieron el programa de alimentación escolar
(grupo tratamiento) y ii) los que NO recibieron el programa de
alimentación escolar (grupo de control).

!8
!


Es decir, vamos a tener la evolución de la estatura de los hermanos

tratados y de sus hermanos gemelos, que NO participaron en el
programa durante 2017.
Para saber la evolución de estas dos líneas, debemos suponer algo
sobre la alimentación escolar y la alimentación en el hogar: Por ahora
supongamos que la alimentación del colegio es mucho más nutritiva
que la que hubiera recibido en su hogar.
¿Cómo se vería este resultado del programa de alimentación escolar
para los grupos de tratamiento y de control? (Escoja Gráfico A o B)

GRAFICO A

!9
!


GRAFICO B

El gráfico A muestra que lo niños, tanto del grupo de tratamiento

como los del grupo de control, crecieron entre 2016 y 2018. Vamos a
explicar paso a paso la evolución de la estatura de los niños
beneficiarios y no beneficiarios.
Como habíamos mencionado anteriormente, los niños beneficiarios,
en promedio crecieron 10 cm. Esto se debe a que inician con una
estatura promedio de 120 cms en 2016, y luego de dos años, en 2018
llegan a medir 130 cms.
Por su parte, los niños del grupo de control crecieron 8 cms en
promedio, debido a que inician con una estatura promedio de 120
cms (igual a la de los niños del grupo control), y dos años después

!10
!


miden en promedio 128 cms. En este caso, los niños del grupo de
control crecieron en promedio 8 cms.
Por lo tanto, podemos concluir que en ausencia del programa el
crecimiento sería de 8 cm y con el programa de alimentación escolar
el crecimiento sería de 10 cms, lo que quiere decir que el programa
tiene un resultado positivo (correspondiente a la distancia horizontal
entre el punto azul y el punto morado) de 2 cm, en promedio, en la
estatura de los niños que participaron con respecto a los niños del
grupo de control.
Por su parte, el gráfico B también observamos que ambos niños
crecen, pero los niños que participaron en el programa crecieron
menos que los niños que no participaron. En este caso los niños
beneficiarios, en promedio crecieron 10 cm, igual que en el caso
anterior, mientras que los niños del grupo de control crecieron 12 cm
en promedio.
El resultado es negativo por lo que el crecimiento del grupo de
control resultó ser mayor que el del grupo de tratamiento. Esto
indicaría que en ausencia del tratamiento los niños hubiesen crecido
2cm más y por lo tanto el impacto del programa es negativo en 2 cm.
Bajo el supuesto de que la comida de la institución educativa es más
nutritiva, el resultado debe ser la gráfica A.
Bajo este esquema hipotético del programa, en donde los
beneficiarios solo son hermanos con un gemelo, es muy sencillo tener
!11
!


un contrafactual perfecto. Pero por ser los gemelos una población tan
minoritaria en el mundo (sólo alrededor del 2% de los individuos son
gemelos) en general los programas no se evalúan sobre esta
población.
Generalmente, las evaluaciones de los programas utilizan un grupo de
control que debe ser tan parecido “como sea posible” al grupo de
tratamiento… idealmente su “gemelo”.
Por otra parte, para un individuo es imposible saber el impacto que
tiene su participación en un programa con un 100% de certeza,
incluso si tiene un gemelo.
Dado lo anterior, lo que generalmente se hace es comparar grupos
porque es posible construir grupos parecidos (lo que no es posible en
el caso de individuos específicos).

2.3.- Requisitos técnicos de una evaluación de impacto experimental -

Aleatorización como solución al problema de selección.

¿Cuál es el problema de selección?

Como hemos mencionado anteriormente, el contrafactual debe ser lo
más parecido posible al tratamiento. Por lo cual, tanto el grupo de
tratamiento como el control deben haber estado inicialmente
interesados en participar en el programa.

!12
!


Si esto no se cumple, ya serían diferentes en la necesidad o deseo por

participar y esta diferencia puede afectar a la variable de resultado, y,
por lo tanto, a lo que interpretaremos como impacto.
En este caso habría sesgo de selección. Por ejemplo, aquellos con
mayor deseo de participar son más proactivos y esta característica
intrínseca a ellos hace que siempre les vaya mejor que al individuo
promedio ya sea parte del grupo tratamiento o del grupo de control.
Por lo anterior, resulta útil tener siempre exceso de demanda de los
programas que se ofrecen. De esta forma, dentro del total de los
individuos que quieren acceder al programa (los que hemos llamado
“más proactivos”) debemos escoger al azar o de manera aleatoria
algunos individuos para hacer parte del grupo de tratamiento y otros
del grupo de control.
La selección aleatoria, que explicaremos en detalle en la siguiente
sección, resulta ser la manera más JUSTA de asignar los individuos al
grupo de tratamiento y control, por lo que no discrimina por ninguna
característica individual, sino que, en principio, cualquier persona
tiene exactamente el mismo chance de participar.

Definición de una asignación aleatoria

• Una asignación o selección aleatoria está dada
completamente por el azar. Es decir, lo que determina

!13
!


quién recibe el programa y quién no es la suerte y no

una característica específica de los individuos.
• Para hacer una asignación aleatoria a dos grupos puedo
hacer el ejercicio de lanzar una moneda.
• Voy a tener el grupo “cara” y el grupo “sello/cruz”.
• Al lanzar la moneda tengo 50% de probabilidad de
quedar en el grupo cara y 50% de probabilidad de
quedar en el grupo sello/cruz.
• Ahora podemos llamar al grupo cara “tratamiento” y al
grupo sello/cruz “control”.
Esta resulta ser una manera sencilla de aleatorizar individuos al grupo
tratamiento y control. Ahora veremos qué otras opciones pueden
existir.

Formas de aleatorizar
Lanzar una moneda, como ya vimos, puede asignar individuos en dos
grupos al azar. Una lotería en donde todos los nombres de los
potenciales participantes (aquellos individuos que van a hacer parte
del grupo tratamiento y del grupo control) se introducen dentro de
una bolsa. Se sacan los nombres de las primeras x personas que van a
hacer parte del tratamiento. Si por ejemplo se tienen 200 potenciales
participantes, los primeros 100 nombres se asignan al grupo de

!14
!


tratamiento y todos aquellos que se queden dentro de la bolsa queda

en el grupo de control.
Otra manera, si queremos seleccionar a la mitad de los participantes
para el grupo de tratamiento y la otra mitad al grupo de control, es
determinar que las personas con identificación terminada en número
par entran al tratamiento y los impares no entran al tratamiento. Este
mecanismo de selección es completamente verificable y es una
condición ajena a la decisión de las personas. Es decir que no hay
forma de modificarla para poder quedar dentro del grupo de
tratamiento o de control.
Generar un número aleatorio (puede ser en Excel o en un paquete
estadístico), ordenarlo y tomar uno sí uno no. O tomar la primera
mitad para un grupo y la segunda mitad para otro grupo.
Lo positivo de estos métodos de aleatorización es que son
completamente transparentes y comprobables para cualquier
individuo que se encuentre presente durante la aleatorización o que
quiera verificarlo en el caso de los documentos de identificación o el
número aleatorio generado por un computador.
Poder verificar la aleatorización es sumamente importante, pues
evidencia que el evaluador o ejecutor de la política no quiere o tiene
interés en beneficiar/perjudicar a algún individuo al darle el programa
o tratamiento.

!15
!


Adicionalmente cualquiera de estos métodos de aleatorización tiene

el beneficio de que la selección dada no está relacionada con la
variable de impacto. Por ejemplo, la primera letra de tu nombre no te
hace crecer más o menos rápido, ni el último número de tu cédula, y
así sucesivamente.
Pueden existir casos en los que queremos aleatorizar en más de dos
grupos. En este caso debemos encontrar la forma de aleatorizar
correctamente. Una moneda no sería útil en esta situación. Pero
pensemos por ejemplo que queremos aleatorizar en seis grupos, en
este caso un dado sería ideal para generar una asignación aleatoria.

¿Qué garantiza una selección aleatoria?

• Que de ninguna manera los individuos fueron seleccionados
de acuerdo con sus características específicas.
• Una vez se tiene identificado el grupo de beneficiarios al
cual debe llegar un programa o políticas, los individuos NO
se van a seleccionar por características adicionales: más
pobre, mayor número de hermanos para recibir la
alimentación escolar, mayor gusto por deporte, mayor juicio
para comer.

!16
!


La selección aleatoria es ideal cuando:

• Los recursos existentes para el programa son limitados, o no
se tienen las capacidades suficientes para poder atender a
todo aquellos que quieren participar del programa.
• En muchos casos los cupos para atender a la población son
más escasos que la demanda por los programas o que los
casos por atender. Entonces una selección al azar, resulta ser
la manera más justa para definir quién recibe el programa
en una primera ronda de tratamiento y quién en una ronda
posterior.
Mientras la primera ronda de implementación del programa se lleva a
cabo, los participantes que salen seleccionados hacen parte del grupo de
tratamiento en la evaluación de impacto y el grupo de personas que
tomará el programa en una segunda ronda, harán parte del grupo de
control.
En este caso la aleatorización nos ayuda a implementar el programa por
fases y a que unos individuos se beneficien primero que otros, ya sea por
restricciones logísticas, o de recursos.
Por ejemplo: Un programa que tiene cupos limitados para atender a 100
familias podría aleatorizar la entrada cuando existe una mayor demanda
por el programa, es decir, cuando más de 100 familias quisieran acceder a
sus beneficios.

!17
!


Por tanto, en una primera ronda del programa (6 meses de intervención)

se benefician 100 familias, seleccionadas al azar de la lista de inscritos. Por
esto primeros 6 meses, a estas 100 familias, las llamaremos grupo
tratamiento y a aquellas familias no seleccionadas las llamaremos grupo
de control.
Luego de llevar a cabo la medición y en una segunda ronda del programa,
las familias del grupo de control podrán ingresar y beneficiarse del
programa. En este caso se estaría dando un tratamiento de manera
escalonada.
También se puede entender la asignación aleatoria como justa, pensando
en que el tratamiento en ciertos casos puede ser algo deseable y en otros
casos no. Por ejemplo, pensemos en un tratamiento donde los individuos
están recibiendo una carta de la entidad encargada de la recolección de
impuestos y se le está requiriendo hacer una corrección en sus pagos.
Por tanto, en casos benéficos, como recibir un almuerzo, o en casos poco
benéficos, como ser requerido para revisar sus pagos, resulta justo ser
seleccionado de manera aleatoria. La razón es que no se está haciendo
discriminación por ninguna característica específica, sino que, en principio,
cualquier persona tiene exactamente la misma probabilidad de participar
o de quedar fuera.
En nuestro ejemplo y pensando en una de las condiciones que debe
cumplir un buen contrafactual, ya habíamos mencionado que escoger al

!18
!


gemelo A o al gemelo B, para ser parte del grupo de tratamiento, debería

generar exactamente el mismo resultado promedio.
Vamos a ver, a partir de nuestro ejemplo, que cuando la selección se
realiza de forma aleatoria hay mayor probabilidad de que esta condición
se cumpla…
Supongamos que los hogares tienen la posibilidad de escoger a qué
hermano (dentro de los dos gemelos) deciden enviar como participante
del programa de alimentación escolar.
Si los dos hermanos son muy parecidos, la familia va a ser indiferente en
cuanto a quién escoger.
Uno de los dos gemelos tiene ciertas condiciones que hacen que su
familia lo escoja para ir. Por ejemplo:
• Si alguno de los dos gemelos come mejor sin supervisión,
entonces la familia escogerá que él sea quien vaya al
programa de alimentación escolar.
• Si la alimentación del programa es más nutritiva que la
consumen en la casa, entonces los padres escogerían para
participar al niño con menor estatura: “quien más lo
necesita”.
Podríamos enumerar varios ejemplos de cómo los hogares pueden
racionalizar y tomar una decisión según más les convenga. Lo importante
es entender que, si la selección de participación a un programa se hace de
acuerdo con una característica determinada, entonces el resultado de la
!19
!


evaluación no será CAUSAL, es decir que cualquier diferencia encontrada

NO corresponderá exclusivamente al tratamiento.
La razón es que, si la selección determina que solo un tipo específico de
personas participa en el programa, ya no estamos construyendo grupos
similares, sino que hay una diferencia preexistente entre ellos (unos
participan siempre porque son más disciplinados, o participan siempre
porque son los más pequeños).
De esta forma, cuando se compara el crecimiento de ambos grupos, se
observarán diferencias que no podrán ser atribuidas al programa
únicamente, sino que se deberán “quizás” en parte al programa y
“quizás” en parte a que ya eran grupos con diferentes características y
seguramente, con diferente potencial de crecimiento.
Por lo tanto, al comparar grupos diferentes, el sesgo de selección impide
que la diferencia entre grupos pueda ser interpretada como el impacto
real de esta intervención, para ser extrapolada para una población
general.
Analicemos detalladamente cómo sería el resultado de la evaluación si
escogemos a los niños para el tratamiento de acuerdo con las
características antes mencionadas. Es decir que los hogares seleccionan al
niño de la manera en que más les convenga:
• En el primer caso, pensemos que los hogares seleccionan al niño
que no requiere de supervisión para comer bien. Dentro de un
grupo aleatorio de niños, van a existir dos tipos de niños: algunos
!20
!


que sin supervisión comerán todo y otros que sin supervisión no

comerán todo (o comerían cosas menos nutritivas). Otra manera
de verlo es que los niños que sus padres seleccionaron para
recibir el almuerzo en la escuela comen todo el plato y los que se
quedan almorzando en sus casas solo comen la mitad del plato,
es de esperar entonces, que cuando la selección ocurre de esta
manera estimamos un impacto del programa de alimentación
escolar, en promedio, más alto solo porque los niños
seleccionados por naturaleza comen más, no porque el programa
los alimente mejor.
• En el segundo caso, pensemos que los hogares seleccionan al
niño que tiene menor estatura; supongamos que la diferencia en
estatura inicial solo se debe a que este gemelo tiene un menor
gusto por hacer actividad física y esto resulta importante por lo
que el ejercicio y la comida son complementarios para tener un
mejor desarrollo.
Dentro de un grupo aleatorio de niños, van a existir los dos tipos de niños:
algunos que les gusta hacer mucho deporte y otros a los que no les gusta
tanto hacer deporte (y por tanto crecen menos). Todo lo anterior
suponiendo que la actividad física y la alimentación son complementarios
para lograr un mayor crecimiento.
Los niños que participan, al hacer menos actividad física, crecerán menos,
por lo que nuestro cálculo nos estará arrojando un impacto promedio

!21
!


menor. Sin embargo, este valor se deberá en parte a la selección (niños

menos activos) y no necesariamente al programa.
Claramente, los efectos calculados en casos donde los grupos tienen
diferencias preexistentes no se pueden entender como “el efecto
promedio” verdadero de un programa.
Este efecto encontrado incorpora, por una parte, una diferencia por ciertas
características iniciales o preexistentes entre los dos grupos, y, por otra
parte, el efecto verdadero del programa.
Dentro de nuestro ejemplo, en el primer caso, el efecto del programa (o
del tratamiento) es calculado utilizando un grupo de beneficiarios que
come muy bien, por tanto, un programa de nutrición pareciera ser más
efectivo que lo que resultaría para un grupo seleccionado aleatoriamente.
En el segundo caso, el efecto del programa o tratamiento es para un
grupo de beneficiarios que no hace deporte, actividad complementaria a
la nutrición, por lo tanto, el programa resulta menos efectivo que si se
hubiera seleccionado un grupo de beneficiarios de manera aleatoria.
En ambos casos los estimativos de los efectos del programa están errados
y no pueden ser usados para hacer, rediseñar o cambiar una política cuyo
objetivo es impactar a la población general.
Ahora es más fácil entender, por qué las características del grupo
tratamiento y control deben ser idénticas para poder tener una evaluación
causal.

!22
!


El problema que planteamos anteriormente se conoce como un problema

de selección. Cuando las personas se autoseleccionan a participar de
acuerdo con sus características, ellas ya son diferentes a las que no
aplicaron o no recibieron el programa. Y, por lo tanto, cualquier diferencia
de desempeño entre ellas, puede ser atribuida a la diferencia preexistente
en estas características y no al programa que se quiere evaluar. Por esta
razón, tanto el tratamiento como el control deben ser escogidos de
manera aleatoria.
La metodología de evaluación de impacto por excelencia es un
experimento con selección aleatoria. En casos en que llegue a ser difícil
de implementar existen otras metodologías disponibles. Estas
metodologías alternativas pueden tener mayor factibilidad de ser
implementadas y pueden arrojar resultados de calidad valiosos para
aprender sobre las políticas o programas evaluados.

2.4.- Modelo analítico para calcular la magnitud del impacto.

Una pregunta que nos resta por contestar es: ¿Cómo estimamos o
cuantificamos el impacto de un experimento aleatorio?
Hemos dado detalle de qué condiciones debe cumplir el experimento en
términos de la selección de dos grupos, uno tratamiento y otro control,
también sabemos que esta selección debe ser aleatoria para poder tener
grupos “idénticos” antes de la intervención. Pero y todo esto … ¿cómo lo
usamos?
!23
!


Tenemos un indicador de resultado sobre el cual queremos evaluar un

programa. Si volvemos a nuestro ejemplo anterior, el indicador de
resultado sería la estatura, el programa sería el de alimentación escolar.
Entonces el impacto lo calculamos teniendo en cuenta cuál es el resultado
promedio del grupo que recibió el tratamiento, menos el resultado
promedio del grupo que no recibió tratamiento.
Este último grupo nos indica, cuánto hubiera crecido un niño sin el
tratamiento y adicionalmente tiene en cuenta condiciones especiales que
ocurren al tiempo con la intervención (todos los otros factores que
debemos aislar), por esta razón es que descontamos este crecimiento para
poder encontrar el impacto atribuible exclusivamente al programa (o al
tratamiento).
Si utilizamos el gráfico A como nuestro resultado dado. Encontramos que
tanto los niños del grupo de tratamiento como los del grupo de control,
crecieron entre 2016 y 2018.
Como habíamos mencionado anteriormente, los niños beneficiarios, en
promedio, crecieron 10 cm. Esto se debe a que inician con una estatura
promedio de 120 cms en 2016, y luego de dos años, en 2018 llegan a
medir 130 cms. Por su parte, los niños del grupo de control crecieron 8
cms en promedio, debido a que inician con una estatura promedio de 120
cms (igual a la de los niños del grupo de tratamiento), y dos años después
miden en promedio 128 cms.

!24
!


Por lo tanto, podemos concluir que en ausencia del programa el

crecimiento sería de 8 cm y con el programa de alimentación escolar el
crecimiento sería de 10 cms, lo que quiere decir que el programa tiene un
resultado positivo de 2 cm, en promedio, en la estatura de los niños que
participaron con respecto a los niños del grupo de control.

Conclusiones.
• El módulo explica cómo calcular de una manera “limpia” el impacto
exclusivo de un programa. En principio, quisiéramos ver al mismo
individuo con y sin la intervención, pero esto es imposible.
• Debemos construir un buen individuo “clon” que nos sirva como
contrafactual/control de este beneficiario. Es decir, debe ser
idéntico en todas sus características a excepción de la recepción
del programa.
• Como tener clones de individuos es generalmente imposible, lo
que hacemos es construir grupos y clones de estos grupos, a los
cuales conocemos como tratamiento y control respectivamente.
• Siempre es necesario tener un contrafactual cuando se piensa en
evaluación de impacto.
• No cualquier grupo de comparación es adecuado. Si los grupos
que estamos comparando difieren de forma sistemática (unos son
más proactivos que otros, o más interesados o mejor alimentados),

!25
!


los resultados de ambos grupos diferirán de forma sistemática

también, incluso si no hay programa de por medio.
• Es importante, usar técnicas adecuadas, como la aleatorización. La
aleatorización de la entrada al tratamiento resulta ser la manera más
justa de asignar los individuos a cada uno de los grupos de estudio.
• Una de las ventajas del experimento aleatorio controlado, es que
brinda la posibilidad de llevar a cabo una evaluación causal sin
tener problemas de sesgo de selección (no existe la autoselección):
La decisión de cuál individuo pertenece al grupo de tratamiento y
cuál al control no depende de ninguna característica.
• Todos los individuos del estudio son asignados a cada grupo de
manera aleatoria o al azar. Por lo tanto, sus características no deben
estar relacionadas con su pertenencia al grupo.

El impacto, en su cálculo más simple y condicional que estamos

comparando grupos similares (ex-ante), se puede obtener como la
diferencia de medias para la variable de interés entre el grupo que
participó en el programa y el grupo que no participó.

!26
!
2018