Neirotti - 2012 - B PDF
Neirotti - 2012 - B PDF
Neirotti - 2012 - B PDF
Rotondo (Eds.), Evaluation voices from Latin America. New Directions for Evaluation 134, 7-
16. Traducción al español del autor.
INTRODUCCIÓN
1
Sociólogo, especializado en análisis y evaluación de políticas públicas, Vicerrector de la Universidad
Nacional de Lanús, ex Coordinador de Programas de Evaluación de IIPE UNESCO Sede Regional
Buenos Aires.
1
PERSPECTIVA DE LA EVALUACIÓN
En tal sentido, la evaluación debe cumplir con todos los requisitos teóricos y
metodológicos de cualquier investigación. Pero se trata de conocimiento aplicado,
orientado a arrojar luz a las decisiones que se toman en los ámbitos públicos. También
resulta común en nuestros días encontrar que, junto con las decisiones de carácter
normativo que se toman desde los espacios centrales (o en la cúspide de la estructura
jerárquica de los sectores gubernamentales tales como salud, educación, desarrollo
social, economía, trabajo, etc.) existe un gran número de experiencias a nivel local o
implementadas en la base de los sistemas (escuelas, centros de salud y hospitales,
2
centros comunitarios) que tienen una orientación innovadora y que pueden brindar
valiosos elementos para la transformación de las políticas, en la medida que tengan
anclaje institucional. Éstas ofrecen nuevos hallazgos y lecciones que facilitan la
transferencia de experiencias a una escala mayor de aplicación y permiten de este modo
producir generalizaciones a partir de casos particulares (Neirotti, 2008).
La evaluación tiene también como finalidad la facilitación del diálogo entre los
involucrados. No sólo están concernidos en las políticas y programas los hacedores,
políticos y técnicos, sino también los destinatarios de las mismas, los proveedores de
insumos varios, los comunicadores y todos aquéllos que construyen valor en relación
con una política o están concernidos de algún modo por ella. La evaluación debe
proseguir dos propósitos más para ser útil. Por un lado, debe ser un instrumento para
mejorar las condiciones de responsabilización (accountability) interna y externa. El ser
evaluado contribuye a que los agentes de política respondan por su producción no sólo
en el ámbito del sector gubernamental al cual pertenece (responsabilización interna)
sino también ante el mundo político y social (responsabilidad externa), demostrando su
compromiso por generar servicios de excelencia. Y por este camino se provee también
de mayor transparencia a los procesos, sistemas y políticas, contribuyendo a través de
las evaluaciones al debate público en torno a una actividad que es patrimonio de toda la
sociedad.
3
(policy) como proceso de decisión y acción orientado por objetivos y estrategias a fin de
solucionar problemas públicos. Proceso que es socialmente construido, que está inserto
en un marco institucional determinado y que acarrea antecedentes históricos. Si
tomamos, por ejemplo, la política educativa, los actores (políticos, burócratas
gubernamentales, técnicos, científicos, educadores, gremios, alumnos y sus familias,
empresarios, iglesias, etc.) luchan por imponer sus puntos de vista, sus valores y sus
prioridades en función de sus intereses y, en este sentido, según sea la cuota de poder
que posean, se configuran cursos de decisión y acción desde el Estado –aunque con
participación de la sociedad—a los que llamamos políticas públicas.
Tampoco es el campo científico y académico el que define los valores o fines que
deben orientar las políticas públicas, sino que lo hacen los ciudadanos desde el campo
de la política. Los valores no se imponen por razonamiento científico ni son
determinados por especialistas, sino que son el resultado del juego del poder. El camino
de construcción de las decisiones desde la política está trazado por luchas, equilibrios
inestables y acuerdos, llegando de este modo a la negociación entre los actores (o a la
imposición de medidas, por existir una situación de hegemonía, de unos hacia otros).
4
ha sido denominado como “modelo racional limitado” o “modelo de exploración
combinada” (Merino y Cejudo, 2010; Aguilar Villanueva, 1996).
En este marco, la evaluación de las políticas y los programas debe tomar en cuenta
tanto los requisitos científico-técnicos como los políticos. Entre los primeros se puede
mencionar la consistencia del diseño, la pertinencia, la relevancia, la factibilidad y la
sustentabilidad, la eficiencia, la eficacia y la efectividad, entre otros. En relación con los
segundos cabe mencionar la viabilidad politica e institucional, el consenso existente
para hacer sostenible un programa, el fortalecimiento institucional que se genera a lo
largo de su implementación, la adecuada articulación entre los ámbitos de gobierno y de
gestión, la participación de los diferentes involucrados, la mejora del diálogo entre ellos,
el aprendizaje organizacional, la facilitación de la responsabilización de cada actor y
cada dependencia, la transparencia del programa, etc.
5
autoritarios que se instauraron en la región alrededor de la década de los ‘70; (b) el
período de aplicación de las políticas neoliberales propias de los 80 y principalmente de
los 90; (c) el período actual, de reflujo del Estado y de la política. El Estado
omnipresente del primer período fue sucedido por una propuesta de achicamiento y
retirada del mismo para revertirse posteriormente con una línea de recuperación de la
intervención estatal y de dinamización de la actividad política.
6
replegó la actividad de planificación desde el Estado para dar lugar a la iniciativa
privada mientras se aplicaron medidas que tuvieron su máxima expresión en las
recomendaciones surgidas del Consenso de Washington.
Con las reformas del Consenso de Washington hubo un impulso decidido a las
tareas de evaluación en las políticas públicas. Junto a los procesos de desestatización,
privatización, desregulación, desconcentración y descentralización, y a la par del
7
impulso que se dio a los organismos de capacitación para los agentes de la
administración pública, se consideró necesario contar con organismos evaluadores que
monitorearan y valoraran los resultados de la aplicación de las políticas en sus nuevas
modalidades de gestión. En esta época se formaron estructuras orientadas a evaluar de
modo sistemático los servicios de los distintos sectores gubernamentales (educación,
salud, acción social, etc.) y cobraron fuerza sistemas nacionales de evaluación con
distintos grados de cobertura y desarrollo, tales como el Sistema Nacional de
Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia, el Sistema
Nacional de Evaluación (SINE) de Costa Rica o la práctica de la evaluación asociada a
los Planes Plurianuales que se formulan en Brasil en los tres niveles de gobierno
(federal, estadual y municipal).
En este período se hizo hincapié en la evaluación desde una perspectiva que fue
de la mano de las llamadas reformas de segunda generación2, dándole un fuerte impulso
al estudio de los resultados en el marco de las políticas de modernización del Estado y
de la instauración del paradigma de la nueva gestión pública. Más que un Estado
productor de bienes y servicios, con este paradigma se propugnó uno desregulador,
promotor y coordinador. En consencuencia, la evaluación, más que estar apegada a las
normas, viró su atención hacia los resultados, el alcance de metas y a la calidad del
desempeño de la gestión pública (Saltzman, 2003; Cunill Grau y Ospina Bozzi, 2003).
2
Se llamó “reformas de primera generación” a aquéllas que los gobiernos llevaron a cabo con el apoyo de
los organismos internacionales, principalmente el Banco Mundial y el Banco Interamericano de
Desarrollo, orientadas a revertir el déficit fiscal y transformar los modelos productivos hacia una
economía abierta. Las “reformas de segunda generación” estuvieron orientadas a la transformación del
Estado y de los sectores de salud, educación, trabajo, previsión social, etc.
8
una cultura de la evaluación participativa. Las simientes de este estilo de evaluación
surgen en esta época pero habrá que esperar al nuevo milenio para encontrar un
despliegue notorio del mismo, en conjunción también con el alto grado de movilización
de los movimientos sociales que se generó en la región (de campesinos, de identidad
racial, de género, locales, etc.)
Cabe recordar que, a su vez, se buscó cumplir con un doble propósito: por un
lado, conocer cómo funcionaban las políticas públicas en general y en instituciones
correspondientes a cada sector (sistemas provinciales de educación y salud, escuelas,
hospitales, centros de salud, oficinas provinciales y municipales de desarrollo social,
etc.) a partir de sus resultados; pero por el otro, generar competencia entre los distintos
efectores de los servicios (escuelas, hospitales, etc.) y conformar “cuasimercados” que
aseguraran el mejor producto sobre la base de una buena “elección racional” de los
“clientes”, estrategia de dificultosa aplicación y bajos resultados a partir de las
condiciones desiguales de la ciudadanía y la dudosa posibilidad de “elegir”.
9
política pública. Por un lado, la presencia de diversos actores participando en el diseño e
implementación de políticas da lugar a la llamada forma de gobierno “multinivel”,
donde confluyen el gobierno nacional con los provinciales / estaduales y municipales, y
de “gestión asociada”, con la participación de agentes gubernamentales y no
gubernametales. A su vez, se avanza en el desarrollo de políticas intersectoriales, donde
confluyen distintas áreas del gobierno y de la sociedad civil (educación, salud, trabajo,
género, infancia, juventud, etc.) para la solución de problemas, integrando agendas,
estrategias y presupuestos.
Todo esto invita a prestar mayor atención a los aspectos políticos de la evaluación,
toda vez que la complejización de la interactoralidad supone aunar voluntades, construir
consensos, gestionar las diferencias e interpretar valores, intereses y discursos diversos
(o variados “relatos” explicativos de la realidad, verdaderos marcos teóricos de carácter
más formal o informal, más explícito o implícito). Estos cambios también reclaman una
agudización en el análisis de los recursos que cada actor provee, sean éstos de orden
económico financiero, físico, cultural, de poder o simbólico.
Además, emerge de manera cada vez más notoria el propósito de prestar mayor
atención a la comunicación y el uso del conocimiento generado a través de las
evaluaciones. No sólo es importante que éste sea válido (respondiendo a las necesidades
de cualquier investigación científica de consistencia en el uso de la teoría, el método y
los datos empíricos), pertinente y relevante (es decir, que se ajuste a las necesidades de
información que dan lugar a la evaluación y que se responda con un caudal suficiente de
datos de calidad), sino que también es menester desarrollar adecuadas estrategias de
10
comunición y asegurar la aplicación de los resultados de la evaluación para la toma de
decisiones.
Cabe señalar una diferencia existente en las tres etapas en relación con el foco de
la evaluación. En la fase del Estado de bienestar el eje se centró en el control de los
procesos (preestablecidos por los planificadores), puesto que se entendía que una buena
planificación (desde la perspectiva normativa) garantizaba de por sí, si se aplicaba como
se había previsto, el logro de los resultados esperados. En la etapa posterior el énfasis
estuvo puesto sobre los resultados, entendiendo que se daba lugar a la libertad de
implementación de los diversos actores y niveles de gobierno y que esto generaba
mayor creatividad, eficiencia y efectividad. Pero a su vez requería de instrumentos
evaluativos que permitieran verificar la existencia de una buena gestión, además de
comparar experiencias y estilos.
11
Sin embargo, poca fue la atención que se puso sobre los procesos, de modo que no
se podía contar con explicaciones causales sobre la incidencia de los múltiples aspectos
de la implementación en los resultados de los programas. De este modo, la
implementación de programas pasaba a ser una “caja negra” y las recomendaciones
sobre la gestión de los mismos terminaban quedando libradas a la intuición de los
agentes. En una etapa como la actual, donde se ha visto que no es posible atenerse a
recetas uniformes de políticas y que los rumbos de las mismas están sujetos en gran
parte a la innovación y a la experimentación, se considera necesario indagar tanto sobre
los resultados como sobre los procesos de implementación, estableciendo los nexos
entre ambos que permitan fortalecer las recomendaciones y, de este modo, garantizar el
uso de la evaluación para la toma de decisiones.
12
Como síntesis de la exposición anterior, a continuación se ofrece un cuadro con
los distintos parámetros utilizados para hacer la comparación de los tres momentos
sociopolíticos y su correlato en la función evaluación.
Parámetros
Presencia del Estado de Bienestar Retirada del Estado Retorno del Estado
Estado
13
Metodologías Análisis de Cuantitativa Combinación
procedimientos (impactos) cuantitativa /
cualitativa
Estadísticas
Prospectiva
(factibilidad /
viabilidad)
OPORTUNIDADES Y DESAFÍOS
Estas instituciones vienen formando sus propios recursos humanos desde hace
varios años y a su vez son fuente de demanda de capacidades de evaluación en el
mercado profesional de la región. En este sentido, han contribuido a la movilización de
recursos humanos desde diversos campos profesionales (sociología, antropología,
economía, educación, psicología, salud, etc.) que están confluyendo en el espacio de la
evaluación. Esta movilización ha dado lugar a la generación de ofertas de formación y
capacitación en el mundo académico, con distintos formatos: maestrías, cursos de
posgrado o materias de evaluación en carreras de especialización, diplomados y
maestrías. A su vez, son numerosos los seminarios y congresos con distintos focos
(políticas públicas, administración, metodologías de investigación, planificación, etc.)
que incluyen el tópico de la evaluación en sus agendas de discusión y diseminación y
14
las publicaciones científicas también contienen artículos dedicados a la temática. Todo
esto brinda un panorama promisorio para la profesionalización de la actividad que
requiere, no obstante lo anterior, la voluntad combinada de los ámbitos
gubernamentales, de las instituciones académicas de formación y de las sociedades o
redes de evaluadores.
En relación con las últimas, en gran parte de los países se han formado redes
nacionales de evaluadores por propia iniciativa de grupos organizados desde la sociedad
civil y existe la Red de Seguimiento, Evaluación y Sistematización de América Latina y
el Caribe (ReLAC) que nuclea a la mayoría de ellas. Además se ha formado, con el
impulso del Banco Mundial y del Banco Interamericano de Desarrollo, la Red
Latinoamericana y del Caribe de Monitoreo y Evaluación (REDLACME). Ambas se
han propuesto contribuir a la profesionalización de la evaluación, la formación de
recursos humanos y el fortalecimiento institucional de los gobiernos y de las
organizaciones de la sociedad civil para el desarrollo de la función. A ellas se agrega la
Red de Evaluadores de Naciones Unidas para América Latina y el Caribe (EVALUN
LAC), que nuclea a evaluadores de organismos de Naciones Unidas de la región, ya sea
que pertenezcan al staff o que sean contratados periódicamente. Esta tiene a su vez
fluidos contactos con las otras dos redes. Las tres llevan a cabo encuentros periódicos y
se han transformado en espacios de consulta y solicitud de recursos por parte de
gobiernos, organizaciones de la sociedad civil, instituciones académicas y organismos
internacionales.
15
Pero sobre todo es menester “transformar el monstruo en aliado” (Mokate, 2000),
esto es, lograr que se deje de ver a la evaluación como una amenaza (instrumento de
control, fiscalización y coacción) y que se la perciba como una oportunidad. En los
inmediato: como la posibilidad de aprender juntos reflexionando sobre la práctica, de
dialogar, de conocerse, de reconocerse, de darle mayor calidad a las políticas, de
responsabilizarse y de hacer más transparente y valorada la propia gestión. En lo
mediato: como un instrumento para profundizar la democracia, generar mayores
condiciones de equidad y elevar la calidad de vida de toda la población.
BIBLIOGRAFÍA
• Freire, Pablo (2008), Pedagogía del oprimido, Buenos Aires, Siglo XXI.
• Garretón, Manuel (2000), Política y sociedad entre dos épocas. América Latina
en el cambio de siglo, Rosario, Homo Sapiens.
16
• Joint Coommittee on Santards for Educational Evaluation (1981), Standards for
evaluations of educational programs, projects, and materials, New York, Mc
Graw-Hill.
17