Modelos tericos e indicadores de evaluacin educativa

Por: Benilde Garca Cabrero

Currculo: profesora titular del Departamento de Psicologa Educativa y Desarrollo de la Divisin de Estudios de Posgrado de la Facultad de Psicologa de la UNAM. Miembro del Sistema
Nacional de Investigadores del Conacyt y consejera tcnica del Instituto Nacional para la Evaluacin de la Educacin (INEE), donde colabora en la Direccin de Indicadores Educativos. Profesora de diversas universidades nacionales y evaluadora de programas en instituciones nacionales e internacionales, como UNESCO, CERLALC, UNICEF, OCDE, Conafe, IFE y SEP, entre otras.

Resumen
En este artculo se analizan los fundamentos tericos en los que se sustenta
el desarrollo de sistemas de monitoreo y evaluacin de la calidad de la educacin y se describen los modelos de evaluacin ms representativos del mbito
educativo. El artculo se propuso dar respuesta a las siguientes interrogantes:
qu implica monitorear y evaluar los sistemas educativos?, qu papel desempean los modelos de evaluacin, los indicadores y los estndares en estos
procesos?, cules son las fuentes de las que se derivan los indicadores educativos?, y cmo se seleccionan los indicadores que pueden dar cuenta de la
calidad de un sistema educativo?
Abstract
This article discusses the theoretical foundations that underpin the development of systems for monitoring and evaluating the quality of education
and describes the most representative assessment models in education.
The article pretends to answer the following questions: what does monitor and evaluate education systems imply? What role play assessment
models, indicators and standards in these processes? What are the sources from which educational indicators are derived? How can the indicators that account for the quality of an educational system be selected?
Key words: educational indicators, evaluation models, educational standards,
monitoring systems.

Introduccin
l conocimiento y la informacin constituyen, de acuerdo con diversos especialistas, los elementos centrales de las diferencias entre las personas, las
instituciones y los pases en la poca actual (Castells, 2002). Conforme a lo
planteado por Mateo (2006), las sociedades postindustriales actuales se orientan,
fundamentalmente, hacia la generacin y gestin democrtica del conocimiento.
En estas sociedades, la informatizacin, la robotizacin y, en trminos generales, la
tecnologizacin, tanto de la industria como de la vida cotidiana, estn propiciando
el surgimiento de nuevas lites. El dominio de la tecnologa para el manejo de
la informacin y del conocimiento, as como su puesta en prctica, generan una
distancia entre los grupos sociales que no tienen acceso a estos servicios y aquellos que los disean, utilizan o comercializan, con lo que producen situaciones de
injusticia y marginacin que atentan contra el bienestar y la cohesin social.
Ante este panorama, Mateo seala que la articulacin de mecanismos socioeducativos que permitan que toda persona, en cualquier etapa de su vida,
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

pueda tener acceso a desarrollar instrumentos y competencias cognitivas que le

ayuden a desempearse como un ciudadano activo y participativo que ejerce plenamente sus derechos, constituye un elemental ejercicio de justicia distributiva
y de cohesin social y un objetivo poltico imprescindible (2006, p. 243).
Frente a los enormes retos que plantea la sociedad postindustrial, la educacin debe sistematizar sus esfuerzos y organizar sus recursos, de tal manera que
pueda rendir cuentas en materia educativa sobre el cumplimiento de las metas
que la sociedad le demanda. Como parte sustancial del proceso de rendicin de
cuentas, la educacin debe instituir mecanismos que permitan evaluar sus recursos, procesos, agentes y resultados, y considerar, en la medida de lo posible,
el conjunto del sistema educativo.
Para responder a las necesidades y demandas actuales en materia educativa,
as como a los requerimientos de la globalizacin y la sociedad del conocimiento,
el Programa Sectorial de Educacin 2007-2012 propuso impulsar una profunda
reforma educativa que se encuentra en marcha. Como parte de ella, se ha planteado promover la evaluacin de todos los actores y procesos involucrados en el
sistema educativo. Para ello, es conveniente supervisar el sistema; es decir, dar
cuenta del progreso en el logro de las metas propuestas en el programa sectorial,
as como del grado de aplicacin de los mecanismos diseados para alcanzarlas.
Asimismo, definir y poner en operacin sistemas de indicadores sobre la base del
modelo explcito o implcito del funcionamiento del sistema educativo, para realizar evaluaciones diversas de componentes del sistema, o de ste en su conjunto.
Monitorear y evaluar los sistemas educativos
En el contexto de la definicin de marcos de referencia para la evaluacin de programas y proyectos, Dale (1998) establece una distincin entre dos conceptos: 1)
monitoreo o seguimiento y 2) evaluacin. El autor define el monitoreo como la
recoleccin y el anlisis de informacin de modo rutinario y frecuente, acerca del
desempeo o funcionamiento de un programa o proyecto. Esto puede hacerse a
travs de reuniones peridicas y presentacin de informes o de investigaciones y
estudios especiales. La informacin derivada de estos procedimientos debe ser
vertida para realimentar el programa o proyecto, de preferencia para ajustar la
etapa de planificacin del ciclo y proponer acciones correctivas.
Scheerens, Glass y Thomas (2005) sugieren la utilizacin del trmino monitoreo en relacin con la recopilacin de informacin que se produce en el da a
da, en el curso mismo de los acontecimientos educativos, y que sirve como base
de las decisiones sobre la gestin. El monitoreo se apoya de manera fundamental en datos administrativos; en la realizacin de esta actividad existe una mayor
preocupacin por la descripcin de la informacin recopilada que por la valoracin propiamente tal (Scheerens, Glass y Thomas, 2005). El monitoreo de un
sistema o programa educativo puede referirse tanto al del proceso como al de
los resultados (Chen, 2005; Rossi, Lipsey y Freeman, 2004). Joo (2009) seala
que el monitoreo del proceso es de gran ayuda para verificar que la implementacin del programa sea conforme a lo planeado.
El monitoreo de los resultados se puede realizar a travs de diferentes medios,
en particular mediante la aplicacin de exmenes que pueden funcionar como
instrumentos para certificar estudiantes individuales, escuelas, zonas escolares,
modalidades o tipos educativos, estados o pases, y para regular lo que la sociedad
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

puede esperar de stos, con lo cual se facilita la rendicin de cuentas. El monitoreo de las caractersticas del sistema educativo puede realizarse considerando
diversos niveles de agregacin: el sistema educativo, un programa especfico, una
escuela, un saln de clases o una cohorte determinada de alumnos.
La evaluacin, por su parte, se define como un examen ms profundo, que se
efecta en determinados momentos de la operacin de los programas o proyectos o de partes de ellos, por lo general con hincapi en el impacto, la eficiencia,
eficacia, pertinencia, replicabilidad y sostenibilidad de dichos programas o proyectos (Dale, 1998). La literatura actual sobre el tema de la evaluacin seala que
las diversas aproximaciones desarrolladas hasta el presente coinciden en que su
propsito es reunir informacin sistemtica y hacer algn tipo de juicio sobre un
cierto objeto de evaluacin. En el mbito educativo, estos objetos de evaluacin
pueden ser: los alumnos, las escuelas, el tipo de servicio educativo y el propio
sistema educativo (Hansen, 2005; Stufflebeam, 2000). Scheerens, Glass y Thomas
(2005) apuntan que una expectativa mayor respecto de los fines de la evaluacin
es que esta informacin ya valorada o evaluada pueda ser utilizada en condiciones ideales para tomar decisiones sobre el funcionamiento de los sistemas de
educacin, las escuelas, u otros agentes involucrados en el mbito educativo; o de
manera ms amplia, en situaciones que impliquen la revisin o, incluso, el cambio
del sistema que est siendo evaluado.
La evaluacin del sistema educativo se apoya en la obtencin de datos de diferentes fuentes; por ejemplo, los que se basan en medidas del rendimiento educativo; los que estn disponibles en registros administrativos (incluyendo estadsticas
educativas); y los que provienen de la revisin de expertos y la investigacin educativa. De acuerdo con Scheerens, Glass y Thomas (2005), el propsito fundamental
de la evaluacin del sistema educativo es la determinacin emprica de la calidad de
ste. Las funciones principales de la evaluacin son: 1) la certificacin y acreditacin;
2) la rendicin de cuentas; y 3) el aprendizaje de la organizacin. La certificacin y
acreditacin se dirigen, fundamentalmente, a precisar si las caractersticas del objeto evaluado se ajustan de modo formal a las normas y estndares establecidos.
La rendicin de cuentas, por su parte, permite que la calidad del objeto pueda
ser inspeccionada por otras instancias de la sociedad. Finalmente, el aprendizaje
de la organizacin como estrategia de evaluacin est dirigido a determinar si la
evaluacin de la calidad se utiliza como base de la mejora del objeto evaluado.
Estas tres formas de evaluacin difieren en el grado de formalidad de los criterios y estndares que utilizan, en la naturaleza externa frente a la interna de los
procedimientos de evaluacin y en la orientacin sumativa frente a la formativa
que emplean. En el caso de la certificacin y acreditacin, la evaluacin tiene un
alto grado de formalidad; es sumativa y para desarrollarla se requieren estndares especificados para certificar estudiantes o profesionales y para la acreditacin
de programas. La rendicin de cuentas requiere una evaluacin formal de tipo
externa con propsitos de control, en la que se combinan los enfoques formativo
y sumativo y se emiten juicios en los que se prescriben acciones de sancin o
recompensas en funcin de los resultados obtenidos. En el aprendizaje de la organizacin, la evaluacin es menos formal y tiene carcter adaptativo; es ms formativa que sumativa y se lleva a cabo con propsitos de mejoramiento mediante
procedimientos de evaluacin interna.
El desarrollo de planes sistemticos de evaluacin e indicadores nacionales
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

de la educacin es una de las actividades establecidas en pases como el Reino

Unido, Holanda, Francia, Argentina, Chile, Repblica Dominicana y Mxico para
la mejora de sus respectivos sistemas educativos. Asimismo, diversos organismos
internacionales, entre los que destacan la OCDE, la UNESCO, la Unin Europea y la
OEI, han puesto en marcha programas y proyectos vinculados al desarrollo de las
polticas de evaluacin educativa.
La evolucin y expansin de los sistemas de evaluacin han implicado transformaciones en la concepcin y prctica de la evaluacin, particularmente cambios
conceptuales en las nociones monolticas de evaluacin, y su sustitucin por otras
de carcter pluralista, as como el abandono de la idea de que la evaluacin puede
estar libre de valores. Se han introducido, tambin, cambios en las metodologas
utilizadas, y ha surgido una creciente tendencia a la integracin de mtodos cuantitativos y cualitativos. Por su parte, los usos de la evaluacin se han modificado
y se han destacado su carcter poltico y su capacidad como herramienta para
seleccionar lo que se pretende evaluar y, por tanto, la posibilidad de influir en la
orientacin de los sistemas educativos.
Se han introducido, de igual modo, cambios estructurales en la evaluacin, que
se caracterizan por su creciente inclusin en los mecanismos de gestin de los
sistemas educativos, as como por una ampliacin de los mbitos de cobertura y
una mayor interdisciplinariedad de la misma evaluacin (House, 1993). Lo anterior
pone de manifiesto la existencia de un nuevo fenmeno, que puede entenderse
como la expansin del inters por la evaluacin de los sistemas educativos, lo que
ha tenido como efecto una rpido adelanto de la evaluacin, concebida como disciplina cientfica y prctica profesional (Tiana, 2008).
Estndares educativos
Como resultado del inters creciente por la evaluacin, numerosos pases, en particular los ms avanzados, han adoptado estrategias del establecimiento de estndares para monitorear los resultados del sistema educativo a lo largo del tiempo
(Tognolini y Stanley, 2007). Esta forma de monitoreo se basa en la determinacin
del crecimiento o avance de los estudiantes, en relacin con resultados predeterminados para las diferentes asignaturas del currculo.
Los estndares pueden ser definidos como criterios claros y pblicos que establecen los parmetros de lo que los alumnos pueden y deben saber y saber
hacer en cada una de las asignaturas de los planes de estudio correspondientes a los diferentes niveles educativos. Los estndares constituyen una gua
para que todas las instituciones escolares del sistema educativo cuenten con
un referente sobre la calidad de la educacin que se espera que ofrezcan a los
alumnos y los resultados que deben alcanzar para lograr dicha calidad. Asimismo, los estndares sirven como marco de referencia para la actuacin de
profesores y directivos y para que los padres de familia y la sociedad puedan
solicitar a las escuelas y al sistema educativo la rendicin de cuentas sobre
los resultados alcanzados.

Los estndares son afirmaciones explcitas del desempeo de los estudiantes

que describen niveles de logro dentro de un rea particular de aprendizaje. El documento Standards, Assessment and Accountability (Shepard, Hannaway y Baker,
2009) de la Academia Nacional de Educacin de los Estados Unidos de Norteamrica
seala que es necesario distinguir entre estndares de contenido y estndares de
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

desempeo. Mientras que los primeros se refieren al conocimiento y las habilidades

que los estudiantes deben adquirir en una asignatura particular, los segundos constituyen ejemplos concretos y definiciones explcitas de lo que los estudiantes tienen
que saber y ser capaces de hacer para demostrar su pericia en las habilidades y el
conocimiento que estn delineados en los estndares de contenido. Los estndares
de desempeo se representan de mejor manera a travs de muestras del trabajo de
los estudiantes, que demuestran, por ejemplo, qu es lo que constituye calidad en
un ensayo o plantean cmo se puede demostrar el dominio que se espera.
La mayora de las veces, los estndares de ejecucin se expresan simplemente
como puntos de corte en una prueba (por ejemplo, 85% de respuestas correctas).
Para determinar si los estudiantes logran los estndares, es necesario disear tareas de evaluacin o exmenes acordes con dichos estndares. stos no estn referidos a una norma y los reportes acerca del avance de los estudiantes no aluden
a desempeos bajos, medios o altos, sino al porcentaje de estndares cubiertos
por los estudiantes y al nivel de excelencia o calidad alcanzado, o bien, como plantea Strater (2006), a la profundidad y amplitud con que los lograron. Una ventaja
de los sistemas de evaluacin basados en estndares es su transparencia y la posibilidad de mejora continua que se deriva de su utilizacin.
Los trminos criterio de evaluacin y estndar de evaluacin a menudo son
confundidos (Scheerens, Glass y Thomas, 2005). El criterio es la dimensin en la
que las interpretaciones evaluativas son realizadas; por ejemplo, un examen de matemticas puede utilizarse como criterio en una evaluacin educativa. El estndar
se refiere, por una parte, al criterio (en el sentido que acabamos de definir) y, por
otra, a una norma sobre cuya base puede decidirse si ha habido xito o fracaso.
Puntuaciones de corte definidas en una prueba de aprovechamiento particular son
un ejemplo de estndares; en el caso del punto de corte, el estndar es absoluto.
En nuestro pas se han establecido programas por competencias para los
niveles de educacin preescolar, primaria y secundaria y para algunas modalidades y sistemas de educacin media y superior. Sin embargo, no se han
establecido los criterios o estndares a alcanzar en relacin con las competencias propuestas. En algunas asignaturas se han definido aprendizajes esperados, los cuales no alcanzan el estatus de estndar en vista de que no se
han establecido los criterios de logro de dichos aprendizajes; por ejemplo, en
la asignatura de Espaol de quinto grado se establece que los nios aprendan
a redactar informes. Sin embargo, no basta con sealar que sean capaces de
hacerlo, sino que se requiere mencionar, por ejemplo, el tipo de informes o
las caractersticas mnimas que deben presentar.

Indicadores educativos
De acuerdo con Scheerens, Glass y Thomas (2005), los indicadores educativos son
estadsticos que permiten realizar juicios de valor sobre la pertinencia de los aspectos clave del funcionamiento de los sistemas educativos; constituyen caractersticas mensurables de stos y aspiran a medir sus aspectos fundamentales.
Proporcionan un panorama de las condiciones actuales del sistema educativo, sin
describirlo a fondo y se espera que a travs de ellos sea posible establecer inferencias acerca de la calidad de la enseanza. Debido a lo anterior, los indicadores
educativos tienen, en general, como punto de referencia un estndar contra el
cual pueden efectuarse los juicios de valor correspondientes.
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Los indicadores educativos deben ser susceptibles de comparacin a travs del

tiempo, esto es, deben dar cuenta del progreso y los cambios en el desempeo de
cierta variable; en otras palabras, el indicador no slo cumple una funcin informativa, sino tambin evaluativa, pues se espera que, mediante ellos, sea posible
determinar si existen mejoras o deterioros en algunas variables del sistema educativo (Morduchowicz, 2006). A este respecto, Kanaev y Tuijnman (2001), citados
en Morduchowicz (2006), sealan que, adems de su funcin informativa, los indicadores permiten construir nuevos enfoques y expectativas. Cabe destacar que
los indicadores no slo proporcionan informacin considerando el contexto del
sistema, sino que facilitan el anlisis de tendencias y la proyeccin de situaciones
futuras del mismo sistema.
Segn Morduchowicz (2006), desde la perspectiva de las polticas pblicas, la
seleccin y el uso de indicadores no es una tarea neutra; tiene dos dimensiones
que permiten su anlisis: la dimensin tcnica y la dimensin poltica. Los indicadores pueden, entonces, referirse no slo a las polticas, sino a las caractersticas
generales del sistema educativo.
Los indicadores, en cuanto que constituyen propuestas de interpretacin de la
realidad, no pueden ser entendidos como herramientas capaces de proporcionar
una visin acabada de la realidad tal cual es. En otras palabras, difcilmente permiten la comprensin de un fenmeno en toda su magnitud y complejidad, pues slo
aportan un marco de referencia cuantitativo que no incorpora los elementos cualitativos del fenmeno (Morduchowicz, 2006). Es comprensible, por tanto, que utilizar
un solo indicador para obtener informacin acerca de un fenmeno sea inadecuado. Los indicadores no son cifras aisladas; se encuentran interrelacionados unos con
otros, y para obtener una clara comprensin de la informacin que proporcionan
deben agruparse y constituirse en lo que se conoce como sistema de indicadores.
Los sistemas de indicadores facilitan la descripcin de situaciones que no pueden
medirse de manera directa; por ejemplo, medir constructos tales como la calidad
de la docencia o la de la educacin puede resultar sumamente difcil, pues no existe
un solo indicador que por s mismo refleje este constructo. En cambio, si miden los
mismos constructos considerando una serie de indicadores tales como formacin
acadmica, experiencia laboral, o resultados de aprendizaje y eficiencia terminal,
sera posible configurar un panorama ms claro en relacin con estos constructos.
De acuerdo con Ogawa y Collom (1998), los sistemas de indicadores pueden
adoptar dos caractersticas principales que hacen referencia al nmero de indicadores que conforman un sistema: indicadores parsimoniosos y extensos. Estos ltimos
incluyen un gran nmero de indicadores en su conjunto, y han sido criticados por
resultar inmanejables y complejos; por su parte, los parsimoniosos contienen un
reducido nmero de indicadores y las crticas que han recibido se relacionan, principalmente, con su poca capacidad para dar cuenta con eficacia de la complejidad de
fenmenos que configuran al sistema educativo (Ogawa y Collom, 1998).
El sistema de indicadores educativos que publica la OCDE desde 1998 con el
ttulo de Education at a Glance, constituye un ejemplo de un sistema de monitoreo que pretende establecer comparaciones entre diferentes pases respecto a la
situacin del sistema educativo. Education at a Glance incluye las visiones ms
actuales sobre la construccin y el clculo de indicadores en diversos dominios
educativos. Su publicacin ha generado una amplia red de especialistas y un conjunto relevante de conocimientos (CERI, 1994), que ha impactado el desarrollo y
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

la evolucin de los sistemas de evaluacin y monitoreo en diversos pases a escala

mundial. En el contexto nacional se ha iniciado un proceso semejante a partir de la
publicacin anual del Instituto Nacional para la Evaluacin de la Educacin (INEE)
denominada Panorama educativo: indicadores del Sistema Educativo Nacional,
que se edita desde 2003 para presentar los resultados del diseo y la aplicacin de
un sistema de indicadores de contexto, insumo, proceso y producto.
Un marco de referencia conceptual para desarrollar sistemas de monitoreo y evaluacin
Aun cuando existe un acuerdo generalizado entre los evaluadores de que el propsito de su prctica es determinar el valor de un objeto (Joint Committee on Standards for Educational Evaluation, 1994), existe un considerable desacuerdo respecto de qu significa valorar algo y cmo debe llevarse a cabo esta valoracin. De
aqu se desprende la multiplicidad de propsitos, perspectivas y metas, as como
de los modelos utilizados para efectuar la evaluacin (Donaldson y Scriven, 2003).
Este supuesto consenso respecto del propsito de la evaluacin ha sido discutido por algunos evaluadores, que sealan que su responsabilidad fundamental es
la descripcin y explicacin cientfica de las relaciones entre indicadores, y que el
juicio de valor no es responsabilidad de los evaluadores, sino de los interesados. Esta
perspectiva, denominada subjetivista o interpretativa, argumenta que los juicios de
valor no son ms que expresiones de preferencias personales o polticas, as como
emociones o actitudes de individuos o grupos. Dichas expresiones deben distinguirse de aquellas basadas en los hechos que describen y explican alguna situacin. Los
hechos pueden ser debatidos y sus descripciones y explicaciones, juzgadas como
verdaderas o falsas (Schwandt, 2005), pero no puede establecerse qu valor tienen.
Por tanto, determinar la utilidad (efectividad-resultados) de un programa en funcin
del logro de los objetivos que se propone, es el nico juicio que puede ser objetivo, porque la valoracin descansa nicamente en los hechos.
Los defensores de la postura objetivista no estn de acuerdo con la argumentacin anterior y plantean que un juicio de valor (tal programa es bueno, pobre,
etctera) puede defenderse racionalmente. Dentro de la corriente objetivista existe un grupo que sostiene que s es responsabilidad del evaluador emitir un juicio
de valor, una vez que haya tomado en cuenta todos los aspectos que establecen el
mrito, vala o significatividad del objeto evaluado, mediante una identificacin de
necesidades, la determinacin del logro de estndares u objetivos del programa, o
de comparaciones con programas alternativos, entre otros (Wholey, 2004).
Dentro de la corriente objetivista, pero desde una postura crtica, House (1993)
y House y Howe (2001) sealan que la determinacin del valor de un programa
o poltica no puede ser realizada nicamente por los evaluadores, sino de forma
conjunta por medio de algn tipo de procedimiento democrtico o foro en el que
los interesados y los evaluadores discutan y deliberen acerca del valor del objeto
evaluado y lleguen a un consenso.
Las posturas contrapuestas respecto de si es o no responsabilidad del evaluador emitir juicios de valor como resultado de una evaluacin, constituye uno de
los temas lgidos de la discusin actual. La eleccin de un modelo de evaluacin
especfico para sustentar las acciones de los evaluadores sobre un objeto de evaluacin revela, en gran medida, la postura adoptada en esta discusin.
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Modelos tericos de evaluacin

Resulta de gran utilidad formalizar un proceso complejo como es la evaluacin de
los sistemas educativos, dentro de un modelo, que con frecuencia adopta la forma
de un paradigma conceptual, un diagrama de flujo u otro tipo de representacin
esquemtica (Garca-Cabrero, 1995, 1986). En la literatura sobre evaluacin educativa existen diversos modelos formales de evaluacin cuyas representaciones
ayudan a examinar las relaciones entre diferentes componentes y procesos que
ocurren dentro de dichos sistemas (Stake, 1967; Stufflebeam, 1968).
Madaus y Kellaghan (2000) mencionan que algunos autores han criticado la
utilizacin del trmino modelo para referirse a las alternativas o perspectivas de
evaluacin. La crtica se fundamenta en el hecho de que estas perspectivas no
cuentan con el nivel de formalizacin que tienen algunos modelos en ciencia,
como es el caso de los modelos matemticos. En respuesta y como defensa de
la utilizacin del trmino modelo, los autores argumentan que las definiciones
comunes de los diccionarios plantean que un modelo es una sntesis o abstraccin de un fenmeno o proceso. Si se considera la evaluacin como un proceso,
entonces los modelos de evaluacin constituyen la forma como un autor resume
o conceptualiza la manera como debe efectuarse el proceso de evaluacin. Un
modelo puede definirse tambin como una metfora, y en ese sentido, un modelo
de evaluacin puede concebirse como la metfora o forma de pensar la evaluacin
que tiene el autor del modelo. Cada modelo se orienta a responder ciertas preguntas y, por tanto, para la eleccin de un modelo particular deben considerarse
las preguntas que se pueden responder a partir de su utilizacin y los recursos que
se tienen para responderlas. En situaciones de restriccin presupuestaria es recomendable elegir varios modelos que permitan recolectar las mejores evidencias
para responder las preguntas planteadas.
Madaus y Kellaghan (2000) sugieren tambin la posibilidad de combinar los datos obtenidos mediante: 1) la aplicacin de pruebas de rendimiento que se utilizan
en el modelo de evaluacin orientado a las metas; 2) los recursos asignados, considerados dentro del modelo orientado a las decisiones; y los 3) datos provenientes
de observaciones y entrevistas que tpicamente se aplican en los modelos naturalistas. Los autores afirman que la combinacin de modelos constituye la mejor va
para documentar la complejidad de los sistemas y programas educativos.
La gran cantidad de modelos en el mbito de la evaluacin educativa revela el
amplio rango de posiciones epistemolgicas e ideolgicas que existen entre los
tericos sobre la naturaleza de la evaluacin, la forma de conducirla y la manera
de presentar y utilizar los resultados.
De los modelos tericos a la construccin de indicadores de evaluacin
Diversos autores coinciden en que, para desarrollar indicadores, se debe adoptar un modelo del sistema educativo (Blank y Gruebel, 1993; Jones y Nielsen,
1994). Los modelos permiten identificar los elementos clave que requieren ser
medidos dentro del sistema; incluyen las relaciones tericas entre los componentes y permiten distinguir reas en las que es necesario intervenir. Los sistemas de indicadores en su conjunto se derivan de los modelos de evaluacin. La
operacionalizacin de los componentes del modelo en entidades mensurables
es lo que se conoce como indicadores; en tanto que el conjunto de indicadores
constituye un sistema (Ogawa y Collom, 1998).
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Hansen (2005) efectu una revisin de dos enfoques alternativos de evaluacin. El primero consiste en el diseo y conduccin de un estudio para proporcionar evidencia acerca del valor y mrito de un objeto particular de inters para
una audiencia especfica. El segundo, en una valoracin retrospectiva y cuidadosa
del mrito y valor de la administracin, productos y resultados de intervenciones
gubernamentales dirigidas a desempear un papel en situaciones prcticas de intervencin (Vedung, 1997). La primera aproximacin es conocida como evaluacin
de programas (Stufflebeam, 2000; Alkin, 2004) y la segunda, como evaluacin de
la efectividad organizacional (Scott, 2003).
Tanto Payne (1994) como Hansen (2005) mencionan que los modelos bsicos
de evaluacin utilizados dentro de los dos enfoques se traslapan de forma significativa. Aunque no existe un consenso en la literatura sobre la clasificacin de los
tipos y modelos de evaluacin que existen, es posible agruparlos en seis grandes
categoras: 1) modelos de resultados; 2) modelos explicativos del proceso; 3) modelos econmicos; 4) modelos de actor; 5) modelos de teora del programa; y 6)
modelos sistmicos (Hansen, 2005).
El modelo de resultados, tambin denominado modelo basado en las metas, se
centra en los productos alcanzados por un programa u organizacin; tiene dos subcategoras: el modelo de logro de metas, y el modelo de efectos. El primero es un
clsico en la literatura sobre evaluacin de programas y evaluacin organizacional; en
l los resultados se evalan con base en las metas u objetivos establecidos, tal como lo
sealan: Popham, 1970 (citado en Escudero, 2003); Scriven, 1973 (citado en Escudero,
2003); Stainmetz, 1983; Tyler, 1969 (citado en Escudero, 2003). Por su parte, el modelo
de efectos tiene la intencin primordial de conocer todas las consecuencias producidas por el objeto que se evala. Este modelo, tambin conocido como modelo de
evaluacin libre de metas (Scriven, 1973, citado en Escudero, 2003), ha sido criticado
porque se considera que puede tener criterios de evaluacin deficientes.
El modelo explicativo del proceso se centra, como su nombre lo indica, en los
procesos y esfuerzos. La evaluacin de proceso se lleva a cabo de manera adecuada cuando se realiza en tiempo real, y es menos pertinente cuando ocurre a
travs de anlisis histricos. Los modelos econmicos consideran al objeto de la
evaluacin el programa o la organizacin como una caja negra que relaciona la
evaluacin de los resultados (ya sea en forma de rendimiento de la produccin,
efectos o beneficios ms duraderos) con los insumos (entradas) (Hansen, 2005).
Los modelos de actor (clientes, interesados y pares) se basan en los criterios
establecidos por los propios actores de la evaluacin. El primero se centra en los
criterios de los clientes para llevar a cabo la evaluacin; el modelo de los interesados considera los criterios de todas las partes interesadas que resultan pertinentes
para la evaluacin (Stake, 1967, 2006). Por su parte, el modelo de revisin por
pares toma en cuenta los criterios para la certificacin de profesionales. El modelo
de teora del programa se centra en la evaluacin de la validez de la teora en la
que se fundamenta el programa, una intervencin u organizacin determinados.
Este modelo compara y reconstruye, con base en el anlisis emprico (Birckmayer
y Weiss, 2000), las relaciones causales entre el contexto, el mecanismo y los resultados (Pawson y Tilley, 1997; Pawson, 2002). El modelo de teora del programa
puede ser visto como un modelo de resultados extendido. El objetivo del modelo
terico es revisar y seguir desarrollando la teora del programa y as aprender lo
que funciona, para quines y en qu contextos.
Sinctica 35 www.sinectica.iteso.mx

10

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Por ltimo, el modelo sistmico aborda el anlisis de los insumos, la estructura,

el proceso y las salidas en trminos de resultados (Sheerens y Creemers, 1989). En
l, la evaluacin se fundamenta tanto en comparaciones de insumos planeadas y
realizadas como en los procesos, estructuras y contrastacin de resultados de programas similares u organizaciones reconocidas como de excelencia. Este modelo
ha sido ampliamente utilizado en la prctica de la evaluacin, y como ejemplo
puede citarse el modelo CIPP (contexto, insumo, proceso, producto) desarrollado
por Daniel Stufflebeam (Stufflebeam y Shinkfield, 1987; Stufflebeam, 2004), en el
que se basa el modelo del sistema de indicadores del Instituto Nacional para la
Evaluacin de la Educacin (INEE, 2003, 2004, 2005, 2006, 2007 y 2008).
En las ltimas cuatro dcadas, en particular en Estados Unidos de Norteamrica, se ha desarrollado un nmero importante de modelos de evaluacin; algunos
de ellos, como el modelo de orientacin a metas y los modelos econmicos, se
apoyan en la nocin de objetividad y consideran que la evaluacin puede producir
resultados objetivos. En algunos otros modelos de corte cualitativo/interpretativo, como el de los actores, los criterios de evaluacin no se elaboran de forma
previa, sino que se formulan durante el propio proceso de evaluacin; en stos no
se considera que la evaluacin produzca resultados objetivos, ya que cada actor
o participante tiene perspectivas o percepciones diferentes del objeto evaluado.
Todos los modelos tienen tanto fortalezas como debilidades, y la eleccin de
alguno de ellos corresponde, de acuerdo con Hansen (2005), a la decisin de
elegir una perspectiva del objeto de estudio. Al seleccionar un modelo, algunos
aspectos del objeto evaluado pueden ser enfocados claramente, mientras que
otros se excluyen del foco.
A continuacin se presenta un ejemplo de cmo se puede utilizar el modelo
sistmico para derivar indicadores a partir del modelo interpretativo de relaciones
de Corvaln (2000) (ver figura 1), el cual considera el contexto en el que se desenvuelve la educacin y la forma en que sta se organiza. Incorpora los insumos destinados a la educacin medidos en trminos de recursos humanos, materiales y
financieros y centra la atencin en el funcionamiento de la educacin propiamente tal. En este modelo, los resultados de la educacin son concebidos en cuanto al
logro acadmico e impacto social, que, a su vez, influyen de nuevo en el contexto.

Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

11

A partir de este modelo de relaciones se pueden derivar cinco grandes categoras

de indicadores: 1) contexto demogrfico, social y econmico y descripcin general
del sistema de educacin; 2) recursos en educacin; 3) desempeo de los sistemas
educativos; 4) calidad de la educacin; y 5) impacto social de la educacin.
Contexto demogrfico, social y econmico y descripcin general del sistema
de educacin
Estos indicadores, segn Scheerens, Glass, y Thomas (2005), son en general definidos en el nivel de los sistemas educativos nacionales, y se refieren bsicamente a las
caractersticas de dimensin y estructurales del sistema educativo nacional. Algunos
ejemplos pueden ser: metas educativas y estndares por nivel educativo; edad relativa de la poblacin estudiantil; la estructura de las escuelas en el pas, entre otros.
Recursos en educacin
Permiten conocer la disponibilidad, caractersticas generales, tcnicas y distribucin de los recursos humanos, materiales, as como financieros que contribuyen al
proceso educativo. Algunos ejemplos de este tipo de indicadores son: gasto educativo por estudiante; gastos en desarrollo e investigacin educativa; o porcentaje
de la fuerza laboral del pas que se dedica al campo educativo.
Desempeo de los sistemas educativos
Dan cuenta de las caractersticas del entorno de aprendizaje, as como de los
aspectos de organizacin de la escuela. Algunos ejemplos son: los patrones de
centralizacin/descentralizacin del sistema; el tiempo de enseanza por asignatura; la proporcin del presupuesto total dedicado a la educacin en relacin con
reformas a programas especficos; la inversin y los arreglos estructurales para el
monitoreo y la evaluacin del sistema educativo, entre otros.
Sinctica 35 www.sinectica.iteso.mx

12

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Calidad de la educacin
La preocupacin por asegurar la calidad y equidad de la educacin en una concepcin amplia y diversa, es uno de los principales factores que determinan el desarrollo de este tipo de indicadores. Se relacionan principalmente con estadsticas
sobre el acceso y participacin, y sobre todo con los datos que refieren el logro
educativo. Algunos ejemplos son: tasas de participacin en los diversos niveles
educativos; progresin a travs del sistema educativo; promedio del logro en dominios curriculares bsicos; competencias transversales; y habilidades para la vida
(habilidades sociales, resolucin de problemas, entre otras).
Impacto social de la educacin
Permite el anlisis de la relacin entre la educacin y la sociedad. Este tipo de
indicadores se refiere a los cambios que ocurren en los diversos sectores sociales
y que pueden ser interpretados como efectos de la educacin; por ejemplo: el impacto de la educacin en el empleo/desempleo de la juventud; el posicionamiento
de los egresados con cierto nivel de certificacin en el mercado laboral; ingresos vinculados a la educacin y el nivel de entrenamiento de los individuos, entre
otros. Un ejemplo del uso de este tipo de indicadores se presenta en el anlisis de
Muoz-Izquierdo y Mrquez (2000) respecto del impacto que tuvo la expansin de
oportunidades educativas durante las ltimas dcadas del siglo anterior, sobre las
ocupaciones desempeadas por egresados de los sistemas educativos.
Un aspecto que debe considerarse para desarrollar sistemas de indicadores es
el nmero de stos que deber incluirse. A este respecto, la literatura seala que
los sistemas extensos de indicadores pueden resultar inmanejables y demasiado
complejos, con lo cual se volveran poco tiles (Blank, 1993; McDonnell y Oakes,
1989; Shavelson, McDonnel y Okes, 1989). Por consiguiente, es deseable que prevean slo un nmero esencial de indicadores. No obstante, an existe una falta de
consenso acerca de la cantidad de indicadores que puede considerarse aceptable
y funcional dentro de un sistema de indicadores en particular. Algunos autores,
como Dickson y Lim (1991), plantean que se deben incluir entre cinco y ocho;
otros (por ejemplo, Blank, 1993), que basta con doce, mientras que algunos como
Hafner y Buchanan (1992) recomiendan un mximo de veinte.
Resulta evidente que el nmero de indicadores debe tomar en cuenta los
rangos que se establecen en la literatura, sin que esto se convierta necesariamente en una regla de oro que no debe ser quebrantada. Al tomar la decisin
del nmero de indicadores a incluir, se debe tambin considerar el contexto particular en el que se inscribe el sistema, y en funcin de ste, precisar el nmero
de indicadores que lo constituirn.
El sistema de indicadores desarrollado por la OCDE en 1998 incluy 38 indicadores, agrupados en seis categoras: 1) contexto demogrfico, social y econmico
en el que operan los sistemas educativos; 2) recursos humanos y financieros invertidos en educacin; 3) acceso, participacin, progresin y eficiencia terminal
en educacin; 4) participacin de los jvenes en educacin (quince a veintinueve
aos), as como seguimiento de la eficiencia terminal en educacin inicial; 5) entorno de aprendizaje y formas en las que los sistemas educativos se organizan para
mostrar datos en relacin con los profesores y la enseanza; y 6) resultados individuales y sociales del mercado de trabajo de la educacin (OCDE, 1998). En 2009,
los indicadores de la OCDE se redujeron a 25, y se agruparon en cuatro grandes
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

13

categoras: 1) resultados e impacto del aprendizaje; 2) recursos humanos y financieros invertidos en educacin; 3) acceso a la educacin, participacin y progreso;
y 4) ambiente de aprendizaje y organizacin de las escuelas (OCDE, 2009).
El sistema de indicadores de Canad se ha desarrollado a partir de la propuesta de
la OCDE. Aunque ese pas ha participado desde el inicio en Education at a Glance, y
posee un sistema de indicadores alineado al de la OCDE, su gobierno, preocupado por
ofrecer a los polticos y canadienses un sistema que permita monitorear el desempeo
del sistema educativo al interior de las provincias, se dio a la tarea en 1996 de desarrollar un sistema de indicadores educativos, que, con el transcurso de los aos, fueron modificndose para agruparse en cinco categoras en su edicin de 2005 y 2007:
1) caractersticas de la poblacin escolar; b) financiamiento del sistema educativo; c)
educacin elemental secundaria; d) educacin postsecundaria; y e) transiciones y resultados. En 2009, las categoras se redujeron a las siguientes: a) los resultados de las
instituciones educativas y el impacto del aprendizaje; b) recursos financieros y humanos invertidos en educacin; y c) acceso a la educacin, participacin y progresin.
Actualmente, el sistema cuenta con diez indicadores agrupados en las categoras ya
mencionadas (Canadian Education Statistics Council, 2005, 2007, 2009).
En Espaa se comenz a disear el sistema estatal de indicadores de la educacin a partir de 1993, con la creacin del Instituto Nacional de Calidad y Evaluacin
(INCE), y se public su primera versin en 2000. Actualmente, se efecta una revisin y adecuacin anual de 15 indicadores del sistema que han sido denominados
prioritarios. El sistema vigente consta de 38 indicadores globales agrupados en
cinco categoras: 1) contexto; 2) recursos; 3) escolarizacin; 4) procesos educativos; y 5) resultados educativos (Ministerio de Educacin, Secretara de Estado de
Educacin y Formacin Profesional, Direccin General de Evaluacin y Cooperacin Territorial e Instituto de Evaluacin, 2009).
En el contexto mexicano, el Instituto Nacional para la Evaluacin de la Educacin (INEE) ha desarrollado desde 2003 un sistema de indicadores del sistema
educativo nacional. En su edicin 2008, ste se integr de 37 indicadores, que, a
su vez, se subdividen en 297 subindicadores agrupados alrededor de cinco categoras: a) contexto social; b) agentes y recursos en el sistema; c) procesos educativos
y gestin; d) acceso y trayectoria; y e) resultados educativos (INEE, 2009).
Otro aspecto con especial relevancia para formar un sistema de indicadores es
el establecimiento de los criterios de seleccin de los indicadores que se incluirn
en el sistema. Algunos de los principales criterios que se deben considerar son: la
calidad tcnica de los datos; su confiabilidad y validez; que los indicadores se deriven de un modelo del sistema educativo y sean polticamente relevantes.
La confiabilidad tiene que ver con la calidad de las medidas e implica el supuesto bsico de que los datos sern obtenidos en cada ocasin a lo largo de repetidas
observaciones del mismo fenmeno. Por su parte, la validez se refiere a si lo que
se est midiendo refleja de manera precisa el concepto que se pretende medir.
Es necesario sealar que la validez y la confiabilidad por s mismas no cualifican
a los indicadores para ser incluidos dentro de un sistema de indicadores. Pueden
existir algunos altamente vlidos y confiables y, sin embargo, carecer de significado; lo anterior sucede debido a que los indicadores se derivan de un modelo o
marco de referencia en particular. Por tanto, si el marco o el modelo carecen de
relevancia y significado, los indicadores que se desprendan de l tendrn las mismas carencias, aun cuando sean vlidos y confiables.
Sinctica 35 www.sinectica.iteso.mx

14

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

En este sentido, otro de los criterios que necesariamente determina la seleccin de indicadores es que stos se sustenten en un modelo o marco de referencia
terico. Lo anterior implica enfrentar una serie de dificultades, la ms importante:
poder modelar, de forma adecuada, un fenmeno complejo como es el sistema
educativo a partir de un nmero reducido de elementos.
Uno de los principales criterios para seleccionar indicadores es que stos sean
polticamente relevantes, lo cual permitir que el sistema de indicadores incluya aspectos cruciales, tanto para las polticas como para los programas. En este mismo
sentido, es de suma importancia que los indicadores produzcan informacin til en
los mbitos local, estatal y nacional; es decir, deben respetar la autonoma y, al mismo tiempo, ser sensibles para discernir entre definiciones locales y nacionales.
Por ltimo, de acuerdo con lo que plantean Ogawa y Collom (1998), estos criterios no constituyen una receta que deber seguirse al pie de la letra; son tan slo
una gua que puede orientar el proceso de seleccin de indicadores y deben, por
tanto, utilizarse en concordancia con esta idea.
Aunque el diseo y uso de los indicadores cuenta con una amplia aceptacin
entre tericos, investigadores, prcticos y polticos de la educacin, este enfoque
no est exento de crticas. Para Lashway (2001), por ejemplo, aunque los indicadores encierran la promesa de un mejoramiento del proceso de toma de decisiones, pueden con facilidad provocar confusin. Un peligro latente es la recoleccin
indiscriminada de datos; esto no slo involucra dinero y esfuerzo, sino que puede
atrapar a quienes toman las decisiones en un mar de nmeros, lo cual hace difcil
que puedan distinguir lo importante de lo trivial.
Darling-Hammond y Ascher (1991) plantean que las cifras nunca hablan por s
mismas, sino que necesitan una cuidadosa interpretacin. Por ejemplo, cuando
se observan incrementos en resultados de logro educativo, no se puede de inmediato concluir que se deben a una mejora de la instruccin, ya que existen factores
que pudieron influir. Un caso es que los educadores, enfrentados con la necesidad
de mejorar las cifras, pudieran tentarse a reemplazar contenidos relevantes con
actividades orientadas a la preparacin para rendir las pruebas; podran tambin
excluir a los estudiantes con necesidades educativas especiales en los momentos
de las evaluaciones; o incluso podran cometer fraude.
Darling Hammond y Ascher (1991) hacen notar que los indicadores simplemente proveen informacin para el sistema, pero que no importa cun sofisticados
sean los datos recolectados, nunca podrn sustituir al juicio humano informado.
Comentarios finales
Es necesario sealar que el proceso de seleccin de indicadores es una tarea influida por mltiples factores, que incluyen, por una parte, las disposiciones legales
(leyes, reglamentos, normativas, etctera) y las metas nacionales e internacionales establecidas para el sistema educativo, y por la otra, los problemas y los retos
que la sociedad en su conjunto plantea al sistema educativo, as como la informacin que proporcionan los resultados de la investigacin en el campo educativo.
Aun cuando todos los tipos de indicadores pueden resultar relevantes para la
toma de decisiones en materia educativa, son los indicadores de proceso los que
pueden revestir una importancia mayor, en primer lugar porque permiten observar lo que sucede en la caja negra de la escolarizacin. Asimismo, tal como sealan Scherens, Glass y Thomas (2005), los indicadores de proceso son interesantes
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

15

desde el punto de vista de la poltica, la gestin y la administracin, ya que se

refieren a condiciones que son maleables y stas pueden convertirse en el tema
de polticas activas para mejorar la educacin.
Los autores opinan que los indicadores de proceso deberan seleccionarse en
funcin de que demuestran asociaciones positivas entre su instrumentacin y los
resultados educativos. Lo ideal sera que los indicadores del proceso fueran capaces de predecir los resultados, y considerarlos como funciones de produccin
de la educacin; es decir, como instrumentos en proceso o en condiciones de
predecir los incrementos de los resultados de acuerdo con una funcin exacta.
La necesidad de abundar en las perspectivas de investigacin sobre la eficacia escolar y los estudios sobre las buenas prcticas constituye tambin un argumento significativo para insistir respecto de la identificacin y seleccin de indicadores de proceso.
Asimismo, resulta de suma importancia que los indicadores se encuentren slidamente sustentados en los resultados ms relevantes producidos por la investigacin educativa; por ejemplo, los que se presentan en documentos como: Factores asociados al logro cognitivo de los estudiantes de Amrica Latina y el Caribe
(Trevio et al., 2007), o Educacin de calidad para todos: un asunto de derechos
humanos (OREALC, 2007). Estos documentos contienen informacin relevante
y lineamientos de poltica educativa claros para la regin latinoamericana que se
basan en el derecho a la educacin establecido por la UNESCO. A partir de la informacin contenida en ellos es posible determinar nuevos indicadores que permitan el monitoreo y la evaluacin de los sistemas educativos latinoamericanos,
incluyendo el de Mxico. Cabe sealar que los indicadores utilizados hasta el momento en nuestro pas no han sido sensibles a resultados como los mencionados
por Hirsch (1999), quien afirma que pequeos incrementos en el aprendizaje
temprano de la lengua pueden producir enormes consecuencias ms adelante
(p. 146). El autor plantea que los nios en edad preescolar que llegan a la escuela
con un vocabulario muy estrecho, y por tanto con una base de conocimientos muy
limitada y este dficit no se compensa pronto, es casi imposible que logren las
habilidades requeridas en grados posteriores, a pesar de que se inviertan esfuerzos importantes en programas de remedio. Las habilidades orales constituyen el
fundamento de las habilidades de lectura y escritura. Si el vocabulario oral-sonoro
y la comprensin de este vocabulario no se desarrollan de forma correcta y amplia
durante etapas tempranas previas a la escolarizacin, tampoco se desarrollarn
las habilidades de lectura y escritura de modo apropiado.
Lo anterior tiene implicaciones para el desarrollo de indicadores y el diseo
de polticas educativas que aseguren que los programas preescolares sean acadmicamente efectivos. Desde nuestra perspectiva, la evaluacin de la educacin
deber reflejar en sus modelos y sistemas lo ms avanzado de las teoras y polticas sociales. Los indicadores son un aspecto que debe definirse de manera consensuada a partir del perfil del ciudadano que se espera lograr como resultado
del trnsito de los alumnos a travs del sistema educativo nacional. Con base en
esto, podrn ponerse en prctica estrategias de monitoreo que permitan valorar
el avance hacia el logro del perfil, as como corregir deficiencias y reestablecer el
rumbo, e instrumentar los recursos que faciliten este proceso.
En el contexto de esta discusin resulta importante sealar que la definicin de
indicadores y el establecimiento de estndares y criterios de evaluacin son actividades que no slo deben estar sustentadas slidamente en las teoras y prcticas
Sinctica 35 www.sinectica.iteso.mx

16

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

educativas ms avanzadas. Deber, asimismo, reconocerse que no slo sirven a la

funcin de determinar si se han logrado las metas del sistema, sino que pueden
indicar o guiar el rumbo que ha de seguir el propio sistema educativo; en ese sentido, resulta fundamental reconocer el carcter poltico y tico de los indicadores,
estndares y criterios de evaluacin.
La seleccin de un modelo de evaluacin refleja no slo una posicin terica,
sino poltica y tica. Las decisiones respecto de quines participan en el diseo
de los indicadores, estndares y criterios, la jerarquizacin de los indicadores, el
nmero de indicadores y el tipo de estndares reflejan la visin de quienes tienen
la posibilidad de influir desde la planificacin y, en particular, durante el monitoreo
del sistema en dirigir y corregir el rumbo de las acciones del sistema educativo,
de tal manera que se alcancen los fines que se pretenden en materia educativa.
La solidez de las decisiones depender de qu tanto se sustenten stas en el conocimiento informado respecto de los avances ms sobresalientes en materia de teora
y prctica de la evaluacin educativa, as como en una discusin profunda sobre las
urgentes acciones que se requiere tomar para redirigir las acciones del sistema hacia el
logro de metas que reviertan los efectos de la exclusin y desigualdad sociales.
Tal como ha sealado la CEPAL/EuropeAid (2007), la construccin de una sociedad democrtica en la que se reconozcan y existan los mecanismos para hacer
exigibles los derechos bsicos, requiere una mayor equidad en las oportunidades
educacionales. La aplicacin de estrategias adecuadas para elevar los niveles educativos, en especial de los grupos ms excluidos (como consecuencia de su negacin
y devaluacin), resultan esenciales para incrementar la movilidad social, elevar la
productividad, los retornos entre generaciones y dotarlos de las herramientas necesarias para su integracin a la vida moderna, la elevacin de su conciencia y participacin ciudadana y para la creacin de un orden social ms justo y meritocrtico.
Los sistemas de evaluacin pueden contribuir a estos fines apoyando los sistemas educativos en la definicin ms clara de sus metas y en el establecimiento de
sistemas de informacin que permitan monitorear adecuadamente el sistema y
evaluar su impacto en el corto, mediano y largo plazos.
Referencias bibliogrficas
Alkin, M. C. (Ed.) (2004). Evaluation roots: tracing theorists views and influences.
Thousand Oaks, CA: Sage publications. Disponible en: http://books.google.com.
mx/books?id=swDMkRzVCRIC&dq=Evaluation+roots:+tracing+theorists%C2%B4+
views+and+influences&printsec=frontcover&source=bn&hl=es&ei=qNKGTOmOG
5K4sAO53u2JCg&sa=X&oi=book_result&ct=result&resnum=4&ved=0CCwQ6AEw
Aw#v=onepage&q&f=false
Birckmayer, J. y Weiss, C. H. (2000). Theory-Based Evaluation in Practice. What do we
learn, Evaluation Review, 24 (4), 40731.
Blank, R. K. (1993). Developing a system of education indicators: selecting, implementing and reporting indicators. Educational Evaluation and Policy Analysis, 11 (2),
65-80. Disponible en: http://www.eric.ed.gov/PDFS/ED362536.pdf
Blank, R. K., y Gruebel, K. (1993). State indicators of science and mathematics education 1993. Washington, DC: Council of Chief State School Officers. Disponible en:
http://www.eric.ed.gov/PDFS/ ED361225.pdf
Canadian Education Statistics Council (2005). Education indicator in Canada: an international perspective 2005. Otawa: Canadian Education Statistics Council. DisponiSinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

17

ble en: http://www.statcan.gc.ca/pub/81-582-x/2006001/pdf/4225856-eng.pdf

_____ (2007). Report of the Pan-Canadian Education Indicators Program 2007.
Otawa: Canadian Education Statistics Council. Disponible en: http://www.statcan.
gc.ca/pub/81-582-x/81-582-x2007001-eng.pdf
_____ (2009). Education indicator in Canada: an international perspective 2009.
Otawa: Canadian Education Statistics Council. Disponible en: http://www.cmec.
ca/Publications/Lists/ Publications/Attachments/212/education-indicators-canada-international-perspective-2009.pdf
Castells, M. (2002). La era de la informacin. Vol. I: La sociedad red. Mxico, Distrito Federal: Siglo XXI Editores. Disponible en: http://books.google.com.mx/
books?id=uADgO-fONJgC&printsec=frontcover&dq=La+Era+de+la+Informaci%C3
%B3n+vol.+I&source=gbs_similarbooks_s&cad=1#v=onepage&q&f=false
CEPAL/EuropeAid (2007). Un sistema de indicadores para el seguimiento de la cohesin social en Amrica Latina. Santiago de Chile: Naciones Unidas.
CERI (1994). Making education count. Developing and using educational indicators.
Pars: OCDE.
Chen, H. T. (2005). Practical program evaluation. Assessing and improving planning,
implementation, and effectiveness. Newbury Park, CA: Sage. Disponible en: http://
books.google.com.mx/books?id=onxLql7 MajwC&printsec=frontcover&dq=Practi
cal+program+evaluation&source=bl&ots=KIefmlKgM3&sig=C1C6yAvBCUUAOvGe
7z0QEAeaqDc&hl=es&ei=kb6GTNzhGI2gsQOrmNCDCg&sa=X&oi=book_result&c
t=result&resnum=1&ved=0CBgQ6AEwAA#v=onepage&q&f=false
Corvaln, A. M. (2000). El uso de indicadores: requisito fundamental para alcanzar la
educacin en el ao 2002. Disponible en: http://www.unesco.cl/pdf/ actyeven/
ppe/boletin/artesp/46-1.pdf
Dale, R. (1998). Evaluation Frameworks for Development: Programmes and Projects.
New Delhi: Sage Publications.
Darling-Hammond, L. y Ascher, C. (1991). Creating Accountability in Big City School
Systems. Urban Diversity Series No. 102. Nueva York: ERIC Clearinghouse on Urban Education. Disponible en: http://www.eric.ed.gov/PDFS/ED334339.pdf
Dickson, G. S. y Lim, S. (1991). The development and use of indicators of performance
in education leadership. Ponencia presentada en la Annual Meeting of the International Congress for School Effectiveness and Improvement, Cardiff, Wales, Reino Unido. Disponible en: http://www.eric.ed.gov/PDFS/ED367044.pdf
Donaldson, S. I. y Scriven, M. (2003). Evaluating social programs and problems: Visions for the new millennium. Mahwah, NJ: Erlbaum. Disponible en: http://books.
google.com.mx/books?id=wd87nB1 PZRoC&printsec=frontcover&dq=Evaluating+
social+programs+and+problems:+Visions+for+the+new+millennium&hl=es&ei=T
s-GTIHZB4nEsAP49-nDCg&sa=X&oi=book_result&ct=result&resnum=1&ved=0CC
cQ6AEwAA#v=onepage&q&f=false
Escudero, T. (2003). Desde los tests hasta la investigacin evaluativa actual. Un siglo,
el XX, de intenso desarrollo de la evaluacin en educacin. Relieve 9 (1), 11-43.
Disponible en: http://www.uv.es/RELIEVE/v9n1/RELIEVEv9n1_1.htm
Garca-Cabrero, B. (1995). La educacin preescolar y sus efectos en la prevencin de
problemas escolares durante la primaria, en G. Acle (ed.). Educacin especial, evaluacin, investigacin. Mxico: FES-Zaragoza, UNAM.
_____ (1986). Evaluacin de un programa de educacin preescolar con orientacin
cognoscitiva. Tesis de maestra indita. Facultad de Psicologa, UNAM.
Sinctica 35 www.sinectica.iteso.mx

18

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

Hafner, A. y Buchanan, A. (1992). Education indicators as information Tools: a sourcebook for school and district staff. California: The Southwest Regional Educational
Laboratory. Disponible en: http://www.eric.ed.gov/PDFS/ED396359.pdf
Hansen, H. F. (2005). Choosing Evaluation Models. A Discussion on Evaluation Design.
Evaluation, 11 (4), 447-462.
Hirsch, E. D. (1999). The schools we need and why we dont have them. Nueva York:
Anchor Books.
House, E. R. (1993). Professional evaluation: social impact and political consequences.
Newbury Park: Sage Publications.
House, E. R. y Howe, K. R. (2001). Valores en evaluacin e investigacin social. Madrid: Morata. Disponible en: http://books.google.com.mx/books?id=rRom4FwTV
iIC&dq=Valores+en+evaluaci%C3%B3n+e+investigaci%C3%B3n+social&printsec=f
rontcover&source=bn&hl=es&ei=otaGTP61A4KasAP2p4HeCg&sa=X&oi=book_re
sult&ct=result&resnum=4&ved=0CB8Q6AEwAw#v=onepage&q&f=false
Instituto Nacional para la Evaluacin de la Educacin (INEE) (2008). Panorama educativo de Mxico 2008. Indicadores del sistema educativo nacional. Mxico: INEE.
Disponible en: http://www.oei.es/pdf2/panorama-educativo-mexico-2008.pdf
_____ (2007). Panorama educativo de Mxico 2007. Indicadores del sistema educativo nacional. Mxico: INEE. Disponible en: http://www.oei.es/pdfs/panorama_
educativo_mexico2007.pdf
_____ (2006). Panorama educativo de Mxico 2006. Indicadores del sistema educativo nacional. Mxico: INEE. Disponible en: http://www.oei.es/quipu/mexico/01panoramaweb.pdf
_____ (2005). Panorama educativo de Mxico 2005. Indicadores del sistema educativo nacional. Mxico: INEE. Disponible en: http://www.inee.edu.mx/index.php/
publicaciones/informes-institucionales/panorama-educativo/3414
_____ (2004). Panorama educativo de Mxico 2004. Indicadores del sistema educativo nacional. Mxico: INEE. Disponible en: http://www.inee.edu.mx/index.php/
publicaciones/informes-institucionales/panorama-educativo/3415
_____ (2003). Panorama educativo de Mxico 2003. Indicadores del sistema educativo nacional. Mxico: INEE. Disponible en: http://www.inee.edu.mx/index.php/
publicaciones/informes-institucionales/panorama-educativo/3416
Joint Committee on Standards for Educational Evaluation (1994). The Program Evaluation Standards, 2a edicin. Newbury Park, CA: Sage Publications. Disponible
en: http://www.jcsee.org/program-evaluation-standards
Jones, R. M. y Nielsen, J. I. (1994). Saskatchewans education indicators program. Education Canada, 4-8.
Joo, K. P. (2009). Monitoring as a Program Evaluation Model: A Case Study of Developing Evaluation Criteria for Monitoring in a Korean University Lifelong Education
Center. Ponencia presentada en The Midwest Research-to-Practice Conference
in Adult, Continuing, Community and Extension Education, Northeastern Illinois
University, Chicago, IL, 21 al 23 de octubre. Disponible en: http://www.neiu.
edu/~hrd/mwr2p09/Papers/Joo.pdf
Madaus, G. F. y Kellaghan, T. (2000). Models, metaphores and definitions in evaluation, en D. Stufflebeam, G. F. Madaus y T. Kellaghan. Evaluation models: viewpoints
on educational and human services (19-32). Boston: Kluwer Academic Publishers.
Disponible en: http://books.google.com.mx/books?id=5679vdyleZMC&printsec=
frontcover&dq=Evaluation+models:+viewpoints+on+educational+and+human+s
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

19

ervices&hl=es&ei=f82GTObaOI7EsAPWnuidCg&sa=X&oi=book_result&ct=result
&resnum=1&ved=0CCcQ6AEwAA#v=onepage&q&f=false
Mateo, J. (2006). La evaluacin educativa, su prctica y otras metforas. Mxico: Alfaomega Grupo Editor.
Ministerio de Educacin/Secretara de Estado de Educacin y Formacin Profesional/
Direccin General de Evaluacin y Cooperacin Territorial/ Instituto de Evaluacin
(2009). Sistema Estatal de Indicadores de la Educacin. Madrid: Ediciones Grficas
Arial S.L. Disponible en: http://www.ince.mec.es/pub/index.htm
Morduchowicz, A. (2006). Los indicadores educativos y las dimensiones que los integran. Buenos Aires: IIPE-UNESCO. Disponible en: http://148.202.105.241/
biblioteca/bitstream/123456789/2134/1/Sistemas+de+indicadores_
educativos+Argentina.pdf
Muoz-Izquierdo, C. y Mrquez, A. (2000). Indicadores del desarrollo educativo en
Amrica Latina y de su impacto en los niveles de vida de la poblacin. Revista
Electrnica de Investigacin Educativa, 2 (2). Disponible en. http://redie.uabc.mx/
vol2no2/contents-munoz.html/modules/Forums/admin/admin_users.php
OECD (1998). Education at glance. OECD Publishing. Disponible en: http://www.
eric.ed.gov/ERICDocs/data/ericdocs2sql/content_storage_01/0000019b/80/15/
b6/82.pdf
_____ (2009). Education at glance. OECD Publishing. Disponible en: http://www.
oecd.org/dataoecd/41/25/43636332.pdf
Ogawa, R. y Collom, E. (1998). Educational indicators: What are they? How Can
Schools and Schools Districts Use Them?. California: California Educational Research Cooperative. Disponible en: http://www.eric.ed.gov/PDFS/ED432811.pdf
Pawson, R. (2002). Evidence-Based Policy: The Promise of Realist Synthesis. Evaluation, 8 (3), 34058.
Pawson, R. y Tilley, N. (1997). Realistic Evaluation. Londres: SAGE. Disponible en:
http://books.google.com.mx/books?id=Oudpyutx8_QC&printsec=frontcover&dq
=Realistic+Evaluation&source=bl&ots=sK8NYp9QUP&sig=8pSqVfxtkG_7NXMJ33
VadLKN_FA&hl=es&ei=HRGHTITZLJO6sQPy3vS6Cg&sa=X&oi=book_result&ct=res
ult&resnum=1&ved=0CBkQ6AEwAA#v=onepage&q&f=false
Payne, D. A. (1994). Designing educational project and program evaluations: A practical overview based on research and experience. Boston: Kluwer Academic Publishers. Disponible en: http://books.google.com.mx/books?id=7a8_rrLxHbcC&print
sec=frontcover&dq=Designing+educational+project+and+program+evaluations&
hl=es&ei=ZRGHTIL9OJS6sQPxq8DMCg&sa=X&oi=book_result&ct=result&resnum
=1&ved=0CC4Q6AEwAA#v=onepage&q&f=false
Programa Sectorial de Educacin 2007-2012 (2007). Mxico: SEP. Disponible en:
http://upepe.sep.gob.mx/prog_sec.pdf
Rossi, Peter H., Lipsey, M. W. y Freeman, E. H. (2004). Evaluation: A Systematic Approach. Thousand Oaks, CA: SAGE. Disponible en: http://books.google.com.mx/
books?id=8K3Ax5s7x5oC&printsec=frontcover&dq=Evaluation:+A+Systematic+A
pproach&hl=es&ei=usKGTNDmDIm4sQOxtpS2Cg&sa=X&oi=book_result&ct=resu
lt&resnum=1&ved=0CDEQ6AEwAA#v=onepage&q&f=false
Scheerens, J. y Creemers, B. P. (1989). Towards a more comprehensive conceptualization of school effectivement, en B. P. Creemers, T. Peters y D. Reynolds (eds.). School effectiveness and school
improvement (265-278). Lisse: Swets & Zeitlinger.
Scheerens, J., Glass, C. y Thomas, S. (2005). Educational Evaluation, Assessment, and

Sinctica 35 www.sinectica.iteso.mx

20

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

monitoring. A Systemic Approach. Taylor & Francis e-Library.
Schwandt, T. A. (2005). The Centrality of Practice to Evaluation. American Journal of
Evaluation, 26 (1), 95-105.
Scott, W. R. (2003) Organizations: Rational, Natural and Open Systems. Englewood
Cliffs, J: Prentice-Hall.
Shavelson, R. J., McDonnell, L. M. y Oakes, J. (eds.) (1989). Indicators for Monitoring
Mathematics and Science Education: A sourcebook. Santa Monica: RAND Corporation.
Shepard, L., Hannaway, J. y Baker, E. (2009). Standards, Assessment and Accountability. Education Policy White Paper. Disponible en: http://www.naeducation.org
Stainmetz, (1983). The discrepancy evaluation model, en G. F. Madaus, M. Scriven y
D. L. Stufflebeam (eds.). Evaluation Models: Viewpoints on Educational and Human Services Evaluation (79-100). Boston: Kluwer-Nijhoff. Disponible en: http://
books.google.com.mx/books?id=5679vdyleZMC&printsec=frontcover&dq=Evalu
ation+Models:+Viewpoints+on+Educational+and+Human+Services+Evaluation&
hl=es&ei=jRSHTJP1HoGglAfH7aDeCA&sa=X&oi=book_result&ct=result&resnum=
1&ved=0CCoQ6AEwAA#v=onepage&q&f=false
Stake, R. (1967.). The countenance of educational evaluation. Teachers College Record, 68, 523-540.
_____ (2006). Evaluacin comprensiva y evaluacin basada en estndares. Barcelona:
Editorial Gra.
Strater, D. (2006). Standard-based assessment. Disponible en: http://filebox.vt.edu/
users/dstrater/StandardsBasedAssessment.pdf
Stufflebeam, D. L. (2000). The CIPP model for evaluation, en D. L. Stuffelbeamm, G.
F. Madaus y T. Kellaghan (eds.). Evaluation models. Viewpoints on educational
human services (279-317). Boston: Kluwer Academic Publishers. Disponible en:
http://books.google.com.mx/books?id=5679vdyleZMC&printsec=frontcover&dq
=Evaluation+models.+Viewpoints+on+educational+human+services&hl=es&ei=Q
MSGTIa0D4T0tgPA7ODTCg&sa=X&oi=book_result&ct=result&resnum=1&ved=0
CCcQ6AEwAA#v=onepage&q&f=false
_____ (2004). The 21st-Century CIPP Model: Origins, Development, and Use, en M. C.
Alkin (ed.). Evaluation roots (pp. 245-266). Thousand Oaks, CA: Sage publications.
Disponible en: http://books.google.com.mx/books?id=X2vsczE0CXwC&printsec=f
rontcover&dq=Evaluation+roots&hl=es&ei=fxWHTKHqAYSclgf26JX2Dw&sa=X&oi
=book_result&ct=result&resnum=1&ved=0CCoQ6AEwAA#v=onepage&q&f=false
_____ (1968). Evaluation as enlightenment for decision-making. Columbus, Ohio:
Evaluation Center, Ohio State University.
Stufflebeam, D. y Shinkfield, A. J. (1987). Evaluacin sistemtica: gua terica y prctica. Madrid: Paids-MEC. Barcelona: Paids.
Tiana, A. (2008). Evaluacin y cambio de los sistemas educativos: la interaccin que
hace falta. Revista Iberoamericana de Educacin 16 (59), abril-junio, Rio de Janeiro. Disponible en: http://www.oei.es/noticias/spip.php?article3840
Tognolini, J. y Stanley, G. (2007). Standards-based assessment: a tool and means to
the development of human capital and capacity building in education. Australian
Journal of Education, 51(12), 129-145.
Vedung, E. (1997). Public Policy and Program Evaluation. New Brunswick, NJ: Transaction Publishers. Disponible en: http://books.google.com.mx/books?id=VbUN9cOHGIC&printsec=f rontcover&dq=Public+Policy+and+Program+Evaluation&
hl=es&ei=wxWHTOj-BsaAlAfFqvGfDw&sa=X&oi=book_ result&ct=result&resnum
Sinctica 35 www.sinectica.iteso.mx

Benilde Garca. Modelos tericos e indicadores de evaluacin educativa.

21

=1&ved=0CC4Q6AEwAA#v=onepage&q&f=false
Wholey, J. S. (2004). Using Evaluation to Improve Performance and Support Policy Decisionmaking, en M. C. Alkin. Evaluation roots (267-275). Thousand Oaks, CA: Sage.
Disponible en: http://books.google.com.mx/books?id=X2vsczE0CXwC&printsec=fr
ontcover&dq=Evaluation+roots&hl=es&ei=fxWHTKHqAYSclgf26JX2Dw&sa=X&oi=b
ook_result&ct=result&resnum=1&ved=0CCoQ6AEwAA#v=onepage&q&f=false

Sinctica 35 www.sinectica.iteso.mx