Protocolo de La Revisión Técnica de Los Instrumentos de Evaluación para Los Procesos Establecidos Por La Ley General Del Servicio Profesional Docente

Descargar como pdf o txt
Descargar como pdf o txt
Está en la página 1de 40

Unidad de Evaluación del Sistema Educativo Nacional

Dirección General para la Evaluación de Docentes y Directivos

Protocolo de la revisión técnica de los instrumentos de


evaluación para los procesos establecidos por la Ley
General del Servicio Profesional Docente, en Educación
Básica y en Educación Media Superior

Marzo 2016
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 2 de 40

Tabla de contenido

I. Presentación……………………………………………………………………………………………… 3

II. Consideraciones para la revisión de Instrumentos…………………………………………………... 4


2.1 Propósito de la revisión técnica
2.2 Criterios para la revisión técnica
2.3 Fases de la revisión técnica
2.5 Documentos de trabajo
2.6 Cronograma

III. Procedimiento de revision técnica de instrumentos…………………………………………………. .7


3.1 Participantes
3.2 Tareas de revision técnica
3.3 Validación del desarrollo del instrumento
3.4 Revisión de guías
3.5 Revisión de instrumentos

Anexos……………………………………………………………………………………………………….. 15
Anexo 1: Evidencia documental por fase del proceso de construcción de los instrumentos
Anexo 2: Formatos para la revision técnica de evidencia documental
Anexo 3: Formatos para la revisión técnica de reactivos y de instrumentos de respuesta construida

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 3 de 40

I. Presentación
Con la aprobación de la Ley del INEE se concede al Instituto la figura de órgano público con autonomía constitucional,
con la que el Estado le confiere nuevas facultades en materia de evaluación educativa, particularmente respecto al
Servicio Profesional Docente (SPD). Entre éstas, la facultad de expedir lineamientos para que las Autoridades
educativas lleven a cabo las funciones de evaluación para el ingreso, la promoción, el reconocimiento y la permanencia
en el Servicio. De acuerdo con el artículo 7°de la LGSPD, al INEE le corresponde aprobar los elementos, métodos,
etapas y los instrumentos para llevar a cabo la evaluación en el Servicio (fracciones IV y VIII). Para cumplir esta
función, la Dirección General de Evaluación de Docentes y Directivos (DGEDD), desarrolla protocolos con base en
los mecanismos y criterios vigentes, establecidos en los Lineamientos emitidos por el Instituto para la aprobación de
cada componente. Por ejemplo, para el proceso de ingreso se toma como marco normativo para los procesos de
revisión técnica los Lineamientos para llevar a cabo la evaluación para el ingreso al Servicio Profesional Docente en
Educación Básica y Media Superior para el ciclo escolar 2016-2017, LINEE-09-2015, en los que en su Artículo 32,
establecen los mecanismos y aspectos a considerar para la aprobación de las etapas, aspectos métodos e
instrumentos de evaluación propuestos por la Secretaría; para el caso de la Promoción se cuenta con los
Lineamientos para llevar a cabo la Promoción de docentes a cargos con funciones de dirección, supervisión y asesoría
técnica pedagógica en Educación Básica y Media Superior para el ciclo 2016-2017, LINEE-10-2015. Para la
evaluación del desempeño la base normativa de los procesos son los Lineamientos para llevar a cabo la evaluación
del desempeño de quienes realizan funciones de Docencia, Dirección y Supervisión en Educación Básica y Media
Superior, LINEE-05-2015.

El presente protocolo muestra el prodecimiento general para la revision técnica de los instrumentos de evaluación de
los procesos establecidos por la LGSPD: Ingreso y Promoción; así como la evaluación del desempeño para la
permanencia y el reconocimiento. Se incluyen consideraciones para la revisión técnica, tales como el propósito, los
criterios y las fases de la revisión. Posteriormente se describe el procedimiento a seguir y se anexan los formatos en
los que se consigna la información. Es importante señalar que el presente protocolo se ha ido enriqueciendo, a partir
de la obtención de nuevos insumos, asociados tanto a la etapa de desarrollo de los instrumentos, como de su
aplicación en 2014 y 2015, por tal motivo se consideran elementos que en los primeros protocolos no podían ser
incorporados.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 4 de 40

II. Consideraciones para la revisión de los instrumentos

El Instituto debe recibir la evidencia documental de la construcción de los instrumentos por parte de la Coordinación
Nacional del Servicio Profesional Docente (CNSPD), de acuerdo a las fechas establecidas en el Calendario de
Evaluaciones del Servicio Profesional Docente, para cada proceso de evaluación, es decir, el ingreso, la evaluación
diagnóstica al término del primer año de los docentes de nuevo ingreso, la promoción a otras funciones, la evaluación
del desempeño de los docentes y directivos en servicio para el reconocimiento y la permanencia. La revisión de los
reactivos y de los instrumentos de respuesta construida en su versión final, se realiza en las fechas acordadas con la
CNSPD, dentro de un periodo de 10 días hábiles que estipula el Calendario para la revisión técnica, al término de
los cuales la Unidad de Evaluación del Sistema Educativo Nacional, por conducto de la DGEDD, entrega un informe
técnico a la Junta de Gobierno quién, en su caso, emite la aprobación correspondiente.

2.1. Propósito de la revisión técnica

El propósito de la revisión técnica es verificar mediante diversas evidencias que el instrumento (incluyendo todo el
proceso de su construcción) mide el dominio que pretende medir y cumple con criterios que aseguren la confiabilidad
y validez de los resultados. La verificación se lleva a cabo mediante un procedimiento de revisión sistemático en el
que participa el equipo técnico de la Dirección General de Evaluación de Docentes y Directivos (DGEDD).

2.2 Criterios de la revisión técnica

El proceso de revisión técnica se fundamenta en los Criterios Técnicos para el desarrollo y uso de los instrumentos
de evaluación educativa, 2014-2015, emitidos por el Instituto, en el cual se señalan las acciones que deben llevarse
a cabo para el desarrollo y uso de los instrumentos de evaluación, y la documentación que debe presentarse al Instituto
como evidencia de las mismas, en cada una de las fases de construcción de los instrumentos, esto es: 1) Planeación,
2) Elaboración del instrumento de evaluación, 3) Aplicación o administración del instrumento, 4) Procedimiento y
análisis de resultados del instrumento, y 5) Difusión y uso de resultados. Para mayor detalle consultar el anexo 1.

Adicionalmente, se retoman elementos de las “Recomendaciones técnicas para la mejora de los instrumentos de
opción múltiple para el Concurso de Oposición/2 en Educación Básica y Media Superior”, enviados a la CNSPD
mediante oficio A1001-725-2014, así como de los Criterios técnicos y de procedimiento para el análisis de los

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 5 de 40

instrumentos de evaluación, el proceso de calificación y la definición de las listas de prelación del concurso
correspondiente, tanto en Educación Básica como en Educación Media Superior, emitidos por el Instituto.
Para el proceso de revisión también se retoman las observaciones realizadas a los instrumentos de evaluación en la
revisión del ciclo inmediato anterior para el mismo proceso (ingreso, promoción o desempeño), con la finalidad de
verificar si se incorporaron modificaciones que atiendan a las observaciones anteriores.

2.3. Fases de la revisión técnica


La validación técnica comprende dos fases:
● Evidencias del desarrollo del instrumento
● Instrumentos (reactivos de opción múltiple e instrumentos de respuesta construida)

Fase 1. Evidencias del desarrollo del instrumento


Consiste en la revisión sistemática de evidencia documental que da cuenta del proceso de construcción del
instrumento y las decisiones tomadas para el diseño del mismo. Esta información permite valorar si el procedimiento
cumple con lo establecido en los Criterios técnicos del Instituto, que se describen para cada una de las etapas en el
anexo 1.

Fase 2. Instrumentos (reactivos de opción múltiple e instrumentos de respuesta construida)


En esta fase se revisa una muestra de los reactivos de opción múltiple y los instrumentos de respuesta construida. La
finalidad, en términos generales, es verificar la congruencia entre el reactivo o la tarea evaluativa y la especificación
a la cual se encuentra asociada, así como el cumplimiento de criterios técnicos de la calidad de los reactivos nuevos
y de los reactivos ancla que componen los instrumentos. Adicionalmente, en los instrumentos de respuesta construida
se revisa la congruencia entre las consignas y las tareas evaluativas.

2.5. Documentos de trabajo


La revisión de la evidencia documental de los instrumentos requiere la consulta de documentos adicionales que
permitan contenxtualizar el instrumento y dar seguimiento a sus procesos de mejora. Tales documentos incluyen:
 Perfiles, parámetros e indicadores correspondientes al proceso y a las figuras que evaluarán los
instrumentos.
1. Etapas, aspectos, métodos e instrumentos, correspondiente al proceso en el que serán utilizados los
instrumentos

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 6 de 40

2. Informe técnico presentado a la Junta de Gobierno del Instituto, para ese mismo proceso en el ciclo
escolar previo. El informe incluye los resultados de la revisión técnica así como las observaciones
pendientes de ser atendidas.
3. Minuta de reuniones relacionadas con el proceso de evaluación en el que serán utilizados los
instrumentos.

2.6 Cronograma
Las actividades incluidas en la revisión técnica, en general, son las siguientes:
Días previos a la
recepcion de la
evidencia Días de revisión estipulados en el Calendario de
documental Evaluaciones
Actividades 1 2 3 4 1 2 3 4 5 6 7 8 9 10
1 Planeación de la revisión técnica
2 Elaboracion de la estrategia operativa
3 Invitación a expertos para participar en el Comité Académico
4 Contratación de expertos para comités
Recepción de la evidencia documental del desarrollo de los
5 instrumentos
6 Revisión inicial del material recibido
Capacitación del equipo interno para la revisión de la
7 evidencia documental
Revisión por parte del equipo interno de la evidencia
8 documental. Especificaciones
Revisión a cargo del equipo interno de la evidencia
9 documental. Evidencias generales.
10 Integración de las observaciones a la evidencia documental
Retroalimentación a la CNSPD sobre la evidencia
11 documental
Capacitación del equipo interno para la revisión de
15 intrumentos ensamblados en CENEVAL
16 Revisión de reactivos en instalaciones del CENEVAL
Retroalimentación a la CNSPD sobre la revisión de
17 reactivos o tareas evaluativas
Verificación de la atención a las observaciones hechas a los
18 reactivos y tareas evaluativas, en CENEVAL
Revisión de alcances a la evidencia documental en atención
19 a las observaciones
20 Integración del Informe Técnico
21 Entrega del Informe Técnico a la Dirección General
22 Revisión del Informe Técnico por el Titular de la UESEN
23 Aprobación de los instrumentos por la Junta de Gobierno

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 7 de 40

III. Procedimiento de revisión técnica de instrumentos

3.1 Actividades previas a la recepción de la evidencia documental


De forma previa a la fecha establecida en el Calendario para la recepción de la evidencia de la construcción de los
instrumentos, se realiza la planeación de la revisión técnica, en la cual se definen las actividades que serán incluidas en la
revisión técnica y las fechas en las que se llevarán a cabo. A partir de ello, se elabora la estrategia operativa en la que se
describen las actividades que comprenderá la revisión técnica.

Cuando la revisión de instrumentos considera la participación de expertos, se extiende con antelación la invitación a
participar, a fin de que sea factible contar con su presencia. De igual forma, se gestiona la contratación de los expertos, lo
que incluye recabar la documentación necesaria, así como los procesos administrativos que se demandan al interior del
Instituto.

3.2 Recepción de la evidencia documental

La recepción de la evidencia documental del desarrollo de los instrumentos es recibida de parte de la CNSPD, tanto en
papel como en formato electrónico. Durante la recepción se realiza un reconocimento general del contenido del material
entregado. Posteriormente, se lleva a cabo una revisión más pormenorizada, con el fin de identificar elementos que deban
considerarse para retroalimentar a la CNSPD, así como particularidades del material que incidan en la organización de la
actividad.

En concordancia con las fases de revisión técnica, los dos componentes de los instrumentos que son sujetos a revisión
técnica se describen a continuación: 1) Desarrollo del instrumento, 2) Reactivos o tareas evaluativas.

3.3 Revisión técnica del desarrollo del instrumento

La primera fase de la revisión técnica consiste en verificar la evidencia documental de la construcción de los instrumentos,
de acuerdo a las etapas establecidas en los Criterios Técnicos emitidos por el Instituto. Las etapas que muestra la figura 1
son válidas para instrumentos de cualquier formato de respuesta (selección o construida) y modalidad de aplicación
(impreso o en línea). El tipo de evidencia documental y la descripción de la información que se espera encontrar en cada
evidencia se describen con detalle en el Anexo 1.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 8 de 40

Difusión y uso
Planeación Elaboración Aplicación Análisis de
Resultados

Figura 1: Etapas de desarrollo del instrumento

La sesión de capacitación para la revisión de la evidencia documental incluirá la descripción del procedimiento, así como
los insumos requeridos. Los aspectos considerados en la capacitación, son:

 Presentación del listado de instrumentos a revisar


 Instrucciones para el manejo de las evidencias
 Revisión de los criterios técnicos y formatos para el registro de información
 Explicación del propósito de valoración de cada formato
 Descripción de la estrategia de trabajo que desarrollará el equipo técnico (trabajo individual y en díadas)
 Presentación del cronograma de actividades de revisión de instrumentos
 Explicación acerca de la forma en que se documentará y entregará el producto de la revisión a los
coordinadores del proceso
 La organización del equipo técnico en diadas responsables de la revisión de instrumentos específicos

En la capacitación se revisan los criterios técnicos con los formatos correspondientes en los que los revisores asentarán
las observaciones sobre la evidencia presentada, relacionada con cada etapa del desarrollo de los instrumentos. Los
aspectos revisados en cada etapa se describen a continuación.

3.3.1 Etapa de planeación del instrumento

Incluye información sobre el propósito de la evaluación, el uso que se dará a los resultados, las características de la
población y las condiciones de aplicación del instrumento. Los aspectos a verificarse (INEE, 2015) en la evidencia
documental son:

 La conformación de los cuerpos colegiados


 La definición del propósito y usos de resultados
 La definición del objeto de medida del instrumento
 La elaboración de las especificaciones

La evidencia documental se revisa por diadas de revisores, quienes de manera individual asientan sus observaciones en
los formatos 1-10 para instrumentos objetivos o para instrumentos de respuesta construida, según sea el caso (anexo 2).
Posteriormente los revisores consensuan sus observaciones y las asientan en el formato de síntesis (formato 15, anexo
2).

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 9 de 40

Complementariamente, los revisores realizarán de manera conjunta una revisión de las especificaciones. La revisión se
dirige a identificar la congruencia con los indicadores, las modificaciones realizadas en atención a las observaciones
producto de la revisión técnica del año anterior, así como a revisar las nuevas especificaciones. La información se
asentará en los formatos correspondientes.

Una vez concluida la revisión de la evidencia documental de la etapa de planeación, se realiza una sesión de trabajo con
todas las diadas, a fin de analizar las observaciones sobre ésta etapa y, establecer acuerdos respecto a la valoración de
la documentación presentada.

3.3.2 Etapa de elaboración del instrumento

Comprende la construcción y validación de las tareas evaluativas o de los reactivos, el pilotaje y el ensamble. El revisor
verifica que cada tarea evaluativa o reactivo se realice en apego a las especificaciones diseñadas, que se aporten
evidencias sobre los índices de calidad técnica (dificultad, discriminación y confiabilidad) que obtuvo cada reactivo en la
prueba piloto, con el fin de identificar las tareas evaluativas o reactivos con mejor calidad métrica para ser utilizados en la
calificación. Se verifica que la evidencia documental incluya los siguientes aspectos:

 Estructura del instrumento


 Tabla de especificaciones
 Prueba piloto de los reactivos
 Resultados psicométricos
 Ensamble de las nuevas versiones

La evidencia de la etapa de elaboración se revisa de manera individual, asentándose en los formatos 1-10 para
instrumentos objetivos o para instrumentos de respuesta construida, según sea el caso (anexo 2).

Con la finalidad de validar los juicios emitidos por el equipo técnico del INEE respecto a la congruencia entre los indicadores
de los Perfiles y las especificaciones, se convoca a un Comité de especialistas que apoyan en la valoración de dicha
congruencia.

3.3.3 Etapa de aplicación del instrumento

Comprende la revisión de la estrategia operativa implementada por la CNSPD para la aplicación del instrumento, así como
los materiales de apoyo que requerirán los sustentantes. Se revisa la información que recibirá el aspirante, el método de
resguardo de los materiales y la prevención de riesgos durante la administración del instrumento. Se verifica que la
evidencia documental refiera:

 La forma en que la autoridad educativa competente administrará el instrumento

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 10 de 40

 La forma en que el evaluado contestará el instrumento o enviará la información que se solicite.


 La funcionalidad de los medios electrónicos, si fuera el caso.
 Las condiciones de resguardo
 La identificación de riesgos
 El plan de contingencia

La información derivada de este análisis se consigna de manera individual en los formatos 1-10 para instrumentos
objetivos o formatos 1-10 para instrumentos de respuesta construida (anexo 2).

3.3.3.1 Revisión de guías

Complementariamente, la diada responsable del instrumento revisa las guías de estudio presentadas como parte de la
evidencia documental. Las guías constituyen un material de orientación y apoyo para el evaluado, por lo que se verifica
que contengan información suficiente sobre el propósito de la evaluación y del instrumento, la suficiencia y claridad de las
instrucciones, así como de la descripción del instrumento: estructura, aspectos a evaluar, reactivos muestra y bibliografía.
De manera adicional, se observará que el documento carezca de errores de redacción y ortografía. Las observaciones
sobre la guía se consigarán en el formato destinado para ello.

3.3.4 Etapa de análisis

Se refiere a la información que entrega la CNSPD sobre el comportamiento psicométrico de los reactivos, el método para
construir los puntos de corte y la calificación. Debido a que la revisión se realiza antes de la aplicación del instrumento,
se verificará evidencia documental que contenga:

 Los parámetros psicométricos por reactivo


 Descriptores y niveles de desempeño
 Racionalidad sobre la forma de calificación

La información derivada de este análisis se consigna de manera individual en los formatos 1-10 para instrumentos
objetivos o para instrumentos de respuesta construida (anexo 2).

3.3.5 Etapa de difusión y uso de resultados

La validación de esta fase implica verificar que exista información sobre cuándo, cómo y en qué forma se entregarán los
resultados a los evaluados. Para ello se revisará información relativa a:

 El período de entrega de resultados


 La forma de entrega de resultados
 El reporte de resultados
 El Informe Técnico

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 11 de 40

En la presente etapa se incluye la revisión de los descriptores de los niveles de desempeño que forman parte de los
reportes de resultados individuales. Se valida que dichos descriptores esten diseñados conforme a los criterios técnicos
determinados por el Instituto, sean consistentes con los niveles de desempeño previamente establecidos y proporcionen
información válida y útil a los evaluados a partir de los resultados de su evaluación. Para la realización de la tarea
participan especialistas con una sólida formación académica y destacada trayectoria docente en el campo disciplinar o
curricular correspondiente. La coordinación y apoyo técnico de las sesiones se encuentra a cargo del personal de la
Dirección General para la Evaluación de Docentes y Directivos.

La información derivada de este análisis se consigna de manera individual en los formatos 1-10 para instrumentos
objetivos o para instrumentos de respuesta construida (anexo 2).

3.3.6 Consenso y concentrado de observaciones

Una vez que los revisores concluyen la revisión de la evidencia documental de cada etapa, consensan sus observaciones
y las consignan en el formato 15 (anexo 2). La información permite valorar el cumplimiento de las acciones de verificación
documental, así como en qué medida fueron atendidas las observaciones realizadas por el Instituto el año previo, en la
versión actual de los instrumentos. Dicho consenso se registrará en el formato 14 (anexo 2).

La información derivada de la revisión queda documentada en los formatos correspondientes, en los que se asientan los
juicios, se señalan las fechas de la actividad, las iniciales y la firma de los revisores. Los coordinadores de la actividad
reúnen los formatos, tanto en papel como en electrónico, para su resguardo.

A partir de los hallazgos, se elabora una tabla que sintetiza las observaciones que requieren atención por parte de la
CNSPD, y se incorporan sugerencias para dicho propósito. Esta tabla se envía a la CNSPD, la cual deberá atender las
observaciones realizadas por el Instituto. Para ello entrega evidencia en alcance al Instituto, la cual es revisada por el
personal de la DGEDD.

En caso necesario, se realiza una sesión de trabajo o asesoria con personal de la CNSPD con la finalidad de precisar
información señalada en la retrolimentación.

3.4 Revisión de Instrumentos (reactivos de opción múltiple e instrumentos de respuesta construida)

La segunda fase de la revisión técnica, consiste en la revisión los reactivos de opción múltiple e instrumentos de respuesta
construida en sus versiones finales, es decir, tal y como se presentarán a los sustentantes, bajo la modalidad de aplicación
en línea. Para la revisión de los instrumentos de opción múltiple y de respuesta construida se utilizan listas de cotejo que
contemplan las características técnicas indispensables que un reactivo o tarea evaluativa debe tener a fin de que permita

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 12 de 40

hacer inferencias sobre la presencia del atributo medido o el nivel de desempeño alcanzado en el contenido específico del
instrumento de evaluación. Las listas de cotejo se incluyen en el anexo 3.

De los instrumentos objetivos se revisa en algunos casos el 100% de los reactivos nuevos, principalmente cuando
presentan problemas en los índices psicométricos obtenidos a partir de la aplicación anterior, o bien porque tienen un
impacto nacional en términos de la población a la que van dirigidos. En otros casos se selecciona una muestra aleatoria y
representativa de los reactivos nuevos. El porcentaje de reactivos que constituirán la muestra de cada instrumento se
asignará considerando uno o más de los siguientes elementos:

 Los parámetros estadísticos de los reactivos utilizados en la aplicación del año anterior. A mayor número de
reactivos adecuados, de acuerdo con los criterios del INEE para dichos parámetros, menor número de reactivos
por revisar, y viceversa.
 El estatus de los reactivos que conforman las versiones, a partir de las tablas de ensamble, considerando incluir
tanto reactivos nuevos como los denominados “piloto operativos”, que formaron parte de alguna versión anterior
y resultaron con índices psicométricos fuera de los rangos establecidos por el Instituto1.

Los instrumentos de respuesta construida se revisan en su totalidad. La finalidad es verificar la congruencia entre la tarea
evaluativa y la especificación a la cual se encuentra asociada, la claridad y congruencia de las consignas con los elementos
que se evalúan en la rúbrica, así como las características de la interfaz mediante la cual se realiza la aplicación.

El procedimiento para la revisión de los instrumentos contempla las siguientes fases:

1. Capacitación del equipo técnico interno a fin de que se comprenda el propósito de la tarea, se unifiquen los
criterios de revisión de los instrumentos y se conozcan los materiales (protocolo de revisión y formatos
correspondientes) a utilizar en la revisión de los instrumentos ensamblados. La capacitación se divide en dos
partes: en la primera sesión se revisan los antecedentes y los referentes de las pruebas, así como la lista de cotejo
(ver anexo 3) que sirve para llevar a cabo la revisión; en la segunda sesión se realiza un taller en el que se entrena
al personal técnico en el uso de la lista de cotejo, a partir de ejemplos de casos proporcionados como parte de la
evidencia entregada por la CNSPD, con la finalidad de calibrar los juicios de los revisores.

2. Revisión individual de los reactivos independientes, los casos que conforman las pruebas y las rúbricas.
El equipo técnico del INEE revisa individualmente, aunque distribuido por díadas, los reactivos seleccionados de
cada uno de los exámenes previstos. La revisión se realiza con base en los criterios técnicos de validación

1
Esta información se deriva de las tablas de ensamble de los instrumentos entregadas por la CNSPD.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 13 de 40

acordados en la capacitación. Para ello se cuenta con el apoyo del personal de CENEVAL quienes muestran en
una pantalla los reactivos o tareas evaluativas, a fin de que el personal técnico del INEE las valoren.

3. Juicio de valoración técnica para cada. Cada una de las díadas del equipo técnico del INEE discute sus juicios
individuales en función de las fortalezas y debilidades identificadas en cada reactivo y registra el consenso de su
valoración en los formatos respectivos. La información producto de este ejercicio se documenta en papel dadas
las restricciones del uso de dispositivos electrónicos por razones de confidencialidad de los instrumentos.

4. Integración de una base de datos de la revisión. Se integra una base de datos con el resultado del proceso
de revisión, incorporando las observaciones por cada criterio y la justificación del dictamen. El personal del
Instituto captura la información en el mismo espacio asignado dentro de las instalaciones del Ceneval a fin de
poder contar con la retroalimentación de manera oportuna. Para ello, se utiliza un formato prediseñado en Excel
con la distribución de criterios técnicos revisados. La base de datos se entrega a la CNSPD con la finalidad de
que las observaciones sean atendidas, previo a la aplicación del instrumento.

5. Verificación de la corrección de los reactivos que tuvieron observaciones. El equipo técnico verifica la
corrección los reactivos que hayan tenido observaciones; la verificación se lleva a cabo bajo el mismo protocolo
de resguardo y seguridad del CENEVAL. Para la verificación el equipo igualmente se organiza en díadas.

El procedimiento de verificación consiste en comparar los reactivos originales con los reactivos que hayan sido
modificados, para lo cual se requiere la información respecto a la atención brindada a las observaciones hechas
durante la revisión. Se verifican los cambios aplicados de acuerdo con el formato de verificación, valorando si se
cumple o no con los criterios que se hayan observado en la revisión. En el caso de que se presenten
justificaciones, se valorará la pertinencia de las mismas. Una vez revisados, los integrantes de las díadas
consensuan sus valoraciones y las registran en el formato correspondiente.

6. Informe técnico sobre los resultados de la revisión de los instrumentos de evaluación. Producto del análisis
de la base de datos se elabora un informe técnico pormenorizado, con los resultados y principales hallazgos de
las jornadas de revisión técnica y de la verificación de los instrumentos.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 14 de 40

7. Documentación del proceso. El coordinador o la coordinadora de la revisión técnica de los instrumentos reune
los formatos y asegurándose de que están debidamente llenados y firmados; estos se resguardarán como parte
de la documentación del proceso.

3.5 Elaboración del Informe Técnico

A partir de la información producto de la revisión documental, así como de la revisión de los reactivos y de los instrumentos
de respuesta construida, se elaborará un informe para la Junta de Gobierno del INEE en el que se sintetiza tanto el proceso
de revisión como los resultados del mismo, a fin de que la Junta valore su aprobación en la fecha establecida en el
Calendario de Evaluaciones del Servicio Profesional Docente, 2016.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
ANEXO 1. Criterios Técnicos para el desarrollo Dirección
y uso depara
instrumentos
la Evaluaciónde
deevaluación educativa15
Docentes y Directivos de 40
2014-2015. Documentación específica.

Fase Acciones Consideraciones Documentación específica


 Documento comprobatorio de la
1.Planeación Conformación de cuerpos colegiados de Se deberá documentar la fecha de instalación de cada uno de estos cuerpos instalación de los 5 cuerpos colegiados
especialistas: colegiados así como el nombre, la formación académica, la ocupación y la
institución de procedencia de cada uno de sus integrantes.
 Consejo Técnico del instrumento
 Comité Académico Asimismo, mostrar los materiales que se utilizaron para la capacitación de  Lista de los integrantes de cada uno de
 Comité de Especificaciones los cuerpos colegiados incluyendo
estos cuerpos colegiados
 Comité de Elaboración de Reactivos nombre, la formación académica, la
o Tareas Evaluativas El principio que debe guiar la integración de estos cuerpos colegiados es el ocupación y la institución de
 Comité de Validación procedencia.
de poder contar con especialistas del campo o dominio a evaluar. Estos
cuerpos colegiados deberán estar debidamente capacitados y algunos de
ellos podrán participar en más de un comité.
 Documento con materiales de
Para su integración deberá tenerse en cuenta la función específica que cada capacitación
uno de ellos cumplirá en las distintas fases del proceso de desarrollo del
instrumento.

 Ficha técnica del instrumento:


Definición del propósito y usos del Definir de manera clara y concisa lo que se pretende medir con el propósito y población objetivo, uso y
instrumento de evaluación instrumento de evaluación, es decir, el propósito con el que se desarrolla así alcance de sus resultados, tipo de
como los usos e interpretaciones que se darán a sus resultados. Para cada instrumento, impacto o consecuencias
uso que se dé a los resultados del instrumento deberán aportarse evidencias de sus resultados así como la modalidad
suficientes de que es válido, especialmente para las evaluaciones de alto y condiciones de administración o
aplicación.
impacto (donde hay consecuencias importantes para las personas o las
instituciones; por ejemplo, en los procesos de admisión, certificación y
acreditación).

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 16 de 40

Definir también la población objetivo, el tipo de instrumento y la modalidad


en que se administrará, así como quiénes serán los usuarios de la información
y si los resultados de las evaluaciones tendrán algún tipo de consecuencia, ya
sea para la escuela, los directivos, los profesores o los alumnos.

 Documento con el marco teórico y la


Definición del Objeto de Medida del Toda evaluación deberá contar con un marco teórico que justifique los definición conceptual del objeto de
Instrumento de evaluación términos en los que el objeto de medida se aborda en el instrumento de medida del instrumento así como los
evaluación. procedimientos empleados para
seleccionar los contenidos específicos y
Los criterios que se sigan para seleccionar los aspectos o elementos que para determinar la distribución del
constituyen al instrumento deberán ser explícitos y garantizar que son número de reactivos o tareas
relevantes (importantes y significativos para el propósito de la evaluación), evaluativas en cada nivel jerárquico del
pertinentes (congruentes con los propósitos y alcances de la evaluación) instrumento. Deberá incluir las firmas
del Comité Académico.
representativos (que constituyen una muestra significativa de los aspectos
cruciales del objeto de medida) y viables para ser evaluados a través del
instrumento.
 Documento con la taxonomía utilizada
El contenido específico del instrumento deberá consignarse en una tabla de para clasificar los contenidos
específicos del instrumento.
especificaciones en la que, por un lado, se ordenen jerárquicamente los
aspectos o elementos a medir (por ejemplo, áreas, sub-áreas y temas) y, por
el otro, el sistema de clasificación de estos elementos o aspectos (por
ejemplo, para el caso de la evaluación del aprendizaje, se podría utilizar la
clasificación cognoscitiva de la versión modificada de la taxonomía de Bloom
o Gagné). Para cada uno de los niveles jerárquicos considerados en la tabla,
deberá especificarse el número de reactivos o tareas evaluativas
considerados para su evaluación.

El grupo de especialistas que integran el Comité Académico deberá aprobar


el marco teórico o explicativo del objeto de medida, la definición conceptual
y la tabla de especificaciones.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 17 de 40

 Especificaciones elaboradas para cada


Elaboración de las especificaciones Tiene como finalidad precisar, en términos observables, los aspectos aspecto del contenido del instrumento.
específicos que constituyen el objeto de medida (conocimientos, Deberá incluir las firmas de los
habilidades, competencias, actitudes o aptitudes). Las especificaciones son integrantes del Comité de
el principal insumo para la elaboración delas tareas evaluativas o los Especificaciones.
reactivos que conformarán el instrumento de evaluación.

Las especificaciones deberán elaborarse cuidando que contengan, al menos,


los siguientes aspectos: a) una definición de la acción observable del sujeto
como evidencia de que presenta el rasgo o atributo medido o domina el
contenido evaluado, b) una descripción de las condiciones específicas bajo
las cuales se espera que esta acción se realice en el contexto de la evaluación
y c) una tarea evaluativa o reactivo que ejemplifique cómo se concreta la
medición de lo que se establece en la especificación.

 Tareas evaluativas o reactivos


2.Elaboración del Elaboración de tareas evaluativas o Las tareas evaluativas o los reactivos son unidades básicas de observación  Actas de validación de tareas
instrumento de reactivos. que permiten hacer inferencias sobre la presencia del atributo medido o el evaluativas o reactivos firmadas por los
evaluación nivel de desempeño alcanzado en el contenido específico del instrumento de especialistas participantes
evaluación. Su elaboración debe realizarse en estricto apego a las
especificaciones diseñadas para cada aspecto del contenido del
instrumento.

Debe cuidarse que el vocabulario empleado sea pertinente para la población


a la cual está dirigido el instrumento, así como que su redacción no produzca
sesgo (diferencias artificiales e injustas) en las respuestas de los evaluados
por cuestiones culturales, lingüísticas, religiosas, socioeconómicas, de
género o características del contexto.

Mediante un proceso de jueceo en el que participen los especialistas del


comité de validación debe verificarse que las tareas evaluativas o los
reactivos elaborados midan los aspectos que se pretenden medir con el
instrumento, que no presenten errores de contenido y de sesgo, y se
redacten en un lenguaje a apropiado para la población evaluada.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 18 de 40

 Análisis de las tareas evaluativas o


Implementación de Prueba piloto de las Las tareas evaluativas o reactivos deberán someterse a prueba con grupos reactivos a partir de los resultados
tareas evaluativas o reactivos de participantes que tengan las características más cercanas posibles a la obtenidos en la prueba piloto. Incluir los
población a la que cual está destinado el instrumento, a fin de poder detectar protocolos de lectura y calificación.
fallas en su desarrollo o tener estimaciones preliminares de sus cualidades
métricas.  Para el caso de instrumentos de
respuesta construida, incluir los
En caso de que sea imposible llevar a cabo una prueba piloto previa a la criterios, procedimiento de jueceo y
aplicación final, deberá incluirse un número mayor de tareas evaluativas o concordancia (o confiabilidad) entre las
reactivos a los establecidos en la tabla de especificaciones del instrumento, valoraciones de los jueces.
para que con base en los resultados, se puedan identificar las tareas
 En su caso, justificación de la
evaluativas o reactivos con mejor calidad métrica para ser utilizados en la
imposibilidad de efectuar una prueba
calificación. piloto señalando cuántos reactivos o
tareas evaluativas se han añadido a los
En todos los casos se realizará el análisis de dificultad y discriminación de las
establecidos en la tabla de
tareas evaluativas o los reactivos sometidos a prueba; adicionalmente, para especificaciones.
los reactivos de opción múltiple, también se analizará el comportamiento de
sus distractores. Esta información servirá para identificar y eliminar aquellas
tareas evaluativas o reactivos que no alcancen los índices de calidad técnica
requerida para este tipo de instrumentos.

En el caso de instrumentos de evaluación que requieran de jueceos para la


calificación de las tareas evaluativas o reactivos (por ejemplo, cuando se
incluyen preguntas de respuesta construida que utilizan rúbricas), además
del análisis de dificultad y discriminación, deberán definirse y documentarse
tanto los criterios y el procedimiento de jueceo como la concordancia (o
confiabilidad) entre las valoraciones de los jueces.

 Documento que especifique los


3.Aplicación o Aplicación del instrumento Deberá elaborarse un documento en el que se detallen los protocolos de procedimientos y criterios utilizados
administración aplicación y resguardo de los materiales. Las características y contenidos del para llevar a cabo la aplicación del
del instrumento instrumento de evaluación, así como las particularidades de su aplicación instrumento y resguardo de los
deberán hacerse del conocimiento de los sustentantes. materiales.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 19 de 40

Los aplicadores habrán de recibir capacitación y un manual en el que se  Materiales utilizados para informar a las
establezcan las características de los materiales que manejarán y personas por evaluar sobre las
orientaciones sobre cómo actuar en caso de contingencias. características y contenidos del
instrumento de evaluación, así como de
las particularidades de su aplicación.

 Materiales de capacitación para los


aplicadores.

 Manual del aplicador.


 Documento que especifique
4.Procesamiento Análisis psicométrico del instrumento En todos los casos se deberán aportar datos sobre la dificultad y protocolos, algoritmos y reglas de
y análisis de discriminación de los reactivos o tareas evaluativas, así como sobre los calificación, así como la manera
resultados del indicadores de consistencia interna o estabilidad del instrumento y de correcta de interpretar los resultados.
instrumento2 validez de la interpretación de sus resultados.
 Para el caso de instrumentos de
Cuando se incluyan procesos de jueceo en la calificación de un instrumento respuesta construida, incluir los
de respuesta construida, se documentarán con claridad los procedimientos criterios, procedimiento de jueceo y
y criterios que utilizarán los jueces en la calificación de las respuestas. concordancia (o confiabilidad) entre
las valoraciones de los jueces.
En los casos que se utilicen puntos de corte para definir niveles de
desempeño, deberá documentarse la racionalidad del proceso y las
características de los juicios emitidos por los expertos, quienes deberán  Si se utilizan puntos de corte para
sustentar su experiencia y formación y ser capacitados para la tarea. definir niveles de desempeño, deberá
documentarse la racionalidad del
proceso y las características de los
juicios emitidos por los expertos.

2
Para el caso del Servicio Profesional Docente, le corresponde definir este aspecto al INEE, de conformidad con lo establecido en el numeral I del Artículo 9 de los
Lineamientos iniciales específicos para llevar a cabo la evaluación del ingreso al Servicio Profesional Docente en Educación básica y Educación media superior y
lineamientos iniciales específicos para llevar a cabo la evaluación para la promoción a cargos con funciones de Dirección (Directores) en Educación media superior, para
el ciclo escolar 2014-2015, por esta razón, aunque la fase Procesamiento y análisis de resultados del instrumento, se refiere en el presente cuadro para efectos de contar
con el panorama completo del proceso de desarrollo de los instrumentos de evaluación, no se considera para el caso de los formatos de revisión de este protocolo.
INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN
Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 20 de 40

 Incluir evidencia de la idoneidad de la


experiencia profesional de los
expertos y de su formación académica
y los materiales utilizados para la
capacitación.
 Documento que especifique los
5.Difusión y uso Comunicación de los resultados El reporte de resultados de la evaluación, deberá ser consistente con el procedimientos y criterios llevados a
de los resultados propósito, el objeto de medida y la tabla de especificaciones del instrumento cabo para la difusión y uso de los
de evaluación. En los casos de los instrumentos de evaluación referidas a un resultados.
criterio, las etiquetas que identifiquen los estándares o niveles de
desempeño, deberán ser consistentes con la descripción de lo que se espera  Formatos utilizados para reportar los
sea capaz de hacer la persona evaluada para ser clasificado en cada categoría resultados del instrumento.
de logro. Deberá evitarse el uso de etiquetas estigmatizantes.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 21 de 40

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 22 de 40

Anexo 2. Formatos y criterios de la revisión documental del diseño y desarrollo


de los instrumentos de evaluación del Servicio Profesional Docente

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 23 de 40

Formato núm. 1: Consejo Técnico


Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Consejo Técnico y productos que debe entregar. Marque con una X si Cumple,
Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.
Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente
1. ¿Se presenta un documento en el que establece que el Consejo fue
debidamente constituido?
2. ¿Se documentó fecha de instalación del Consejo?
¿Se registra el nombre, ocupación e institución de procedencia de cada
3.
uno de sus integrantes?
¿Se registran las funciones de los miembros y especifica quienes
4.
participaron en otros comités?
¿El perfil y funciones de los integrantes corresponden con la naturaleza
5.
del trabajo o tareas?

6. ¿Se presenta los materiales que se utilizaron para la capacitación?

¿Se presenta documento en dónde se establecen los siguientes


aspectos?

 Propósitos

 Usos que se darán a sus resultados.

 Población a la que se dirige.


7.
 Usuarios de la información

 Tipo de instrumento y modalidad de administración.


 Vigilancia de las distintas actividades realizadas por los
comités de especialistas en los que se apoya para el
desarrollo del instrumento
 Determinar el impacto y consecuencia de los resultados

8. ¿Se presenta acta de trabajo final con las firmas del Consejo Técnico?

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 24 de 40

Formato núm. 2: Comité Académico

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité Académico y productos que debe entregar. Marque con una X si Cumple,
Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.

Número Indicadores Cumple Cumple parcialmente No cumple Observaciones


¿Se presenta un documento en el que establece que el comité fue
1.
debidamente constituido?
2. ¿Se documentó la fecha de instalación del comité?
¿Se registra el nombre, ocupación e institución de procedencia de cada
3.
uno de sus integrantes?
¿Se registran las funciones de los miembros y especifica quienes
4.
participaron en otros comités?
¿El perfil y funciones de los integrantes corresponden con la naturaleza
5.
del trabajo o tareas?
6. ¿Se presentan los materiales que se utilizaron para la capacitación?
¿Se presenta documento en dónde se establecen los siguientes
aspectos?

 Documenta el marco teórico y la definición conceptual del


objeto de medida
7.  Procedimientos empleados para seleccionar los contenidos
específicos.
 Distribución del número de reactivos o tareas evaluativas
en cada nivel jerárquico del instrumento
 Detalle de la taxonomía utilizada para clasificar los
contenidos.
¿Se presenta un documento final con las firmas del Comité
8.
Académico?

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 25 de 40

Formato núm. 3: Comité de Especificaciones

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Especificaciones y productos que debe entregar. Marque con una X si
Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.
Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente
¿Se presenta un documento en el que establece que el comité fue
1.
debidamente constituido?
2. ¿Se documentó la fecha de instalación del comité?
¿Se registra el nombre, ocupación e institución de procedencia de
3.
cada uno de sus integrantes?
¿Se registran las funciones de los miembros y especifica quienes
4.
participaron en otros comités?
¿El perfil y funciones de los integrantes corresponden con la
5.
naturaleza del trabajo o tareas?
6. ¿Se entregan materiales que se utilizaron para la capacitación?
¿Se presenta documento en dónde se establecen los siguientes
aspectos?

 Precisa y operacionaliza el objeto de medida del


instrumento de evaluación

7.  Define una acción observable que el sustentante debe


realizar como evidencia del dominio del contenido
evaluado
 Describe las condiciones específicas bajo las cuales se
espera que la acción se realice
 Se incluye una tarea evaluativa o un reactivo de
ejemplo
¿Se presentan formatos de las especificaciones elaboradas
8.
firmadas por el Comité?

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 26 de 40

Formato núm. 4: Comité Elaboración de Tareas Evaluativas o Reactivos

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Reactivos o Tareas Evaluativas y productos que debe entregar. Marque
con una X si Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.
Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente

¿Se presenta un documento en el que establece que el comité fue


1.
debidamente constituido?

2. ¿Se documentó la fecha de instalación del comité?

¿Se registra el nombre, ocupación e institución de procedencia de


3.
cada uno de sus integrantes?

¿Se registran las funciones de los miembros y especifica quienes


4.
participaron en otros comités?

¿El perfil y funciones de los integrantes corresponden con la


5.
naturaleza del trabajo o tareas?

6. ¿Se entregan materiales que se utilizaron para la capacitación?

Presenta reactivos o tareas evaluativas para cada especificación


7.
contenida en la tabla de especificaciones.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 27 de 40

Formato núm. 5: Comité de Validación


Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Reactivos o Tareas Evaluativas y productos que debe entregar. Marque
con una X si Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.
Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente

1. ¿Se presenta un documento en el que establece que el comité fue


debidamente constituido?
2.
¿Se documentó la fecha de instalación del comité?

3. ¿Se registra el nombre, ocupación e institución de procedencia de


cada uno de sus integrantes?

4. ¿Se registran las funciones de los miembros y especifica quienes


participaron en otros comités?

5. ¿El perfil y funciones de los integrantes corresponden con la


naturaleza del trabajo o tareas?
6.
¿Se entregan materiales que se utilizaron para la capacitación?
¿Se muestra un acta de validación en la cual el comité validó que
7. los reactivos o tareas evaluativas del instrumento están debidamente
alineados con las especificaciones y el objeto de medida?
¿Se muestra una evidencia de que los reactivos considerados en el
8. instrumento fueron aprobados por el Comité de Validación?
¿Se muestra una evidencia de que los reactivos considerados en el
9. instrumento no presentan errores de contenido?
¿Se muestra una evidencia de que los reactivos considerados en el
10. instrumento no producen sesgo en las respuestas de los evaluados
por su redacción?
¿Se muestra una evidencia de que los reactivos considerados en el
11. instrumento, midan lo que dicen medir?
¿Se muestra una evidencia de que los reactivos considerados en el
12. instrumento se redactaron en un lenguaje apropiado para la
población objetivo?

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 28 de 40

Formato núm. 6: Prueba piloto de las tereas evaluativas o reactivos

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Reactivos o Tareas Evaluativas y productos que debe entregar. Marque
con una X si Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.
Cumple
Número Criterio Cumple No cumple parcialmente Observaciones

Presenta un análisis de la dificultad y discriminación de


1.
los reactivos o tareas evaluativas

2. Incluye los protocolos de lectura y calificación

Incluye criterios, procedimiento de jueceo y concordancia


3. (o confiabilidad) entre las valoraciones de los jueces (Solo
en el caso necesario).

Presenta un plan de análisis de dificultad y discriminación


4.
de las tareas evaluativas o reactivos.

Determina y documenta el procedimiento de jueceo y la


5. concordancia entre las valoraciones de los jueces.

Incluye un número mayor de tareas evaluativas o


6. reactivos a los establecidos en la tabla de
especificaciones (solo en caso de no haber prueba piloto)

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 29 de 40

Formato núm. 7: Aplicación o administración del instrumento

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Validación y productos que debe entregar. Marque con una X si
Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.

Cumple Observaciones
Número Indicadores Cumple No cumple
parcialmente

Presenta materiales para informar a las personas a evaluar sobre:

 Las características y contenidos del instrumento de evaluación, así como de


las particularidades de su aplicación

1.  Uso que se va a dar a los resultados

 Lugar y hora duración de la aplicación

 Materiales de apoyo que se requerirán para resolver el instrumento

 Requisitos para tener acceso a la prueba

2. Presenta un Manual del aplicador, que contiene los protocolos de aplicación.

3.
Especifica los procedimientos y criterios para el resguardo de los materiales

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 30 de 40

Formato núm. 8: Difusión y uso de resultados.

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Validación y productos que debe entregar. Marque con una X si
Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.

Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente
La información de resultados contiene los siguientes aspectos:

 Descripciones breves del propósito y características del


1. instrumento
 Precisa lo que pretende medir
Presenta lineamientos explícitos en cuanto al tiempo para
2. conservar los resultados, disponibilidad pública y uso a lo largo del
tiempo.
El reporte de resultados es consistente con el propósito, objeto de
3.
medida y la tabla de especificaciones.
En evaluaciones referidas a criterio las etiquetas que identifican
niveles de desempeño o estándares son consistentes con la
4.
descripción de lo que se espera sea capaz de lograr la persona
evaluada.
Presenta formatos utilizados y un documento en donde explique el
5.
diseño del reporte de resultados.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 31 de 40

Formato núm. 9: Informe técnico

Indicaciones: a continuación se presentan los indicadores sobre la correcta conformación del Comité de Validación y productos que debe entregar. Marque con una X si
Cumple, Cumple parcialmente o No cumple. Utilice la columna de observaciones en caso de que se Cumpla parcialmente o No se cumpla.

Cumple
Número Indicadores Cumple No cumple Observaciones
parcialmente
Integra las evidencias de las fases del proceso de desarrollo del
instrumento:

 Planeación

 Elaboración
1.
 Aplicación o administración

 Procesamiento y análisis de resultados

 Difusión y uso de los resultados


Presenta un resumen de los aspectos sustantivos que están
2. documentados en cada una de las fases del proceso de desarrollo
del instrumento.
Presente recomendaciones para mejorar la calidad técnica del
3.
instrumento de evaluación.

Dictamen: Se sugiere a la junta de Gobierno: Aprobarlo ______ Aprobarlo condicionado______ No aprobarlo _______

Justificación del dictamen:

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F. Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 32 de 40

Anexo 3. Formatos de revisión de los instrumentos de opción


múltiple y de respuesta construida

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 33 de 40

1. Formato para la revisión de Reactivos independientes de opción múltiple de los instrumentos del Servicio
Profesional Docente
Datos de identificación. Complete los datos correspondientes y señale dentro la casilla el nombre del examen.

Proceso de evaluación Nombre del Examen

Nivel Educativo / Disciplina

Área/subárea

Clave de especificación Clave del reactivo (ID)

II. Criterios de revisión. Señale con una X si el criterio se cumple o no. En caso de señalar que el criterio “No cumple”, registre sus observaciones.

Sí No
No Sobre el reactivo Observaciones
cumple cumple

1 Corresponde con la especificación


2 Corresponde con el nivel taxonómico
3 Está libre de sesgos de género, culturales, lingüísticos, socioeconómicos
o tecnológicos.
Sobre la base
4 Contiene la información necesaria y suficiente para ser respondido
5 Su redacción es correcta
6 Está libre de errores ortográficos
7 Está libre de pistas sobre la respuesta correcta
Sobre las opciones de respuesta

8 Existe una sola respuesta correcta


9 Son homogéneas en su extensión
10 Su redacción es correcta
11 Está libre de errores ortográficos
12 Los distractores son plausibles
Los siguientes criterios solamente aplican para los reactivos de innovación
La instrucción indica de manera precisa el tipo de interacción necesario
13
para resolver el reactivo por medio de la interfaz

Los recursos multimedia (imagen, audio, video, etc.) proveen información


14
suficiente para dar respuesta al reactivo

Los recursos multimedia cumplen con criterios de calidad (nitidez,


15
claridad, duración, tamaño)

III. Resultado de la revisión. El reactivo deberá cumplir con todos los criterios para emitir el juicio “Sí cumple”. Señale con una X el resultado.

Sí cumple No cumple

Firma e iniciales de los revisores: __________________________ _________________________

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 34 de 40

2. Formato para la revisión técnica de instrumentos de evaluación de competencias a partir de casos

Revisión de casos
I. Datos de identificación. Complete los datos correspondientes y señale dentro la casilla el nombre del examen.

Nombre del Examen

Nivel Educativo / Asignatura

Área

Subárea

Clave de especificación

Clave del caso (ID)

II. Criterios de revisión. En la casilla correspondiente señale con una X si el criterio se cumple o no. En caso de señalar que el criterio “No
cumple”, registre sus comentarios en el apartado de observaciones.

Sí No
Criterios Observaciones
cumple cumple

I. Sobre la narrativa del caso

II.

1. Corresponde con la especificación

2. Presenta una estructura y organización coherente y


secuencial
3. Plantea una situación educativa hipotética apegada a la
realidad
4. Permite llevar a cabo procesos de comprensión de
información, análisis, toma de decisiones o solución de
problemas
5. Presenta los elementos necesarios (condiciones del
contexto, personajes verosímiles, eventos y/o diálogos)
para la comprensión de la problemática

6. Contiene eventos que componen a la práctica docente

7. Está libre de sesgos de género, culturales, lingüísticos,


socioeconómicos

8. Es correcta la redacción

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 35 de 40

9. Está libre de errores ortográficos

Criterios Sí No
cumple cumple

IV. En general

28. Es suficiente la información contenida en el caso para


contestar los reactivos asociados

29. Esta libre de información innecesaria para resolver los


reactivos

30. La información del caso está libre de pistas sobre la


respuesta correcta de alguno de los reactivos asociados

31. Los reactivos son independientes entre sí

III. Resultado de la revisión. El caso deberá cumplir con todos los criterios para emitir el juicio “Sí cumple”. Señale con una X el resultado.

Sí cumple No cumple

Observaciones generales:

Firma e iniciales de los revisores: __________________________________ ____________________________________

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 36 de 40

N°:_________

Reactivos Asociados a los casos

Fecha: ______/_____________/2016
I. Datos de identificación. Complete los datos correspondientes y señale dentro la casilla el nombre del examen.

Nombre del Examen

Nivel Educativo / Asignatura

Área

Subárea

Clave de especificación

Clave del caso

Clave del reactivo (ID)

II. Criterios de revisión. En la casilla correspondiente señale con una X si el criterio se cumple o no. En caso de señalar que el criterio “No cumple”,
registre sus comentarios en el apartado de observaciones.

Criterios Sí No Observaciones
cumple cumple

II. Sobre la base del reactivo asociado

10. Corresponde con la especificación

11. Corresponde con el nivel taxonómico asignado

12. Pone en juego acciones cognitivas de comprensión de la


información, análisis, resolución de problemas o toma de
decisiones (el reactivo no es de comprensión lectora ni de
ubicación de información literal)
13. Se requiere la narrativa del caso para la resolución del
reactivo

14. La información de la base está libre de pistas sobre la


respuesta correcta

15. Contiene la información necesaria y suficiente para ser


respondido

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 37 de 40

16. Está libre de sesgos de género, culturales, lingüísticos,


socioeconómicos o tecnológicos

17. Es correcta la redacción

18. Está libre de errores ortográficos

III. Sobre las opciones de respuesta

19. La respuesta correcta constituye una solución o modos


posibles de intervención ante el caso

20. Existe una sola respuesta correcta

21. Son homogéneas en su extensión y redacción

22. Su redacción es correcta

23. Están libres de errores ortográficos.

24. Los distractores son plausibles

I V. Los siguientes criterios solamente aplican para los reactivos de innovación

25. La instrucción indica de manera precisa el tipo de


interacción necesario para resolver el reactivo por medio de
la interfaz
26. Los recursos multimedia (imagen, audio, video, etc.)
proveen información suficiente para dar respuesta al
reactivo
27. Los recursos multimedia cumplen con criterios de calidad
(nitidez, claridad, duración, tamaño)

III. Resultado de la revisión. El reactivo deberá cumplir con todos los criterios para emitir el juicio “Sí cumple”. Señale con una X el resultado.

Sí cumple No cumple

Firma e iniciales de los revisores: __________________________ _________________________

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 38 de 40

4. Formato para la revisión de instrumentos de respuesta construida del Servicio Profesional Docente.

Nombre del Instrumento: __________________________________________________________________________________

Instrucciones: A continuación se presentan los Criterios de verificación para valorar el proceso de elaboración de instrumentos.
Marque con una “X” la casilla correspondiente. Utilice la columna de observaciones para justificar cuando el juicio sea “No”.

Sobre el instrumento

No. Criterio Sí No Observaciones

Refleja el conocimiento o habilidad que se pretende evaluar en el perfil


1.
establecido.

2. La tabla de especificaciones está desagregada en tres niveles.

Los niveles de desagregación de la tabla de especificaciones son congruentes


3.
con el dominio a evaluar.

4. Las tareas evaluativas están alineadas con las especificaciones.

Las tareas evaluativas describen de manera clara y precisa lo que el


5.
sustentante realizará.

Las tareas evaluativas especifican los atributos a considerar para el desarrollo


6.
de la misma.

Las tareas evaluativas especifican el material indispensable cuando se requiere


7.
para su desarrollo.

Sobre la pauta de calificación (Rúbrica)

No. Criterio Sí No Observaciones

1.
Los criterios son congruentes con los atributos de la tarea evaluativa.

2. Presenta al menos cuatro niveles de desempeño.

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
Unidad de Evaluación del Sistema Educativo Nacional
Dirección para la Evaluación de Docentes y Directivos 39 de 40

La descripción de los niveles incluye los aspectos cualitativos de los atributos


3.
a evaluar que demuestran el desempeño del sustentante en cada nivel.

Los niveles de desempeño establecen una gradualidad en los conocimientos,


4.
habilidades o destrezas que se evalúan en cada nivel.

Los niveles de desempeño están claramente diferenciados y la progresión se


5.
hace en un orden claro y lógico.

Los niveles de desempeño evitan el conteo de elementos o listas de cotejo para


6.
diferenciarlos.

Los niveles de desempeño están formulados en términos positivos, con relación


7.
al alcance del desempeño esperado.

Los niveles de desempeño evitan el uso de adjetivos o términos que generen


8.
juicios subjetivos en los evaluadores.

Aspectos generales

No. Criterio Sí No Observaciones

16. Las tareas evaluativas carecen de sesgo

17. La pauta de calificación carece de sesgo

18. La ortografía de las tareas evaluativas y de la pauta de calificación es correcta

19. Se presentan instrucciones claras en la pauta de calificación.

Dictamen general:

Sí Cumple No cumple

Validador 1 Validador 2

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN


Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900 www.inee.edu.mx
UNIDAD DE EVALUACIÓN DEL SISTEMA EDUCATIVO NACIONAL
DIRECCIÓN GENERAL DE EVALUACIÓN DE DOCENTES Y DIRECTIVOS

INSTITUTO NACIONAL PARA LA EVALUACIÓN DE LA EDUCACIÓN

Av. Barranca del Muerto 341, Col. San José Insurgentes, Deleg. Benito Juárez, C.P. 03900, México, D.F.
Tel.: (55) 5482 -0900

También podría gustarte