Libro Ocde

Machine Translated by Google
¿La educación superior enseña a

los estudiantes a pensar críticamente?
Editado por Dirk Van Damme y Doris Zahner
¿La educación superior

enseña a los estudiantes a
pensar críticamente?
Editado por
Dirk Van Damme y Doris Zahner
Este trabajo se publica bajo la responsabilidad del Secretario General de la OCDE. Las opiniones expresadas y los argumentos
empleados en este documento no reflejan necesariamente los puntos de vista oficiales de los países miembros de la OCDE.
Este documento, así como todos los datos y mapas incluidos en él, se entienden sin perjuicio del estado o la soberanía sobre
cualquier territorio, la delimitación de fronteras y límites internacionales y el nombre de cualquier territorio, ciudad o zona.
Los datos estadísticos de Israel son suministrados por y bajo la responsabilidad de las autoridades israelíes pertinentes. El uso de
dichos datos por parte de la OCDE es sin perjuicio del estado de los Altos del Golán, Jerusalén Este y los asentamientos israelíes
en Cisjordania según los términos del derecho internacional.
Cite esta publicación como: Van

Damme, D. y D. Zahner (eds.) (2022), ¿La educación superior enseña a los estudiantes a pensar críticamente?, Publicación de la
OCDE, París, https://doi.org/10.1787/cc9fa6aa- es
ISBN 978-92-64-86297-5 (impreso)

ISBN 978-92-64-95496-0 (pdf)
ISBN 978-92-64-82985-5 (HTML)
ISBN 978-92-64-84829-0 (epub)
Créditos de las fotos: Portada © Rudchenko Liliia/Shutterstock.com.
Los corrigenda de las publicaciones se pueden encontrar en línea en: www.oecd.org/about/publishing/corrigenda.htm.
© OCDE 2022
El uso de este trabajo, ya sea digital o impreso, se rige por los Términos y condiciones que se encuentran en https://www.oecd.org/termsandconditions.
ÿ3
Prefacio
En 2006, los ministros de educación superior se reunieron en Atenas para una conferencia ministerial organizada por la OCDE.
Acabo de ser nombrado nuevo Director de Educación de la OCDE. Ángel Gurría, quien había asumido su mandato como
Secretario General de la Organización, presidió la reunión y logró convencer a las excelencias para que se embarcaran en un
nuevo y ambicioso proyecto de evaluación de los resultados de aprendizaje de la educación superior. Con el éxito del Programa
para la Evaluación Internacional de Estudiantes (PISA) de la OCDE, parecía haber llegado el momento de iniciar una iniciativa
comparable en la educación superior. Después de dos años de trabajo preparatorio, en 2008 se inició el Estudio de viabilidad de
la Evaluación de los resultados del aprendizaje en la educación superior (AHELO). Fue uno de los proyectos de la Dirección de
Educación de la OCDE con los que estaba más comprometido personalmente.
En esos primeros años, el apoyo político a AHELO fue impresionante. A pesar de los 20 años de desarrollo de la garantía de
calidad en la educación superior, en realidad se sabía muy poco sobre su "calidad". Las clasificaciones mundiales de universidades
se basaron en datos bibliométricos e indicadores de investigación, pero no pudieron proporcionar ninguna transparencia sobre la
calidad de la producción educativa. A su vez, esto condujo a una imagen enormemente distorsionada de la distribución global de
la excelencia académica. Los gobiernos no pudieron demostrar con qué rapidez el aumento de la financiación de las instituciones
de educación superior resultó en un crecimiento del capital humano. Las calificaciones, los diplomas y los títulos son importantes,
pero las habilidades reales que los graduados aportan a los mercados laborales y las sociedades son más importantes. Las
calificaciones no tienen sentido si no son garantías confiables de resultados de aprendizaje relevantes. Los primeros creyentes en
el proyecto AHELO sintieron que una mayor transparencia sobre los resultados de aprendizaje de los graduados fortalecería la
posición de las universidades en cualquier debate político.
El Estudio de Factibilidad de AHELO se concluyó con éxito en 2013. Después de haber demostrado la prueba de concepto,
creíamos que los países estarían dispuestos a embarcarse en el Estudio Principal. Sin embargo, el proyecto se volvió bastante
controvertido en algunas asociaciones universitarias. Las capitales dudaron en impulsar un proyecto sobre universidades en contra
de su apoyo. Después de discutir un par de propuestas, el Comité de Política Educativa de la OCDE se encontró muy dividido
sobre el tema. Finalmente decidió no proseguir con el Estudio Principal.
No obstante, un grupo de países aún apoyó la idea y decidió continuar con el trabajo. Se reunieron informalmente y con el apoyo
del Council for Aid to Education, que había desarrollado el instrumento Collegiate Learning Assessment (CLA), lanzaron el
Proyecto Internacional CLA+ en 2016. El grupo consideró que la evaluación CLA+ International es una excelente herramienta
para medir las habilidades de pensamiento crítico de los estudiantes universitarios. Las evaluaciones serían una respuesta a los
empleadores y otros que criticaron a las instituciones de educación superior por no brindar habilidades que son importantes para
la economía y la sociedad del siglo XXI.
Como resultado del trabajo de años anteriores en este grupo informal, este informe reúne los resultados de la evaluación en seis
países. Algunas evaluaciones fueron a pequeña escala y abarcaron solo unas pocas instituciones; otros se implementaron a nivel
nacional. Los datos analizados y discutidos en este informe conducen a importantes conocimientos.
Con suerte, conducirán a aún más.
Personalmente, estoy encantado de ver que este trabajo finalmente conduce a datos y análisis relevantes, y estoy muy agradecido
de que el proyecto AHELO se llevara a cabo bajo el liderazgo profesional de Dirk Van Damme (OCDE) y
¿LA EDUCACIÓN SUPERIOR ENSEÑA A LOS ESTUDIANTES A PENSAR CRÍTICAMENTE? © OCDE 2022
4ÿ
Doris Zahner (CAE). Espero sinceramente que las instituciones de educación superior y los gobiernos vean el valor de estos
instrumentos para ayudar a los estudiantes a desarrollar las habilidades adecuadas para su vida futura.
Bárbara Ischinger
Exdirector de Educación y Habilidades, OCDE (2006-2014)
ÿ5
Agradecimientos
Este informe fue editado por Dirk Van Damme, ex Consejero Principal y Jefe de la división de Innovación y
Medición del Progreso en la Dirección de Educación y Habilidades de la OCDE (París, Francia), y Doris
Zahner, Directora Académica del Consejo para la Ayuda a Education (CAE) (Nueva York, EE. UU.).
Los autores de los capítulos incluyen, además de los editores, Tess Dawber, Kelly Rotholz, Katri Kleemola,
Heidi Hyytinen, Jani Ursin, Olivia Cortellini, Jessalynn James, Jonathan Lehrfeld, Alberto Ciolfi, Morena
Sabella, JG Morris, Stuart C. Brand, Patricia Rosas, Carlos I. Moreno, Rubén Sánchez, J. Enrique Froemel
y Mark Keough.
El informe contó con la guía y el apoyo de Roger Benjamin, expresidente de CAE, quien cosupervisó el
proyecto con Dirk Van Damme entre 2015 y 2019; Bob Yayac, presidente de la CAE; Stephan Vincent-
Lancrin, analista sénior de la OCDE; y Andreas Schleicher, Director de Educación y Habilidades de la
OCDE.
Clara Young, Alison Burke, Stephen Flynn, Della Shin y Cassandra Davis brindaron asistencia editorial y
de producción durante la preparación y publicación del informe.
6ÿ
Tabla de contenido
Prefacio 3
Agradecimientos 5
Resumen ejecutivo 15
Parte I Evaluación de los resultados de aprendizaje genéricos de los estudiantes 17
1 ¿Adquieren los estudiantes de educación superior las habilidades que importan? 18

Introducción 19
Calificaciones versus habilidades 20
Transparencia y asimetría de la información 23

Desconfianza 25
Cambiando la demanda de habilidades 26
Evaluación de habilidades genéricas 29
Avances en la evaluación de los resultados del aprendizaje en la educación superior 30
Problemas metodológicos 31
Referencias 33
2 La Evaluación del aprendizaje universitario: una evaluación basada en el desempeño de

competencias genéricas 39
Introducción 40
CLA+ 40
Puntuación CLA+ 41
proceso de puntuación 41
Psicometría CLA+ 43
Diseño de prueba 43
Fiabilidad 43
Fiabilidad de SRQ 44
Fiabilidad del PT 44
Correlaciones entre puntajes de escala 44
Cálculo de puntajes de escala 44
Establecimiento de niveles de dominio 44
Referencias 58
ÿ7
3 CLA+ Internacional 61
Introducción 62
Reclutamiento internacional CLA+ 63
Colaboradores de CLA+ Internacional 64
CLA+ Desarrollo y administración de evaluaciones internacionales 64
Selección de tareas de rendimiento (PT) y preguntas de respuesta seleccionada (SRQ) sesenta y cinco
Traducción y adaptación sesenta y cinco
laboratorios cognitivos 66
Administración de pruebas y actividades asociadas 66
Hitos y actividades importantes 66
Administración 67
proceso de puntuación 67
Puntuación y equiparación 68
Informes 68
Referencias 69
4 Garantizar la fiabilidad y la validez transculturales 71

Introducción 72
Antecedentes teóricos Tareas 72
de rendimiento y puntuación Desafíos 72

interculturales en la puntuación de PT Método CLA+ 73
Contexto de los Estados Unidos Contexto finlandés 74
PT SRQ Traducción y adaptación Estudio de caso de 74
equivalencia de puntuación Resultados Estudio de 74
caso de equivalencia de puntuación Calidad relativa 74
de las puntuaciones: ¿Qué tan bien se basa una 75
interpretación traducida y culturalmente adaptada? 76
evaluación que requiere que los estudiantes generen 76
una respuesta escrita se puntúe en todos los países 77
e idiomas? 78
78
78
Calidad absoluta de las puntuaciones: ¿Se puede establecer la equivalencia entre las dos formas de evaluación?
79
Conclusión 81
Agradecimientos 82
Referencias 83
Parte II Base de datos internacional CLA+ 87
5 Resultados generales de CLA+ Internacional 88

Introducción 89
Niveles de dominio 90
Puntuaciones totales CLA+ 91
subpuntuaciones CLA+ 92
Esfuerzo y compromiso autoinformados por los estudiantes 93
Resumen 96
Referencia 97
8ÿ
6 CLA+ Variables demográficas internacionales 99

Lenguaje primario 100
Género 102
7 Validez predictiva de CLA+ 111

Introducción 112
Estudio 1: Validez predictiva CLA+ de los resultados de la educación superior 112
Método 112
Fuentes de datos y materiales 113
Resultados 113
Estudio 2: CLA+ Validez Predictiva de las Evaluaciones de Empleadores y Asesores 115
Método 115
Fuentes de datos y materiales 116
Resultados 117
Conclusión 118
Referencias 119
8 campos de estudio 121

Formato de instrucción 122
Campos de estudio para estudiantes internacionales 123
Campos de estudio para estudiantes estadounidenses 127
Conclusión 130
9 países de referencia 133

Introducción 134
Niveles de dominio por país 134
Resumen estadístico 136
Conclusión 139
Parte III La evaluación CLA+ en los países participantes 141
10 CLA+ en los Estados Unidos 142

Introducción 143
Contexto de la política 145
Proceso de implementación del CLA+ 146
Resultados 147
Puntajes totales de CLA+ y puntajes de sección entre estudiantes que ingresan y egresan 147
Niveles de dominio de CLA+ y distribuciones de puntuación 147
subpuntuaciones CLA+ 149
Esfuerzo y compromiso autoinformados 150
Puntuaciones de la sección CLA+, por esfuerzo y compromiso 151
Implicaciones políticas y lecciones aprendidas 153
Próximos pasos 153
Plataforma del siguiente paso 154
ASS+ 154
perspectivas 155
Referencias 156
Nota 159
ÿ9
11 Evaluación de los resultados de aprendizaje de los estudiantes universitarios: la experiencia italiana con
TECO 161
Introducción 162

Razones para TECO 163
El experimento italiano con el CLA+ (TECO 2013-2015) Pruebas de 2013 164
Pruebas de 2015 Problemas críticos de 2013 y 2015 164

165
166
Redefiniendo el TECO 166

TECO-T y competencias transversales 167
TECO-D y competencias disciplinarias 168
TECO-T y TECO-D (2016-2019) 168

TECO 2016 168
TECO 2018 172
TECO 2019 172
TECO 2020 172
Entrega de TECO durante la pandemia de COVID-19 173

Posibles próximos pasos y perspectivas 175
Referencias 177
notas 177
12 Evaluación de las habilidades genéricas de los estudiantes universitarios en Finlandia 179
El sistema de educación superior finlandés 180
El contexto político para la evaluación de habilidades genéricas 180
Implementación de CLA+ International en Finlandia 181
Objetivos y coordinación del proyecto 181

Traducción, adaptación y verificación del CLA+ Internacional 181
administración de pruebas 182
Muestreo de datos 182

Recopilación de datos 182
Análisis de datos 182
Informes a estudiantes e instituciones de educación superior 183
Resultados principales 183
Niveles y dominio de competencias genéricas 183
Principales factores asociados al nivel de competencias genéricas 184
Principales factores que explican el nivel de habilidades genéricas entre los estudiantes finlandeses de educación superior 190
Implicaciones y lecciones aprendidas 191
Próximos pasos y perspectivas 193
Referencias 194
13 Uso de CLA+ en un piloto en Inglaterra para medir la ganancia de aprendizaje 197
Introducción 198
Contexto de política para CLA+ 199
Proceso de implementación CLA+ 200
entrega del proyecto 200
Adaptación de CLA+ a CLA+ Internacional 201
CLA+ como herramienta de diagnóstico 201
Reclutamiento y prueba de estudiantes 202

Números de prueba y reclutamiento de estudiantes. 203
10 ÿ
Datos de rendimiento 204
Datos demográficos y rendimiento de CLA+ 204
Uso del CLA+ para mejorar el aprendizaje y la enseñanza 205
Percepciones de los estudiantes sobre CLA+: Hallazgos de nuestros grupos de enfoque transversales 205
Continuando con nuestra filosofía de asociación de estudiantes: trabajar con estudiantes en prácticas 206

Referencias 209
14 México: un enfoque innovador en la evaluación de resultados de aprendizaje 211
Educación superior mexicana: disparidades socioeconómicas y cognitivas 212
Las realidades digitales exacerban la disparidad 212
La educación superior en México: un sistema complejo 213
Construir el acceso y la calidad de la educación superior 213
Evaluación de los resultados del aprendizaje 214
Implementación de las pruebas CLA+ 215
Algunos resultados: disparidades desafiantes, una vez más 216
Método de análisis 217
Principales conclusiones sobre estos hallazgos 223

Lo que aprendimos de los resultados de CLA+ 223
Referencias 225
15 CLA+ en Latinoamérica: aplicación y resultados 227

Chile 228
Proceso de difusión de CLA+ en América Latina y España 230
Contexto de política para CLA+ 231
Universidad W 231
Universidad X 232
Universidad Y 232
Universidad Z 232
Proceso de implementación del CLA+ 233
Universidad W 233
Universidad X 234
Universidad Y 235
Universidad Z 236
Universidad W 237
Universidad X 238
Universidad Y 240
Universidad Z 241
Otro aspecto es la duración del proceso de decisión para unirse al estudio. 243

Referencias 245
16 Evaluación de los resultados de aprendizaje genéricos de los estudiantes en Australia y Nueva Zelanda 247
Introducción 248
Iniciativas del sector de la educación y formación técnica y profesional 249

Iniciativas de política del sector de la educación superior 251
Cuestión de relevancia de la cualificación para la empleabilidad 251
ÿ 11
¿Qué pasa con el plan de estudios de la escuela secundaria? 252

Impactos de COVID-19 en la política 252
Conclusión 254
Referencias 255
notas 255
17 Conclusiones y perspectivas 257

Introducción 258
Viabilidad de la evaluación de habilidades de pensamiento crítico en la educación superior 258
¿Aprenden los estudiantes a pensar críticamente en la universidad? 259
¿Las variables de antecedentes influyen en el desarrollo de habilidades de pensamiento crítico? 259
¿Los estudiantes demuestran diferentes niveles de pensamiento crítico por campo de estudio y tipo de
instrucción? 260
Diferencias entre países Experiencias 261
en países individuales Lecciones aprendidas 262
en los países participantes Perspectivas 263
264
CIFRAS
Figura 1.1. Porcentaje de graduados de educación terciaria de 16 a 34 años en los diferentes niveles de competencia en alfabetización 21
Figura 1.2. Comparación del nivel de alfabetización entre IALS y PIAAC por logro educativo Figura 1.3. Puntaje promedio en aritmética 22
entre adultos con CINE 5A o 6, por emparejamiento o desajuste de calificación seleccionado entre trabajadores (2012 o 2015) - Encuesta
de Habilidades de Adultos (PIAAC), empleados de 25 a 64 años 23
Figura 1.4. Cambiando la entrada de tareas en la economía de los EE. UU. (1960-2009) 27
Figura 1.5. Proporción de empleo no rutinario e intensidad de tareas de TIC, industrias manufactureras, 2012 o 2015 28
Figura 2.1. Muestra CLA+ PT 45
Figura 2.2. Documento 1: Borrador del plan de negocios de los amigos por correspondencia 46
Figura 2.3. Documento 2: Memo de Nelson Fareira. JD 47

Figura 2.4. Documento 3: Estadísticas de Aplicaciones en Internet y Anuncios en Internet. 48
Figura 2.5. Documento 4: Foro de discusión en línea Business Universe 49
Figura 2.6. Documento 5: Artículo de la revista Bottom Line 50
Figura 2.7. Documento 6: Correo electrónico de Imani Willis, sitio web de contratación de ReCrucial 51
Figura 2.8. Muestra CLA+ SRQ (Parte 1) 52
Figura 2.11. Rúbrica de puntuación CLA+ 55
Figura 2.12. Ejemplo de informe institucional CLA+ 56
Figura 2.13. Ejemplo de informe de estudiante de 57
CLA+ Figura 4.1. Puntajes totales medios para cada 80
muestra Figura 4.2. Puntuaciones medias de la muestra A (inglés) 80
Figura 4.3. Media de subpuntuaciones para la Muestra B (finlandés a inglés) 81
Figura 5.1. Distribución de puntaje total de CLA+, ingresando a los 91
estudiantes Figura 5.2. Distribución de la puntuación total de CLA+, 92
estudiantes que salen Figura 5.3. Puntuaciones secundarias de tareas de rendimiento entre 92
estudiantes que ingresan y egresan Figura 5.4. Subpuntuaciones de preguntas de respuesta seleccionada entre 93
estudiantes que ingresan y egresan Figura 5.5. Puntuación media de la sección CLA+ por cantidad de esfuerzo 94
Figura 5.6. Puntuación media de la sección CLA+ por nivel de compromiso Figura 6.1. Puntaje promedio de CLA+ 96
por clase y educación de los padres, muestra internacional Figura 6.2. Puntaje promedio de tareas de desempeño 105
por clase y educación de los padres, muestra internacional Figura 6.3. Puntaje promedio de respuesta seleccionada por clase 105
y educación de los padres, muestra internacional Figura 6.4. Puntaje promedio de CLA+ por clase y educación de los padres, 106
muestra de EE. UU. Figura 6.5. Puntaje promedio de tareas de desempeño por clase y educación de los padres, muestra de 106
EE. UU. Figura 6.6. Puntaje promedio de respuesta seleccionada por clase y educación de los padres, muestra de EE. UU. 107
107
12 ÿ
Figura 7.1. Distribución de competencia CLA+ y competitividad institucional por raza/etnicidad; n = 12 476. 114
Figura 8.1. Puntajes promedio de CLA+ por formato de instrucción para la muestra internacional Figura 8.2. 123
Puntuaciones totales de CLA+ de los estudiantes internacionales por campo de estudio Figura 8.3. Puntuaciones 125
de las tareas de desempeño de los estudiantes internacionales por campo de estudio Figura 8.4. Puntuaciones 126
de respuestas seleccionadas de los estudiantes internacionales por campo de estudio Figura 8.5. Puntuaciones 126
totales de CLA+ de estudiantes estadounidenses por campo de estudio Figura 8.6. Puntuaciones de tareas de 128
rendimiento de los estudiantes estadounidenses por campo de estudio Figura 8.7. Puntuaciones de respuestas 129
seleccionadas de estudiantes estadounidenses por campo de estudio Figura 9.1. Nivel de dominio por país y 129
cohorte Figura 9.2. Diferencia porcentual de la puntuación total de CLA+ entre los estudiantes que salen y los 135
que ingresan Figura 9.3. Resultados de puntuación total de CLA+ por país y cohorte de estudiantes Figura 9.4. 135
Resultados de la puntuación de la tarea de rendimiento (PT) de CLA+ por país y cohorte de estudiantes Figura 9.5. 138
Resultados de la puntuación de la pregunta de respuesta seleccionada (SRQ) de CLA+ por país y cohorte de 138
estudiantes Figura 10.1. Distribución del nivel de dominio de CLA+, por clase Figura 10.2. Distribución total de puntajes CLA+, 139
estudiantes ingresantes Figura 10.3. Distribución de la puntuación total de CLA+, estudiantes que salen Figura 10.4. Puntuaciones 148
secundarias de tareas de rendimiento, por clase Figura 10.5. Subpuntuaciones de las respuestas seleccionadas, por clase Figura 148
11.1. El sistema universitario italiano Figura 11.2. Distintos contenidos y enfoques del TECO-T y el TECO-D Figura 11.3. 149
Puntuaciones medias e intervalos de confianza de las pruebas de Lectoescritura y Aritmética, por curso académico de matrícula 149
Figura 11.4. Puntuaciones medias e intervalos de confianza de las pruebas de Lectoescritura y Aritmética, por curso académico 150
de matrícula y sexo 171 162
167
170
Figura 11.5. Puntuaciones medias e intervalos de confianza de las pruebas de alfabetización y aritmética, por año y situación cultural172
Figura 11.6. El desarrollo de TECO 173
Figura 12.1. Puntuaciones medias CLA+ de los participantes: por etapa de estudios, tipo de IES y global 184
Figura 12.2. Puntuaciones medias de CLA+ de participantes femeninos y masculinos 185
Figura 12.3. Examen de matriculación y puntuaciones medias de CLA+ en todos los datos 186
Figura 12.4. Calificación de la lengua materna en el examen de matriculación y puntajes promedio de CLA+ en todos los datos 186
Figura 12.5. Grado o cualificación anterior del estudiante y puntuaciones medias de CLA+ 187
Figura 12.6. Educación de los padres y puntuaciones medias de CLA+ en todos los datos 188
Figura 12.7. Número de libros en el hogar de la infancia y puntuaciones medias de CLA+ en todos los datos 188
Figura 12.8. Puntuaciones medias de CLA+ y participación de los estudiantes en la prueba 189
Figura 12.9. Puntuaciones medias de CLA+ y esfuerzo aplicado para completar la prueba 190
Figura 14.1. Densidades de probabilidad de puntos, agrupadas y separadas por semestre académico 217
Figura 14.2. Contraste de densidades de probabilidad de puntajes, agrupados por dependencias metropolitanas y regionales 218
Figura 14.3. Contraste de densidades de probabilidad de puntajes, agrupados por dependencias metropolitanas 219
Figura 14.4. Contraste de densidades de probabilidad de las puntuaciones obtenidas por los alumnos participantes de las dependencias
Metro_1 y Virtual_4. 220
Figura 14.5. Contraste de densidades de probabilidad de puntajes, agrupados por campus regionales Figura 14.6. 220
Contraste de densidades de probabilidad de las puntuaciones más altas y más bajas para dependencias metropolitanas y regionales
Figura 14.7. Contraste de densidades de probabilidad de los puntajes de los estudiantes participantes, agrupados por programa educativo 221
(PE) en las dependencias metropolitanas Figura 14.8. Contraste de densidades de probabilidad de puntajes por PE en dependencias
metropolitanas y regionales Figura 15.1. Porcentaje de estudiantes de educación superior por país en América Latina (2018) 222
222
228
Figura 15.2. Porcentajes de los niveles de desempeño en la Universidad W, ingresando a clase 238
Figura 15.3. Porcentajes de niveles de desempeño en la Universidad W, clase que se gradúa Figura 238
15.4. Porcentajes de niveles de desempeño en la Universidad X, ingreso a clase Figura 15.5. 239
Porcentajes de los niveles de desempeño en la Universidad X, clase de tercer año Figura 15.6. 239
Porcentajes de los niveles de desempeño en la Universidad Y, ingresando a clase Figura 15.7. 240
Porcentajes de los niveles de desempeño en la Universidad Y, clase que egresa Figura 15.8. Niveles 241
de desempeño recuento de sujetos en la Universidad Z, ingresando a la clase 2019 Figura 15.9. 241
Porcentajes de niveles de desempeño en la Universidad Z, 2020, ingreso a clase Figura 15.10. Porcentajes 242
de niveles de desempeño en la Universidad Z, 2020, clase que se gradúa 243
ÿ 13
MESAS
Tabla 2.1. Diseño de prueba CLA+ 43
Tabla 2.2. Puntajes de corte del nivel de dominio de CLA+ 45
Tabla 3.1. Responsabilidades y contribuciones para el proyecto para CAE y la OCDE como se describe en el MOU 62
Tabla 3.2. Conferencias globales internacionales de CLA+ 63
Tabla 3.3. Conferencias Regionales Internacionales CLA+ 64
Tabla 4.1. Datos demográficos de los estudiantes de CLA+ de EE. UU. 74
Tabla 4.2. Demografía de los estudiantes de Finlandia CLA+ 75
Tabla 4.3. Muestras A y B por idioma de prueba y lengua materna del calificador 77
Tabla 4.4. Correlaciones dentro del país para la puntuación total de la tarea de rendimiento (PT) y las subpuntuaciones entre dos calificadores: Estados
Unidos (n = 141 233) 78
Tabla 4.5. Correlaciones dentro del país para la puntuación total de la tarea de rendimiento (PT) y las subpuntuaciones entre dos calificadores: Finlandia
(n = 2 402) 78
Tabla 4.6. Acuerdo de puntuación entre países para la puntuación total, por muestra 79
Tabla 4.7. Acuerdo de puntuación entre países por subpuntuación y muestra 79
Tabla 5.1. Muestras CLA+ por país y administración 89
Tabla 5.2. Muestra por país y año de estudio 89
Tabla 5.3. Puntajes promedio totales de CLA+ y puntajes de sección, por clase 90
Tabla 5.4. Distribución del nivel de dominio 90
Tabla 5.5. Nivel de dominio, por clase 91
Tabla 5.6. Esfuerzo autoinformado de los estudiantes en cada sección CLA+ 93
Tabla 5.7. Puntaje promedio de la sección CLA+ por esfuerzo autoinformado 94
Tabla 5.8. Participación autoinformada de los estudiantes en cada sección CLA+ 95
Tabla 5.9. Puntaje promedio de la sección CLA+ por participación autoinformada 95
Tabla 6.1. Puntaje CLA+ por idioma principal, estudiantes que ingresan: muestra internacional 100
Tabla 6.2. Puntaje de CLA+ por idioma principal, estudiantes que ingresan: muestra de EE. UU. 100
Tabla 6.3. Puntaje CLA+ por idioma principal, estudiantes que salen: muestra internacional 100
Tabla 6.4. Puntaje CLA+ por idioma principal, estudiantes que salen: muestra 101 de EE. UU.
Tabla 6.5. Resultados de la prueba t de muestras independientes: puntuación total de CLA+ por idioma principal 102
Tabla 6.6. Resultados de la prueba t de muestras independientes: puntuación de la tarea de rendimiento por idioma principal 102
Tabla 6.7. Resultados de la prueba t de muestras independientes: puntuación de respuesta seleccionada por idioma principal 102
Tabla 6.8. Puntaje CLA+ por género, estudiantes ingresantes: muestra internacional 102
Tabla 6.9. Puntaje CLA+ por género, estudiantes que ingresan: muestra de EE. UU. 103
Tabla 6.10. Puntaje CLA+ por género, estudiantes egresados: muestra internacional 103
Tabla 6.11. Puntaje CLA+ por género, estudiantes que salen: muestra 103 de EE. UU.
Tabla 6.12. Resultados de ANOVA unidireccional que comparan la puntuación total de CLA+ por género 104
Tabla 6.13. Resultados de ANOVA unidireccional que comparan la puntuación de la tarea de rendimiento por género 104
Tabla 6.14. Resultados de ANOVA unidireccional que comparan la puntuación de la respuesta seleccionada por género 104
Tabla 6.15. Resultados de ANOVA unidireccional para comparaciones por educación de los padres, muestra internacional 107
Tabla 6.16. Resultados de ANOVA unidireccional para comparaciones por educación de los padres, muestra de EE. UU. 108
Tabla 6.17. Resultados de regresión simple, muestra internacional 108
Tabla 6.18. Resultados de regresión simple, muestra de EE. UU. 108
Tabla 6.19. Resultados de la prueba t de muestras independientes: Puntaje total de CLA+ residual por nivel de clase 108
Tabla 7.1. Estadísticas descriptivas demográficas 113
Tabla 7.2. Resultados de la regresión logística para predecir los resultados posteriores a la educación superior por puntajes CLA+ 114
Tabla 7.3. Estadísticas descriptivas demográficas 115
Tabla 7.4. Preguntas de la encuesta para empleadores 116
Tabla 7.5. Distribución de las respuestas a las preguntas de “Importancia” 117
Tabla 7.6. Modelos de regresión logística ordinal para predecir el desempeño de los participantes después de la educación superior 118
Tabla 8.1. Puntuaciones de CLA+ por formato de instrucción: muestra internacional 122
Tabla 8.2. Puntuaciones CLA+ por campo de estudio para cohortes de estudiantes: muestra internacional 124
Tabla 8.3. ANOVA unidireccional para puntajes CLA+ en todos los campos de estudio para estudiantes internacionales 124
Tabla 8.4. Puntuaciones de CLA+ por campo de estudio para cohortes de estudiantes: Muestra 127 de EE. UU.
Tabla 8.5. ANOVA unidireccional para puntajes CLA+ en todos los campos de estudio para estudiantes de EE. UU. 128
Tabla 9.1. Nivel de dominio por país y cohorte 134
Tabla 9.2. Puntuaciones CLA+ por país y cohorte 137
Tabla 10.1. Puntajes promedio totales de CLA+ y puntajes de sección, por clase 147
Tabla 10.2. Resultados de la prueba t de muestras independientes para estudiantes que ingresan frente a los que egresan 147
Tabla 10.3. Distribución del nivel de dominio 148
14 ÿ
Tabla 10.4. Resultados de la prueba t de muestras independientes para estudiantes que ingresan 150
y egresan Tabla 10.5. Esfuerzo autoinformado de los estudiantes en cada sección de CLA+ Tabla 151
10.6. Participación autoinformada de los estudiantes en cada sección de CLA+ Tabla 10.7. 151
Puntuación media de la sección CLA+ por esfuerzo autoinformado Tabla 10.8. Puntaje promedio 152
de la sección CLA+ por participación autoinformada Tabla 10.9. Resultados de la regresión: 152
Esfuerzo/compromiso y puntuación de la tarea de rendimiento Tabla 10.10. Resultados de la 152
regresión: puntuación de esfuerzo/compromiso y respuesta seleccionada Tabla 11.1. Prueba de campo 152
de alfabetización TECO-T Tabla 11.2. Prueba de campo de aritmética TECO-T Tabla 11.3. Participación 169
en TECO 2020 Tabla 11.4. TECO 2021 Participación en Medicina y Cirugía Tabla 12.1. Niveles de 169
dominio de los participantes por etapa de estudios, tipo de IES y para el total de participantes (%) 174
174
184
Tabla 12.2. Factores estadísticamente significativos que explican las variaciones en las puntuaciones de las pruebas CLA+
dentro de los modelos de regresión multivariante Tabla 13.1. Número total de estudiantes evaluados por año de estudio y 191
puntajes CLA+ Tabla 13.2. Puntuaciones totales de CLA+ por requisito de prueba y año de estudio Tabla 14.1. Desglose 203
numérico de las pruebas de CLA+ por administración Tabla 14.2. Porcentajes de estudiantes en cada nivel de dominio, por 205
sitio Tabla 15.1. Número de instituciones de educación superior por tipo, en 2013 Tabla 15.2. Variación matrícula total por 216
nivel de carrera 2016-2020 Tabla 15.3. Diferencia porcentual de matrícula de pregrado entre mujeres y hombres, por campo 219
de especialidad, entre 2005 y 2020 Tabla 15.4. Alcance de CLA+ en la región y España Tabla 15.5. Distribución de la muestra 228
de sujetos en la Universidad W, por clase y campus Tabla 15.6. Distribución de la muestra de sujetos en la Universidad X, por 229
clase Tabla 15.7. Distribución de la muestra de sujetos en la Universidad Y, por año de clase Tabla 15.8. Distribución de la muestra de
sujetos en la Universidad Z, por clase Tabla 15.9. Puntuaciones en CLA+ de la Universidad W, por clase Tabla 15.10. Puntuaciones 230
en CLA+ de la Universidad X, por clase Tabla 15.11. Puntuaciones en CLA+ de la Universidad Y, por clase Tabla 15.12. Puntuaciones 231
en CLA+ en la Universidad Z, ingresando a la clase 2019 Tabla 15.13. Puntuaciones en CLA+ de la Universidad Z, por clase Tabla 234
16.1. Nombres de calificaciones australianos Tabla 16.2. Resumen de habilidades adaptado de la publicación del Business Council of 235
Australia 236
237
237
239
240
241
242
248
250
Anexo Cuadro 8.A.1. Formato instructivo por campos de estudio para la muestra internacional 131
Siga las publicaciones de la OCDE en:
https://twitter.com/OCDE
https://www.facebook.com/theOECD
https://www.linkedin.com/empresa/organizacion-eco-cooperacion
desarrollo-organizacion-cooperacion-desarrollo-eco/
https://www.youtube.com/user/OECDiLibrary
https://www.oecd.org/boletines/
ÿ 15
Resumen ejecutivo
La educación superior contribuye enormemente al crecimiento económico, el progreso social y la calidad de vida en general a través de las
habilidades que adquieren los estudiantes y graduados. Las calificaciones otorgadas por las instituciones de educación superior se valoran
porque se perciben como una señal de las habilidades requeridas por los mercados laborales y la sociedad en general.
Los empleadores usan estas calificaciones como formas de identificar y seleccionar candidatos para el trabajo que dominen las habilidades
esenciales y requeridas. Los empleadores y la sociedad confían en la educación superior en la medida en que existe un equilibrio entre la
oferta y la demanda de habilidades.
Sin embargo, hay señales de que la oferta de habilidades de los graduados ya no coincide con la demanda de habilidades en el mercado
laboral. El desajuste cuantitativo de las calificaciones se está convirtiendo en un problema grave en muchos países, lo que compromete la
productividad, el crecimiento y el aumento continuo de la prosperidad. Aún más significativo es el desajuste cualitativo entre la demanda de
habilidades generada por la realidad económica y social en los mercados laborales y las sociedades, y la oferta de habilidades por parte de las
instituciones de educación superior. Los empleadores y las organizaciones económicas expresan cada vez con más fuerza que ya no confían
en que los graduados hayan adquirido las habilidades necesarias para el lugar de trabajo del siglo XXI, en particular, habilidades genéricas
como la resolución de problemas, la comunicación, la creatividad y el pensamiento crítico.
Ya sea percibido o real, el desajuste de habilidades plantea un grave riesgo para la confiabilidad de la educación superior.
Lo que se necesita es más transparencia sobre las habilidades que adquieren los estudiantes. Desafortunadamente, esto no ha sido una
fortaleza de la mayoría de los sistemas de educación superior. Las herramientas de transparencia, como las clasificaciones internacionales,
son bastante buenas para capturar medidas relacionadas con la investigación o medidas de entrada en la calidad de la educación, pero no
brindan información sobre los resultados reales del aprendizaje de los estudiantes. Las pocas medidas disponibles, por ejemplo, proporcionadas
por la Encuesta de Habilidades de Adultos de la OCDE (PIAAC), están lejos de ser suficientes y vigorizan la demanda de más y mejores
métricas.
Entre 2008 y 2013, la OCDE dirigió el estudio de viabilidad Evaluación de los resultados del aprendizaje en la educación superior (AHELO). A
pesar de una conclusión positiva sobre la viabilidad de la iniciativa, la propuesta presentada por la OCDE en 2015 para iniciar el estudio
principal no atrajo suficiente apoyo y el proyecto fue abandonado.
Sin embargo, un pequeño número de países que apoyaron el proyecto decidieron continuar el esfuerzo a menor escala. El trabajo colaborativo
se concentró en lo que se percibía como el tema más interesante y urgente, es decir, la evaluación de las competencias genéricas de los
estudiantes y graduados de educación superior. La iniciativa encontró un socio en el Council for Aid to Education, Inc., una organización sin
fines de lucro en los Estados Unidos con una larga historia de evaluación de habilidades genéricas en la educación postsecundaria con su
instrumento patentado Collegiate Learning Assessment (CLA+). Este volumen informa sobre el trabajo realizado entre 2016 y 2021 para evaluar
el pensamiento crítico y la comunicación escrita, y las habilidades asociadas en instituciones de educación superior en seis países (Estados
Unidos, Reino Unido, Italia, México, Finlandia y Chile).
La Parte I explora las dimensiones conceptuales y metodológicas de la evaluación de los resultados de aprendizaje genéricos de los
estudiantes. El Capítulo 1 describe los problemas relacionados con la demanda cambiante de habilidades, el desajuste de habilidades, la transparencia,
y la confianza en la educación superior.
16 ÿ
El Capítulo 2 proporciona una discusión extensa de las cualidades metodológicas del instrumento internacional CLA+, que fue utilizado
en las instituciones y países participantes.
El Capítulo 3 proporciona una visión detallada del desarrollo del proyecto CLA+ International, incluidos los aspectos prácticos de
traducción y adaptación, administración de pruebas, calificación e informes.
La Parte II de este informe incluye un análisis estadístico de la base de datos internacional integrada. La base de datos se construyó
agregando los conjuntos de datos de las evaluaciones implementadas entre 2015 y 2021 en los seis países.
El Capítulo 5 incluye las estadísticas descriptivas de la base de datos y la distribución general de los niveles de dominio de puntajes y
subpuntajes.
El Capítulo 6 explora las relaciones entre las variables de antecedentes demográficos y el desempeño en la evaluación, centrándose
en el idioma principal de los estudiantes, el género y el nivel educativo de los padres.
El Capítulo 7 analiza la relación entre los puntajes de las pruebas y los resultados profesionales posteriores a la educación superior.
El Capítulo 8 examina las diferencias en el desempeño por formato de instrucción y campo de estudio.
El Capítulo 9 aborda las diferencias de desempeño entre los países para los estudiantes que ingresan y egresan (excluyendo Italia).
La Parte III de este informe analiza la evaluación en cada uno de los seis países participantes. Cada capítulo revisa el contexto de la
política, la administración de pruebas, los niveles de dominio, la distribución de puntajes y los datos relacionados con el esfuerzo y el
compromiso.
El Capítulo 10 analiza la evaluación en los Estados Unidos. La evaluación CLA+ tiene una larga historia en los Estados Unidos y la
prueba ha adquirido un fuerte estatus y reconocimiento. Como se discutió en el Capítulo 11, Italia fue el primer país fuera de los Estados
Unidos en implementar la evaluación CLA+ como parte de su proyecto TECO a nivel nacional y su decisión de avanzar hacia un
enfoque de evaluación diferente.
El Capítulo 12 ofrece información sobre la evaluación en Finlandia, que implementó una administración de todo el sistema en 2019-20.
El Capítulo 13 analiza la implementación de CLA+ en un pequeño conjunto de instituciones como parte de un estudio piloto para evaluar
la ganancia de aprendizaje en el Reino Unido. Este estudio de caso muestra la capacidad de la evaluación para servir como herramienta
de diagnóstico. El capítulo también analiza los desafíos asociados con el reclutamiento y la motivación de los estudiantes.
El Capítulo 14 analiza la evaluación en México, más específicamente el sistema de la Universidad de Guadalajara, que ha sido uno de
los primeros en adoptar la evaluación CLA+ más entusiasta fuera de los Estados Unidos.
El capítulo 15 trata sobre la implementación y los resultados de la prueba en cuatro universidades privadas de Chile como parte de un
intento de proyección hacia América Latina. Una situación similar se analiza en el Capítulo 16, que trata sobre las perspectivas para
implementar la evaluación en colegios profesionales y vocacionales en Australia y Nueva Zelanda.
Finalmente, el Capítulo 17 resume las principales conclusiones del informe y las lecciones aprendidas de las experiencias de los países
presentadas en los capítulos de países individuales.
Este informe es una continuación del estudio de factibilidad de AHELO y es uno de los primeros estudios internacionales sobre el
dominio de habilidades genéricas en instituciones de educación superior. No proporciona respuestas definitivas, pero muestra el poder
de evaluar las habilidades de pensamiento crítico y cómo dichas evaluaciones pueden incorporarse a la agenda política de la educación
superior a nivel nacional e internacional.
ÿ 17
Parte I Evaluación de los
resultados de aprendizaje genéricos

de los estudiantes
18 ÿ
1 ¿Adquieren los estudiantes de

educación superior las habilidades que importan?
Dirk Van Damme, OCDE (Francia)
En el mundo actual, la educación superior ha adquirido un estatus económico y social

sin precedentes en la historia moderna. Los cambios tecnológicos y los desarrollos
asociados en la economía y los mercados laborales han llevado la demanda de
trabajadores y profesionales altamente calificados a niveles cada vez mayores.
La educación superior se ha convertido en la ruta más importante para el desarrollo del
capital humano de un país y la movilidad social ascendente de un individuo. Es donde
los jóvenes adquieren habilidades genéricas y específicas avanzadas para prosperar en
la economía del conocimiento y prosperar en la sociedad. Aunque las tasas de
matriculación y graduación han aumentado enormemente en la mayoría de los países,
una titulación de educación superior todavía ofrece a los jóvenes la perspectiva de
beneficios significativos en la empleabilidad y los ingresos. El sistema de educación
superior también les ayuda a desarrollar las habilidades sociales y emocionales para
convertirse en ciudadanos efectivos. Por lo tanto, las tasas de logro educativo superior
se correlacionan fuertemente con indicadores de capital social y cohesión social como
la confianza interpersonal, la participación política y el voluntariado.
ÿ 19
Introducción
En promedio, en los 38 países miembros de la OCDE, el 45 % de la cohorte de edad de 25 a 34 años obtuvo una calificación de
educación terciaria en 2020 en comparación con el 37 % en 2010 (OCDE, 2021[1]). Para 2030, habrá más de 300 millones de personas
de entre 25 y 34 años con una calificación terciaria en los países de la OCDE y del G20 en comparación con los 137 millones en 2013
(OCDE, 2015[2]). Muchos países de la OCDE han visto aumentos pronunciados en sus cifras de matriculación y graduación en
educación terciaria. Y las economías emergentes como China, India y Brasil ven las inversiones en la expansión de la educación
superior como una ruta importante hacia el crecimiento económico y el progreso social.
Sin embargo, en varios países los formuladores de políticas están planteando preguntas sobre la sostenibilidad de las tasas de
crecimiento continuo. ¿Deberían las economías intensivas en conocimientos aspirar al 60, 70, 80 % de los trabajadores con
cualificación terciaria en cohortes de 25 a 34 años? ¿O el crecimiento continuo de la educación superior conduce a la sobrecalificación,
la polarización de los mercados laborales y la sustitución de trabajos que antes ocupaban trabajadores con educación media? ¿Cuáles
son los riesgos asociados con la sobreeducación (Barone and Ortiz, 2011[3])? A estas preguntas se suman las preocupaciones sobre
el logro de la educación superior que exacerba la desigualdad social y la marginación de las poblaciones con educación baja y media.
Central a estas preocupaciones es la pregunta sobre el valor de las calificaciones de educación superior. ¿Un título universitario
todavía indica un alto nivel de habilidades cognitivas avanzadas? ¿O la masificación de la educación superior provocó la erosión de
las habilidades equivalentes a un título terciario? ¿Está la masificación conduciendo a una inflación de títulos y, por tanto, a la
disminución del valor intrínseco de las cualificaciones? La difícil respuesta a estas preguntas es: no lo sabemos. Si bien el Programa
para la Evaluación Internacional de Estudiantes (PISA) de la OCDE se ha convertido en el punto de referencia mundial de los
resultados de aprendizaje de los estudiantes de 15 años y, por lo tanto, de la calidad de los sistemas escolares, no existe una medida
válida y confiable de los resultados de aprendizaje de la educación superior. estudiantes y egresados. Las medidas indirectas del valor
de una cualificación de educación superior, como las tasas de empleo o los ingresos de los graduados, se ven distorsionadas por la
polarización del mercado laboral y los efectos de sustitución. Cada vez son más vistos como insatisfactorios.
Según algunos economistas, el aumento de la afluencia de personal altamente calificado al mercado laboral conduce necesariamente
a una sobreeducación ya una erosión de la prima salarial de la educación superior. En 2016 El Economista
argumentó que la ventaja salarial relativa para los altamente calificados está severamente sobrevalorada y que hay efectos masivos
de desplazamiento y sustitución (The Economist, 2016[4]). En 1970, alrededor del 51% de los altamente calificados en los Estados
Unidos trabajaban en trabajos clasificados como altamente calificados; en 2015 esto se redujo al 35%. Muchos trabajadores altamente
calificados ahora trabajan en trabajos para los cuales, estrictamente hablando, no se requiere una calificación de educación superior.
Además, según The Economist, los salarios reales de los trabajadores altamente calificados han caído.
Hay señales de que los empleadores globales han comenzado a desconfiar de las calificaciones universitarias y están desarrollando
sus propias herramientas y procedimientos de evaluación para evaluar a los estudiantes en las habilidades que consideran importantes.
Los gobiernos también están preocupados no solo por el costo total sino por el aumento del costo por estudiante. Están confrontando
a las universidades con preocupaciones sobre la eficiencia y la "valor-por-dinero". Y están cambiando el equilibrio en la combinación
de financiamiento de la educación superior de fuentes públicas a privadas, lo que aumenta el costo para los estudiantes y las familias.
Cuando se pide a los estudiantes que paguen más por el título que esperan obtener, también se convierten en poderosos interesados
en el debate sobre la relación calidad-precio. El impacto de COVID-19 ha acelerado el debate sobre la relación calidad-precio: los
cierres, las malas experiencias de enseñanza y aprendizaje y las interrupciones en los procedimientos de examen y graduación
mientras se mantienen las altas tasas de matrícula han causado insatisfacción entre los estudiantes, algunos de los cuales reclaman
una compensación financiera de universidades
Los mecanismos tradicionales de confianza en las cualificaciones de la educación superior se encuentran bajo una fuerte presión. Este
capítulo explora estos temas con más detalle. Al hacerlo, construye un caso para una evaluación de los resultados de aprendizaje de
los estudiantes y graduados de educación superior. En el mundo del mañana en el que las habilidades son la nueva moneda, las
calificaciones, el único monopolio de los sistemas de educación superior, pueden perder su valor si las dudas sobre los resultados del
aprendizaje siguen sin respuesta. Estas dudas sólo pueden ser abordadas por mejores estudios empíricos.
20 ÿ
métricas de lo que los estudiantes aprenden en la educación superior y las habilidades con las que los graduados ingresan al
mercado laboral. Este capítulo discutirá el papel de señalización de las cualificaciones; transparencia y confianza en las
cualificaciones de la educación superior; demanda cambiante de habilidades; e iniciativas tomadas hacia la evaluación de los
resultados de aprendizaje de estudiantes y graduados para reequilibrar la asimetría de información y restaurar la confianza.
Calificaciones versus habilidades
El valor de la educación superior para la economía y la sociedad está mediado por las calificaciones que los estudiantes obtienen
y desarrollan en el mercado laboral. Como único monopolio que queda de la educación superior, las calificaciones son de
importancia crítica para la existencia del sector. La globalización y la internacionalización han dado validez casi universal a un
sistema de cualificación compartido basado en el escalafón de licenciatura/maestría/doctorado. A su vez, los marcos de
calificación son uno de los impulsores más poderosos de la convergencia de habilidades en la educación superior global (Van
Damme, 2019[5]).
La teoría tradicional del capital humano se centra en la contribución sustantiva que el proceso de enseñanza y aprendizaje hace
al conocimiento, las habilidades y otros atributos de los estudiantes. Pero esta visión tradicional es cada vez más cuestionada
por la hipótesis de la 'señalización' o 'selección', que enfatiza las funciones selectivas de los programas universitarios para
proporcionar a los empleadores trabajadores aptos para el trabajo. Este mecanismo ahorra a los empleadores la costosa
contratación, selección y pruebas para identificar a los trabajadores que necesitan. En este enfoque, lo que los estudiantes
realmente aprenden en la universidad juega un papel menos importante en la atribución de los graduados a trabajos, ingresos y
otros bienes de estatus que la selección misma.
El análisis de la Encuesta de Competencias de Adultos de la OCDE (PIAAC) ha demostrado que, en los países participantes, los
ingresos dependen más de la educación formal que de los niveles reales de competencias (Paccagnella, 2015[6]). La regulación
institucional de los mercados laborales y las profesiones, y el poder simbólico de los títulos universitarios aseguran que los títulos,
no las habilidades, determinen el acceso a empleos e ingresos de alto nivel. Sin embargo, el significado y el valor de los niveles
de cualificación terciaria no son puramente simbólicos. Los empleadores valoran las calificaciones porque señalan las cualidades
que se percibe que posee el individuo.
Para que la señalización funcione bien, debe haber cierta convergencia de habilidades en torno a un nivel de calificación terciaria.
Sin embargo, falta casi por completo la evidencia sobre si los resultados del aprendizaje y las habilidades de los graduados
realmente justifican la opinión de que las calificaciones de educación superior representan niveles convergentes de equivalencia.
En términos de resultados de aprendizaje y desarrollo de habilidades, la diferenciación parece ser más importante que la
convergencia. Los datos de la Encuesta de Habilidades de Adultos (PIAAC) de la OCDE sobre los niveles de habilidad de los
adultos con educación terciaria apuntan a diferencias entre países que siguen siendo pronunciadas incluso en áreas con políticas
de convergencia proclamadas, como el Espacio Europeo de Educación Superior. La Figura 1.1 muestra el porcentaje de
graduados de educación superior menores de 35 años que, en la Encuesta de Habilidades de Adultos, obtuvieron puntajes en
cada uno de los cinco niveles de competencia en la escala de alfabetización de cada país.
ÿ 21
Figura 1.1. Porcentaje de graduados de educación terciaria de 16 a 34 años en los diferentes niveles de competencia
en alfabetización
Nivel 1 o inferior Nivel 2 Nivel 3 Nivel 4 Nivel 5
Porcentaje de jóvenes de 16 a 34 años en los diferentes niveles de competencia en alfabetización
Finlandia
Países Bajos*
Japón
Suecia
Flandes*
Noruega*
Austria
República Checa
Francia
Alemania
Dinamarca
Estonia*
Australia
República Eslovaca
Estados Unidos
Promedio
Corea
Nueva Zelanda
Canadá
Italia
Polonia
Lituania
Eslovenia
Irlanda
España
Israel
Grecia
Chile
Turquía %
0 10 20 30 40 50 60 70 80 90 100
Nota: *Participando en el ejercicio Benchmarking Higher Education System Performance 2017/2018. Los países están clasificados en orden ascendente de la
proporción de personas de 16 a 34 años con educación superior que se desempeñan por debajo del nivel 2 en competencia lectora.
Fuente: OCDE (2019b), Benchmarking Higher Education System Performance, Higher Education, OECD Publishing, París, https://doi.org/10.1787/be5514d7-en
(consultado el 1 de agosto de 2022) adaptado de OECD Survey of Adult Skills, www .oecd.org/skills/piaac/data/.
De estos datos se pueden extraer dos observaciones. En primer lugar, existe una enorme variación en las habilidades de alfabetización de los
graduados de educación terciaria. Más de la mitad (54,4 %) de los graduados finlandeses obtuvo niveles 4 o 5 en comparación con solo el 2,5
% en la República de Türkiye. Las diferencias entre países en la distribución de las habilidades de alfabetización no parecen estar correlacionadas
con la proporción de la cohorte de edad con una calificación terciaria. Ni la masificación ni la globalización parecen haber tenido un gran impacto
en los niveles de habilidades de los graduados. La evidencia de amplias diferencias en las habilidades entre los graduados de educación
terciaria con un nivel similar de calificaciones contradice una convergencia global de habilidades equivalentes a las calificaciones.
Una segunda conclusión que puede extraerse de estos datos es que una cualificación terciaria no protege completamente contra las bajas
cualificaciones. En muchos países, incluso aquellos con sistemas de educación superior bien desarrollados, más del 5 % de los jóvenes de 16
a 34 años con educación terciaria solo se desempeñan en el nivel más bajo de competencia lectora, con cifras superiores al 15 % en Grecia,
Chile y Turquía. . En promedio, en los países de la OCDE que participaron en la Encuesta de habilidades de adultos, más del 25 % de los
adultos con un título de educación superior que son menores de 35 años no alcanzan el nivel 3 de alfabetización, que puede considerarse como
el nivel de referencia para funcionar bien en la economía. y la sociedad Una alta proporción de graduados con calificaciones en niveles bajos
de competencia indica que un título de educación superior no es una buena señal de la competencia básica en alfabetización de los graduados.
Es cierto que las habilidades de alfabetización son habilidades básicas que no se supone que se adquieran principalmente en la educación
superior. Es probable que la enseñanza y el aprendizaje en las universidades tengan un mayor valor agregado en conjuntos de habilidades más
especializadas. Aún así, estos datos son preocupantes en el sentido de que las calificaciones de educación superior no señalan de manera
confiable un cierto nivel de habilidades de umbral. Tampoco garantizan a los empleadores un conjunto mínimo de habilidades.
¿Cómo ha evolucionado el nivel de competencias de la población con educación terciaria a lo largo del tiempo? Cabría suponer que la
introducción masiva de cualificaciones terciarias habría aumentado el nivel general de competencias en la
22 ÿ
población. La Encuesta de Competencias de Adultos de la OCDE, administrada en los años 2012-15, y sus predecesoras, la
Encuesta Internacional de Alfabetización de Adultos (IALS), administrada en la década de 1990, y la Encuesta de Alfabetización
de Adultos y Habilidades para la Vida (ALL), administrada en la década de 2000, son las únicas fuentes de datos que permiten
la prueba empírica de esa hipótesis. Al comparar el rendimiento de la alfabetización de la población adulta en los países que
participaron en estas encuestas, hay más indicios de estabilidad o incluso de una ligera disminución que de aumento de los
niveles de habilidad (Paccagnella, 2016[7]). Los cambios en la composición de las poblaciones debido al envejecimiento y la
migración pueden ser en parte responsables, pero uno esperaría que el aumento masivo de las calificaciones terciarias
compense estos cambios y resulte en niveles de capacitación más altos.
La figura 1.2 compara el cambio en el dominio de la alfabetización en la población adulta entre las encuestas IALS y PIAAC por
nivel educativo. Las personas con una calificación secundaria superior o terciaria obtuvieron peores resultados en PIAAC que
en IALS (con la excepción de Australia). La competencia de los adultos con un nivel inferior al secundario aumentó o se mantuvo
estable en 5 de cada 10 países. Pero, sorprendentemente, la competencia de los adultos con un título terciario disminuyó en la
mayoría de los países, con una disminución de más de 20 puntos porcentuales en Dinamarca, Irlanda, Noruega y Suecia. En
Estados Unidos, Finlandia y la Comunidad flamenca de Bélgica, países con excelentes sistemas de educación superior, el
descenso supera los 10 puntos porcentuales. Claramente, el aumento en los niveles de educación terciaria no resultó en un
aumento del nivel de habilidades en la población adulta, al contrario.
Figura 1.2. Comparación del nivel de alfabetización entre IALS y PIAAC por nivel educativo
Fuente: Paccagnella , M. ( 2016 ) (consultado el 1 de agosto de 2022) adaptado de la Encuesta internacional de

alfabetización de adultos (IALS) (1994-1998) y la Encuesta de habilidades de adultos (PIAAC) (2012), www.oecd.org/
site/piaac/publicdataandanalysis.htm.
Una posible explicación que vincula el crecimiento de la educación terciaria y la disminución de las habilidades en la población
se puede obtener observando el impacto de la sobrecualificación en las habilidades. La figura 1.3 muestra que los trabajadores
con educación terciaria en un trabajo para el que tienen una calificación adecuada tienen en promedio una mayor
ÿ 23
habilidades numéricas que los trabajadores que trabajan en un trabajo que no requiere una calificación terciaria. Esto podría suceder
ya sea a través del proceso de contratación, que discrimina por habilidades, oa través de un proceso de disminución u obsolescencia
de las habilidades cuando las habilidades no se utilizan por completo. Los altos niveles de desajuste de cualificaciones deprecian aún
más el valor de las cualificaciones terciarias.
Figura 1.3. Puntaje promedio en aritmética entre adultos con CINE 5A o 6, por emparejamiento o desajuste de
calificación seleccionado entre trabajadores (2012 o 2015) - Encuesta de Habilidades de Adultos (PIAAC),
empleados de 25 a 64 años
Título CINE 5A o 6 trabajando en un trabajo que requiere el mismo nivel de calificación (bien emparejado)
Puntuación media Título CINE 5A o 6 que trabaja en un trabajo que necesita un nivel CINE 3 o inferior (sobrecualificado)
340
330
320
310
300
290
280
270
260
250
1 1 2 1 1 2
240
España solo
Es
Japón Corea israel2
Chile
Francia Polonia
Canadá Irlanda
Finlandia Suecia Noruega Estonia
Austria
1
Alemania Australia Grecia1,
2
Dinamarca
Turquía1,
2
Eslovenia1,
2
huania1,
Lit
2
Países
Bajos
Inglaterra
Unido)
(Reino Estados
Unidos
Zelanda
Nueva
República
Checa promedio
OCDE
de
la
República
Eslovaca
Unido)
(Reino
Irlanda
Norte
del
Comunicación
flamenca.
(Bélgica)
Nota: 1. La diferencia entre trabajadores bien emparejados y sobrecualificados no es estadísticamente significativa al 5%. 2. El año de referencia es 2015; para todos
los demás países y economías, el año de referencia es 2012.
Fuente: OCDE (2018), "Gráfico A3.b - Puntaje promedio en aritmética entre adultos con CINE 5A o 6, por emparejamiento o desajuste de calificación seleccionado
entre trabajadores (2012 o 2015): Encuesta de Habilidades de Adultos (PIAAC), empleados 25-64 años", en Panorama de la educación 2018: Indicadores de la OCDE,
Publicaciones de la OCDE, París, https://doi.org/10.1787/eag-2018-graph31-en (consultado el 1 de agosto de 2022).
En conclusión, al comparar el crecimiento del capital humano medido por dos métricas diferentes, las tasas de logro educativo y los
niveles básicos de habilidades, las observaciones apuntan en direcciones opuestas: crecimiento de las calificaciones versus
disminución de las habilidades. Esta conclusión refuerza aún más las dudas sobre las habilidades equivalentes a las cualificaciones
terciarias y su capacidad para proporcionar medidas fiables de habilidades.
Transparencia y asimetría de la información
Para comprender mejor lo que está en juego aquí, debemos observar más de cerca la naturaleza de la educación superior.
En la mayoría de los países, los sistemas de educación superior toman una forma híbrida, combinando elementos de 'bien público' y
mercados en un arreglo de 'cuasi-mercado'. En los últimos años, los elementos orientados al mercado se han vuelto mucho más
importantes. De estructuras esencialmente dirigidas a nivel nacional y orientadas al 'bien público', los sistemas de educación superior
se están moviendo cada vez más hacia un modelo orientado al 'consumo privado'. Influenciadas por los conocimientos económicos
sobre los beneficios privados de la educación superior y la doctrina de la 'nueva gestión pública', las políticas han apoyado firmemente
esta transformación aumentando la inversión privada en la educación superior, fomentando la competencia por el estatus y los
recursos, apoyando las políticas de internacionalización y recurriendo a marcos de rendición de cuentas más sólidos. . Los sistemas
de educación superior han integrado elementos de mercado en su dirección, pero nunca se han transformado por completo en
verdaderos "mercados capitalistas" (Marginson, 2013[8]).
24 ÿ
Por supuesto, todavía hay muchos elementos y dimensiones de los sistemas de educación superior que pueden caracterizarse como
'bienes públicos', que son de importancia crítica para los gobiernos. Los formuladores de políticas aún valoran mucho el papel de la
educación superior en la preservación del idioma y la cultura; proporcionar igualdad de oportunidades para que todos los estudiantes
accedan a la educación superior; y sirviendo como vehículo de movilidad social. Y hay muchas otras consideraciones que legitiman las
políticas públicas en educación superior.
Al mismo tiempo, los sistemas de educación superior también tienen muchas 'fallas de mercado', siendo la más importante el conocido
problema de las 'asimetrías de información' (Dill and Soo, 2004[9]; Blackmur, 2007[10]; van Vught y Westerheijden, 2012[11]). Desde la
perspectiva de los estudiantes, la educación superior es una buena experiencia, que se consumirá solo en raras ocasiones, pero que
tiene un gran impacto en las oportunidades de vida de uno.
La asimetría de la información seduce a los proveedores para maximizar su poder en el lado de la oferta y minimizar el papel en el lado
de la demanda. Tomar las decisiones equivocadas puede tener enormes consecuencias para la vida de las personas, pero también para
el destino económico y social de las naciones. Mientras que la privatización del costo de la educación superior ha aumentado
enormemente, el estudiante/consumidor no ha sido empoderado para tomar decisiones más inteligentes en la misma medida. La
disponibilidad y la calidad de la información simplemente no han mejorado lo suficiente como para permitir que los estudiantes tomen
decisiones inteligentes. En cambio, y con bastante cinismo, muchos responsables políticos reprochan a los estudiantes que hayan
tomado demasiadas decisiones equivocadas.
Los sistemas de educación superior y los gobiernos han reaccionado de dos maneras opuestas a este problema. Primero, han
desarrollado varios tipos de instrumentos paternalistas para proteger los intereses de consumo de los estudiantes.
Al actuar en nombre de los estudiantes para tomar las decisiones correctas para ellos, asumen el papel de 'agente principal'.
Se solicita a los estudiantes y sus familias, y el mismo mecanismo se aplica a los empleadores, que "confíen" en la capacidad del
sistema para garantizar la calidad básica y producir de manera confiable la calidad y los resultados deseados. En los sistemas
fuertemente dirigidos por el estado en Europa, esto puede incluso tomar la forma de una negación pública implícita de que existen
diferencias de calidad entre las instituciones reconocidas públicamente y que una calificación reconocida públicamente producirá los
mismos resultados y beneficios, independientemente de la institución de la que provenga.
La segunda forma, y mucho más efectiva, de abordar una posible falla del mercado causada por la asimetría de la información es
producir varios instrumentos que se supone mejoran la transparencia del sistema. A cambio de más autonomía institucional, se ha
pedido a las instituciones que proporcionen más y mejores datos sobre su desempeño. Algunos países han desarrollado sistemas de
gestión del desempeño, a veces vinculados a acuerdos de financiación. Además, se supone que los arreglos de garantía de calidad, a
menudo basados en el mecanismo académico confiable de revisión por pares, mejoran la cantidad y calidad de la información disponible
para el público en general.
Ni los sistemas de aseguramiento de la calidad ni los sistemas de gestión del desempeño han resuelto el problema de la asimetría de la
información. Los sistemas de gestión del desempeño son esencialmente herramientas burocráticas, destinadas a informar las políticas
públicas y los mecanismos de dirección. Sus datos a menudo están ocultos o no son comprensibles para los estudiantes y el público en
general. Los indicadores de rendimiento más utilizados tienen una relación muy pobre con la calidad académica de los entornos de
enseñanza y aprendizaje de los estudiantes (Dill and Soo, 2004[9]).
Las encuestas de satisfacción de los estudiantes y las encuestas de evaluación de los estudiantes, herramientas populares para evaluar
la calidad percibida de la experiencia de enseñanza y aprendizaje, no guardan relación con el aprendizaje real de los estudiantes (Uttl,
White and Gonzalez, 2017[12]).
Y los arreglos de aseguramiento de la calidad, aunque a menudo se conciben como instrumentos de responsabilidad pública, rara vez
funcionan como sistemas de información y transparencia. En muchos países, se ha pasado de un enfoque en los programas a un
enfoque en la capacidad de gestión interna de la institución para garantizar la calidad. Solo en el campo de la investigación se han
desarrollado herramientas efectivas de medición y transparencia. Esto se debe en gran parte al hecho de que, en el campo de la
investigación, se ha desarrollado suficiente experiencia y capacidad para abordar los desafíos de la medición.
A su vez, la calidad y disponibilidad de los datos sobre los resultados de la investigación han estimulado la aparición de rankings
mundiales de instituciones de educación superior. Las clasificaciones existían antes de las métricas de investigación de alta calidad,
pero la bibliometría de investigación ha contribuido enormemente al desarrollo y la credibilidad de las clasificaciones. los
ÿ 25
El fenómeno de las clasificaciones globales y su impacto, a veces perverso, en las instituciones y sistemas de educación superior
ha sido ampliamente analizado y discutido, sobre todo en el trabajo de Hazelkorn (2011[13]; 2014[14]), o Kehm y Stensaker
(2009[ 15]). A pesar de la resistencia y las críticas de académicos e instituciones, los rankings se han vuelto muy poderosos y
sirven como una respuesta parcial a las necesidades de información de los estudiantes, en particular de los estudiantes
internacionales. Esencialmente, es la falta de mejores herramientas de transparencia alternativas disponibles para estudiantes,
familias, empleadores y el público en general lo que es responsable del aumento y la popularidad de las clasificaciones
universitarias.
El principal problema con las clasificaciones es su excesiva dependencia de los datos de salida de la investigación. Sin embargo,
la información sobre la calidad real de la enseñanza y el aprendizaje se basa en medidas indirectas o indicadores basados en
varios factores de entrada, como la proporción de estudiantes por personal o la financiación por estudiante, que a menudo no
tienen una relación evidente con la calidad. Esto ha provocado un 'desvío de la misión' hacia la investigación como la forma más
fácil para que las instituciones mejoren su clasificación. Las clasificaciones y las métricas de investigación en las que se basan
han dado paso a una 'carrera de reputación' entre instituciones (van Vught, 2008[16]). Las clasificaciones también han alentado
la carrera por la reputación al basarse en encuestas de reputación para compensar la falta de métricas confiables de enseñanza
y aprendizaje. En lugar de abordar el problema de la asimetría de la información desde el principio abriendo la "caja negra" de la
enseñanza y el aprendizaje y apoyando el desarrollo de métricas de resultados de aprendizaje científicamente sólidas, las
instituciones han desarrollado una "gestión de la reputación" para hacer frente a las nuevas fuerzas en el orden mundial de la educación superior. .
Las instituciones han gastado más recursos en publicidad, marca y marketing que esfuerzos genuinos para mejorar los entornos
de enseñanza y aprendizaje.
Las clasificaciones y las métricas de reputación también brindan poco o ningún incentivo para mejorar la enseñanza y el
aprendizaje. Básicamente confirman las jerarquías existentes en el sistema. Como las reputaciones cambian muy lentamente,
esto pone en peligro el dinamismo y la innovación en el sistema. En principio, nada está mal con las métricas de reputación. En
la economía de Internet, donde se invita a los consumidores a calificar todo tipo de productos y servicios, estas medidas conducen
a métricas de reputación agregadas que guían a otros consumidores en su toma de decisiones. Pero en la educación superior,
hay pocas medidas de reputación basadas en datos confiables proporcionados por estudiantes y graduados.
Las medidas de reputación se basan en datos proporcionados por académicos a través de encuestas de reputación. Difícilmente
pueden compensar el problema de la asimetría de la información en la educación superior. Sin embargo, a menudo no hay
alternativa para los estudiantes, las familias, los empleadores y el público en general.
Desconfianza
El hecho de que las titulaciones parezcan tener un mal desempeño a la hora de proporcionar información sobre los resultados del
aprendizaje o las habilidades de los graduados agrava aún más el problema de la transparencia. Socava la confianza que los
empleadores, los estudiantes, los legisladores y el público en general depositan en el sistema. Y no hay otros sustitutos que los
títulos para indicar que las personas han dominado un cierto nivel de habilidades. Es una estrategia bastante ingenua para que la
comunidad de educación superior confíe en el poder simbólico sostenido de los títulos.
Algunos observadores han notado estos signos de desconfianza en lo que los estudiantes aprenden en la universidad. En su
conocido libro, Academically Adrift, Arum y Roksa (2011[17]) analizaron datos del instrumento Collegiate Learning Assessment
(CLA) administrado a una gran muestra de estudiantes universitarios en los Estados Unidos. Llegaron a la conclusión de que el
45% de los estudiantes encuestados no demostraron una mejora significativa en las habilidades de razonamiento complejo y
pensamiento crítico durante los primeros dos años de universidad. Después de cuatro años, el 36 % seguía sin mostrar ninguna
mejora. En un informe posterior, los mismos investigadores (Arum, Roksa y Cho, nd [18]) concluyeron que "Un gran número de
estudiantes universitarios informan que experimentan solo demandas académicas limitadas e invierten solo un esfuerzo limitado
en sus esfuerzos académicos". En un estudio de seguimiento. observaron la transición de estos estudiantes a la vida laboral
(Arum and Roksa, 2014[19]). Descubrieron que, después de la graduación, los estudiantes universitarios con bajo rendimiento
tenían más probabilidades de tener trabajos no calificados, desempleados o haber sido despedidos de sus trabajos. La falta de
habilidades laborales genéricas del siglo XXI impidió la empleabilidad de los graduados, a pesar de su calificación terciaria.
26 ÿ
Las corporaciones globales y los líderes de la industria están señalando niveles severamente reducidos de confianza en las calificaciones
universitarias. La firma de consultoría global, Ernst & Young, que es un importante reclutador de graduados, fue una de las primeras en anunciar
que eliminaría los requisitos de grado para sus solicitantes de empleo (Sherriff, 2015[20]).
Argumentó que "no hay" evidencia "de que el éxito en la universidad se correlacione con el logro en la vida posterior".
PricewaterhouseCoopers (PwC) le siguió rápidamente. Grandes empresas del sector de las tecnologías de la información y la comunicación (TIC)
como Google, Apple y Amazon aplicaron la misma política. El sector ya había desarrollado su propio sistema alternativo de acreditación.
Significativamente, otra empresa intensiva en conocimiento, Penguin Random House Publishers, eliminó cualquier requisito de un título universitario
de sus nuevas ofertas de trabajo (Sherriff, 2016[21]). Para respaldar su decisión, el grupo editorial señaló "la creciente evidencia de que no existe
una correlación simple" entre tener un título y el desempeño laboral.
Muchas grandes empresas han seguido el ejemplo, a menudo con grandes departamentos de recursos humanos (HR), que tienen la capacidad de
evaluar a los solicitantes de empleo en cuanto a las habilidades necesarias. Sin embargo, las pequeñas y medianas empresas todavía dependen
predominantemente de las calificaciones, ya que no tienen los recursos para realizar evaluaciones internas. Además, los empleadores del sector
público y las profesiones reguladas están obligados por ley a valorar las calificaciones (Koumenta and Pagliero, 2017[22]). Este cambio ha tenido
un efecto profundo en las políticas y prácticas de contratación y recursos humanos de las empresas. Un informe de investigación de las prácticas
de contratación en los Estados Unidos realizado por la Universidad Northeastern concluyó que “la contratación basada en habilidades o competencias
parece estar ganando un interés y un impulso significativos, y la mayoría de los líderes de recursos humanos informan que tienen un esfuerzo
formal para restar importancia a los títulos y priorizar habilidades en marcha (23 %) o explorando y considerando activamente esta dirección (39
%)” (Gallagher, 2018[23]).
Cambiando la demanda de habilidades
La demanda de habilidades que cambia rápidamente se ha sumado a la creciente desconfianza de los empleadores en las calificaciones terciarias.
La automatización y la digitalización han dado paso a cambios críticos en la entrada de tareas de los trabajos. Esto requiere diferentes conjuntos de
habilidades, pero las instituciones de educación superior han tardado en responder.
Ha habido una disminución gradual en las tareas rutinarias. David Autor, economista del Instituto Tecnológico de Massachusetts (MIT), ha
investigado y documentado esta evolución de la economía de Estados Unidos.
En 2013, él y su equipo replicaron y ampliaron su análisis original de 2003 (Autor and Price, 2013[24]).
Demostraron (ver Figura 1.4) que en un período de tiempo relativamente corto, la proporción de tareas rutinarias manuales y cognitivas rutinarias
disminuyó significativamente, mientras que la proporción de tareas no rutinarias analíticas e interpersonales no rutinarias aumentó. Está claro que
las tareas rutinarias, incluso en profesiones altamente calificadas, están cada vez más automatizadas. La automatización no reemplaza el trabajo
humano; lo complementa. Al cambiar el contenido de las tareas de los trabajos existentes, la automatización crea trabajos completamente nuevos.
David Autor (2015[25]) ha demostrado “que la interacción entre la máquina y la ventaja comparativa humana permite que las computadoras
sustituyan a los trabajadores en la realización de tareas rutinarias y codificables, al tiempo que amplía la ventaja comparativa de los trabajadores al
proporcionar habilidades para resolver problemas, adaptabilidad y creatividad. ”. La automatización permite aumentar el valor de las tareas que los
trabajadores realizan de manera única al adaptar su conjunto de habilidades.
En el extremo superior de la distribución de habilidades, que es el segmento para el cual la educación superior prepara a los trabajadores, las tareas
no rutinarias son las denominadas tareas 'abstractas'. Requieren resolución de problemas, intuición, persuasión y creatividad. Estas tareas son
características de las ocupaciones profesionales, administrativas, técnicas y creativas, como derecho, medicina, ciencia, ingeniería, marketing y
diseño. Los trabajadores más hábiles en estas tareas suelen tener altos niveles de educación y capacidad analítica, y se benefician de las
computadoras que facilitan la transmisión, organización y procesamiento de la información” (Autor y Price, 2013[24]).
ÿ 27
Figura 1.4. Cambiando la entrada de tareas en la economía de los EE. UU. (1960-2009)
Fuente: Autor y Price (2013[24]), The Changing Task Composition of the US Labor Market: An Update of Autor, Levy, and Murnane (2003),
https://economics.mit.edu/files/9758 (consultado el 1 de agosto de 2022).
Otra categoría de tareas que ha crecido aún más significativamente que las tareas analíticas no rutinarias son las tareas
interpersonales no rutinarias. Las tareas de comunicación complejas que requieren habilidades sociales altamente
desarrolladas y adaptativas se han vuelto más importantes en una amplia gama de profesiones. Las computadoras aún no
logran simular interacciones humanas complejas cuando entran en juego habilidades emocionales como la empatía. Con la
automatización reemplazando muchas tareas, las tareas complejas de interacción y comunicación han crecido en frecuencia
e importancia (Deming, 2017[26]). En la economía de los Estados Unidos, los trabajos que requieren habilidades de
comunicación no rutinarias han experimentado un crecimiento tanto en el empleo como en los salarios, y las habilidades
sociales han generado rendimientos crecientes en el mercado laboral (Deming, 2017[26]; Fernandez and Liu, 2019[27]).
En varios informes recientes, la OCDE ha desarrollado indicadores a nivel de país sobre el contenido del trabajo no rutinario
y su relación con la intensidad digital (Marcolin, Miroudot and Squicciarini, 2016[28]; OECD, 2017[29]; OECD, 2019a[ 30]).
Sobre la base de los datos de PIAAC, estos análisis muestran una correlación entre la digitalización del lugar de trabajo y
las industrias, y el crecimiento de los trabajos no rutinarios. La Figura 1.5 muestra la correlación a nivel de país de estos
dos indicadores en las industrias manufactureras, con una mayor intensidad de tareas de TIC que va de la mano con un
aumento en la proporción de empleo no rutinario.
28 ÿ
Figura 1.5. Proporción de empleo no rutinario e intensidad de tareas de TIC, industrias

manufactureras, 2012 o 2015
Fuente: OCDE (2017[29]), Cuadro de indicadores de la ciencia, la tecnología y la industria de la OCDE 2017: La transformación digital, Publicación de la OCDE,
París, https://doi.org/10.1787/9789264268821-en (consultado el 1 de agosto de 2022).
Estos cambios en la demanda de habilidades ya han tenido un impacto duradero en los trabajos de los profesionales con educación
terciaria. Sobre la base de un análisis de datos en las encuestas Reflex (2005) y Hegesco (2008) de graduados de educación
terciaria, Avvisati, Jacotin y Vincent-Lancrin (2014[31]) analizaron los requisitos de habilidades de los graduados que trabajan en
trabajos altamente innovadores. Descubrieron que las habilidades críticas que más distinguen a los innovadores de los no
innovadores son la creatividad ("proponer nuevas ideas y soluciones" y la "disposición a cuestionar las ideas"); la “capacidad de
presentar ideas en audiencia”; “estar alerta a las oportunidades”; “pensamiento analítico”, “capacidad para coordinar actividades”; y
la “capacidad de adquirir nuevos conocimientos”. Estas habilidades se alinean claramente con lo que se ha denominado habilidades
no rutinarias.
Los cambios en el contenido de tareas de los trabajos también han afectado la demanda de habilidades. Numerosas encuestas
indican que los empleadores son conscientes de que habilidades como la creatividad y el pensamiento analítico ahora se han vuelto
dominantes en sus políticas de contratación y reclutamiento (ver, por ejemplo: (Hart Research Associates, 2013[32]; Kearns, 2001[33])).
Los términos utilizados para denotar las habilidades necesarias para realizar con éxito tareas no rutinarias incluyen 'habilidades del
siglo XXI', 'habilidades blandas', 'habilidades genéricas', 'habilidades transferibles', 'habilidades transversales', etc. Estas categorías
suelen incluir pensamiento crítico, creatividad, resolución de problemas, comunicación, trabajo en equipo y habilidades para aprender
a aprender. Estas habilidades difieren entre sí, pero pragmáticamente se colocan bajo el paraguas de las 'habilidades del siglo XXI'.
Impulsado por el debate sobre el impacto de la automatización y la digitalización en los trabajos, ahora se están multiplicando las
discusiones sobre qué habilidades se necesitan para el futuro mercado laboral. En 2018, la encuesta Future of Jobs del Foro
Económico Mundial de directores ejecutivos y directores de recursos humanos de multinacionales y grandes empresas nacionales
identificó el pensamiento analítico, la innovación, la resolución de problemas complejos, el pensamiento crítico y la creatividad como
las habilidades más importantes (Avvisati, Jacotin y Vincent-Lancrin, 2014[31]).
En un par de artículos recientes, los analistas de la OCDE utilizaron la base de datos de ofertas de trabajo en línea de Burning Glass
Technologies y aplicaron tecnología de aprendizaje automático para explorar la información contenida en estos
ÿ 29
ofertas de trabajo (OCDE, 2019a[30]; Blömeke et al., 2013[34]). Estos análisis proporcionan evidencia abrumadora de la frecuencia de
los requisitos de habilidades del siglo XXI en las ofertas de trabajo. En un análisis de ofertas de trabajo en línea en el Reino Unido
entre 2017 y 2019, por ejemplo, la comunicación, el trabajo en equipo, la planificación, la resolución de problemas y la creatividad se
mencionaron como transversales.
El interés de los empleadores en las habilidades genéricas o del siglo XXI también está relacionado con las preocupaciones constantes
sobre el impacto de la falta de coincidencia en las calificaciones y el campo de estudio para la empleabilidad de los graduados, a las
que nos referimos anteriormente en este capítulo. El número de graduados en campos de estudio específicos a menudo no se alinea
bien con la demanda real de calificaciones en el mercado laboral. En los países de la OCDE, un promedio del 36 % de los trabajadores
no coinciden en términos de calificaciones (el 17 % de los trabajadores informaron en la encuesta de PIAAC que están sobrecalificados,
el 19 % que están subcalificados) (OECD, 2018[35]). Alrededor del 40 % de los trabajadores también están trabajando en un campo
diferente al que estudiaron y, por lo tanto, caen dentro de la 'desigualdad del campo de estudio' (Montt, 2015[36]). Los economistas
consideran que el desajuste es un obstáculo importante para el crecimiento de la productividad laboral. Los altos niveles de desajuste
han dado lugar a debates sobre la coordinación entre la educación y el mercado laboral. Sobre la empleabilidad de los egresados, se
ha descartado la idea del alineamiento perfecto. En cambio, los empleadores ahora buscan en la educación el desarrollo de habilidades
básicas y las habilidades transversales y genéricas necesarias para la empleabilidad. Ahora se comparte más desarrollo de habilidades
técnicas entre la educación y la capacitación en el lugar de trabajo. Por lo tanto, el problema del desajuste ha contribuido al creciente
interés en las habilidades genéricas del siglo XXI.
¿Sabemos si las instituciones de educación superior fomentan habilidades genéricas como el pensamiento crítico y la resolución de
problemas? Una vez más, la respuesta es: no lo sabemos. Lo que los estudiantes aprenden en las universidades todavía está
generalmente en sintonía con las tareas cognitivas rutinarias y el conocimiento procedimental. Los conocimientos y las habilidades
que pueden automatizarse fácilmente continúan dominando los planes de estudio. Sin embargo, las universidades han incrementado
sus esfuerzos de reforma curricular en respuesta a las demandas y presiones externas. La reforma del currículo generalmente está
en la dirección del desarrollo de un currículo interdisciplinario y basado en competencias. Y en los documentos curriculares se
encuentran declaraciones que enfatizan la importancia de las habilidades genéricas valoradas en el lugar de trabajo. Pero para saber
si las universidades están fomentando el aprendizaje de las habilidades del siglo XXI por parte de los estudiantes, necesitamos
sistemas de evaluación mucho mejores.
Evaluación de habilidades genéricas
La voz de los empleadores, las preocupaciones sobre la empleabilidad de los graduados y el creciente interés en las habilidades
genéricas han influido en el desarrollo curricular, el diseño de cursos y las prácticas de enseñanza y aprendizaje en las instituciones
de educación superior. Hay tres dimensiones importantes en la reforma educativa actual en la educación superior
(Zahner et al., 2021[37]): El cambio del formato de conferencia a un enfoque centrado en el estudiante que enfatiza la participación
activa de los estudiantes en clase; pasar del contenido curricular y de los libros de texto a materiales basados en casos y problemas
que requieran que los estudiantes apliquen lo que saben a situaciones nuevas; innovación en instrumentos de evaluación desde
pruebas de opción múltiple que se utilizan mejor para medir el nivel de contenido absorbido por los estudiantes hasta evaluaciones
abiertas.
Aunque muchas instituciones y sistemas de educación superior han logrado avances significativos en las dos primeras dimensiones
de este movimiento de reforma educativa, la evaluación se ha quedado atrás. A medida que las universidades se enfocan cada vez
más en desarrollar las habilidades genéricas de sus estudiantes, las evaluaciones deben poder medir qué tan bien los estudiantes
están aprendiendo y las instituciones les están enseñando. Las evaluaciones de opción múltiple y de respuesta corta siguen siendo el
régimen de prueba dominante no solo para los hechos sino también para las habilidades genéricas. Como resultado, el régimen de
pruebas no evalúa las habilidades más críticas requeridas de los estudiantes en el lugar de trabajo y, lo que es igual de importante, no
respalda las otras dos dimensiones de la reforma. Para que la reforma educativa esté sincronizada con la economía del conocimiento
actual, se requieren evaluaciones abiertas basadas en el desempeño. Estos se han convertido en una práctica estándar en el lugar de
trabajo y en los enfoques contemporáneos de gestión de recursos humanos para el reclutamiento, la selección y la mejora de las
habilidades.
30 ÿ
Si las evaluaciones de desempeño se integran en los sistemas de rendición de cuentas, esto debería tener un impacto
positivo en la práctica en el aula. El tiempo de clase dedicado a preparar a los estudiantes para aplicar el conocimiento, el
análisis y las habilidades de resolución de problemas a problemas complejos del mundo real es un tiempo bien invertido.
Valdrá la pena investigar si la evaluación del desempeño con fines de rendición de cuentas tiene un efecto deseable en la
enseñanza y el aprendizaje. También será útil investigar el nivel percibido de esfuerzo requerido para usar evaluaciones
de desempeño regularmente en el salón de clases.
Una deficiencia crítica del régimen de evaluación educativa principal de hoy es que presta poca atención a cuánto
contribuye una institución al desarrollo de las competencias que los estudiantes necesitarán después de graduarse.
Los resultados que suelen observar los arreglos de acreditación de la educación superior, como las tasas de retención y
graduación de una institución, y el porcentaje de su cuerpo docente en puestos permanentes, no dicen nada sobre qué
tan bien la escuela fomenta el desarrollo del razonamiento analítico, la resolución de problemas y el aprendizaje de sus
estudiantes. y habilidades de comunicación. Esta situación es lamentable porque la forma en que se evalúan las
instituciones afecta significativamente las prioridades institucionales. Si se responsabilizara a las instituciones por los
avances en el aprendizaje y los logros de los estudiantes, probablemente destinarían mayores recursos y esfuerzos
institucionales a mejorar la enseñanza y el aprendizaje. La evaluación tiene un enorme potencial para impulsar el cambio.
Avances en la evaluación de los resultados del aprendizaje en la educación superior
Durante las últimas décadas, se han iniciado varias iniciativas de investigación y programas experimentales para evaluar
los resultados de aprendizaje de los estudiantes de educación superior (Douglass, Thomson and Zhao, 2012[38]; Hattie,
2009[39]; Blömeke et al., 2013[ 34]; Wolf, Zahner y Benjamin, 2015[40]; Coates, 2016[41]; Coates y Zlatkin-Troitschanskaia,
2019[42]). Una descripción general del campo realizada por la OCDE identificó prácticas de evaluación en seis países
(Nusche, 2008[43]). En los Estados Unidos, el Council for Aid for Education ha desarrollado el CLA y su variante más
reciente CLA+, que se analizará en este libro. La Universidad de California ha desarrollado la Encuesta de Experiencia
Estudiantil en la Universidad de Investigación. La empresa de pruebas Educational Testing Service (ETS) ha desarrollado
HEIghten™ Outcomes Assessment Suite (Liu et al., 2016[44]). La Comisión Europea, a través de la iniciativa Tuning, ha
avalado el proyecto CALOHEE
(Wagenaar, 2019[45]). Alemania ha iniciado un amplio estudio interdisciplinario para modelar y medir competencias en la
educación superior (KoKoHs) (Blömeke et al., 2013[34]). En el Reino Unido, el Marco de Excelencia Docente incluye
varios proyectos sobre la evaluación de los resultados del aprendizaje en las universidades. Y probablemente haya
muchas más iniciativas nacionales y locales.
En 2008, por mandato de una decisión de los ministros de educación reunidos en Atenas en 2006, la OCDE se embarcó
en el Estudio de viabilidad de la Evaluación de los resultados del aprendizaje en la educación superior (AHELO) (Coates
and Richardson, 2012[46]; Ewell, 2012[47]). El estudio, que duró hasta 2013, fue la primera iniciativa internacional para la
evaluación de los resultados del aprendizaje en la educación superior. Involucró a 248 instituciones de educación superior
y 23 000 estudiantes en 17 países o economías. Incluía una rama de habilidades genéricas para las que se utilizó el
instrumento CLA, y dos ramas específicas de disciplina (ingeniería y economía). Los resultados, resultados y experiencias
se informaron en tres volúmenes (Tremblay, Lalancette y Roseveare, 2012[48]; AHELO, 2013a[49]; AHELO, 2013b[50]).
La principal conclusión del estudio de viabilidad de AHELO fue que una evaluación internacional de los resultados de
aprendizaje de los estudiantes, a la que algunas personas se refirieron como “un PISA para
educación superior”, fue factible, a pesar de los considerables desafíos conceptuales, metodológicos y de implementación.
En 2015, la OCDE propuso a los países miembros pasar a un estudio principal de AHELO. El Comité de Política Educativa
discutió varias propuestas de programas, pero no se pudo llegar a un consenso para embarcarse en un Estudio Principal.
En ese momento, el debate político en torno a AHELO estaba muy acalorado (Van Damme, 2015[51]). Se escucharon
fuertes voces de apoyo en medios como The Economist (2015) y Times Higher Education (Morgan, 2015a[52]; Morgan,
2015b[53]; Usher, 2015[54]). Al mismo tiempo, expertos en educación superior y organizaciones que representan a la
comunidad de educación superior denunciaron la iniciativa.
ÿ 31
(Altbach, 2015[55]). Las principales universidades y asociaciones universitarias expresaron fuertes preocupaciones y una oposición
abierta.
Una crítica seria a la propuesta AHELO de la OCDE es que el sistema de educación superior es demasiado diverso para aplicar
medidas comunes de resultados de aprendizaje. Esto estandarizaría y homogeneizaría inmediatamente la enseñanza y el
aprendizaje en las universidades. En su crítica, Phil Altbach (2015[55]) se concentró en este tema. Ciertamente es cierto que los
sistemas de educación superior se están diversificando. La heterogeneidad del alumnado requiere una atención específica al
aplicar instrumentos de evaluación estandarizados (Coates and Zlatkin Troitschanskaia, 2019[42]). Pero el punto interesante es si
la diversidad y la heterogeneidad aniquilan por completo el 'núcleo común' de los sistemas globales de educación superior. En la
educación superior, operan tendencias opuestas de convergencia y divergencia (Van Damme, 2019[5]). Sin embargo, la
convergencia es la tendencia dominante en la forma en que los títulos y cualificaciones otorgan acceso a puestos de trabajo,
ingresos y estatus. Si bien la diversidad y la heterogeneidad pueden tener un impacto en el desarrollo del plan de estudios, el
contenido del curso, los métodos de enseñanza y los exámenes, no descartan la necesidad de preparar a los estudiantes para la
empleabilidad y el trabajo.
(Van Damme, 2021[56]).
Problemas metodológicos
Como en el caso de PISA para la educación secundaria, una evaluación de los resultados del aprendizaje no debe centrarse en
los conocimientos y habilidades curriculares, sino en los atributos comúnmente asociados con la educación superior.
Ciertamente, existen elementos culturalmente específicos en la forma en que se definen las habilidades académicas genéricas en
contextos específicos, pero también existen poderosas similitudes, y más en la educación superior que en la educación escolar.
Después de todo, los cambios en la demanda de habilidades afectan a todas las economías, aunque existen diferencias en el
equilibrio de habilidades de cada una y en su ubicación en las cadenas globales de valor. Superar el sesgo cultural y las misiones
institucionales diversificadas es un desafío de medición, no una barrera conceptual.
Otra cuestión metodológica importante es si la evaluación de los resultados del aprendizaje de los estudiantes debe ser una
medida absoluta de lo que los estudiantes han aprendido al final de sus estudios o una evaluación relativa del progreso, la
"ganancia de aprendizaje" o el valor agregado a lo largo del proceso. El principal argumento a favor de un enfoque de valor
agregado son las enormes diferencias de selectividad entre instituciones y programas.
Las universidades pueden lograr la excelencia en los resultados de aprendizaje de los estudiantes mediante la selectividad inicial
o el alto valor agregado a través del proceso de enseñanza y aprendizaje. Dicho esto, un enfoque de valor agregado complica la
evaluación metodológica y logísticamente. Si el propósito general es proporcionar retroalimentación a las instituciones y programas
que mejorarán su calidad, parece obligatorio un enfoque de valor agregado. Sin embargo, si el propósito general es proporcionar
información confiable sobre el nivel de habilidades genéricas del siglo XXI que han adquirido los estudiantes de una universidad,
una evaluación de los niveles absolutos de los resultados del aprendizaje tiene más sentido.
El fracaso de AHELO para establecerse como un programa internacional para la evaluación de los resultados del aprendizaje en
la educación superior no llevó a la desaparición de la idea en sí (Coates and Zlatkin Troitschanskaia, 2019[42]; Coates, 2016[41]).
Varios esfuerzos internacionales han continuado. El Servicio de Pruebas Educativas (ETS) ha promovido la implementación de su
serie de evaluaciones HEIghten, incluida una evaluación de pensamiento crítico en China e India. Los resultados de su evaluación
de las habilidades de pensamiento crítico de los estudiantes universitarios de ciencias, tecnología, ingeniería y matemáticas
(STEM) en estos países, en comparación con los de los Estados Unidos, se publicaron en Nature Human Behavior en 2021.
(Loyalka et al., 2021[57]). Los datos revelaron logros de aprendizaje limitados en pensamiento crítico en China e India en el
transcurso de un programa de licenciatura de cuatro años, en comparación con Estados Unidos. Los estudiantes de la India
demostraron avances en el aprendizaje de las habilidades académicas en los primeros dos años, mientras que los de China no lo
hicieron. El proyecto reveló fuertes diferencias en los resultados del aprendizaje y el desarrollo de habilidades entre los estudiantes
de pregrado en estos cuatro países, con consecuencias para la competitividad global de los estudiantes y graduados de STEM en
todas las naciones e instituciones.
32 ÿ
El Consejo para la Ayuda a la Educación (CAE), con sede en Nueva York, que proporcionó el instrumento de
evaluación CLA para el capítulo de habilidades genéricas en el Estudio de viabilidad de AHELO, actualizó su
instrumento a CLA+. CAE ha comenzado a trabajar con países y organizaciones fuera de los Estados Unidos
interesados en evaluar habilidades genéricas (Wolf, Zahner and Benjamin, 2015[40]; Zahner et al., 2021[37]).
Italia fue un caso pionero y particularmente interesante, donde la agencia nacional de acreditación, ANVUR,
implementó el instrumento CLA+ en su proyecto TECO a una gran muestra de estudiantes universitarios italianos
(Zahner and Ciolfi, 2018[58]); véase también el Capítulo 11 de este volumen). Le siguieron otros países, sistemas
e instituciones. La OCDE, que no tenía un mandato para llevar a cabo esta iniciativa, proporcionó el espacio de
convocatoria y las oportunidades para interactuar y coordinar a los países que participan en esta 'Iniciativa
Internacional CLA+'. Este libro reúne los datos y análisis de los sistemas que participaron en esta iniciativa entre 2016 y 2021.
ÿ 33
Referencias
AHELO (2013a), Evaluación de la viabilidad de los resultados del aprendizaje en la educación superior (AHELO) [49]
Informe, vol. 2. Análisis de datos y experiencias nacionales, OCDE, París, https://
www.oecd.org/education/skills-beyond-school/AHELOFSReportVolume2.pdf.
AHELO (2013b), Evaluación de la viabilidad de los resultados del aprendizaje en la educación superior (AHELO) [50]
Reporte. vol. 3. Más información, OCDE, París, https://www.oecd.org/education/skills-beyond school/
AHOLOFSReportVolume3.pdf.
Altbach, P. (2015), “AHELO: El mito de la medición y la comparabilidad”, International Higher [55]

Educación 367, https://doi.org/10.6017/ihe.2015.82.8861.
Arum, R. y J. Roksa (2014), Adultos aspirantes a la deriva. Transiciones tentativas de la universidad [19]
Graduados, Chicago University Press, Chicago, IL.
Arum, R. y J. Roksa (2011), Académicamente a la deriva. Aprendizaje limitado en campus universitarios, Chicago [17]
University Press, Chicago, IL.
Arum, R., J. Roksa y E. Cho (nd), Mejorando el aprendizaje de pregrado: Hallazgos y recomendaciones de políticas del [18]
Proyecto Longitudinal SSRC-CLA, Social Science Research Council (SSRC), https://s3.amazonaws.com/ ssrc cdn1/
crmuploads/new_publication_3/%7BD06178BE-3823-E011-ADEF 001CC477EC84%7D.pdf.
Autor, D. (2015), “¿Por qué todavía hay tantos puestos de trabajo? la historia y el futuro del lugar de trabajo [25]
automatización”, vol. 29(3), págs. 3-30, https://doi.org/10.1257/jep.29.3.3.
Autor, D. y B. Price (2013), La composición cambiante de tareas del mercado laboral de EE. UU.: una [24]
Actualización de Autor, Levy y Murnane (2003), https://economics.mit.edu/files/9758 (consultado el 1 de agosto de
2022).
Avvisati, F., G. Jacotin y S. Vincent-Lancrin (2014), “Educar estudiantes de educación superior para economías innovadoras: [31]
lo que nos dicen los datos internacionales”, Tuning Journal for Higher Education, vol. 1/1, págs. 223-240, https://doi.org/
10.18543/tjhe-1(1)-2013pp223-240.
Barone, C. y L. Ortiz (2011), “Sobreeducación entre los graduados universitarios europeos: una [3]
análisis comparativo de su incidencia y la importancia de la diferenciación en la educación superior”, Higher Education,
vol. 61/3, págs. 325-337, https://doi.org/10.1007/s10734-010-9380-0.
Blackmur, D. (2007), “La regulación pública de las cualidades de la educación superior: justificación, [10]
Procesos y resultados”, en Westerheijden, D. (ed.), Higher Education Dynamics, Springer, Dordrecht, https://doi.org/
10.1007/978-1-4020-6012-0_1.
Blomeke, S. et al. (2013), Modelado y medición de competencias en la educación superior: Tareas y [34]
desafíos, Sense, Rotterdam, https://doi.org/10.1007/978-94-6091-867-4.
Brüning, N. y P. Mangeol (2020), "¿Qué habilidades buscan los empleadores en los graduados?: Uso de datos de [68]
publicación de trabajos en línea para apoyar las políticas y prácticas en la educación superior", Documentos de
trabajo sobre educación de la OCDE, No. 231, https:// doi.org/10.1787/bf533d35-en.
Coates, H. (2016), “Evaluación de los resultados del aprendizaje de los estudiantes a nivel internacional: percepciones y fronteras”, [41]
Valoración y evaluación en la educación superior, vol. 41/5, págs. 662-676, https://doi.org/
10.1080/02602938.2016.1160273.
34 ÿ
Coates, H. y S. Richardson (2012), “Una evaluación internacional de los resultados de aprendizaje de los graduados [46]
de licenciatura”, Políticas y gestión de la educación superior, vol. 23/3, https://doi.org/10.1787/
hemp-23-5k9h5xkx575c.
Coates, H. and O. Zlatkin-Troitschanskaia (2019), “The Governance, Policy and Strategy of [42]
Evaluación de los resultados del aprendizaje en la educación superior”, Política de educación superior, vol. 32/4, págs.
507-512, https://doi.org/10.1057/s41307-019-00161-1.
Deming, D. (2017), “La creciente importancia de las habilidades sociales en el mercado laboral”, Quarterly Journal of [26]
Economics, vol. 132/4, págs. 1593-1640, https://doi.org/10.1093/qje/qjx022.
Dill, D. y M. Soo (2004), “Transparencia y calidad en los mercados de educación superior”, en [9]
Teixeira, P. et al. (eds.), , Higher Education Dynamics, Kluwer, https://doi.org/10.1007/1-
4020-2835-0_4.
Douglass, J., G. Thomson y C. Zhao (2012), “La carrera por los resultados del aprendizaje: el valor de las ganancias [38]
autoinformadas en las grandes universidades de investigación”, Higher Education, vol. 64/3, págs. 317-335, https://doi.org/
10.1007/s10734-011-9496-x.
Economista (2015), “Tenerlo todo, Informe especial sobre universidades”, [59]

http://www.economist.com/news/special-report/21646990-ideas-deliveringequity-well excellent-have-it-all
(consultado el 11 de agosto de 2015).
Ewell, P. (2012), “Un mundo de evaluación: Iniciativa AHELO de la OCDE”, Change: The Magazine of Higher Learning, vol. 44/5, [47]
págs. 35-42, https://doi.org/10.1080/00091383.2012.706515.
Fernandez, F. y H. Liu (2019), "Examen de las relaciones entre las habilidades blandas y los resultados ocupacionales entre [27]
los adultos estadounidenses con y sin títulos universitarios", Journal of Education and Work, vol. 32/8, págs. 650-664,
https://doi.org/10.1080/13639080.2019.1697802.
Gallagher, S. (2018), Las credenciales educativas llegan a la mayoría de edad: una encuesta sobre el uso y el valor de las [23]
credenciales educativas en la contratación, Northeastern University, https://cps.northeastern.edu/wp content/uploads/
2021/03/Educational_Credentials_Come_of_Age_2018 .pdf.
Hart Research Associates (2013), Se necesita más que una especialización: Prioridades del empleador para la universidad [32]
aprendizaje y éxito estudiantil, Washington, DC, https://
www.aacu.org/leap/documents/2013_EmployerSurvey.pdf.
Hattie, J. (2009), “La caja negra de la evaluación terciaria: una revolución inminente”, en Meyer, L. [39]
et al. (eds.), Evaluación terciaria y resultados de la educación superior: política, práctica e investigación Extracto tomado de
Hattie (págs. 259-275), Ako Aotearoa, Wellington, Nueva Zelanda.
Hazelkorn, E. (2014), “Reflexiones sobre una década de clasificaciones globales: lo que hemos aprendido y [14]
cuestiones pendientes”, European Journal of Education, vol. 49/1, págs. 12-28, https://doi.org/
10.1111/ejed.12059.
Hazelkorn, E. (2011), Rankings y la remodelación de la educación superior: La batalla por la excelencia de clase mundial, [13]
Palgrave-MacMillan, Basingstoke, https://doi.org/10.1057/9780230306394.
Kearns, P. (2001), Revisión de habilidades genéricas de investigación para la nueva economía, [33]
https://www.ncver.edu.au/research-and-statistics/publications/all-publications/generic-skills for-the-new-economy-review-
of-research (consultado el 1 de agosto de 2022).
ÿ 35
Kehm, B. y B. Stensaker (2009), University Rankings, Diversity and the New Landscape of Higher Education, [15]
Vol.18, Sense, Global Perspectives on Higher Education, Rotterdam.
Klein, S. et al. (2007), “La evaluación del aprendizaje universitario: hechos y fantasías”, Evaluation Review, vol. [64]
31/5, págs. 415-439, https://doi.org/10.1177/0193841X07303318.
Klein, S. et al. (2005), “Un enfoque para medir los resultados cognitivos en la educación superior [63]
Instituciones”, Investigación en Educación Superior, vol. 46/3, págs. 251-76,
https://www.jstor.org/stable/40197345.
Koumenta, M. y M. Pagliero (2017), Midiendo la prevalencia y los impactos en el mercado laboral de [22]
Reglamento ocupacional en la UE, Comisión Europea, Bruselas, https://ec.europa.eu/
docsroom/documents/20362/attachments/1/translations/en/renditions/nat
he.
Liu, O. et al. (2016), “Evaluación del pensamiento crítico en la educación superior: el enfoque HEIghten™ y la [44]
evidencia de validez preliminar”, Evaluación y evaluación en la educación superior, vol. 41/5, págs. 677-694,
Loyalka, P. et al. (2021), "Niveles de habilidades y ganancias en la educación STEM universitaria en China, [57]
India, Rusia y los Estados Unidos", Nature Human Behaviour, vol. 5/7, págs. 892-904, https://doi.org/10.1038/
s41562-021-01062-3.
M. Rostan y M. Vaira (ed.) (2011), “El Nuevo Orden Mundial en la Educación Superior”, Cuestionando [60]
Excelencia en la Educación Superior, vol. 3, págs. 3-20.
Marcolin, L., S. Miroudot y M. Squicciarini (2016), “The Routine Content Of Occupations: New Cross-Country [69]
Measures Based On PIAAC”, OECD Trade Policy Papers, No. 188, https://doi.org/ 10.1787/5jm0mq86fljg-es.
Marcolin, L., S. Miroudot y M. Squicciarini (2016), “The Routine Content Of Occupations: New Cross-Country [28]
Measures Based On PIAAC”, OECD Trade Policy Papers, No. 188, OECD Publishing, París, https:/ /doi.org/
10.1787/5jm0mq86fljg-en.
Marginson, S. (2019), “Limitaciones de la teoría del capital humano”, Estudios en Educación Superior, vol. [70]
44/2, págs. 287-301, https://doi.org/10.1080/03075079.2017.1359823.
Marginson, S. (2013), “La imposibilidad de los mercados capitalistas en la educación superior”, Journal of [8]
Education Policy, vol. 28/3, págs. 353-370, https://doi.org/10.1080/02680939.2012.747109.
Montt, G. (2015), “Las causas y consecuencias del desajuste del campo de estudio: un análisis utilizando [36]
PIAAC”, Documentos de Trabajo 167 sobre Social, Empleo y Migración de la OCDE,
https://doi.org/10.1787/5jrxm4dhv9r2-en.
Morgan, J. (2015a), "El proyecto AHELO de la OCDE podría transformar la jerarquía universitaria", Times [52]
Educación superior, https://www.timeshighereducation.co.uk/news/oecds-ahelo-project-could transform-
university-hierarchy/2020087.article.
Morgan, J. (2015b), "Oligopolio de la universidad mundial acusada de bloquear la oferta de la OCDE para [53]
juzgar la calidad del aprendizaje", Times Higher Education, https://www.timeshighereducation.co.uk/news/
world%E2%80%99s -Universidad-
%E2%80%98oligopolio%E2%80%99-acusado-bloqueo-ocde-oferta-juez-aprendizaje-calidad.
36 ÿ
[43]
Nusche, D. (2008), “Evaluación de los Resultados de Aprendizaje en la Educación Superior: una
revisión de prácticas seleccionadas”, OECD Education Working Papers, No. 15, OECD Publishing, París, https://
doi.org/10.1787/244257272573.
[1]
OCDE (2021), Panorama de la educación 2021: Indicadores de la OCDE, publicación de la OCDE, París,
https://doi.org/10.1787/b35a14e5-en.
[35]
OCDE (2018), Buenos trabajos para todos en un mundo laboral cambiante: la estrategia de empleo de la OCDE,
publicación de la OCDE, París, https://doi.org/10.1787/9789264308817-en.
[29]
OCDE (2017), OECD Science, Technology and Industry Scoreboard 2017: The digital
transformación, OECD Publishing, París, https://doi.org/10.1787/9789264268821-en.
[2]
OCDE (2015), “¿Cómo está cambiando la reserva mundial de talentos (2013, 2030)?”, Education Indicators in Focus,
No. 31, OECD Publishing, París, https://doi.org/10.1787/5js33lf9jk41-en.
[73]
OCDE (2013), OECD Skills Outlook. Primeros resultados de la Encuesta sobre habilidades de adultos, OCDE, París,
https://www.oecd-ilibrary.org/education/oecd-skills-outlook-2013_9789264204256-en.
OCDE (ed.) (2009), The New Global Landscape of Nations and Institutions, OECD Publishing,
[sesenta y cinco]
París.
[61]
OCDE (2019b), Evaluación comparativa del desempeño del sistema de educación superior, Educación superior, OCDE
Editorial, París, https://doi.org/10.1787/be5514d7-en.
[30]
OCDE (2019a), OECD Skills Outlook 2019: Thriving in a Digital World, OECD Publishing, París,
https://doi.org/10.1787/df80bc12-en.
[7]
Paccagnella, M. (2016), “Competencia en alfabetización y aritmética en IALS, ALL y PIAAC”, OCDE
Education Working Papers, No. 142, OECD Publishing, París, https://doi.org/
10.1787/5jlpq7qglx5g-en.
[6]
Paccagnella, M. (2015), “Skills and Wage Inequality: Evidence from PIAAC”, OECD Education Working Papers, No.
114, OECD Publishing, París, https://doi.org/10.1787/5js4xfgl4ks0-en.
[66]
Rosen, Y., S. Derrara y M. Mosharraf (eds.) (2016), Mitigation of Test Bias in International, Cross-National Assessments
of Higher-Order Thinking Skills, IGI Global, Hershey, PA, https://doi .org/10.4018/978-1-4666-9441-5.ch018.
[71]
Saavedra, A. y J. Saavedra (2011), “¿Las universidades cultivan el pensamiento crítico, la resolución de problemas, la
escritura y habilidades interpersonales?”, Economics of Education Review, vol. 30/6, págs. 1516-1526, https://doi.org/
10.1016/j.econedurev.2011.08.006.
[21]
Sherriff, L. (2016), “Penguin Random House Publishers acaba de anunciar que está desguazando
Requisitos de grado para sus trabajos”, The Huffington Post UK, https://
www.huffingtonpost.co.uk/2016/01/18/penguins-random-house-scrapping-!degree requirements-
jobs_n_9007288.html?1453113478 (consultado el 18 de enero de 2016).
[20]
Sherriff, L. (2015), "Ernst & Young elimina la clasificación de títulos universitarios de los criterios de ingreso ya que 'no hay
evidencia' de que sea igual al éxito", The Huffington Post Reino Unido, https://www.huffingtonpost.co.uk/2016/01 /07/
ernst-and-young-remove-degree-classification entry-criteria_n_7932590.html (consultado el 7 de enero de 2016).
ÿ 37
The Economist (2016), “Ir a la universidad es más importante que nunca para los jóvenes. Pero [4]
los rendimientos financieros están cayendo”, The
Economist, https://www.economist.com/international/2018/02/03/going-to-university-is-more-important-than-
ever-for-young-people (consultado el 3 de febrero de 2016).
Tremblay, K., D. Lalancette y D. Roseveare (2012), “Estudio de viabilidad de la evaluación de los resultados [48]
del aprendizaje en la educación superior (AHELO)”, informe del estudio de viabilidad, vol. 1, https://
www.oecd.org/education/skills-beyond-school/AHELOFSReportVolume1.pdf
Usher, A. (2015), “Universidades que se comportan mal”, Inside Higher Education, [54]
https://www.insidehighered.com/blogs/world-view/universities-behave-badly.
Uttl, B., C. White y D. González (2017), “Metaanálisis de la eficacia docente del profesorado: la evaluación de [12]
los estudiantes sobre las calificaciones docentes y el aprendizaje de los estudiantes no están relacionados”,
Estudios en Evaluación Educativa, vol. 54, págs. 22-42, https://doi.org/10.1016/j.stueduc.2016.08.007.
Van Damme, D. (2021), “Transformando las universidades para un futuro sostenible”, en The Promise of [56]
Educación Superior (págs. 431-438), Springer International Publishing, https://
doi.org/10.1007/978-3-030-67245-4_64.
Van Damme, D. (2019), "Convergencia y divergencia en el sistema mundial de educación superior: el conflicto entre [5]
calificaciones y habilidades", Revista internacional de educación china, vol. 8/1, págs. 7-24, https://doi.org/
10.1163/22125868-12340102.
Van Damme, D. (2015), “La educación superior global necesita más y mejores métricas de aprendizaje. [51]
Por qué el proyecto AHELO de la OCDE podría ayudar a llenar el vacío”, European Journal of Higher
Education, vol. 5/4, págs. 425-436, https://doi.org/10.1080/21568235.2015.1087870.
Van Damme, D. (2009), “La búsqueda de la transparencia: convergencia y diversidad en la [74]

Proceso de Bolonia”, en F. Van Vught (ed.), Mapeo del panorama de la educación superior: hacia una clasificación
europea de la educación superior, Springer, Dordrecht, https://doi.org/10.1007/978-
90-481-2249-3_3.
van Vught, F. (2008), “Misión Diversidad y Reputación en la Educación Superior”, Educación Superior [dieciséis]
Política, vol. 21/2, págs. 151-174, https://doi.org/10.1057/hep.2008.5.
Van Vught, F. y F. Ziegele (eds.) (2012), Transparency, Quality and Accountability, Higher [11]
Education Dynamics 37, Springer, Dordrecht.
Vincent-Lancrin, S. (2019), Fomentar la creatividad y el pensamiento crítico de los estudiantes: lo que significa en [75]
School, Investigación e Innovación Educativas, OECD Publishing, París, https://doi.org/
10.1787/62212c37-en.
Wagenaar, R. (2019), ¡Reforma! Tuning the Modernization Process of Higher Education in Europe: A blueprint for [45]
student-centred learning, Tuning Academy, Groningen, https://research.rug.nl/en/publications/reform-tuning-the-
modernisation-process-of-higher educación-en-ue-2.
Weingarten, H., M. Hicks y A. Kaufman (eds.) (2018), El papel de las habilidades genéricas en la medición [62]
Calidad Académica, McGill-Queen's UP, Kingston, ON.
38 ÿ
Wolf, R., D. Zahner y R. Benjamin (2015), “Desafíos metodológicos en la [40]

programas comparativos de evaluación postsecundaria: lecciones aprendidas y el camino a seguir”, Studies in
Higher Education, vol. 40/3, págs. 471-481, https://doi.org/10.1080/03075079.2015.1004239.
Zahner, D. y A. Ciolfi (2018), “Comparación internacional de una evaluación basada en el desempeño en la educación [58]
superior”, en Evaluación de los resultados del aprendizaje en la educación superior, Metodología de medición y
evaluación educativa, Springer International Publishing, Cham, https: //doi.org/10.1007/978-3-319-74338-7_11.
Zahner, D. et al. (2021), “Medición de las competencias genéricas de estudiantes de educación superior y [37]
graduados: Implementación de CLA+ internacional”, en Evaluación del aprendizaje de pregrado en psicología:
Estrategias para medir y mejorar el desempeño de los estudiantes, Asociación Estadounidense de Psicología,
Washington, https://doi.org/10.1037/0000183-015.
Zlatkin-Troitschanskaia, O., H. Pant y H. Coates (2016), Evaluación de los resultados del aprendizaje de los estudiantes [72]
en educación superior: desafíos y perspectivas internacionales, https://doi.org/
10.1080/02602938.2016.1169501.
Zlatkin-Troitschanskaia, O., R. Shavelson y C. Kuhn (2015), “El estado internacional de [67]

investigación sobre la medición de la competencia en la educación superior”, Studies in Higher Education, vol.
ÿ 39
2 El aprendizaje colegiado
Evaluación: una evaluación basada en el
desempeño de habilidades genéricas
Doris Zahner, Consejo para la Ayuda a la Educación (Estados Unidos)
Tess Dawber, Consejo para la Ayuda a la Educación (Estados Unidos)
Kelly Rotholz, Consejo para la Ayuda a la Educación (Estados Unidos)
Los educadores y los empleadores reconocen claramente que el conocimiento basado en

hechos ya no es suficiente y que el pensamiento crítico, la resolución de problemas y las
habilidades de comunicación escrita son esenciales para el éxito. La oportunidad de mejorar
las habilidades esenciales de los estudiantes radica en la identificación y la acción. Evaluaciones que
Brindar a los educadores la oportunidad de ayudar a los estudiantes a identificar sus
fortalezas, así como las áreas en las que pueden mejorar, son fundamentales para desarrollar
pensadores críticos, solucionadores de problemas y comunicadores que serán esenciales en
el futuro. Con una atención cercana y cuidadosa a las habilidades esenciales de los
estudiantes, incluso un pequeño aumento en el desarrollo de estas habilidades podría
impulsar los resultados futuros para los estudiantes, los padres, las instituciones y la economía
en general.
40 ÿ
Introducción
La Evaluación del aprendizaje universitario (CLA+) es una evaluación de las habilidades genéricas de los estudiantes de
educación superior, específicamente el pensamiento crítico, la resolución de problemas y la comunicación escrita. Estas son
habilidades y resultados de aprendizaje defendidos por la mayoría de las instituciones de educación superior (Association of
American Colleges and Universities, 2011[1]; Arum and Roksa, 2011[2]; 2014[3]; Liu, Frankel and Roohr, 2014[4]; Wagner, 2010[5]),
sin embargo, hay una falta de evidencia sobre el grado en que realmente se logra mejorarlos (Benjamin, 2008a[6]; 2008b[7];
2012[8]; Bok, 2009[9]; Klein et al., 2007[ 10]).
Un informe especial reciente sobre las trayectorias profesionales de los estudiantes de educación superior (Zinshteyn, 2021[11])
indicó la importancia de que las instituciones de educación superior reconozcan, comprendan y aborden la brecha y el desajuste
de habilidades existentes y preparen a los estudiantes para el mundo laboral. Este informe se hace eco de investigaciones anteriores
(Montt, 2015[12]) sobre el problema del desajuste de habilidades, que se ha identificado como un problema global.
Si bien el conocimiento del contenido es una parte necesaria de la educación de un estudiante, por sí solo es insuficiente para que
un estudiante prospere académica y profesionalmente (Capital, 2016[13]; Hart Research Associates, 2013[14]; National Association
of Colleges and Employers, 2018[ 15]; Rios et al., 2020[16]; Foro Económico Mundial, 2016[17]).
La mayoría de los estudiantes (aproximadamente el 80%) se consideran competentes en las habilidades universitarias y
profesionales esenciales del pensamiento crítico, la resolución de problemas y la comunicación escrita. Sin embargo, el porcentaje
de empleadores que califican a los recién graduados como competentes en estas habilidades difiere mucho: 56 % para pensamiento
crítico/resolución de problemas y 42 % para comunicación (National Association of Colleges and Employers, 2018[15]).
Específicamente, las habilidades universitarias y profesionales esenciales, como el pensamiento crítico, la resolución de problemas
y la comunicación, son las habilidades que más valoran los gerentes de contratación (Capital, 2016[13]; Hart Research Associates,
2013[14]; National Association of Colleges and Employers, 2018[ 15]; Rios et al., 2020[16]; Foro Económico Mundial, 2016[17]).
Más que el conocimiento del contenido, estas son las habilidades que pueden ayudar a los estudiantes que ingresan a la educación
superior a lograr mejores resultados, como un GPA acumulativo más alto durante su permanencia en la universidad (Zahner,
Ramsaran and Zahner, 2012[18]). Sin embargo, estas habilidades esenciales a menudo no se enseñan explícitamente como parte
de los planes de estudios universitarios, ni se reflejan en el expediente académico de la universidad.
La investigación del Council for Aid to Education (CAE) muestra que aproximadamente el 60 % de los estudiantes que ingresan no
son competentes en estas habilidades, y dado que estas habilidades rara vez se enseñan explícitamente como parte del plan de
estudios universitario, la mayoría de los estudiantes tienen pocas oportunidades estructuradas para mejorar su competencia.
Identificar y apoyar a los estudiantes que pueden estar en riesgo debido a la competencia insuficiente en estas habilidades
esenciales al ingresar a la educación superior debe ser un componente para ayudar a mejorar las tasas de persistencia, retención y graduación.
Mejorar las habilidades esenciales de los estudiantes en la educación secundaria para prepararlos mejor para la educación
superior debería ser otro componente importante. La mejor manera de medir estas habilidades esenciales es mediante el uso de
una evaluación auténtica, válida y confiable.
Los educadores y los empleadores reconocen claramente que el conocimiento basado en hechos ya no es suficiente y que el
pensamiento crítico, la resolución de problemas y las habilidades de comunicación escrita son esenciales para el éxito. La
oportunidad de mejorar las habilidades esenciales de los estudiantes radica en la identificación y la acción. Las evaluaciones que
brindan a los educadores la oportunidad de ayudar a los estudiantes a identificar sus fortalezas, así como las áreas en las que
pueden mejorar, son fundamentales para desarrollar pensadores críticos, solucionadores de problemas y comunicadores que
serán esenciales en el futuro. Con una atención cercana y cuidadosa a las habilidades esenciales de los estudiantes, incluso un
pequeño aumento en el desarrollo de estas habilidades podría impulsar los resultados futuros para los estudiantes, los padres, las
instituciones y la economía en general.
CLA+
La Evaluación del aprendizaje universitario (CLA/CLA+) es una evaluación basada en el desempeño del pensamiento crítico y la
comunicación escrita. Tradicionalmente, el CLA era una evaluación a nivel institucional que medía
ÿ 41
ganancias de aprendizaje de los estudiantes dentro de una universidad (Klein et al., 2007[10]). El CLA empleó un enfoque de muestreo
matricial bajo el cual los estudiantes fueron distribuidos aleatoriamente en una Tarea de rendimiento (PT) o una Tarea de escritura
analítica para la cual se les asignó a los estudiantes 90 minutos y 75 minutos, respectivamente. Los CLA PT presentaron situaciones del
mundo real en las que se identificó un tema, problema o conflicto y se pidió a los estudiantes que asumieran un papel relevante para
abordar el problema, sugerir una solución o recomendar un curso de acción con base en la información proporcionada en una biblioteca
de documentos. . Las tareas de escritura analítica constaban de dos componentes: uno en el que a los estudiantes se les presentaba una
declaración en torno a la cual tenían que construir un argumento (Crear un argumento) y otro en el que a los estudiantes se les daba un
argumento lógicamente defectuoso que luego tenían que criticar (Criticar). un argumento).
En su forma original, la utilidad del CLA era limitada. Debido a que la evaluación consistió en solo una o dos respuestas de cada
estudiante, los resultados confiables solo estaban disponibles a nivel institucional y los resultados de los estudiantes no eran directamente
comparables. Asimismo, la presentación de informes para el CLA estaba restringida a los fines de su medida de valor agregado, y las
instituciones no eran elegibles para obtener resultados resumidos a menos que hubieran probado niveles de clase específicos en las
ventanas de prueba apropiadas.
Por lo tanto, el CLA+ se creó con un PT similar al PT CLA original como ancla de la evaluación.
El CLA+ también incluye un conjunto adicional de 25 preguntas de respuesta seleccionada (SRQ) para aumentar la confiabilidad del
instrumento (Zahner, 2013[19]) para informar los resultados de los estudiantes individuales. La sección SRQ está alineada con el mismo
constructo que el PT y está destinada a evaluar las habilidades cognitivas de orden superior en lugar de recordar el conocimiento fáctico.
Al igual que el PT, esta sección presenta a los estudiantes un conjunto de preguntas, así como uno o dos documentos para consultar al
responder cada pregunta. Los documentos de respaldo incluyen una variedad de fuentes de información, como cartas, memorandos,
fotografías, gráficos y artículos de periódicos. Cada estudiante recibe ambos componentes (PT y SRQ) de la evaluación.
El CLA+ tiene seis subpuntajes separados. Las respuestas abiertas de los estudiantes del PT se califican en tres subpuntajes, que tienen
un rango de 1 a 6: Análisis y resolución de problemas (APS), Eficacia de escritura (WE) y Mecánica de escritura (WM). Los SRQ constan
de tres subsecciones: razonamiento científico y cuantitativo (SQR), lectura crítica y evaluación (CRE) y crítica de un argumento (CA).
Los estudiantes tienen 60 minutos para completar el PT y 30 minutos para completar los SRQ. Hay una breve encuesta demográfica
después de la evaluación, que debe completarse en 15 minutos.
Además, CLA+ incluye una métrica en forma de niveles de dominio. Los niveles de dominio son categorizaciones cualitativas de puntajes
CLA+ totales, con puntajes de corte que se derivaron de un estudio de establecimiento de estándares.
(Zahner, 2014[20]). Las categorías de nivel de dominio son: Emergente, En desarrollo, Competente, Realizado y Avanzado.
Los documentos de muestra de CLA+ se pueden encontrar al final de este capítulo. Estos incluyen documentos y preguntas de PT y
SRQ, la rúbrica de calificación, un informe institucional de muestra y un informe de estudiante de muestra.
Puntuación CLA+
Todas las respuestas del PT de los estudiantes se califican dos veces, una por un motor de calificación de IA y la otra por un calificador
humano capacitado.
proceso de puntuación
Para CLA+, todas las respuestas de los estudiantes se califican dos veces, una vez por un evaluador humano y otra a través de un motor
de puntuación de IA. El entrenamiento para el proceso de puntuación está dirigido por el equipo de Ciencias de la Medición del CAE.
Todos los candidatos a anotadores son seleccionados por su experiencia en la enseñanza y calificación de escritura de estudiantes
universitarios y tienen al menos una maestría en una materia apropiada (p. ej., inglés). Una vez seleccionados, para convertirse en
evaluadores de CLA+, deben someterse a una formación rigurosa alineada con las mejores prácticas en evaluación.
42 ÿ
Se identifica un anotador líder para cada PT y es capacitado en persona o virtualmente por los editores y científicos de medición de
CAE. Después de esta capacitación, el anotador principal lleva a cabo una sesión de capacitación presencial o virtual (pero síncrona)
para los anotadores asignados a su PT particular. Un científico de medición o editor de CAE asiste a esta capacitación como observador
y mentor. Después de esta sesión de entrenamiento, se asignan tareas a los anotadores para calibrar a todo el equipo anotador. Toda
la capacitación incluye una orientación sobre las indicaciones y las rúbricas/guías de calificación, práctica repetida para calificar una
amplia gama de respuestas de los estudiantes y comentarios y debates extensos después de calificar cada respuesta. Debido a que
cada indicación puede tener diferentes argumentos posibles o información relevante, los evaluadores reciben orientación específica de
la indicación además de las rúbricas de puntuación. CAE proporciona una tarea de calificación para cualquier PT que estará operativo
antes del inicio de cada ventana de prueba para garantizar que los anotadores estén calibrados correctamente. Para las nuevas tareas
de rendimiento (es decir, pruebas piloto), primero se lleva a cabo una capacitación por separado para orientar a un anotador principal
sobre el nuevo PT, y luego se lleva a cabo una capacitación general para presentar el nuevo PT a los anotadores. Después de participar
en la capacitación, los calificadores completan una verificación de confiabilidad en la que califican el mismo conjunto de respuestas de
los estudiantes. Los anotadores con baja concordancia o confiabilidad (determinada por comparaciones de medias de puntuación bruta,
desviaciones estándar y correlaciones entre los anotadores) son entrenados más o eliminados de la puntuación.
Durante la prueba piloto de cualquier PT nuevo, todas las respuestas se califican dos veces por evaluadores humanos. Estas
respuestas de puntuación doble se utilizan luego para futuras capacitaciones de anotadores, así como para entrenar un motor de
puntuación de máquina para todas las futuras administraciones de pruebas operativas del PT.
Hasta 2020, CAE usaba Intelligent Essay Assessor (IEA) para la calificación de sus máquinas. IEA es el motor de puntuación
automatizado desarrollado por Pearson Knowledge Technologies para evaluar el significado de un texto, no solo la mecánica de
escritura. Pearson diseñó IEA para CLA+ utilizando una amplia gama de respuestas y puntajes reales de CLA+ para garantizar su
consistencia con los puntajes generados por evaluadores humanos. Por lo tanto, los evaluadores humanos siguen siendo la base para
calificar las tareas de CLA+. Sin embargo, la calificación automatizada ayuda a aumentar la precisión de la calificación, reduce la
cantidad de tiempo entre la administración de una prueba y la entrega de informes, y reduce los costos. La técnica de puntuación de
ensayos automatizada que utiliza CLA+ se conoce como análisis semántico latente (LSA), que
extrae el significado subyacente en el texto escrito. LSA utiliza el análisis matemático de al menos 800 respuestas de estudiantes por
PT y la experiencia colectiva de evaluadores humanos (cada una de estas respuestas debe ir acompañada de dos conjuntos de
puntajes de evaluadores humanos capacitados), y aplica lo que ha aprendido de los evaluadores expertos a nuevos , respuestas de
los estudiantes sin puntuación. A partir de 2021, CAE contrató a un nuevo socio, MZD, para la entrega y calificación de PT. La
plataforma de MZD tiene un motor de puntuación automático integrado, EMMA
(Powers, Loring and Henrich, 2019[21]) que funciona de manera muy similar a la IEA. De hecho, CAE realizó una comparación de las
dos plataformas de puntuación de IA y encontró que los resultados entre EMMA e IEA eran comparables.
Una vez que las tareas están completamente operativas, CLA+ utiliza una combinación de puntuación automatizada y humana para
sus tareas de rendimiento. En casi todos los casos, IEA proporciona un conjunto de puntajes y un ser humano proporciona el segundo
conjunto. Sin embargo, la IEA ocasionalmente identifica respuestas inusuales. Cuando esto sucede, la respuesta marcada se envía
automáticamente a la cola de puntuación humana para que la califique una segunda persona en lugar de la IEA. Para cualquier
respuesta dada, las subpuntuaciones finales del PT son simplemente los promedios de los dos conjuntos de puntuaciones, ya sea un
conjunto humano y un conjunto de máquinas o dos conjuntos humanos.
Para garantizar la calibración continua del anotador humano, CAE desarrolló el sistema de calibración para la interfaz de puntuación
en línea. El sistema de calibración se desarrolló para mejorar y agilizar la puntuación. La calibración de los anotadores a través del
sistema en línea requiere que los anotadores califiquen resultados previamente anotados, o "documentos de verificación", cuando
comienzan a puntuar por primera vez, así como a lo largo de la ventana de puntuación. El sistema presentará periódicamente
documentos de verificación a los calificadores en lugar de las respuestas de los estudiantes, aunque no se marcan a los calificadores
como tales. El sistema no indica cuando un anotador ha calificado con éxito un papel de verificación; sin embargo, si el anotador no
califica con precisión una serie de documentos de verificación, se le quitará la calificación y deberá participar en un proceso de
remediación. En este punto, los anotadores son entrenados más o eliminados de la puntuación.
ÿ 43
Utilizando datos del CLA, CAE utilizó una serie de tareas de rendimiento para comparar la precisión de la puntuación humana frente a la
automática. Para todas las tareas examinadas, las puntuaciones del motor de IA coincidieron más a menudo con el promedio de varios
expertos (r = 0,84-0,93) que dos expertos coincidieron entre sí (r = 0,80-0,88). Estos resultados sugieren que la calificación asistida por
computadora es tan precisa y, en algunos casos, más precisa que los calificadores humanos expertos (Steedle y Elliot, 2012[22]).
Psicometría CLA+
Diseño de prueba
El diseño de prueba de la evaluación CLA+ se muestra en la Tabla 2.1. Los números de ítems y puntos se dan tanto para los componentes
de la prueba como para la prueba total. Las tres subpuntuaciones del SRQ (SQR, CRE y CA) son categorías de informes que consisten
en elementos que miden un conjunto similar de habilidades.
Las respuestas de los estudiantes al PT se califican con tres rúbricas, cada una de las cuales se puntúa del 1 al 6. Las subpuntuaciones
dadas para los PT son APS, WE y WM.
Tabla 2.1. Diseño de prueba CLA+
Componente subpuntuación Elementos Puntos
Preguntas de respuesta seleccionada (SRQ) SQR 10 10
CRE 10 10
California 5 5
Total 25 25
Tarea de rendimiento (PT) APS 1 6
NOSOTROS 1 6
WM 1 6
Total 3 18
prueba total 28 43
Nota: SQR = Razonamiento Científico y Cuantitativo; CRE = Lectura Crítica y Evaluación; CA = Criticar un Argumento; APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de
Escritura.
CAE utiliza un diseño de muestreo matricial. Múltiples conjuntos de SRQ y PT se distribuyen aleatoriamente entre los estudiantes durante
una administración determinada. Como resultado, los análisis de confiabilidad se realizan por subpuntuación para los conjuntos SRQ y
por PT en lugar de por forma. Los datos resumidos a continuación se basan en las administraciones de CLA+ con estudiantes nacionales.
Fiabilidad
La confiabilidad se refiere a la consistencia de los puntajes de las pruebas de los estudiantes en formas paralelas de una prueba. Una
prueba confiable es aquella que produce puntajes relativamente estables si la prueba se administra repetidamente en condiciones similares.
La confiabilidad se evaluó utilizando el método de consistencia interna, que proporciona una estimación de la consistencia en el
desempeño de los examinados en los ítems de una prueba durante la administración de una sola prueba (Crocker y Algina, 1986[23]).
La fiabilidad de las puntuaciones brutas se estimó utilizando el coeficiente alfa de Cronbach, que es una estimación del límite inferior de
la fiabilidad de la prueba (Cronbach, 1951[24]). Los coeficientes de confiabilidad varían de 0 a 1, donde 1 indica una prueba perfectamente
confiable. Generalmente, se espera que una prueba más larga sea más confiable que una prueba más corta.
44 ÿ
Debido a que los puntajes del PT consisten en calificaciones en lugar de conjuntos de elementos, la confiabilidad de las calificaciones
se resume mediante índices de consistencia del calificador. Estos son el acuerdo del evaluador y las correlaciones entre el evaluador
puntuaciones.
Fiabilidad de SRQ
Los resultados promedio de consistencia interna para los conjuntos SRQ disponibles para uso operativo son 0,58 para SQR, 0,59
para CRE y 0,48 para CA. Las confiabilidades son más altas para los dos conjuntos de diez elementos en comparación con el
conjunto de cinco elementos.
Fiabilidad del TP
La consistencia del evaluador se resume para el acuerdo exacto y el acuerdo exacto más adyacente en las calificaciones, y para las
correlaciones entre las puntuaciones del evaluador para las calificaciones APS, WE y WM. Entre los PT y las administraciones, las
tasas de acuerdo exactas para las tres calificaciones están entre el 59 y el 61 por ciento y las tasas de acuerdo exactas más las
adyacentes son del 97 por ciento o más. Las correlaciones entre las puntuaciones de los evaluadores están en el rango de 0,60 a
0,70.
Correlaciones entre puntajes de escala
Las correlaciones entre la puntuación de escala total de CLA+ y las puntuaciones de escala de los componentes (es decir, PT, SRQ)
están en el rango de 0,80 a 0,90. Las correlaciones entre las puntuaciones de la escala PT y SRQ generalmente están entre 0,40 y
0,50. Las correlaciones entre las subpuntuaciones de PT y SRQ de SQR, CRE y CA tienden a estar entre 0,30 y 0,40 para SQR y
CRE (ambos conjuntos de diez puntos) y entre 0,25 y 0,40 para CA (conjunto de cinco puntos).
Cálculo de puntajes de escala
Las subpuntuaciones del SRQ se asignan en función del número de preguntas respondidas correctamente. El valor se ajusta para
tener en cuenta la dificultad del elemento y el valor ajustado se convierte a una escala común. La escala tiene una media de 500 y
una desviación estándar de 100. Las subpuntuaciones del SRQ varían de aproximadamente 200 a 800. El promedio ponderado de
las subpuntuaciones del SRQ se transforma utilizando los parámetros de escala para colocar las puntuaciones de la sección del SRQ
en la misma escala.
Las subpuntuaciones del PT se asignan en una escala del 1 al 6 según la rúbrica de puntuación. Las subpuntuaciones del PT no se
ajustan por dificultad porque están destinadas a facilitar las interpretaciones referidas a criterios descritas en la rúbrica. Las
subpuntuaciones del PT se suman para producir una puntuación bruta total, que luego se convierte a una escala común mediante una
transformación lineal. La conversión produce puntajes a escala que mantienen niveles comparables de desempeño entre los PT.
Los puntajes totales de CLA+ se calculan tomando el promedio de los puntajes de escala SRQ y PT. Los puntajes de corte del nivel
de dominio se aplican al puntaje total de CLA+ para asignar niveles de dominio a los puntajes de los estudiantes.
La información técnica sobre el procedimiento de equiparación lineal (Kolen and Brennan, 2004[25]) se proporciona en el Anexo de
este capítulo.
Establecimiento de niveles de dominio
Los puntajes totales de la escala de prueba se contextualizan mediante la asignación de niveles de dominio o desempeño. En
diciembre de 2013 se llevó a cabo un taller de establecimiento de estándares para establecer los estándares de desempeño para los
niveles en desarrollo, competente y avanzado. En noviembre de 2014 se agregó un cuarto estándar de desempeño, Cumplido,
utilizando la misma metodología y panelistas.
ÿ 45
Las discusiones de los panelistas se basaron en el conocimiento, las habilidades y las capacidades necesarias para desempeñarse
bien en el CLA+. El propósito de la actividad fue desarrollar consenso entre los panelistas con respecto a un perfil narrativo de los
conocimientos, habilidades y destrezas requeridas para desempeñarse en cada nivel de dominio. Luego, durante las actividades
de calificación, los panelistas se basaron en estas descripciones para emitir sus juicios en función de los elementos y el desempeño
de los estudiantes. La Tabla 2.2 muestra los puntajes de corte de CLA+ utilizados para asignar niveles de dominio.
Tabla 2.2. Puntuaciones de corte del nivel de dominio de CLA+
Nivel de dominio Puntuación de escala
Desarrollando 963
Competente 1097
Logrado 1223
Avanzado 1368
Figura 2.1. Muestra CLA+PT
46 ÿ
Figura 2.2. Documento 1: Borrador del plan de negocios de los amigos por correspondencia
ÿ 47
Figura 2.3. Documento 2: Memo de Nelson Fareira. JD
48 ÿ
Figura 2.4. Documento 3: Estadísticas de Aplicaciones en Internet y Anuncios en Internet.
ÿ 49
Figura 2.5. Documento 4: Foro de discusión en línea Business Universe
50 ÿ
Figura 2.6. Documento 5: Artículo de la revista Bottom Line
ÿ 51
Figura 2.7. Documento 6: Correo electrónico de Imani Willis, sitio web de contratación de ReCrucial
52 ÿ
Figura 2.8. Ejemplo de CLA+ SRQ (Parte 1)
ÿ 53
54 ÿ
ÿ 55
Figura 2.11. Rúbrica de puntuación CLA+
56 ÿ
Figura 2.12. Ejemplo de informe institucional CLA+
ÿ 57
Figura 2.13. Ejemplo de informe de estudiante de CLA+
58 ÿ
Referencias
Arum, R. y J. Roksa (2014), Adultos aspirantes a la deriva. Transiciones tentativas de la universidad [3]
Graduados, Chicago University Press, Chicago, IL.
Arum, R. y J. Roksa (2011), Académicamente a la deriva. Aprendizaje limitado en campus universitarios, Chicago University [2]
Press, Chicago, IL.
Asociación de Colegios y Universidades Estadounidenses (2011), “The LEAP Vision for Learning: [1]
Resultados, prácticas, impacto y puntos de vista de los empleadores”, vol. 26/3, pág. 34.
Benjamin, R. (2012), “Las siete pistas falsas sobre las evaluaciones estandarizadas en la educación superior”, Instituto [8]
Nacional para la Evaluación de los Resultados del Aprendizaje, septiembre, págs. 7-14.
Benjamin, R. (2008a), “The Case for Comparative Institutional Assessment of Higher-Order Thinking Skills”, Change: The [6]
Magazine of Higher Learning, vol. 40/6, págs. 50-55, https://doi.org/10.3200/chng.40.6.50-55.
Benjamin, R. (2008b), The Contribution of the Collegiate Learning Assessment to Teaching and [7]
Learning, Consejo para la Ayuda a la Educación, Nueva York.
Bok, D. (2009), Nuestras universidades de bajo rendimiento: una mirada sincera a cuánto aprenden los estudiantes y por qué [9]
deberían aprender más, https://doi.org/10.1111/j.1540-5931.2007.00471.x.
Capital, P. (2016), Informe de preparación de habilidades laborales de 2016, http://www.payscale.com/data packages/job-skills. [13]
Crocker, L. y J. Algina (1986), Introducción a la teoría de pruebas clásica y moderna, Wadsworth Group/Thomson Learning, [23]
Belmont, CA.
Cronbach, L. (1951), “Coeficiente alfa y la estructura interna de las pruebas”, Psychometika, [24]
vol. 16/3, págs. 297-334, https://doi.org/10.1007/BF02310555.
Hart Research Associates (2013), “Se necesita más que una especialización: Prioridades del empleador para la universidad [14]
aprendizaje y éxito estudiantil”, Liberal Education, vol. 99/2.
Klein, S. et al. (2007), “La evaluación del aprendizaje universitario: hechos y fantasías”, Evaluation Review, vol. 31/5, págs. [10]
415-439, https://doi.org/10.1177/0193841X07303318.
Kolen, M. y R. Brennan (2004), Igualación, escalado y vinculación de pruebas: métodos y prácticas, [25]
2ª edición, Springer, Nueva York.
Liu, O., L. Frankel y K. Roohr (2014), “Evaluación del pensamiento crítico en la educación superior: [4]
Estado actual y direcciones para la evaluación de próxima generación”, Serie de informes de investigación de ETS, vol. 2014/1,
págs. 1-14, https://doi.org/10.1002/ets2.12009.
Montt, G. (2015), “Las causas y consecuencias del desajuste del campo de estudio: un análisis utilizando [12]
PIAAC”, Documentos de Trabajo 167 sobre Social, Empleo y Migración de la OCDE.
Asociación Nacional de Universidades y Empleadores (2018), ¿Están los graduados universitarios “preparados para la carrera”?, [15]
https://www.naceweb.org/career-readiness/competencies/are-college-graduates-career ready/ (consultado el 19 de
febrero de 2018).
Powers, S., M. Loring y Z. Henrich (2019), Automatización de marcado de máquinas de ensayo (EMMA) [21]
Informe de investigación, MZD.
ÿ 59
Ríos, J. et al. (2020), "Identificación de habilidades críticas del siglo XXI para el éxito en el lugar de trabajo: un análisis de [dieciséis]
contenido de anuncios de trabajo", Investigador educativo, vol. 49/2, págs. 80-89, https://doi.org/10.3102/0013189X19890600.
Steedle, J. y S. Elliot (2012), La eficacia de la calificación automatizada de ensayos para evaluar las respuestas de los [22]
estudiantes a tareas complejas de rendimiento de pensamiento crítico, Council for Aid to Education, Nueva York, NY.
Wagner, T. (2010), The Global Achievement Gap: Por qué incluso nuestras mejores escuelas no enseñan las nuevas habilidades [5]
de supervivencia que necesitan nuestros niños y qué podemos hacer al respecto, Basic Books, Nueva York, NY.
Foro Económico Mundial (2016), Informe Global Challenge Insight: El futuro de los trabajos: [17]
Estrategia de Empleo, Habilidades y Fuerza Laboral para la Cuarta Revolución Industrial, Foro Económico Mundial,
http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf.
Zahner, D. (2014), Informe final del estudio de establecimiento de estándares CLA+, Consejo para la Ayuda a la Educación, Nueva [20]
York, Nueva York.
Zahner, D. (2013), Confiabilidad y Validez – CLA+, Consejo para la Ayuda a la Educación, Nueva York, NY. [19]
Zahner, D., L. Ramsaran y D. Zahner (2012), “Comparación de alternativas en la predicción del éxito universitario”, Reunión [18]
Anual de la Asociación Estadounidense de Investigación Educativa.
Zinshteyn, M. (2021), "Carreras en una era cambiante: cómo la educación superior puede combatir la brecha de habilidades y [11]
preparar a los estudiantes para un mundo laboral dinámico", Inside Higher Ed..
60 ÿ
Anexo 2.A. Procedimiento de equiparación lineal
CAE utiliza la equiparación lineal para transformar los puntajes a la escala de informes. La siguiente información
técnica se obtuvo de Kolen y Brennan (2004[25]).
En la equiparación lineal, las puntuaciones que están a la misma distancia de sus medias en unidades de desviación estándar se establecen
para que sean iguales. Se puede considerar que la equiparación lineal permite que las unidades de escala, así como las medias, de las
dos formas difieran.
Defina ( ) como la media en el formulario X y ÿ(Y) como la media en el formulario Y para una población de examinados.
Defina ( ) como la desviación estándar de la Forma X y ÿ(Y) como la desviación estándar de la Forma Y.
La conversión lineal se define estableciendo puntuaciones de desviación estandarizadas (puntuaciones z) en las dos formas para que
sean iguales de modo que:
ÿ() = ÿ()
() ()
Una forma de expresar la ecuación lineal para convertir las puntuaciones observadas en el Formulario X a la escala del Formulario
Y es la siguiente:
() ()
()==
() +[()ÿ () ( )]
La expresión es una ecuación lineal de la forma pendiente (x) + intersección con:
= () ()
,y =()ÿ ()
() ()
Los procedimientos de equiparación de CLA+ se describen a continuación.
Las subpuntuaciones sin procesar del SRQ (SQR, CRE, CA) se someten a un proceso de escalado para corregir los diferentes
niveles de dificultad de las secciones de la subpuntuación. La media escalada y la desviación estándar para cada subpuntuación
son aproximadamente 500 y 100, respectivamente. La puntuación total del SRQ se calcula tomando un promedio ponderado de
las subpuntuaciones del SRQ, con ponderaciones correspondientes al número de elementos de cada sección de la
subpuntuación. El puntaje total del SRQ luego sufre una transformación lineal para equipararlo con los puntajes obtenidos por
nuestra población estándar de estudiantes universitarios de primer año en el conjunto original de SRQ. Este proceso garantiza
que los puntajes de SRQ se puedan comparar entre sí, independientemente de qué conjunto de SRQ se administró o en qué
año se tomó la prueba.
Las subpuntuaciones brutas de PT se suman para producir una única puntuación total de PT bruta. El puntaje total bruto
del PT sufre una transformación lineal para equipararlo con los puntajes obtenidos por nuestra población estándar de
estudiantes universitarios de primer año en el conjunto original de PT. Esto asegura que los puntajes del PT se puedan
comparar entre sí, independientemente de qué PT se administró o en qué año se tomó la prueba. La puntuación de
escala total de CLA+ se calcula promediando las puntuaciones de escala de SRQ y PT. Los tres puntajes de escala
(SRQ, PT, total) varían de 400 a 1 600, la escala de puntaje normal de SAT Math y Critical Reading.
Debido a que el CLA+ se administra en diferentes idiomas, se realizan escalas separadas según el idioma de
administración. Por ejemplo, las transformaciones lineales aplicadas para las pruebas de español administradas
en México y Chile fueron las mismas para un conjunto SRQ o PT determinado, al igual que las transformaciones
lineales aplicadas para las pruebas de inglés administradas en EE. UU. y el Reino Unido.
ÿ 61
3 CLA+ Internacional
Este capítulo explora el Memorando de Entendimiento suscrito por el Consejo de

Ayuda a la Educación (CAE) y la OCDE para que ambas organizaciones
continúen colaborando en la evaluación de las competencias genéricas de los
estudiantes de educación superior.
62 ÿ
Introducción
Usando las lecciones aprendidas del estudio de factibilidad Assessment of Higher Education Learning Outcomes (AHELO) (Dias and
Amaral, 2014[1]; Ewell, 2012[2]; Lalancette, 2013[3]; Tremblay, 2013[4]; Wolf and Zahner, 2016[5]; Wolf, Zahner and Benjamin, 2015[6]),
el Consejo de Ayuda a la Educación (CAE) y la OCDE firmaron un Memorando de Entendimiento (MOU), que permitió a las dos
organizaciones continuar colaborando en la evaluación Competencias genéricas de los estudiantes de educación superior. La intención
del MOU era la colaboración entre la Dirección de Educación y Habilidades de la OCDE y el CAE para permitir que las instituciones y
jurisdicciones de educación terciaria desarrollen e implementen evaluaciones innovadoras basadas en el desempeño para medir las
habilidades genéricas de los estudiantes de educación superior (Tabla 3.1). La colaboración incluyó actividades como:
• marketing y reclutamiento
• traducciones y adaptaciones de CLA+

• administración de pruebas
• entrenamiento de puntuación
• puntuación y presentación de informes
• Benchmarking internacional
• Publicaciones y presentaciones.
Tabla 3.1. Responsabilidades y contribuciones para el proyecto para CAE y la OCDE como se
describe en el MOU
Contribución Organización notas

Desarrollar instrumentos de prueba en colaboración CAE Traducción y adaptación completadas de tres
con las jurisdicciones participantes y la OCDE formas de CLA+ International
Administrar pruebas sobre plataformas seguras de CAE Administración completa de CLA+

Internet Internacional a las instituciones participantes en el
Reino Unido, México, Chile y Finlandia
Formar calificadores nacionales reclutados por cada CAE Entrenamiento completo de goleador para el Reino Unido,
entidad que implementa la prueba México, Chile y Finlandia
Recopilar puntajes y análisis y preparar informes (y CAE Informes de puntuación completados para el Reino Unido,
otras investigaciones si las entidades lo solicitan) a México, Chile y Finlandia

nivel individual de estudiante e institucional en
colaboración con el
OCDE
Proporcionar una configuración estándar para niveles CAE Las instituciones participantes decidieron utilizar
de dominio basados en criterios de referencia de países Niveles de dominio CLA+ para sus insignias
para insignias de estudiantes individuales si los países
lo solicitan
Desarrollar un sistema transparente de costos CAE Esto ha ocurrido en América Latina donde se están
compartidos entre las jurisdicciones participantes reclutando instituciones individuales
Apoyar la participación de la jurisdicción en la OCDE Se ha contactado a los países miembros y

Programa socios de la OCDE posiblemente
interesados
Asesorar sobre posibles medidas para optimizar la OCDE En proceso

comparabilidad de los resultados de la evaluación
Realizar investigaciones sobre los resultados de la OCDE En proceso
evaluación proporcionados por las jurisdicciones que participan en el
Programa a su elección
Publicar informes de la OCDE sobre el análisis de la OCDE En proceso

OCDE de los resultados, hallazgos y recomendaciones
de los datos de prueba.
ÿ 63
Convocar a las jurisdicciones participantes en el Reuniones internacionales de la OCDE CLA+ en septiembre

Programa y otros para compartir conocimientos y 2016 (París), febrero de 2017 (Cambridge,
experiencias en la mejora de los resultados del aprendizaje Reino Unido), septiembre de 2018 (París),
30 de marzo de 2020 (virtual)
Febrero 2021 (Virtual)
Participar en un proceso a largo plazo de desarrollo y OCDE En proceso

mejora de los instrumentos de evaluación de acuerdo
con las necesidades y aspiraciones de las jurisdicciones
participantes
El MOU estipulaba que para su ejecución no se suponía que debían ocurrir transacciones financieras entre CAE y la OCDE. Los
acuerdos financieros se concluyeron bilateralmente entre las jurisdicciones participantes y CAE sin ninguna participación de la
OCDE. Los gastos limitados en la OCDE, principalmente para compensar el tiempo dedicado por el personal, fueron cubiertos por
subvenciones de países del estudio de viabilidad de AHELO.
Reclutamiento internacional CLA+
Se utilizaron dos enfoques para reclutar participantes en CLA+ internacional: de arriba hacia abajo y de abajo hacia arriba. Para la
estrategia de arriba hacia abajo, CAE colaboró con la OCDE, como se describe en el MOU para la participación a nivel de ministerio.
La OCDE se acercó a los representantes de los países miembros y socios de la OCDE posiblemente interesados para participar en
la jurisdicción. La OCDE también organizó una serie de conferencias que convocaron a todos los participantes en la iniciativa, así
como a las jurisdicciones interesadas. Se convocaron un total de seis conferencias (Cuadro 3.2).
Tabla 3.2. Conferencias globales internacionales de CLA+
Título de la conferencia Fecha Ubicación
Programa Internacional OCDE/CAE para 20 enero 2016 Centro de conferencias de la OCDE
Evaluación terciaria
Reunión Inaugural del CAE-OCDE 3 – 5 de octubre de 2016 Centro de conferencias de la OCDE
Programa Internacional para Terciario

Evaluación
Uso de evaluaciones basadas en evidencia 2 – 3 febrero 2017 Cambridge, Reino Unido
Decisiones de política
Iniciativa Internacional OCDE/CLA+: Uso 14 de septiembre de 2018 Centro de conferencias de la OCDE
Evaluación para políticas basadas en evidencia

Decisiones
OCDE/CLA+ Internacional Iniciativa: 30 marzo 2020 Virtual
Evaluación de competencias genéricas en educación terciaria
Educación - Informe de progreso

Primeros resultados del CLA+ finlandés 17 febrero 2021 Virtual
estudio internacional
Para la estrategia de abajo hacia arriba, CAE involucró a CAE Fellows para reclutar instituciones individuales u organizaciones
regionales y consorcios. Los CAE Fellows ayudan a CAE mediante la introducción y el apoyo de CLA+ para sus regiones. Los
becarios CAE se seleccionan en función de su experiencia en los campos de la educación y la evaluación.
Sus responsabilidades incluyen el reclutamiento de instituciones, presentaciones en conferencias regionales e informes de
actualizaciones regionales durante las reuniones del proyecto. El personal y el liderazgo del DEA también son una parte integral del
reclutamiento y las presentaciones (Tabla 3.3).
64 ÿ
Tabla 3.3. Conferencias Regionales Internacionales CLA+
Título de presentación Fecha Conferencia/Ubicación
Un estudio de caso de una internacional 4 abril 2014 AERA

Evaluación basada en el desempeño de críticos Filadelfia, Pensilvania
Habilidades de pensamiento
Pruebas Internacionales de una Actuación 12 abril 2016 AERA

Evaluación basada Washington DC
Evaluación Internacional del Estudiante 17 de octubre de 2016 Calidad de la educación postsecundaria
Iniciativa de resultados de aprendizaje: Junta de Evaluación, Toronto, Canadá
Una aplicación del cuadrante de Pasteur 26 de septiembre de 2017 Lima, Perú
CLA+ Internacional, Iniciativas OECE/CAE 13 abril 2018 AERA,

Nueva York, NY
Pruebas Internacionales de una Actuación 12 de octubre de 2018 Calidad de la educación postsecundaria

Evaluación basada en la educación superior Junta de Evaluación, Toronto, Canadá
Evaluación Internacional de Competencias Genéricas 15 mayo 2019 CINDA,
Santiago, Chile
Medición de habilidades genéricas en un entorno internacional 3 junio 2021 INQAAHE

Contexto Virtual
Medición de los resultados del aprendizaje 7 – 8 de octubre de 2021 INQAAHE

Logro Barcelona, España
Colaboradores de CLA+ Internacional
La primera colaboración, a partir de 2013, fue entre CAE y la Agencia Nacional Italiana para la Evaluación de Universidades
e Institutos de Investigación (ANVUR). La decisión de ANVUR de participar en CLA+ International fue un resultado directo
de AHELO. Italia participó únicamente en la rama de ingeniería del estudio de viabilidad y estaba interesada en evaluar las
habilidades genéricas de sus estudiantes.
Esto fue seguido por estudios de ganancia de aprendizaje estudiantil con la Universidad de Guadalajara (23 campus), un
consorcio de cuatro instituciones “posteriores a 1992” (Hannah, 1996[7]) y una universidad pública en el Reino Unido, varias
instituciones individuales en todo Chile. , y 18 universidades y universidades de ciencias aplicadas en un estudio patrocinado
por el Ministerio de Cultura y Educación de Finlandia. Más recientemente, un gran sistema universitario privado en México
con seis campus se unió a la iniciativa con la intención de evaluar a más de 2 200 estudiantes y centrarse en medir los
avances en el aprendizaje de los estudiantes tanto dentro de los campus individuales y campos de estudio, como en todo el
sistema.
Los propósitos de los países e instituciones individuales que participan en CLA+ International varían desde la necesidad de
evaluar a los estudiantes individuales para cumplir con los requisitos de graduación universitaria hasta comprender el nivel
y la calidad de las habilidades genéricas de los estudiantes dentro del sistema de educación superior. Los capítulos
individuales de la Parte III de este manuscrito brindan información detallada sobre cada país o región participante.
Se han publicado estudios previos de CLA+ International sobre países o instituciones individuales (Shek et al., 2016[8];
Zahner and Ciolfi, 2018[9]; Zahner and Kostoris, 2016[10]; Zahner et al., 2020[11 ]; Zlatkin Troitschanskaia et al., 2018[12]).
Sin embargo, este es el primer estudio de investigación que agrega todos los datos de CLA+ International y reporta los
resultados dentro y entre países/regiones. Los resultados de países, regiones e instituciones individuales se pueden
encontrar en la Parte III de este manuscrito. La perspectiva y los posibles proyectos futuros que utilizan CLA+ International
se pueden encontrar en la Parte IV.
CLA+ Desarrollo y administración de evaluaciones internacionales
Dado que CLA+ era un instrumento válido y confiable existente (Zahner, 2013[13]): Capítulo 3) y ya se había desarrollado
para estudiantes en los Estados Unidos, no se hicieron nuevas versiones de la evaluación para CLA+
ÿ 65
Internacional. Más bien, las tareas de rendimiento (PT) y las preguntas de respuesta seleccionada (SRQ) fueron
seleccionadas por un comité de científicos de medición CAE y educadores y administradores de educación superior
internacional para traducir, adaptar y administrar internacionalmente.
Selección de tareas de rendimiento (PT) y preguntas de respuesta seleccionada (SRQ)
Se seleccionaron tres PT y tres conjuntos de SRQ para uso internacional. Estos PT y SRQ se eligieron porque los temas
eran relevantes y relacionables en múltiples culturas y contextos, y funcionaron bien operativamente cuando se usaron en
los Estados Unidos. Los ministerios o grandes consorcios que participaron en CLA+ International tuvieron la oportunidad
de seleccionar el PT y los conjuntos de SRQ que se utilizarán para su participación internacional. CAE les presentó las tres
opciones y recomendó un conjunto único si el grupo estaba interesado en resultados comparables internacionalmente.
Todos los consorcios optaron por utilizar el conjunto que permitía obtener datos internacionalmente comparables.
En el caso de América Latina, CAE trabajó directamente con instituciones individuales para entregar CLA+ International.
En esta circunstancia, el CAE seleccionó los artículos a utilizar y supervisó el proceso de traducción y adaptación.
Traducción y adaptación
El proceso de traducción y adaptación estuvo a cargo de CAE y su socio de traducción cApStAn en colaboración con los
miembros del equipo de país, siguiendo las mejores prácticas de la industria (Geisinger, 1994[14]; Hambleton and Li,
2005[15]). La traducción y adaptación de una evaluación del desempeño es un proceso más complejo que el simple
reemplazo palabra por palabra de un idioma a otro. En CAE, los expertos en traducción y adaptación se aseguran de que
las evaluaciones traducidas y adaptadas sean consistentes con la versión original en el idioma de origen y, lo que es igual
de importante, serán interpretadas por los estudiantes en su idioma nativo según lo previsto. Los expertos del CAE
confirman que los temas de evaluación poseen la misma autenticidad, contexto y significado para la población estudiantil
objetivo que para la población estudiantil original para la cual se desarrollaron inicialmente las tareas. CAE utiliza un
proceso de traducción de cinco pasos aceptado internacionalmente de conformidad con las pautas del Comité Internacional
de Traducción (ITC), las mismas pautas que se utilizan para el proceso de localización de importantes estudios
internacionales como el Programa para la Evaluación Internacional de Estudiantes (PISA), Tendencias en Matemáticas
Internacionales y Science Study (TIMMS), Progress in International Reading Literacy Study (PIRLS), Program for the
International Assessment of Adult Competencies (PIAAC) y AHELO. Este proceso incluye:
1. Revisión de la traducibilidad: el material original se revisa para confirmar que el texto se adaptará bien a los idiomas
y culturas de los miembros. Se presta especial atención a la desambiguación de la fuente, respetando las
correspondencias clave entre estímulos y preguntas, y determinando qué debe o no adaptarse al contexto local.
2. Doble traducción y conciliación: dos traductores revisan el texto de forma independiente y proporcionan las
traducciones. Las traducciones se concilian y se envían a los equipos de los países para su revisión.
3. Revisión del equipo de miembros: los miembros tienen la oportunidad de revisar el trabajo traducido y brindar
aportes y recomendaciones.
4. Verificación Enfocada: El proceso de verificación asegura que la evaluación traducida y adaptada
es coherente con el contexto y la intención de la evaluación original.
5. Laboratorios cognitivos, según corresponda: con la orientación de CAE, los miembros realizan laboratorios cognitivos
con una pequeña muestra de estudiantes participantes para garantizar que la evaluación traducida y adaptada
sea clara y coherente con el contexto y la intención de la evaluación original.
CAE siguió este proceso de traducción y adaptación para su uso en Italia, Finlandia y México. Para la primera traducción y
adaptación del CLA+ Internacional en español para países de habla hispana además de México, se utilizó un proceso de
adaptación modificado dado el corto plazo de esta primera administración.
66 ÿ
cApStAn revisó la traducción que se completó para el contenido de la prueba en español mexicano e hizo recomendaciones de
adaptación que son regionalmente apropiadas para su uso en Chile. Estas recomendaciones fueron revisadas y aprobadas por el
equipo científico de medición de CAE.
laboratorios cognitivos
Siguiendo las mejores prácticas en la traducción y adaptación de evaluaciones (Geisinger, 1994[14]; Hambleton and Li, 2005[15]), se
recomendaron laboratorios cognitivos (Leighton, 2017[16]; Zucker, Sassman and Case, 2004[17]) para mejorar y verificar la calidad de
las evaluaciones traducidas y adaptadas. Además, los laboratorios cognitivos se utilizaron para confirmar que los procesos cognitivos
y el razonamiento provocados por la evaluación CLA+ International traducida y adaptada eran coherentes y estaban alineados con los
constructos medidos por CLA+. Más específicamente, los laboratorios cognitivos estaban destinados a garantizar que la traducción y
adaptación de CLA+ del inglés a otros idiomas: 1) no alterara los constructos medidos; 2) fue interpretado por los participantes en las
formas previstas originalmente; y 3) no fue más difícil de leer y comprender para los participantes del país que si las tareas se hubieran
escrito originalmente en el idioma nativo del participante.
El personal del proyecto en el país asignó a un entrevistador para que realizara los laboratorios cognitivos con participantes voluntarios
utilizando la versión impresa de la evaluación. Si se consideraba necesario, se preparaba una versión revisada de cada evaluación
traducida y adaptada en base a la información extraída de los laboratorios cognitivos.
Los laboratorios cognitivos de CLA+ International se realizaron en tres etapas:
1. Capacitación, en la que el entrevistador explicó el propósito del laboratorio cognitivo y capacitó a los participantes para que
pensaran en voz alta con pequeñas tareas.
2. Pensar en voz alta, en el que los participantes proporcionaron informes verbales simultáneos de su pensamiento mientras
realizaban la tarea. Durante el pensamiento en voz alta, el entrevistador tomó notas sobre los procesos de razonamiento, así
como sobre posibles problemas de traducción y/o adaptación.
3. Entrevista de seguimiento, en la que el entrevistador hizo preguntas con guión con la intención de obtener información adicional
sobre la claridad de la traducción y adaptación de la evaluación, problemas de traducción y adaptación y las estrategias de
los participantes para llegar a su respuesta o solución.
Además de la toma de notas del entrevistador, se grabó en audio el laboratorio cognitivo de cada participante.
El personal del proyecto que trabajaba en equipos escuchó las grabaciones para identificar posibles desafíos no deseados que
pudieran haber resultado de la traducción y adaptación. Con base en el análisis de los protocolos de pensamiento en voz alta de los
participantes y las respuestas a las preguntas de seguimiento, el personal del proyecto identificó formas en las que la traducción y
adaptación de la evaluación necesitaban mejoras. Estos hallazgos se compartieron con CAE y se implementaron todos los ajustes y
ediciones necesarios.
Administración de pruebas y actividades asociadas
Después de los procesos de traducción y adaptación, y del laboratorio cognitivo, el CAE trabajó con todas las instituciones participantes
para finalizar la evaluación antes de la administración de la prueba. CAE brindó orientación a los miembros participantes sobre cómo
mejorar los esfuerzos de reclutamiento de estudiantes, capacitación de supervisores y preparación para la administración del día del
examen. CAE también brindó soporte técnico antes, durante y después de la administración de la prueba.
Hitos y actividades importantes
• La plataforma de prueba en línea escalable y segura de CAE se tradujo al idioma apropiado.
• Todos los materiales de prueba y las rúbricas de calificación se tradujeron al idioma apropiado.
• Se entregaron instructivos y guías administrativas a los equipos integrantes.
• Se realizaron laboratorios cognitivos con la supervisión del CAE.
ÿ 67
• Mejores prácticas ejemplares, materiales de comunicación, capacitación y orientación logística fueron

previsto.
• El reclutamiento de estudiantes se realizó con el apoyo del CAE.
• La prueba se administró usando una plataforma segura de prueba en línea.
• Capacitación de Lead Scorers realizada por CAE.
• Los anotadores de los miembros se calificaron utilizando la plataforma segura de calificación en línea de CAE.
• La revisión y el análisis de los datos del CAE fue seguido por la preparación de los informes de los miembros.
• CAE preparó y distribuyó informes individuales de los estudiantes y credenciales/certificados seguros.

y/o el miembro.
Administración
CLA+ International se administra a través de una plataforma de pruebas basada en Internet. Los examinados ingresan al examen a través
de un navegador seguro que bloquea las funciones innecesarias de la computadora y distribuye un PT de 60 minutos y una sección SRQ
de 25 elementos de 30 minutos a cada estudiante.
• El PT les pide a los estudiantes que elaboren una respuesta escrita a una pregunta abierta sobre un hipotético
pero escenario realista usando una biblioteca de documentos relevantes (Biblioteca de Documentos).
• Los SRQ les piden a los estudiantes que elijan la mejor respuesta a las preguntas en las categorías de alfabetización científica y
cuantitativa, lectura crítica y evaluación, y crítica de un argumento.
Todas las sesiones de prueba requieren un supervisor para autorizar a los estudiantes a ingresar a la interfaz y administrar el entorno de
prueba. La evaluación está diseñada para completarse en aproximadamente 90 minutos. Al comienzo de la sesión de prueba, hay un
tutorial opcional que los estudiantes pueden recorrer o pasar por alto si así lo desean. La evaluación requiere una administración
estandarizada para garantizar condiciones de prueba consistentes para todos los estudiantes. CAE proporciona materiales de capacitación
para Administradores Institucionales y Procuradores.
proceso de puntuación
Para CLA+ International, todas las respuestas de los estudiantes fueron puntuadas dos veces por evaluadores humanos que hablaban
con fluidez el idioma nativo del estudiante. La capacitación para el proceso de puntuación fue dirigida por el equipo de Ciencias de la
Medición de CAE y comenzó con una capacitación grupal para todos los Lead Scorers de todos los miembros/instituciones participantes.
La mayoría de las capacitaciones se llevaron a cabo en el país como una capacitación en persona de dos días.
El CAE recomendó nombrar a un Anotador líder y un Anotador líder asistente (o co-líder) para asistir a esta capacitación para distribuir
mejor la información y las responsabilidades que siguieron. Se realizó capacitación en persona para los participantes en el Reino Unido,
Italia, México y Finlandia. Los colegas en México optaron por que el CAE supervisara el proceso de calificación de su participación. El
entrenamiento ocurrió una vez por administración de la prueba. Esta capacitación se llevó a cabo en inglés, utilizando respuestas
ejemplares de estudiantes estadounidenses. Todo el score se realizó y fue monitoreado en la plataforma de CAE. Luego siguieron los
análisis de datos y los informes. El anotador principal y el anotador principal asistente se sometieron a un entrenamiento riguroso para
convertirse en parte del equipo de anotadores de CLA+ International.
El entrenamiento de puntuación para los PTs incluyó:
• una orientación sobre las indicaciones y las rúbricas/guías de puntuación
• práctica repetida para calificar una amplia gama de respuestas de los estudiantes
• extensa retroalimentación y discusión después de calificar cada respuesta.
Luego de esta capacitación, los miembros del equipo CAE actuaron como un recurso para el Anotador principal y el Anotador principal
asistente, quienes fueron responsables de reclutar y capacitar al equipo de anotadores del miembro. Esto garantizó la calidad y la
coherencia tanto dentro como entre países. Los evaluadores fueron reclutados de las instituciones participantes de acuerdo con su
capacidad para juzgar las habilidades genéricas de los estudiantes universitarios. Las instituciones a menudo nombran profesores,
68 ÿ
becarios de investigación institucionales, asociados posdoctorales o estudiantes de doctorado para calificar las respuestas de los estudiantes.
Los anotadores a menudo eran remunerados por las universidades miembros participantes a su discreción. Los evaluadores de CAE para las
respuestas de los estudiantes en español fueron remunerados de la misma manera que los evaluadores que trabajaron en las respuestas de
los estudiantes en inglés americano.
Todos los puntajes se realizaron y monitorearon en la plataforma segura de CAE. Los evaluadores capacitados recibieron una selección
aleatoria de respuestas anónimas de los estudiantes en el idioma correspondiente e ingresaron los resultados de su puntaje directamente en
la plataforma de puntaje basada en Internet de CAE. Los anotadores desconocían la institución a la que pertenecía cada estudiante. El
sistema de CAE supervisó automáticamente la calibración del anotador humano y la confiabilidad entre evaluadores y notificó a los anotadores
principales sobre cualquier anotador que no estuviera calibrado adecuadamente.
Se desarrolló un sistema de verificación de calibración para mejorar y agilizar la puntuación. La calibración de los anotadores a través del
sistema requería que los anotadores calificaran los resultados previamente anotados, o "Documentos de verificación", cuando comienzan a
puntuar por primera vez, así como a lo largo de la ventana de puntuación. El sistema presentó periódicamente Documentos de Verificación a
los calificadores en lugar de las respuestas de los estudiantes, aunque no se marcaron a los calificadores como tales. El sistema no indicaba
cuándo un anotador había calificado con éxito un Documento de Verificación, pero si el anotador no lograba calificar con precisión una serie
de Documentos de Verificación, el anotador se retiraba de la calificación y tenía que participar en un proceso de remediación. En este punto,
los anotadores fueron entrenados más o eliminados de la puntuación.
Puntuación y equiparación
Para proporcionar a los estudiantes puntajes a escala, CAE convirtió los puntajes brutos en puntajes a escala mediante un procedimiento
llamado equiparación. El propósito de equiparar es tener una escala común de medida. La equiparación permite comparaciones de grupos
de estudiantes a lo largo del tiempo, independientemente de los conjuntos de elementos que se administraron.
El procedimiento de equiparación que utilizó CAE fue la transformación lineal. El resultado fue un conjunto de constantes de equiparación que
convierten los puntajes brutos en puntajes de escala para un PT o un conjunto determinado de SRQ. Los detalles del procedimiento se
describen en el Apéndice del Capítulo 3. Se siguen los mismos pasos para los grupos de estudiantes nacionales e internacionales.
Informes
Cada país o asociación recibió su propio conjunto de informes y archivos de datos, incluido un informe que muestra cómo, en general, sus
universidades participantes se desempeñaron como grupo. Además, se prepararon informes universitarios individuales para cada universidad
participante. CAE proporcionó a todos los miembros información comparativa de los datos nacionales nacionales de CAE de los Estados
Unidos. Finalmente, CAE preparó informes estudiantiles individuales para todos los estudiantes participantes y emitió insignias para aquellos
cuyas calificaciones merecían una calificación de competente, logrado o avanzado.
La Parte II de este manuscrito ofrece información detallada sobre el conjunto de datos combinados de CLA+ International.
ÿ 69
Referencias
Blömeke, S. (ed.) (2013), “Evaluación de la OCDE de los resultados del aprendizaje en la educación superior [4]
(AHELO): Justificación, desafíos y puntos de vista iniciales del estudio de viabilidad”, Modelización y medición y
puntos de vista iniciales del estudio de viabilidad, págs. 113-126.
Dias, D. y A. Amaral (2014), “Evaluación de los resultados del aprendizaje en la educación superior (AHELO): un estudio [1]
de viabilidad de la OCDE”, págs. 66-87, https://doi.org/10.1057/9781137374639_5.
Ewell, P. (2012), “Un mundo de evaluación: Iniciativa AHELO de la OCDE”, Change: The Magazine of Higher Learning, vol. [2]
Frisby, C. y C. Reynolds (eds.) (2005), Problemas y métodos de traducción y adaptación para [15]
Pruebas educativas y psicológicas, John Wiley and Sons, Hoboken, NJ.
Geisinger, K. (1994), “Evaluación normativa intercultural: problemas de traducción y adaptación que influyen en la [14]
interpretación normativa de los instrumentos de evaluación”, Evaluación psicológica, vol. 6/4, pág. 304, https://doi.org/
10.1037/1040-3590.6.4.304.
Hannah, S. (1996), “La ley de educación superior de 1992: Habilidades, limitaciones y la política de [7]
educación superior”, Journal of Higher Education, vol. 67/5, págs. 498-527, https://doi.org/
10.1080/00221546.1996.11780274.
Lalancette, D. (2013), Evaluación de la OCDE de los resultados del aprendizaje en la educación superior (AHELO): [3]
Justificación, desafíos e ideas iniciales del estudio de factibilidad, McGill-Queen's University Press, Montreal, https://
doi.org/10.1007/978-94-6091-867-4.
Leighton, J. (2017), Uso de entrevistas de pensamiento en voz alta y laboratorios cognitivos en la investigación educativa, [dieciséis]
Prensa de la Universidad de Oxford,

Oxford, https://doi.org/10.1093/acprof:oso/9780199372904.001.0001.
Rosen, Y., S. Derrara y M. Mosharraf (eds.) (2016), Mitigation of Test Bias in International, Cross-National Assessments [5]
of Higher-Order Thinking Skills, IGI Global, Hershey, PA, https://doi .org/10.4018/978-1-4666-9441-5.ch018.
Shek, D. et al. (2016), “Evaluación de los avances en el aprendizaje de los estudiantes universitarios de Hong Kong que [8]
adoptan la Evaluación del aprendizaje universitario Plus (CLA+)”, Revista internacional sobre discapacidad y
desarrollo humano, vol. 15/3, pág. 331, https://doi.org/10.1515/ijdhd-2015-6001.

programas comparativos de evaluación postsecundaria: lecciones aprendidas y el camino a seguir”, Studies in
Higher Education, vol. 40/3, págs. 471-481, https://doi.org/10.1080/03075079.2015.1004239.
Zahner, D. (2013), Confiabilidad y Validez – CLA+, Consejo para la Ayuda a la Educación, Nueva York, NY. [13]
superior”, en Olga Zlatkin-Troitschanskaia et al. (eds.), Evaluación de los resultados del aprendizaje en la educación
superior: comparaciones y perspectivas entre países, Springer, Nueva York, https://doi.org/10.1007/978-3-319-74338-7_11.
Zahner, D. y F. Kostoris (2016), Pruebas internacionales de una evaluación basada en el desempeño en [10]
Educación Superior, Consejo para la Ayuda a la Educación, Washington, DC.
70 ÿ
Zahner, D. et al. (2020), “Medición de las competencias genéricas de estudiantes de educación superior y [11]
graduados: Implementación de CLA+ internacional”, en Evaluación del aprendizaje de pregrado en psicología:
Estrategias para medir y mejorar el desempeño de los estudiantes, https://doi.org/10.1037/0000183-015.
Zlatkin-Troitschanskaia, O. et al. (2018), “Adaptando y Validando el Aprendizaje Colegiado [12]

Assessment to Measure Generic Academic Skills of Students in Germany: Implications for International
Assessment Studies in Higher Education”, Springer, Cham, https://doi.org/10.1007/978-3-319-74338-7_12.
Zucker, S., C. Sassman y B. Case (2004), Cognitive Labs, Harcourt Assessment, San [17]
Antonio, Texas.
ÿ 71
4 Garantizar la fiabilidad y la validez

transculturales
Katri Kleemola, Universidad de Helsinki (Finlandia)
Heidi Hyytinen, Universidad de Helsinki (Finlandia)
Jani Ursin, Universidad de Jyväskylä (Finlandia)
Olivia Cortellini, Consejo de Ayuda a la Educación (Estados Unidos)
El propósito de este capítulo es presentar un estudio de caso de confiabilidad y

validez que investiga la puntuación de la Evaluación del aprendizaje universitario
(CLA+) de estudiantes de educación superior en Finlandia y Estados Unidos. Este
estudio contribuye a la literatura general sobre el establecimiento de la equivalencia
para una evaluación internacional del pensamiento crítico y las habilidades de
comunicación escrita de los estudiantes. Dos estudios anteriores, de naturaleza
similar, encontraron que los resultados de una evaluación basada en el desempeño
traducida y adaptada son comparables (Zahner and Steedle, 2014[1]; Zahner and
Ciolfi, 2018[2]). Este capítulo presenta un tercer caso utilizando CLA+ en dos
idiomas y culturas.
72 ÿ
Introducción
Una de las principales preocupaciones en torno a una evaluación internacional es la confiabilidad y validez del proceso,
particularmente porque la traducción y adaptación de la evaluación es especialmente desafiante (Geisinger, 1994[3];
Hambleton, 2004[4]; Wolf, Zahner and Benjamin , 2015[5]; Zlatkin-Troitschanskaia, Shavelson y Kuhn, 2015[6]). Aunque
las evaluaciones internacionales como el Programa para la Evaluación Internacional de Estudiantes (PISA) y el
Programa para la Evaluación Internacional de las Competencias de los Adultos (PIAAC) de la Organización para el
Desarrollo Económico y la Cooperación (OCDE) están bien establecidas y ampliamente adoptadas, las evaluaciones
internacionales en educación superior educación son especialmente desafiantes porque las diferencias entre países (p.
ej., sistemas educativos, nivel de autonomía de la institución de educación superior, estatus socioeconómico) aumentan
la complejidad de las pruebas (Blömeke et al., 2013[7]). Esto se vuelve aún más desafiante cuando se utilizan
evaluaciones basadas en el desempeño, que requieren que los estudiantes de educación superior generen una
respuesta única en lugar de seleccionar una de un conjunto de opciones.
Sin embargo, esta colaboración de investigación global ha creado una oportunidad para investigar comparaciones
transculturales de una evaluación basada en el desempeño de habilidades genéricas. Una de esas oportunidades es a
través de la traducción y adaptación de las evaluaciones a los idiomas nativos de los estudiantes para que se administren
y califiquen en todos los países. Debido a las diferencias en la cultura, el idioma y otros datos demográficos, un estudio
importante es examinar la confiabilidad de tales traducciones y adaptaciones, particularmente para una evaluación
basada en el desempeño que incluye la escritura. Para poder sacar inferencias de puntuación válidas, se supone que
las personas que obtienen la misma puntuación observada en estos instrumentos tienen la misma posición en el
constructo independientemente del idioma en el que fueron evaluados. La evaluación de varios criterios podría ayudar
a cumplir el supuesto:
1. El constructo medido existe en todas las naciones.
2. El constructo se mide de la misma manera en todas las naciones.
3. Los artículos que se cree que son equivalentes entre naciones son lingüística y estadísticamente equivalentes.
4. Puntuaciones similares en diferentes versiones culturalmente adaptadas de la evaluación reflejan grados similares
de competencia.
El propósito de este capítulo es presentar un estudio de caso de confiabilidad y validez que investiga la puntuación de
la Evaluación del aprendizaje universitario (CLA+) de estudiantes de educación superior en Finlandia y Estados Unidos.
Este estudio contribuye a la literatura general sobre el establecimiento de la equivalencia para una evaluación
internacional del pensamiento crítico y las habilidades de comunicación escrita de los estudiantes. Dos estudios
anteriores, de naturaleza similar, encontraron que los resultados de una evaluación basada en el desempeño traducida
y adaptada son comparables (Zahner and Steedle, 2014[1]; Zahner and Ciolfi, 2018[2]). Este capítulo presenta un tercer
caso utilizando CLA+ en dos idiomas y culturas.
Antecedentes teóricos
Tareas de rendimiento y puntuación
En una Tarea de rendimiento (PT), se les pide a los estudiantes que generen sus propias respuestas a las preguntas
como evidencia del logro de la habilidad (Hyytinen and Toom, 2019[8]; Shavelson, 2010[9]). Los PT suelen basarse en
el enfoque de muestreo por criterios (Hyytinen and Toom, 2019[8]; McClelland, 1973[10]; Shavelson, 2010[9]; Shavelson,
Zlatkin-Troitschanskaia and Mariño, 2018[11]). En ese sentido, su objetivo es obtener lo que los estudiantes saben y
pueden hacer (McClelland, 1973[10]; Shavelson, 2010[9]; Zlatkin-Troitschanskaia et al., 2019[12]). Es decir, los PT
involucran a los estudiantes en la aplicación de sus habilidades en contextos genuinos o "auténticos", no simplemente
en la memorización de un conjunto de conocimientos fácticos o en el reconocimiento de la respuesta correcta de una
lista de opciones. Un PT, con sus preguntas abiertas, requiere la integración de varias habilidades, por ejemplo, analizar, evaluar y
ÿ 73
sintetizar información y justificar conclusiones utilizando la evidencia disponible (Hyytinen et al., 2015[13]; Shavelson,
2010[9]).
Recientemente, se informaron varios desafíos relacionados con el uso, la confiabilidad y la interpretación de los PT (Attali,
2014[14]; Shavelson, Zlatkin-Troitschanskaia and Mariño, 2018[11]; Zlatkin-Troitschanskaia et al., 2019[12] ). Responder a
un PT requiere tiempo y esfuerzo por parte de los estudiantes. Por lo tanto, se pueden observar y evaluar relativamente
pocos constructos dentro de un PT en comparación con las pruebas de opción múltiple (Zlatkin-Troitschanskaia et al.,
2019[12]). Otro desafío se relaciona con la puntuación. La forma en que se califican las respuestas de los estudiantes juega
un papel crucial en la validez de la evaluación (Solano-Flores, 2012[15]). Los criterios de puntuación de las respuestas del
PT deben desarrollarse y definirse para que estén en línea con el constructo medido (Zlatkin-Troitschanskaia et al., 2019[12]).
Además, las respuestas escritas de los estudiantes generalmente se califican mediante una evaluación humana.
Por lo tanto, se ha sugerido que la puntuación de los PT está abierta a sesgos (Hyytinen et al., 2015[13]; Popham, 2003[16]).
En la puntuación, los evaluadores analizan la calidad de la respuesta en función de una rúbrica de puntuación que describe
las características de las características típicas en cada nivel de puntuación. Se ha asumido que es muy difícil que los
evaluadores converjan en un único estándar de puntuación (Attali, 2014[14]; Braun et al., 2020[17]). Los desacuerdos sobre
la calidad de la respuesta entre los evaluadores dan como resultado inconsistencias en la puntuación. Sin embargo, la
mayoría de las inconsistencias se derivan de una interpretación incorrecta de la rúbrica de puntuación (Borowiec and Castle, 2019[18]).
Se ha propuesto una amplia capacitación de calificadores y el desarrollo de rúbricas a través de entrevistas cognitivas como
soluciones para garantizar una calificación consistente (Borowiec and Castle, 2019[18]; Shavelson, Baxter and Gao,
1993[19]); véase también Zlatkin-Troitschanskaia et al (2019[12]). En consecuencia, el uso de PT se considera lento y
costoso, ya que se necesita una gran cantidad de tiempo y esfuerzo para capacitar a los calificadores y calificar las
respuestas de manera consistente (Attali, 2014[14]; Braun, 2019[20]).
Desafíos transculturales en la puntuación del PT
Las evaluaciones transculturales pueden tener desafíos debido a diferencias culturales y lingüísticas o problemas técnicos
y metodológicos (Hambleton, 2004[4]; Solano-Flores, 2012[15]). Este estudio de caso se centra en los desafíos transculturales
en la puntuación de los PT. Hasta donde sabemos, la puntuación transcultural presenta dos tipos de posibles desafíos.
Primero, la rúbrica de calificación puede no cumplir con las convenciones de la segunda cultura, en este caso finlandesa. En
segundo lugar, los calificadores pueden interpretar las respuestas y la rúbrica de calificación de una manera diferente a la
prevista originalmente debido a las diferencias culturales (Braun et al., 2020[17]). Por ejemplo, en Finlandia no existe una
cultura de evaluación sustantiva: casi no hay evaluaciones de alto riesgo en las escuelas o instituciones de educación
superior (p. ej., (Sahlberg, 2011[21])) y, por lo tanto, los evaluadores pueden tener una experiencia limitada con dicha
evaluación. .
Además, el finlandés es intrínsecamente diferente del inglés, que es el idioma original de la presente evaluación. El finlandés
pertenece al grupo lingüístico ugrofinés, distinto del inglés y los idiomas indoeuropeos. Esto significa que los lenguajes son
estructuralmente muy diferentes. También parece que las convenciones lingüísticas son diferentes entre los dos idiomas.
Por ejemplo, se ha encontrado que el finlandés tiene prácticas retóricas diferentes en comparación con el inglés (Mauranen,
1993[22]). Estas diferencias entre idiomas pueden influir en cómo los calificadores de cada país interpretan las respuestas
y los principios de calificación.
Se ha observado que, a menudo, en las evaluaciones transculturales, los mismos individuos no establecen el contenido a
evaluar, escriben y desarrollan la tarea, crean la rúbrica de calificación y califican las respuestas de los estudiantes.
Por lo tanto, es importante que haya una comprensión compartida de los elementos de la evaluación entre los diferentes
contribuyentes para asegurarse de que los constructos se midan y califiquen de la misma manera.
manera entre culturas (Solano-Flores, 2012[15]).
74 ÿ
Método
Este estudio de caso surge de un proyecto nacional que investigó el nivel de habilidades genéricas de los estudiantes
universitarios finlandeses, qué factores están conectados con el nivel de habilidades genéricas y en qué medida estas
habilidades se desarrollan durante los estudios de educación superior (Ursin et al., 2015 ). 23]) (Capítulo X). Los participantes
eran estudiantes en las etapas inicial y final de sus programas de grado. Durante el año académico 2019-2020, 2 402
estudiantes de 18 instituciones finlandesas participantes completaron una versión traducida y culturalmente adaptada del
CLA+ que incluía un PT y un conjunto de 25 preguntas de respuesta seleccionada (SRQ). Este estudio de caso investiga un
subconjunto de las respuestas de PT de los estudiantes.
CLA+
Como se describe en detalle en el Capítulo 2, CLA+ es una evaluación basada en el desempeño del razonamiento analítico y
la evaluación, la resolución de problemas y las habilidades de comunicación escrita. Consta de dos secciones: un PT, que
requiere que los estudiantes generen una respuesta escrita a un escenario dado, y SRQs. Los estudiantes tienen 60 minutos
para completar el PT y 30 minutos para los SRQ.
contexto de Estados Unidos
En los Estados Unidos, la mayoría de las instituciones de educación superior participantes han utilizado CLA+ tradicionalmente
con fines de valor agregado. Con este fin, evalúan una muestra de estudiantes de primer año que ingresan normalmente
durante el semestre de otoño y comparan a esos estudiantes con una muestra de estudiantes de cuarto año que salen
normalmente evaluados durante el semestre de primavera. Las características demográficas de la población estudiantil en los
EE. UU. se presentan en la Tabla 4.1.
Tabla 4.1. Datos demográficos de los estudiantes de CLA+ de EE. UU.
Género 55% Mujer 40,8% masculino 4.2% Se niega a declarar
Raza/Etnicidad 52,7% Blanco 13,1% latinos 12,5% negro 10,9% asiático
Lenguaje primario 83,1% inglés
Máxima educación de los padres 23,4% SA o menos 23.3% Algo de universidad 52,7% Título de educación
superior
Nota: Solo se informan los grupos de raza/etnicidad más comunes. Otros grupos (incluido el de "declinar declarar") representan aproximadamente el 11 % de la
población estudiantil.
contexto finlandés
La característica principal de la evaluación en la educación superior finlandesa es que está orientada a la mejora, de modo
que el foco está en brindar apoyo e información para mejorar aún más la calidad de los programas e instituciones. En
consecuencia, la evaluación de la educación superior finlandesa favorece formas de evaluación más formativas en
contraposición a la evaluación sumativa centrada en el logro de objetivos específicos (Ursin, 2020[24]). Por lo tanto, el uso de
pruebas estandarizadas, como CLA+, no es habitual en las instituciones de educación superior finlandesas, y este estudio de
caso fue el primero de este calibre en utilizar una prueba estandarizada para investigar las habilidades genéricas de los
estudiantes universitarios finlandeses. No obstante, al igual que en los Estados Unidos, las 18 instituciones de educación
superior participantes de Finlandia evaluaron a los estudiantes de primer año que ingresaban generalmente en el semestre de
otoño y a los estudiantes de tercer año que egresaban generalmente durante el semestre de primavera. La muestra finlandesa
consistió en 2 402 estudiantes (1 538 ingresantes y 864 egresados) del año académico 2019-2020 (Tabla 4.2).
ÿ 75
Tabla 4.2. Demografía de los estudiantes de Finlandia CLA+
Género 48% Mujer 49% masculino 3% Rechazo declarar
Lenguaje primario 93% finlandés 4% sueco 3% Otros
Máxima educación de los padres 39% SA o menos 9% Vocacional 52% Título de educación superior
Género 48% Mujer 49% masculino 3% Rechazo declarar
PT
Para el PT, los estudiantes reciben un escenario atractivo del mundo real junto con un conjunto de documentos como artículos de
investigación, artículos de periódicos y revistas, mapas, gráficos y artículos de opinión relacionados con el escenario. Se les pide que tomen
una decisión o recomendación después de analizar estos documentos y que escriban una respuesta que justifique su decisión/recomendación
brindando razones y evidencia tanto a favor de su argumento como en contra de los argumentos opuestos. No hay una respuesta correcta
para ningún PT. Más bien, se puntúa a los estudiantes según lo bien que respaldan y justifican su decisión con la información proporcionada
en los documentos. No se necesita conocimiento previo de ningún dominio en particular para hacerlo bien, ni existe una interacción entre el
tema del PT y el campo de estudio de los estudiantes (Steedle and Bradley, 2012[25]).
La rúbrica de puntuación de CLA+ (Capítulo 2) para el PT tiene tres subpuntuaciones: Análisis y resolución de problemas (APS), Eficacia de
escritura (WE) y Mecánica de escritura (WM).
La subpuntuación de APS mide la capacidad de los estudiantes para interpretar, analizar y evaluar la calidad de la información que se
proporciona en la biblioteca de documentos. Esto implica identificar información que es relevante para un problema, resaltar información
conectada y contradictoria, detectar fallas en la lógica y suposiciones cuestionables, y explicar por qué la información es creíble, poco
confiable o limitada. También evalúa qué tan bien los estudiantes consideran y sopesan la información de fuentes discretas para tomar
decisiones, sacar conclusiones o
proponer un curso de acción que se desprenda lógicamente de argumentos, pruebas y ejemplos válidos. También se espera que los
estudiantes consideren las implicaciones de sus decisiones y sugieran investigaciones adicionales cuando corresponda.
La subpuntuación WE evalúa qué tan bien los estudiantes construyen un argumento organizado y lógicamente cohesivo proporcionando
elaboración sobre hechos o ideas. Por ejemplo, los estudiantes pueden explicar cómo la evidencia se relaciona con el problema
proporcionando ejemplos de los documentos y enfatizando evidencia especialmente convincente.
La subpuntuación de WM mide qué tan bien los estudiantes siguen las convenciones gramaticales y de escritura del idioma nativo. Esto
incluye factores como el vocabulario, la dicción, la puntuación, las transiciones, la ortografía y las frases.
Cada estudiante recibe una puntuación bruta de 1 a 6 en cada una de las subpuntuaciones, por lo que, en este estudio, las puntuaciones
totales de los estudiantes oscilaron entre 3 y 18. Si un estudiante no pudo responder a la tarea o dio una respuesta que no estaba relacionada
con el tema, se le otorgó una puntuación de 0 (el equivalente a N/A) para las tres subpuntuaciones, y estas respuestas de los estudiantes se
eliminaron de cualquier análisis posterior.
La rúbrica también se tradujo del inglés al finlandés. La rúbrica de puntuación se desarrolló originalmente para ser específica para cada PT
(Klein et al., 2007[26]; Shavelson, 2008[27]). Sin embargo, este método de usar rúbricas únicas para tareas individuales creó un problema
con la estandarización y, por lo tanto, con la validez de la evaluación.
En 2008, se introdujo una versión estandarizada de la rúbrica de puntuación para abordar esta amenaza a la validez. La versión
estandarizada se diseñó para medir los constructos subyacentes evaluados (es decir, razonamiento y evaluación analíticos, resolución de
problemas, eficacia de la escritura y mecánica de la escritura) que son aplicables a todas las versiones del PT. Se descubrió que este
método de usar una rúbrica común para los PT era útil para mejorar las habilidades de los estudiantes (con retroalimentación) en múltiples
campos de estudio (Cargas, Williams and Rosenberg, 2017[28]).
De hecho, tener una rúbrica común para una evaluación basada en el desempeño de las habilidades agnósticas del dominio fue una de las
razones por las que se seleccionó el CLA para ser el ancla para el "ámbito de habilidades genéricas" de la Evaluación de
76 ÿ
Proyecto Higher Education Learning Outcomes (AHELO), un estudio de viabilidad internacional patrocinado por la OCDE
(AHELO, 2012[29]; 2014[30]; Tremblay, Lalancette and Roseveare, 2012[31]) para medir los resultados “genéricos” de los
estudiantes de educación superior habilidades usando PTs en un contexto global. Los resultados de este estudio de
factibilidad indicaron que, de hecho, era posible evaluar de manera válida y confiable el pensamiento crítico y las
habilidades de comunicación escrita de los estudiantes con un PT y una rúbrica comunes, traducidos y culturalmente
adaptados (Zahner and Steedle, 2014[1]). Este resultado se replicó en un estudio comparativo internacional posterior entre
estudiantes de educación superior estadounidenses e italianos (Zahner and Ciolfi, 2018[2]).
SRQ
CLA+ incluye un conjunto de 25 SRQ que también están basados en documentos y diseñados para medir el mismo constructo que la
subpuntuación APS del PT. Diez miden la alfabetización de datos (DL) (por ejemplo, hacer una inferencia); diez, lectura crítica y evaluación
(CRE) (por ejemplo, identificación de supuestos); y cinco miden los argumentos críticos (CA) (por ejemplo, detectando falacias lógicas).
Esta sección de la evaluación no se analizó para este proyecto ya que se calificó automáticamente.
Traducción y adaptación
CLA+ se traduce y se adapta culturalmente mediante el proceso de traducción de cinco pasos aceptado internacionalmente que cumple
con las pautas de la Comisión Internacional de Pruebas (Bartram et al., 2018[32]) . El Council for Aid to Education (CAE) sigue las pautas
utilizadas para el proceso de localización de los principales estudios internacionales como PISA, Trends in International Mathematics and
Science Study (TIMSS), Progress in International Reading Literacy Study (PIRLS), PIAAC y AHELO. . El proceso incluye una revisión de
traducibilidad, doble traducción y conciliación, revisión del cliente, verificación enfocada y laboratorios cognitivos.
Durante la revisión de la traducibilidad, se revisa el material original para confirmar que el texto se adaptará bien al idioma y la cultura
nativos. Se presta especial atención a la desambiguación de la fuente, respetando las correspondencias clave entre estímulos y preguntas,
y decidiendo qué debe o no adaptarse al contexto local. Luego, dos traductores independientes revisan el texto y proporcionan las
traducciones. Las traducciones se concilian y se envían al administrador principal del proyecto para su revisión y la oportunidad de brindar
sugerencias menores. Los artículos CLA+ traducidos se envían para una verificación enfocada. Luego se llevan a cabo laboratorios
cognitivos con la asistencia de las instituciones participantes y los equipos institucionales para garantizar que el proceso de traducción y
adaptación sea efectivo.
El CLA+, incluida la rúbrica utilizada en este estudio, se tradujo al finlandés y al sueco, que son los dos principales idiomas oficiales de
Finlandia. La adaptación y traducción de las versiones de la tarea en ambos idiomas incluyó varias fases, como se describe anteriormente.
En primer lugar, los instrumentos de prueba se tradujeron del inglés al idioma de destino. Luego, dos traductores (que tenían conocimiento
de las culturas de habla inglesa pero cuyo idioma nativo era el idioma principal de la cultura de destino) verificaron y confirmaron las
traducciones de forma independiente. Posteriormente, el equipo de investigación en Finlandia reconcilió y verificó las revisiones. Luego,
las traducciones se probaron previamente en laboratorios cognitivos entre 20 estudiantes universitarios finlandeses, con las modificaciones
finales incorporadas, según fuera necesario. El uso de laboratorios cognitivos con protocolos de pensamiento en voz alta y entrevistas
permitió asegurar que el proceso de traducción y adaptación no había alterado el significado o la dificultad de la tarea (Hyytinen et al.,
2021[33]; Leighton, 2017[34] ).
Este estudio de caso solo investigó un subconjunto de las respuestas de los estudiantes finlandeses. El finlandés se seleccionó
específicamente debido a sus diferencias con el inglés, así como al número significativamente mayor de respuestas de los estudiantes en
finlandés en comparación con el finlandés-sueco.
CLA+ se administró en línea a través de una plataforma de prueba segura durante una ventana de prueba asignada que va desde agosto
de 2019 hasta marzo de 2020. En septiembre de 2019, un miembro del equipo científico de medición de CAE fue a Finlandia para realizar
una capacitación de anotadores en persona de dos días. El primer día consistió en una introducción al PT, una descripción general de la
interfaz de puntuación en línea, una revisión exhaustiva del PT y todos los
ÿ 77
documentos y una revisión del manual de calificación, seguida de la calificación inicial y la calibración de los documentos de
capacitación. Como parte de la calificación de los trabajos de calibración, cada evaluador calificó de forma independiente la
respuesta de un estudiante al PT. Luego, cada evaluador compartió sus tres subpuntajes (APS, WE y WM) con el grupo. El colega
de CAE luego reveló el puntaje verificado por CAE para el documento de capacitación. Una discusión de la puntuación CAE
comparada con las puntuaciones finlandesas siguió a cada artículo. El segundo día, el grupo completó la calificación de los
documentos de calibración preseleccionados y discutió un plan para completar el proceso de calificación.
Después de esta reunión en persona, los dos principales calificadores en Finlandia puntuaron dos veces el primer lote de respuestas
de los estudiantes y seleccionaron sus trabajos de calibración en función de su acuerdo y la distribución de puntajes.
Se seleccionaron cincuenta papeles de calibración para introducirlos en la cola de puntuación con el fin de comprobar la coherencia
de la puntuación. Un anotador recibiría uno de estos papeles de calibración cada 15 o 20 respuestas. Si no obtuvieron una
puntuación dentro del rango apropiado del trabajo previamente calificado, ingresarían en una cola de capacitación separada de
más trabajos de validez calificados previamente. Si volvieran a fallar, necesitarían remediación, que es una consulta individual con
el anotador líder. Después de la remediación, el anotador tendría que pasar una vez más un conjunto de documentos de
capacitación antes de que se le permita volver a la cola de puntuación. La remediación ocurrió una vez para el equipo goleador
finlandés. Como punto de referencia, los anotadores estadounidenses, en cualquier administración dada de este PT, requieren
remediación en un promedio de 1,7 veces por semestre, aunque el volumen de respuestas de los estudiantes es mucho mayor
para los anotadores estadounidenses.
Una vez que comenzó la puntuación, hubo una reunión de calibración interna para el equipo finlandés, así como una reunión con
CAE, ya que habían pasado muchos meses entre el entrenamiento y la puntuación.
Estudio de caso de equivalencia de puntuación
Para evaluar la equivalencia de la puntuación entre países, buscamos responder dos preguntas de investigación. La primera fue
¿qué tan bien se califica una evaluación basada en el desempeño traducida y culturalmente adaptada que requiere que los
estudiantes generen una respuesta escrita en todos los países e idiomas? El segundo fue si se puede establecer la equivalencia
entre las dos formas de evaluación.
Como parte de este estudio de caso, se seleccionaron y calificaron dos conjuntos de documentos de equivalencia de puntuación.
Ambos conjuntos se seleccionaron de un grupo más grande de respuestas que tenían un acuerdo perfecto entre los dos anotadores
iniciales en el sistema. Dado que las puntuaciones de nivel medio estaban sobrerrepresentadas en este grupo de respuestas
reducido, la muestra final se seleccionó al azar de 1 a 4 respuestas de cada nivel de puntuación.
La muestra A constaba de 20 artículos inicialmente escritos en inglés que previamente habían sido calificados por anotadores
estadounidenses. Para este estudio de caso, estos documentos fueron calificados por evaluadores finlandeses que dominaban el
idioma inglés (Tabla 4.3). La muestra B consistió en 20 artículos que inicialmente fueron escritos en finlandés y calificados por
evaluadores finlandeses que luego fueron traducidos al inglés y evaluados por evaluadores estadounidenses. En la traducción de
estos trabajos de Muestra B del finlandés al inglés americano, todos los errores tipográficos y otros errores en la respuesta original
de los estudiantes se incluyeron en la medida de lo posible, dadas las diferencias entre los dos idiomas. Estas respuestas de los
estudiantes fueron calificadas por anotadores estadounidenses.
Tabla 4.3. Muestras A y B por idioma de prueba y lengua materna del calificador
Idioma nativo del goleador

Idioma de prueba
inglés finlandés
inglés Muestra A
finlandés Muestra B
Para este estudio de caso de equivalencia, los evaluadores de ambos países que calificaron las respuestas entre países
desconocían los puntajes del otro par de evaluadores. Se examinó la concordancia entre los puntajes dentro de los países mediante
el cálculo de las correlaciones entre los puntajes. Los datos de equivalencia de puntuación se analizaron comparando puntuaciones
medias en conjuntos comunes de respuestas traducidas en todos los países.
78 ÿ
Resultados
Estudio de caso de equivalencia de puntuación
Este estudio de caso investigó si los resultados del PT podrían calificarse de manera confiable en un entorno de prueba
internacional estandarizado. Se realizaron análisis para investigar si las respuestas de los estudiantes recibieron las mismas
puntuaciones independientemente del idioma o el país. La “igualdad” se examinó de dos maneras: relativa y absoluta. El primero
se refiere a si las posiciones relativas de las respuestas fueron consistentes (es decir, altamente correlacionadas) independientemente
del idioma o país. El segundo refleja si las puntuaciones medias de las respuestas fueron iguales.
Calidad relativa de los puntajes: ¿Qué tan bien se califica una evaluación basada en el desempeño
traducida y culturalmente adaptada que requiere que los estudiantes generen una respuesta escrita en todos los
países e idiomas?
Para determinar si los evaluadores estaban de acuerdo entre sí acerca de la calidad relativa de las respuestas, se calcularon los
coeficientes de correlación entre pares de evaluadores, tanto dentro como entre países. Los análisis dentro de los países mostraron
que las respuestas de los estudiantes podían calificarse de manera confiable dentro de cada país. Los datos presentados en la
Tabla 4.4 y la Tabla 4.5 muestran las correlaciones entre evaluadores para estudiantes estadounidenses con puntaje doble por
parte de calificadores estadounidenses y estudiantes finlandeses por calificadores finlandeses, respectivamente. Estos datos se
presentan para mostrar los resultados de las pruebas operativas.
Tabla 4.4. Correlaciones dentro del país para la puntuación total de la tarea de rendimiento (PT) y las
subpuntuaciones entre dos calificadores: Estados Unidos (n = 141 233)
Goleador 2
Total2 APS2 WE2 WM2
Total1 .844 .783 .794 .765

APS1 .797 .761 .750 .700
Goleador 1
WE1 .804 .750 .763 .718
WM1 .765 .682 .714 .730
Nota: APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de Escritura.
Tabla 4.5. Correlaciones dentro del país para la puntuación total de la tarea de rendimiento (PT) y las
subpuntuaciones entre dos evaluadores: Finlandia (n = 2 402)
Goleador 2
Total2 APS2 WE2 WM2
Total1 .809 .754 .742 .713

APS1 .739 .713 .683 .615
Goleador 1
WE1 .750. .700. .707 .634
WM1 .728. .629 .644 .705
Para el estudio de caso de equivalencia de puntaje, cada respuesta de los estudiantes fue calificada por un total de cuatro
evaluadores: dos de los Estados Unidos y dos de Finlandia. Como se muestra en la Tabla 4.6, las correlaciones entre países de
los puntajes totales, para dos calificadores, en cada país fueron altas, con r = .95 para la Muestra A y r = .93 para la Muestra B. La
correlación de .95 indica que los dos goleadores finlandeses que anotaron los 20 PT estadounidenses tuvieron una fuerte
ÿ 79
relación lineal. La correlación de .93 indica que los dos anotadores estadounidenses que calificaron los 20 PT finlandeses que se tradujeron
al inglés también tenían una fuerte relación lineal.
Tabla 4.6. Acuerdo de puntuación entre países para la puntuación total, por muestra
Muestra A: Finlandia Muestra B: Finlandia

Muestra A: EE. UU. .95
Muestra B: EE. UU. .93
Nota: Muestra A = Inglés; Muestra B = finlandés a inglés.
Las correlaciones entre los dos equipos para las puntuaciones secundarias no fueron tan altas como lo fueron para la puntuación total,
con un rango de r = 0,88 a 0,92 para la Muestra A y r = 0,89 a 0,91 para la Muestra B (Tabla 4.7).
Es posible que se deba discutir WM con más detalle porque los anotadores finlandeses no eran hablantes nativos de inglés y es posible
que los artículos finlandeses que se retrotradujeron al inglés no hayan capturado todos los matices del idioma finlandés.
Tabla 4.7. Acuerdo de puntuación entre países por subpuntuación y muestra
Muestra A: Finlandia Muestra B: Finlandia

subpuntuaciones APS NOSOTROS WM APS NOSOTROS WM
APS 0.92
Muestra A: EE. UU. NOSOTROS 0,94
WM 0.88
APS .91
Muestra B: EE. UU. NOSOTROS .89
WM .89
Nota: A = Inglés; B = finlandés a inglés; APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de Escritura.
Calidad absoluta de las puntuaciones: ¿Se puede establecer la equivalencia entre las dos formas de
evaluación?
Para determinar si los evaluadores estaban de acuerdo entre sí sobre la calidad absoluta de las puntuaciones, se analizaron las
puntuaciones medias entre países. La Figura 4.1 ilustra las puntuaciones totales medias de cada país para la Muestra A y la Muestra B.
80 ÿ
Figura 4.1. Puntuaciones totales medias para cada muestra
Nota: A = inglés; B = finlandés a inglés.
No hubo diferencias significativas en las puntuaciones totales medias para ambos conjuntos de 20 artículos en la Muestra
A (t19 = -1,70; p = 0,11) y la Muestra B (t19 = -0,14; p = 0,89). El patrón de puntuaciones medias sugiere que la traducción
de las respuestas no afectó la calidad percibida de la respuesta o que no hubo diferencia en la indulgencia de los
evaluadores entre países.
También se analizaron las subpuntuaciones individuales. Para la Muestra A (Figura 4.2), la diferencia entre los dos grupos
de anotadores no fue significativa para APS y WE, pero para WM, hubo una diferencia significativa entre los dos grupos
(MUSA = 3.55, MFin = 4.03; p = .004 ). Una posible explicación es que los evaluadores finlandeses, aunque estaban
familiarizados con el inglés estadounidense, estaban calificando las respuestas de los estudiantes en un idioma que no
era su idioma nativo.
Figura 4.2. Puntuaciones medias de la muestra A (inglés)
No hubo diferencias significativas en los subpuntajes promedio entre los dos equipos para la Muestra B (Figura 4.3),
donde las respuestas de los estudiantes finlandeses se tradujeron y adaptaron culturalmente al inglés. La diferencia de
medias observada para la Muestra A para WM no se observó en la Muestra B.
ÿ 81
Figura 4.3. Media de subpuntuaciones para la Muestra B (finlandés a inglés)
Los resultados sugieren que las respuestas traducidas reciben la misma puntuación que las respuestas compuestas
originalmente en el idioma nativo del evaluador.
Conclusión
Este estudio de caso de equivalencia de puntuación entre idiomas y países proporciona varios hallazgos de interés para los
programas de evaluación internacionales. La primera es que la confiabilidad de la calificación dentro de los países fue alta, lo
que indica que la capacitación de los calificadores fue efectiva dentro de cada país que participó en el estudio de caso (cf.
(Borowiec y Castle, 2019[18]; Shavelson, Baxter y Gao, 1993[19]; Zlatkin-Troitschanskaia et al., 2019[12]). Por lo tanto, los
estudiantes pueden ser evaluados en sus habilidades de orden superior mediante una evaluación abierta basada en el
desempeño dentro de un país determinado. De manera similar, al comparar los resultados entre países, no hubo diferencias
notables entre países en el juicio de la calidad absoluta del EF de los estudiantes.
respuestas
Los puntajes asignados a las respuestas fueron muy consistentes dentro de un país (Cuadro 4.4 y Cuadro 4.5), así como entre
países (Cuadro 4.6 y Cuadro 4.7). Los resultados indican que, con la capacitación y la calibración adecuadas, es posible lograr
una puntuación confiable en todos los países.
Un hallazgo final de este estudio de caso es que es factible desarrollar, traducir, administrar y calificar las respuestas a una
evaluación abierta basada en computadora, de nivel universitario, de conocimientos generales, destrezas y habilidades que
son aplicables a muchos países. Las puntuaciones de un programa de pruebas internacional se pueden calibrar para reconocer
la calidad de respuesta relativa, así como la calidad de respuesta absoluta. Los puntajes de dichas pruebas pueden
proporcionar datos válidos y confiables para estudios internacionales a gran escala. Los resultados de este tipo de evaluaciones
se pueden utilizar en programas de evaluación a gran escala a nivel mundial. Con la creciente popularidad de las evaluaciones
basadas en el desempeño y un interés global en las habilidades de pensamiento crítico, tiene sentido investigar más a fondo
la evaluación internacional de estas habilidades.
Aunque los resultados indican una alta correlación entre los dos países, puede haber variables culturales adicionales que no
se reflejan en los resultados. Los documentos de los dos países fueron únicos en algunos aspectos, lo que llevó al equipo a
concluir que existe una investigación adicional sobre el contexto intercultural que debe explorarse (p. ej., (Braun et al.,
2020[17])).
82 ÿ
En cuanto al idioma, las muestras no eran iguales, lo que suele ser una necesidad en una investigación transcultural,
pero también es una limitación. La muestra A (inglés) fue calificada por el equipo finlandés, que no son hablantes nativos
de inglés. Si bien hablan con fluidez, no están familiarizados con todas las convenciones del idioma inglés. Esta fue la
causa probable de la diferencia entre los puntajes del equipo en WM en la Muestra A. Además, la Muestra B (finlandés)
comprendía respuestas que se tradujeron al inglés para permitir que el equipo estadounidense anotara.
En general, se ha encontrado que los textos traducidos son diferentes de los textos originales en términos de vocabulario
y aspectos estructurales (p. ej., (Eskola, 2004[35])). Sin embargo, no se encontraron diferencias significativas entre los
puntajes del equipo en WM en la Muestra B. Si bien está claro que algunos de los errores en las respuestas se perdieron
en la traducción, es plausible que la alta correlación de diferentes tipos de errores explicara el acuerdo. En otras palabras,
los errores que podían traducirse, como los errores tipográficos, eran fuertes indicadores de otros errores más específicos
del idioma. Se necesita más investigación para comprender si la rúbrica de puntuación internacional captura todas las
características de los idiomas distintos del inglés (p. ej., finlandés) en términos de WM.
Otra limitación de este estudio de caso se refiere al tamaño de la muestra. Se analizó una muestra bastante pequeña de
las respuestas de los estudiantes de solo dos países. Esto puede indicar el riesgo de sesgo potencial en los resultados.
Además, los resultados pueden no ser aplicables a otras culturas o idiomas.
Aunque los resultados deben interpretarse con cautela, este estudio de caso proporciona nuevos conocimientos sobre la
puntuación del PT en dos países e idiomas diferentes. Los resultados se pueden utilizar como base para más
amplios estudios empíricos. En el futuro, esperamos completar el estudio incluyendo países adicionales en nuestros
análisis. Además, esperamos desarrollar herramientas para ayudar a los estudiantes individuales a identificar y mejorar
sus áreas de fortaleza y oportunidad. Esto se puede lograr a través de informes estudiantiles e institucionales más
detallados que brinden caminos hacia el éxito, así como microcredenciales verificadas para las habilidades esenciales
para el éxito en la universidad y el lugar de trabajo, como las medidas por CLA+.
Agradecimientos
Este capítulo y la investigación que lo sustenta no habrían sido posibles sin el apoyo de las instituciones de los autores,
sus colegas y el Ministerio de Educación y Cultura de Finlandia. Nos gustaría agradecer especialmente a Tess Dawber,
Kari Nissinen, Kelly Rotholz, Kaisa Silvennoinen, Auli Toom y Zac Varieur.
ÿ 83
Referencias
AHELO (2014), Evaluación del rendimiento estudiantil y universitario a nivel mundial: AHELO de la OCDE, OCDE, http:// [30]
www.oecd.org/edu/skills-beyond school/testingstudentanduniversityperformancegloballyoecdsahelo.htm.
AHELO (2012), Informe provisional del estudio de viabilidad de AHELO, OCDE. [29]
Attali, Y. (2014), “Un método de clasificación para evaluar respuestas construidas”, Educación y [14]
Medición psicológica, vol. 74/5, págs. 795-808, https://doi.org/
10.1177/0013164414527450.
Bartram, D. et al. (2018), “Directrices del ITC para traducir y adaptar pruebas (segunda edición)”, [32]
Revista internacional de pruebas, vol. 18/2, págs. 101-134, https://
doi.org/10.1080/15305058.2017.1398166.
Blomeke, S. et al. (2013), Modelado y medición de competencias en la educación superior: Tareas y [7]
desafíos, Sense, Rotterdam, https://doi.org/10.1007/978-94-6091-867-4.
Borowiec, K. y C. Castle (2019), “Uso de la cognición del evaluador para mejorar la generalizabilidad de un [18]
evaluación de la argumentación científica”, Evaluación práctica, investigación y evaluación, vol. 24/1, https://doi.org/
10.7275/ey9d-p954.
Braun, H. (2019), “Evaluación y estandarización del desempeño en la educación superior: una [20]
¿Conjunción problemática?”, British Journal of Educational Psychology, vol. 89/3, págs. 429-440, https://doi.org/
10.1111/bjep.12274.
Braun, H. et al. (2020), “Evaluación del desempeño del pensamiento crítico: conceptualización, [17]
diseño e implementación”, Fronteras en la educación, vol. 5, https://doi.org/
10.3389/feduc.2020.00156.
Cargas, S., S. Williams y M. Rosenberg (2017), “Un enfoque para la enseñanza del pensamiento crítico en todas las [28]
disciplinas utilizando tareas de desempeño con una rúbrica común”, Thinking Skills and Creativity, vol. 26, págs.
24-37, https://doi.org/10.1016/j.tsc.2017.05.005.
Eskola, S. (2004), “Frecuencias atípicas en la lengua traducida: un estudio basado en corpus sobre un corpus literario [35]
de finlandés traducido y no traducido”, en Universales de traducción: ¿existen?.
Geisinger, K. (1994), “Evaluación normativa intercultural: problemas de traducción y adaptación que influyen en la [3]
interpretación normativa de los instrumentos de evaluación”, Evaluación psicológica, vol. 6/4, pág. 304, https://doi.org/
10.1037/1040-3590.6.4.304.
Hambleton, R. (2004), “Problemas, diseños y pautas técnicas para adaptar las pruebas a múltiples idiomas y culturas”, en [4]
Adaptación de pruebas educativas y psicológicas para la evaluación transcultural, Lawrence Erlbaum, https://doi.org/
10.4324 /9781410611758.
Hyytinen, H. et al. (2015), “Problematizando la equivalencia de los resultados de las pruebas de desempeño [13]
pruebas basadas en el pensamiento crítico para estudiantes de pregrado”, Estudios en Evaluación Educativa, vol.
44, págs. 1-8, https://doi.org/10.1016/j.stueduc.2014.11.001.
Hyytinen, H. y A. Toom (2019), “Desarrollo de una tarea de evaluación del desempeño en el idioma finlandés [8]
contexto de educación superior: percepciones conceptuales y empíricas”, British Journal of Educational Psychology,
vol. 89/3, págs. 551-563, https://doi.org/10.1111/bjep.12283.
84 ÿ
Hyytinen, H. et al. (2021), “La relación dinámica entre los procesos de respuesta y la autorregulación en las [33]
evaluaciones de pensamiento crítico”, Estudios en Evaluación Educativa, vol. 71, pág. 101090, https://doi.org/
10.1016/j.stueduc.2021.101090.
Klein, S. et al. (2007), “La evaluación del aprendizaje universitario: hechos y fantasías”, Evaluation Review, vol. 31/5, [26]
págs. 415-439, https://doi.org/10.1177/0193841X07303318.
Leighton, J. (2017), Uso de entrevistas de pensamiento en voz alta y laboratorios cognitivos en la investigación educativa, [34]

Mauranen, A. (1993), “Diferencias culturales en el discurso académico - problemas de una minoría lingüística y cultural”, [22]
en El Comunicador Intercultural Competente: Anuario AFinLA.
McClelland, D. (1973), “Pruebas de competencia en lugar de “inteligencia””, The American psicólogo, vol. 28/1, https:// [10]
doi.org/10.1037/h0034092.
Popham, W. (2003), Pruebe mejor, enseñe mejor: el papel instructivo de la evaluación, ASCD, [dieciséis]
https://www.ascd.org/books/test-better-teach-better?variant=102088E4.
Sahlberg, P. (2011), “Introducción: Sí, podemos (aprender unos de otros)”, en LECCIONES EN FINLANDÉS: [21]
¿Qué puede aprender el mundo del cambio educativo en Finlandia?.
Shavelson, R. (2010), Midiendo el aprendizaje universitario de manera responsable: Rendición de cuentas en una nueva era, [9]
Prensa de la Universidad de Stanford, https://www.sup.org/books/title/?id=16434.
Shavelson, R. (2008), La evaluación del aprendizaje universitario, Forum for the Future of Higher [27]
Educación,
https://www.researchgate.net/publication/271429276_The_collegiate_learning_assessment.
Shavelson, R., G. Baxter y X. Gao (1993), “Variabilidad de muestreo de las evaluaciones de desempeño”, [19]
Journal of Educational Measurement, vol. 30/3, págs. 215-232, https://doi.org/10.1111/

j.1745-3984.1993.tb00424.x.
Shavelson, R., O. Zlatkin-Troitschanskaia y J. Mariño (2018), “Evaluación internacional del desempeño del [11]
aprendizaje en la educación superior (iPAL): Investigación y desarrollo”, https://doi.org/10.1007/978-3-

319-74338-7_10.
Solano-Flores, G. (2012), Consorcio de Evaluación Smarter Balanced: Traducción [15]
marco de adaptaciones para evaluar a los estudiantes del idioma inglés en matemáticas, Smarter Balanced
Assessment Consortium (SBAC), https://portal.smarterbalanced.org/library/en/translation-accommodations-framework-
for testing-english-language-learners-in-mathematics .pdf.
Steedle, J. y M. Bradley (2012), Majors matter: Differential performance on a test of general college results [Presentación [25]
del artículo], Reunión anual de la Asociación Estadounidense de Investigación Educativa, Vancouver, Canadá.
Tremblay, K., D. Lalancette y D. Roseveare (2012), “Estudio de viabilidad de la evaluación de los resultados del [31]
aprendizaje en la educación superior (AHELO)”, informe del estudio de viabilidad, vol. 1, https://www.oecd.org/
education/skills-beyond-school/AHELOFSReportVolume1.pdf
ÿ 85
Tremblay, K., D. Lalancette y D. Roseveare (2012), Evaluación del aprendizaje en la educación superior [36]
informe de estudio de factibilidad de resultados: diseño e implementación, OCDE, París,
http://hdl.voced.edu.au/10707/241317.
Ursin, J. (2020), “Evaluación en educación superior (Finlandia)”, en Bloomsbury Education and Childhood [24]
Studies, https://doi.org/10.5040/9781350996489.0014.
Ursin, J. et al. (2015), “Problematizando la equivalencia de los resultados de las pruebas de pensamiento crítico [23]
basado en el desempeño para estudiantes de pregrado”, Estudios en Evaluación Educativa, vol. 44, págs. 1-8,
https://doi.org/10.1016/j.stueduc.2014.11.001.
Ursin, J. et al. (2021), Evaluación de las habilidades genéricas de los estudiantes de pregrado en Finlandia: [37]
¡Descubrimiento de los Kappas! Proyecto (Informe No. 2021: 31), Ministerio de Educación y Cultura de Finlandia.

programas comparativos de evaluación postsecundaria: lecciones aprendidas y el camino a seguir”, Studies
in Higher Education, vol. 40/3, págs. 1-11, https://doi.org/10.1080/03075079.2015.1004239.
Zahner, D. y A. Ciolfi (2018), “Comparación internacional de una evaluación basada en el desempeño en la [2]
educación superior”, en Olga Zlatkin-Troitschanskaia et al. (eds.), Evaluación de los resultados del aprendizaje
en la educación superior: comparaciones y perspectivas entre países, Springer, Nueva York, https://doi.org/
10.1007/978-3-319-74338-7_11.
Zahner, D. y J. Steedle (2014), Evaluación de la comparabilidad de la calificación de tareas de desempeño [1]

en un programa de evaluación internacional [Presentación del artículo], The 2014 National Council on
Medición en Educación, Filadelfia, PA.
Zlatkin-Troitschanskaia, O., R. Shavelson y C. Kuhn (2015), “El estado internacional de [6]

investigación sobre la medición de la competencia en la educación superior”, Studies in Higher Education, vol.
Zlatkin-Troitschanskaia, O. et al. (2019), “Sobre la complementariedad de la holística y la analítica [12]

enfoques para la calificación de la evaluación del desempeño”, British Journal of Educational Psychology, vol.
89/3, págs. 468-484, https://doi.org/10.1111/bjep.12286.
ÿ 87
Parte II CLA+ Internacional

Base de datos
88 ÿ
5 Resultados generales de CLA+ Internacional
La base de datos internacional CLA+ comprende datos de estudios realizados por la

Agencia Nacional Italiana para la Evaluación de Universidades e Institutos de Investigación
(ANVUR) que cubren 23 campus de estudiantes que salen del sistema de la Universidad
de Guadalajara; estudiantes que ingresan y egresan de un consorcio de cuatro
instituciones “posteriores a 1992” (Hannah, 1996[1]) y una universidad pública en el
Reino Unido; varias instituciones individuales en todo Chile;
y estudiantes que ingresan y egresan de 18 universidades y universidades de ciencias
aplicadas en un estudio patrocinado por el Ministerio de Cultura y Educación de Finlandia.
El conjunto de datos también incluye a todos los estudiantes que ingresaron y egresaron
de los Estados Unidos entre el otoño de 2015 y la primavera de 2020. Esta sección
presenta los resultados de la base de datos agregada de todos los estudiantes participantes.
Algunos análisis separan a los estudiantes entre los de y fuera de los Estados Unidos
debido a la disparidad en el tamaño de la muestra. La Parte III proporciona información
sobre cada país o región participante.
ÿ 89
Introducción
El Capítulo 5 aborda la distribución de puntajes y niveles de dominio en la población estudiantil. Antes de discutir los puntajes
y los niveles de dominio, se proporciona información sobre los datos. La Tabla 5.1 muestra el número de estudiantes de cada
país por año y administración. Como puede ver, Estados Unidos tiene datos para todas las administraciones desde 2015
hasta 2020 y tiene la muestra total más grande con diferencia. Todos los países, excepto Italia, han participado en múltiples
administraciones de la Evaluación del aprendizaje universitario (CLA+).
Tabla 5.1. Muestras de CLA+ por país y administración

Año Administración Chile Finlandia Italia México Unido Unido Total
Reino estados
Primavera 6 589 11 974 18 563

2015
Otoño 141 12 418 12 559
Primavera 702 8 458 9 160

2016
Otoño 730 12 734 13 464
Primavera 167 8 376 8 543

2017
Otoño 2 793 212 11 172 14 177
Primavera 499 2 548 135 7 116 10 298

2018
Otoño 3 249 154 9 808 13 211
Primavera 729 6 580 7 309

2019
Otoño 1 469 5 824 7 293
Primavera 831 1 854 2 685

2020
Otoño 1 727 1 926 3 653
Total 2 955 2 300 6 589 8 590 2 241 98 240 120 915
La Tabla 5.2 muestra el número de estudiantes de cada país por ingreso (Año 1) y egreso (Año 4) del estatus universitario.
En general, el 52% de la muestra son estudiantes que ingresan y el 48% de la muestra son estudiantes que salen. Sin
embargo, los porcentajes de entrada y salida variaron mucho según el país. Hay más estudiantes que ingresan que egresan
en cada país, a excepción de Italia, que solo evaluó a los estudiantes que egresaron. Los países con un alto porcentaje de
estudiantes ingresantes en la muestra son Reino Unido y Chile (93 y 81, respectivamente). En contraste, el 52% de la muestra
de EE. UU. son estudiantes que ingresan.
Tabla 5.2. Muestra por país y año de estudio
País Entrando saliendo Total
Chile 2 387 568 2 955
Finlandia 1 469 831 2 300
Italia 0 6 589 6 589
México 6 551 2 039 8590
Reino Unido 2 086 155 2 241
Estados Unidos 50 809 47 431 98 240
Total 63 302 57 613 120 915
Debido a que los países tienen diferentes números de participantes, la información resumida se basa en la ponderación
equitativa de los países, por lo que los resultados no se ven muy influenciados por los países con un mayor número de estudiantes.
Es decir, las puntuaciones medias presentadas son el promedio de las medias de los seis países. Suponemos que el
90 ÿ
las varianzas de la población son iguales en todos los países, por lo que las desviaciones estándar presentadas son el promedio
de los valores de desviación estándar del país.
Niveles de dominio
Los estudiantes que ingresaron en el conjunto de datos internacionales combinados recibieron, en promedio, una puntuación
total de CLA+ de 1 086 (SD = 134; consulte la Tabla 5.3), que corresponde con el nivel de dominio en desarrollo. Los estudiantes
que salen, en promedio, recibieron un puntaje total de CLA+ de 1097 (SD = 138), que corresponde con el nivel de dominio
Competente. Aunque el tamaño del efecto es pequeño (d = .10), es pertinente señalar que el puntaje promedio de los estudiantes
que salen superó el umbral de referencia del criterio para el desempeño "competente", mientras que el puntaje total promedio de
los estudiantes que ingresan no lo hizo. Además, es importante reconocer que las muestras de estudiantes que ingresan y
egresan difieren entre países, dado que las instituciones en diferentes países evaluaron diferentes poblaciones de estudiantes.
Sin embargo, es alentador ver la mejora en el nivel de dominio promedio. En la Tabla 5.3 se informan otros resultados desglosados
por puntuación de sección. Dadas las tasas de participación muy variables entre países, la Tabla 5.3 informa la gran media
calculada a partir de la media de cada país y la desviación estándar media en lugar de basar los resultados en todos los
estudiantes en el conjunto de datos para evitar que la gran muestra de EE. UU. distorsione los resultados.
Tabla 5.3. Puntajes promedio totales de CLA+ y puntajes de sección, por clase
Puntaje total de CLA+ Puntuación de la tarea de rendimiento Pregunta de respuesta seleccionada

puntaje
Entrando 1 086 1 095 1 076
(134) (160) (168)
saliendo 1 097 1 106 1 088
(138) (165) (169)
Nota: Las desviaciones estándar se enumeran debajo de las medias, entre paréntesis.
Usando la base de datos internacional integrada, los resultados se presentan para la proporción de estudiantes clasificados en
los cinco niveles de dominio de CLA+ para todos los estudiantes (Tabla 5.4) y para todos los estudiantes por clase (Tabla 5.5).
La Tabla 5.4 muestra el porcentaje promedio de estudiantes dentro de los países en cada nivel de desempeño. Los valores
mínimo y máximo representan porcentajes de países individuales. Por ejemplo, el porcentaje promedio de estudiantes clasificados
como emergentes fue de alrededor del 21 % en los seis países. Para mostrar el rango, un país tenía 13% de estudiantes
(columna Mínimo) y un país tenía 42% de estudiantes (columna Máximo) clasificados como Emergentes. Los resultados destacan
la variabilidad del desempeño de los estudiantes entre países.
Tabla 5.4. Distribución del nivel de dominio
Nivel Porcentaje medio 20,9% Mínimo Máximo
emergentes 13,4% 41,7%
Desarrollando 34,1% 28,5% 37,6%
Competente 30,0% 17,4% 34,7%
Logrado 13,3% 4,5% 19,4%
Avanzado 1,7% 0,2% 3,7%
La distribución de los niveles de dominio fue algo similar entre los niveles de clase, como se indica en la Tabla 5.5. Al igual que
los resultados de la Tabla 5.4, el promedio de estudiantes que ingresan y egresan es el promedio de los porcentajes del país en
lugar del promedio entre estudiantes. En general, un porcentaje levemente menor de estudiantes salientes se desempeñó por
debajo del nivel de dominio Competente en comparación con los estudiantes entrantes, y un porcentaje levemente mayor de
estudiantes salientes se desempeñó por encima del nivel de dominio Competente en comparación con los estudiantes entrantes.
ÿ 91
estudiantes. En ambos niveles de clase, las puntuaciones de los estudiantes se agruparon en torno a los niveles de dominio en desarrollo y
competente.
Tabla 5.5. Nivel de dominio, por clase
Estudiantes que ingresan Estudiantes que salen
Nivel Promedio Mínimo Máximo Promedio Mínimo Máximo

emergentes 18,4% 14,4% 27,1% 17.5% 6,5% 41,7%
Desarrollando 34,2% 29,0% 38,6% 32,3% 22,6% 37,7%
Competente 31,9% 26,6% 34,3% 30,6% 17,4% 36,3%
Logrado 13,8% 9,5% 18,6% 16,8% 4,5% 30,3%
Avanzado 1,8% 0,1% 3,4% 2,8% 0,2% 8,4%
Puntuaciones totales CLA+
En general, las distribuciones totales de puntajes de CLA+ fueron similares para los estudiantes que ingresaron y egresaron. La distribución de
los puntajes de la escala CLA+ para los estudiantes que ingresan y los que salen se presentan en la Figura 5.1 y la Figura 5.2, respectivamente.
La distribución de los estudiantes que salen se desplazó ligeramente hacia la derecha en comparación con la distribución de los estudiantes
que ingresan, lo que sugiere cierta mejora en las puntuaciones totales de CLA+ para los estudiantes universitarios que salen.
Figura 5.1. Distribución de puntaje total de CLA+, estudiantes que ingresan
92 ÿ
Figura 5.2. Distribución de puntaje total de CLA+, estudiantes que salen
subpuntuaciones CLA+
Además de recibir puntajes totales y de sección, los estudiantes que completan CLA+ también reciben subpuntajes para
cada sección. Para la Tarea de rendimiento (PT), los estudiantes reciben subpuntuaciones de Análisis y resolución de
problemas (APS), Eficacia de escritura (WE) y Mecánica de escritura (WM). Las subpuntuaciones de PT oscilan entre 1 y 6
puntos cada una. Entre los estudiantes que ingresan, las subpuntuaciones promedio para APS, WE y WM, respectivamente,
fueron 3,3 (SD = 0,8), 3,2 (SD = 0,8) y 3,6 (SD = 0,7). Entre los estudiantes que egresaron, las subpuntuaciones fueron
ligeramente más altas y ligeramente más variables. El promedio de APS fue de 3,4 (SD = 0,8), el promedio de WE fue de 3,4
(SD = 0,8) y el promedio de WM fue de 3,7 (SD = 0,8). Estos hallazgos, ilustrados en la Figura 5.3, muestran que los
estudiantes que egresaron obtuvieron subpuntajes de PT ligeramente más altos.
Figura 5.3. Puntuaciones secundarias de tareas de rendimiento entre los estudiantes que ingresan y egresan
Nota: PT = Tarea de rendimiento; APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de Escritura
Al igual que el PT, la sección de preguntas de respuesta seleccionada (SRQ) se compone de tres subpuntuaciones. Las
subpuntuaciones son razonamiento científico y cuantitativo (SQR), lectura crítica y evaluación (CRE) y crítica y argumento
(CA). Tanto para las subpuntuaciones de SQR como de CRE, los estudiantes que egresaron superaron a los que ingresaron
ÿ 93
estudiantes. Los estudiantes que ingresaron recibieron un puntaje promedio de 521 (SD = 101) en la sección SQR, en comparación con los
estudiantes que salieron que obtuvieron un puntaje promedio de 532 (SD = 103). En la sección CRE, los estudiantes que ingresaron
obtuvieron una calificación promedio de 507 (DE = 100), mientras que los estudiantes que egresaron recibieron una calificación promedio
de 513 (DE = 100). En la sección CA, los estudiantes que ingresan, con un puntaje promedio de 522 (SD = 98), superan levemente a los
estudiantes que salen, quienes obtienen un puntaje promedio de 512 (SD = 102). Los resultados se ilustran en la Figura 5.4. Aunque los
resultados no son tan consistentes como los resultados de la subpuntuación del PT, los estudiantes que salieron obtuvieron puntuaciones
ligeramente más altas en dos de las tres subpuntuaciones en comparación con los estudiantes que ingresaron.
Figura 5.4. Subpuntuaciones de preguntas de respuesta seleccionada entre estudiantes que ingresan y egresan
Nota: SRQ = Pregunta de respuesta seleccionada; SQR = Razonamiento Científico y Cuantitativo; CRE = Lectura Crítica y Evaluación; CA = Criticar un Argumento
Esfuerzo y compromiso autoinformados por los estudiantes
Después de que los estudiantes completan el CLA+, generalmente reciben un cuestionario en el que informan la cantidad de esfuerzo que
dedicaron a cada sección de la evaluación, así como cuán interesante les pareció cada sección de la evaluación. Tanto el esfuerzo como el
compromiso se informan en escalas Likert de 5 puntos, donde los valores más altos indican niveles más altos de esfuerzo y compromiso.
En el PT, la calificación promedio de esfuerzo otorgada por los estudiantes que ingresaron fue de 3,6 (DE = 0,9) y la calificación promedio
otorgada por los estudiantes que egresaron fue de 3,7 (DE = 0,9).
Para la sección SRQ, los estudiantes que ingresan reportaron un promedio de 3.1 puntos en la escala de esfuerzo (SD = 0.9), y los
estudiantes que salen reportaron un promedio de 3.3 (SD = 0.9). La Tabla 5.6 resume la distribución de las calificaciones de esfuerzo
autoinformadas por clase y sección. Es importante tener en cuenta que estos datos no están disponibles para todos los estudiantes porque
no todos los países incluyeron esta encuesta al final de la evaluación.
Tabla 5.6. Esfuerzo autoinformado de los estudiantes en cada sección de CLA+
Sin esfuerzo en absoluto un poco de esfuerzo Una cantidad Mucho esfuerzo mi mejor esfuerzo
moderada de esfuerzo
Entrando 1,0% 7,8% 40,6% 34,9% 15,7%

PT
saliendo 1,0% 7,5% 36,8% 34,9% 19,9%
Entrando 3,7% 19,1% 46,0% 23,7% 7,5%

SRQ
saliendo 2,4% 14,8% 42,1% 29,0% 11,6%
Nota: PT = Tarea de rendimiento; SRQs = Preguntas de respuesta seleccionada
94 ÿ
Como se muestra en la Tabla 5.7, por cada aumento en el esfuerzo autoinformado, hubo un aumento en el puntaje promedio en la
sección correspondiente. En otras palabras, los estudiantes que reportaron hacer más esfuerzo en el PT generalmente recibieron
puntajes de PT más altos que aquellos que reportaron menos esfuerzo, y los estudiantes que reportaron mayores niveles de esfuerzo
en la sección SRQ tendieron a obtener puntajes más altos en esa sección que sus compañeros que reportaron Menos esfuerzo. Una
excepción a esto es que los puntajes del SRQ no aumentaron para los estudiantes que reportaron hacer “[su] mejor esfuerzo” en
comparación con los estudiantes que reportaron “mucho esfuerzo”. Este patrón se mantuvo tanto para los estudiantes que ingresaban
como para los que egresaban. La relación entre la puntuación de la sección CLA+ y la cantidad de esfuerzo realizado se ilustra en la
Figura 5.5. Los resultados del PT para los estudiantes que egresaron mostraron una línea de tendencia diferente en comparación con
los otros resultados. Se observó una pendiente más pronunciada de "un poco de esfuerzo" a "mucho esfuerzo" y "mejor esfuerzo", lo
que demuestra un aumento más dramático en los puntajes de PT para las dos calificaciones de esfuerzo más altas.
Tabla 5.7. Puntaje promedio de la sección CLA+ por esfuerzo autoinformado
Sin esfuerzo en absoluto un poco de esfuerzo un moderado Mucho esfuerzo mi mejor esfuerzo
cantidad de esfuerzo
PT Entrando 927 987 1 070 1 126 1 142
(188) (176) (154) (147) (148)

saliendo 955 1 000 1 107 1 165 1 174
(148) (138) (148) (150) (156)

SRQ Entrando 956 1 029 1 082 1 111 1 106
(147) (159) (165) (165) (170)
saliendo 928 1 047 1 101 1 133 1 116
(125) (167) (168) (161) (169)
Nota: Las desviaciones estándar se enumeran debajo de las medias, entre paréntesis. PT = Tarea de Desempeño; SRQs = Preguntas de respuesta seleccionada
Figura 5.5. Puntaje promedio de la sección CLA+ por cantidad de esfuerzo
En comparación con el esfuerzo autoinformado, hubo más variabilidad entre la sección PT y la SRQ en el compromiso autoinformado.
La calificación promedio que los estudiantes que ingresaron informaron sobre su compromiso con el PT fue 3.1 (DE = 1.0), y la
otorgada por los estudiantes que egresaron fue 3.2 (DE = 1.0). Sin embargo, los estudiantes que ingresan reportaron un nivel de
compromiso promedio de 2.6 (SD = 1.0) para la sección SRQ, y los estudiantes que salen reportaron un promedio de 2.8 (SD = 1.1).
Las distribuciones se resumen en la Tabla 5.8.
ÿ 95
Tabla 5.8. Participación autoinformada de los estudiantes en cada sección de CLA+
De nada un poco atractivo Moderadamente muy atractivo

atractivo atractivo Extremadamente atractivo
PT Entrando 7,4% 19,3% 39,5% 27,6% 6,2%
saliendo 7,2% 16,1% 33,9% 33,8% 9,1%
SRQ Entrando 17,9% 28,9% 33,6% 15,9% 3,8%
saliendo 14,0% 25,6% 35,2% 20,3% 5,0%
Nota: PT = Tarea de desempeño: SRQs = Preguntas de respuesta seleccionada
Hubo una relación similar entre el compromiso y la puntuación de la sección CLA+ a la relación descrita anteriormente entre el
esfuerzo y la puntuación de la sección. Al igual que con el esfuerzo, los estudiantes que informaron niveles más altos de
participación en una sección tendieron a recibir puntajes más altos en esa sección que sus compañeros que informaron menos
participación. También similar a los hallazgos anteriores sobre el esfuerzo y la puntuación de la sección, el patrón no se mantuvo
para los estudiantes que informaron estar "muy comprometidos" a "extremadamente comprometidos" con la sección SRQ
(consulte la Tabla 5.9). Las puntuaciones medias de SRQ tendieron a estancarse y disminuir para las calificaciones de
participación más altas, mientras que las puntuaciones medias de PT continuaron aumentando en todo el rango de calificaciones
de participación. La relación entre la puntuación de la sección CLA+ y el nivel de compromiso se ilustra en la Tabla 5.9.
Tabla 5.9. Puntaje promedio de la sección CLA+ por participación autoinformada
Nada un poco atractivo Moderadamente muy atractivo

Entrando 1 017 1 064 1 100 1 124 1 140
(176) (164) (153) (152) (155)

PT
saliendo 1 038 1 084 1 143 1 163 1 178
(162) (163) (147) (150) (155)
Entrando 1 029 1 074 1 089 1 103 1 089
(161) (165) (168) (167) (172)

SRQ
saliendo 1 039 1 085 1 119 1 127 1 109
(165) (173) (166) (156) (182)
Nota: Las desviaciones estándar se enumeran debajo de las medias, entre paréntesis. PT = Tarea de Desempeño; SRQs = Preguntas de respuesta seleccionada
96 ÿ
Figura 5.6. Puntaje promedio de la sección CLA+ por nivel de participación
Resumen
El Capítulo 5 abordó la distribución de puntajes y niveles de dominio en la población estudiantil. Debido a que los países tienen
un número diferente de participantes, la información resumida se basó en la ponderación equitativa de los países, por lo que los
resultados no están muy influenciados por los países con un mayor número de estudiantes.
En general, los estudiantes que salen se desempeñaron mejor que sus compañeros que ingresan en promedio. Esto es
consistente en todos los países de la muestra y ofrece alguna evidencia de que la educación superior contribuye a la mejora de
las habilidades genéricas de los estudiantes. Sin embargo, las ganancias de aprendizaje no son grandes y hay espacio para
mejorar estas habilidades a nivel mundial.
Según las puntuaciones medias, los estudiantes que ingresan se desempeñaron en el nivel de dominio en desarrollo y los
estudiantes que egresaron se desempeñaron en el nivel de dominio competente. Los resultados de la subpuntuación mostraron
puntuaciones ligeramente más altas para los estudiantes que salen en comparación con los estudiantes que ingresan. Se
examinó la relación entre las puntuaciones de CLA+ y el esfuerzo/compromiso autoinformado en cada sección. En general, por
cada aumento de calificación en el esfuerzo/compromiso autoinformado, hubo un aumento en el puntaje promedio en la sección
correspondiente. Es alentador ver la mejora en las puntuaciones y ver la relación lineal entre el esfuerzo/compromiso y los
resultados de las pruebas.
ÿ 97
Referencia
Hannah, S. (1996), “La ley de educación superior de 1992: Habilidades, limitaciones y la política de [1]
educación superior”, Journal of Higher Education, vol. 67/5, págs. 498-527,
ÿ 99
6 CLA+ Demografía internacional

Variables
Este capítulo explora las relaciones entre las variables demográficas y el rendimiento
de la Evaluación del aprendizaje universitario (CLA+). Las variables demográficas de
interés en este conjunto de datos son el idioma principal, el género y el nivel educativo
de los padres. Para permitir análisis inferenciales, en este capítulo se reportan las
medias generales en lugar de las medias generales de las medias de los países. Sin
embargo, debido a la gran muestra de Estados Unidos en comparación con los tamaños
de muestra de otros países participantes, los resultados de los datos nacionales de EE.
UU. se informan por separado de los resultados del resto de los datos internacionales
combinados.
100 ÿ
Lenguaje primario
Después de completar CLA+, la mayoría de los estudiantes respondieron una serie de preguntas de encuestas
demográficas. En una pregunta, se pidió a los estudiantes que identificaran si su idioma principal era el mismo
que el idioma de instrucción en su institución, o si su idioma principal era diferente del idioma de instrucción en
su universidad. Las tablas 6.1 a 6.4 resumen el puntaje total promedio de CLA+, así como los puntajes de las
secciones de CLA+ desglosados por idioma principal, nivel de clase y muestra.
Tabla 6.1. Puntaje CLA+ por idioma principal, estudiantes que ingresan: muestra internacional
Estudiantes que ingresan
El idioma principal es el mismo que el idioma de El idioma principal es diferente del idioma de Diferencia de medias
instrucción (n = 8 604) instrucción (n = 1 139) (idioma igual menos idioma
Significar Desviación Estándar Significar Desviación Estándar diferente)
Puntaje total de CLA+ 1 095 132 1 057 138 38

puntuación PT 1 107 167 1 073 179 34
Puntuación SRQ 1 084 164 1 040 163 44
Nota: PT = Tarea de rendimiento; SRQ = Preguntas de respuesta seleccionada
Tabla 6.2. Puntaje CLA+ por idioma principal, estudiantes que ingresan: muestra de EE. UU.
Estudiantes que ingresan
Puntaje total de CLA+ 1 060 150 1 065 146 -5

puntuación PT 1 041 170 1 052 159 -11
Puntuación SRQ 1 078 186 1 077 184 1
Tabla 6.3. Puntaje CLA+ por idioma principal, estudiantes que salen: muestra internacional
Estudiantes que salen
instrucción (n = 8 835) instrucción (n = 642) (idioma igual menos idioma
Puntaje total de CLA+ 1 031 142 999 151 31

puntuación PT 1 011 176 976 193 35
Puntuación SRQ 1 050 173 1 023 172 27
ÿ 101
Tabla 6.4. Puntaje CLA+ por idioma principal, estudiantes que salen: muestra de EE. UU.
Estudiantes que salen
Puntaje total de CLA+ 1 110 147 1 062 148 48

puntuación PT 1 095 170 1 058 166 37
Puntuación SRQ 1 124 181 1 067 181 57
Se usaron pruebas t de muestras independientes para determinar si las diferencias en las puntuaciones de CLA+ entre los grupos de
idioma primario eran significativas (consulte las Tablas 6.5-6.7). La mayoría de las pruebas t arrojaron resultados significativos,
excepto por la comparación de los puntajes de la sección de preguntas de respuesta seleccionada (SRQ) entre los estudiantes que
ingresaron del conjunto de datos doméstico de EE. UU. Sin embargo, aunque la mayoría de los resultados fueron estadísticamente
significativos, el tamaño del efecto varió de insignificante a pequeño. En general, se encontraron pequeñas diferencias entre los
grupos de idioma principal entre los estudiantes internacionales que ingresan y entre los estudiantes que salen de los EE. UU. En
ambas muestras, los estudiantes cuyo idioma principal era el mismo que el idioma de instrucción en promedio se desempeñaron
ligeramente mejor que sus compañeros que tenían un idioma principal diferente. Entre los estudiantes estadounidenses que ingresan
y los estudiantes internacionales que salen, las diferencias encontradas fueron demasiado pequeñas para ser significativas en la práctica.
Al examinar más de cerca las diferencias entre los grupos de idiomas primarios, se hace evidente que ninguna parte de la evaluación
está impulsando estas diferencias de manera única. Sin embargo, en las submuestras donde hubo diferencias significativas (es decir,
entrada internacional y salida de EE. UU.), se encontró que el tamaño del efecto era ligeramente mayor con respecto a la sección
SRQ que a la sección PT. En cierto modo, esto es contrario a la intuición, ya que la sección PT requiere una respuesta por escrito,
mientras que la sección SRQ no. Una posible explicación para este hallazgo inesperado es que, en promedio, los estudiantes que
reciben instrucción en su idioma no nativo pueden ser más hábiles para escribir en su idioma de instrucción que para comprender
documentos en su idioma de instrucción. Aunque ambas secciones se basan en documentos, el contenido del PT tiene un alcance
más amplio que el de la sección SRQ. Por lo tanto, al completar el PT, los estudiantes pueden comprender mejor la información
porque se les da más contexto. Se necesita más investigación para investigar a fondo las diferencias en el rendimiento de CLA+ entre
los estudiantes que reciben instrucción en su idioma principal versus un idioma diferente.
En la muestra internacional, las diferencias entre los grupos de idiomas primarios se encontraron solo entre los estudiantes que
ingresan. Hay varias explicaciones posibles para este hallazgo. Una posibilidad es que los estudiantes que reciben instrucción en su
idioma no primario enfrenten una mayor curva de aprendizaje al comienzo de sus carreras de educación superior, a la que se adaptan
a lo largo de su educación. Otra posibilidad es que haya un efecto de desgaste. Es decir, es posible que, si algunos estudiantes que
reciben instrucción en su idioma no primario tienen más dificultades que sus compañeros, es menos probable que continúen sus
carreras de educación superior. Por lo tanto, los estudiantes que tenían dificultades al ingresar no se incluirían en la muestra de
estudiantes que salían.
Mientras tanto, los estudiantes en los Estados Unidos mostraron el patrón opuesto en el desempeño de CLA+. Específicamente, una
diferencia basada en el idioma en el rendimiento de CLA+ surgió solo entre los estudiantes que salían de la muestra de EE. UU. Al
igual que en la muestra internacional, es posible que este resultado se haya visto afectado por la deserción estudiantil.
Sin embargo, se necesita más investigación para examinar los factores potenciales que influyen en este hallazgo inesperado.
102 ÿ
Tabla 6.5. Resultados de la prueba t de muestras independientes: puntuación total de CLA+ por idioma principal
t d.f. pags
d de Cohen
Entrando Muestra internacional Muestra 9.96 1746 <.001 0.29
estadounidense Muestra -2.92 13620 0.004 0.03
saliendo internacional Muestra 5.21 768 <.001 0.21
estadounidense 24.16 47400 <.001 0.33
Tabla 6.6. Resultados de la prueba t de muestras independientes: puntuación de la tarea de rendimiento por idioma principal
t d.f. pags
d de Cohen
estadounidense Muestra -6.01 14033 <.001 0.07
estadounidense 16.81 8991 <.001 0.22
Tabla 6.7. Resultados de la prueba t de muestras independientes: puntuación de respuesta seleccionada por idioma principal
t d.f. pags
d de Cohen
estadounidense Muestra 0,67 50775 0.504 0.01
estadounidense 23.70 47400 <.001 0.31
Género
Al igual que en el idioma principal, los estudiantes también identificaron su género después de concluir la evaluación. Las opciones de
respuesta que se presentaron a los estudiantes fueron: masculino, femenino y declinar al estado. Dado que la estructura de la pregunta
de género de la encuesta fue consistente en todos los países participantes, el género es una variable clave para establecer comparaciones
en la muestra general. Sin embargo, una vez más, los datos de EE. UU. se informan por separado del resto del conjunto de datos
internacional debido al gran tamaño de las muestras en los Estados Unidos. Tabla 6.8-Tabla 6.11
resumir las puntuaciones totales y de sección de CLA+ por género, clase y conjunto de datos.
Tabla 6.8. Puntaje CLA+ por género, estudiantes ingresantes: muestra internacional
Hombre (n = 5.873) Mujer (n = 4,9676295) Rechazo al Estado (n = 215)
Significar Estándar Significar Estándar Significar Estándar
desviación desviación desviación
Puntaje total de CLA+ 1 086 139 1 095 126 1 106 154
puntuación PT 1 089 175 1 116 161 1 100 193
Puntuación SRQ 1 084 169 1 074 160 1 112 172
ÿ 103
Tabla 6.9. Puntaje CLA+ por género, estudiantes que ingresan: muestra de EE. UU.
Hombre (n = 22.701) Mujer (n = 27.080) Declinar declarar (n = 996)

puntuación PT 1 040 171 1 045 165 1 041 178
Puntuación SRQ 1 090 190 1 068 180 1 101 198
Tabla 6.10. Puntaje CLA+ por género, estudiantes egresados: muestra internacional
Hombre (n = 4460) Mujer (n = 5558) Declinar declarar (n = 53)

Significar Desviación Significar Desviación Significar Desviación
Estándar Estándar Estándar
puntuación PT 1 013 178 1 004 177 1 064 213
Puntuación SRQ 1 071 171 1 030 172 1 098 184
Tabla 6.11. Puntaje CLA+ por género, estudiantes que salen: muestra de EE. UU.
Hombre (n = 17.966) Mujer (n = 28.060) Declinar declarar (n = 1,376)

puntuación PT 1 090 175 1 091 166 1 059 177
Puntuación SRQ 1 123 188 1 112 178 1 104 194
Se utilizaron análisis de varianza unidireccional (ANOVA) para examinar más a fondo la posible diferencia de género en el
rendimiento de CLA+ (ver Tabla 6.12-Tabla 6.14). Similar a los hallazgos con el idioma primario, la mayoría de las diferencias
encontradas fueron estadísticamente significativas pero insignificantemente pequeñas. En la mayoría de los casos, los análisis
post-hoc revelaron que la diferencia entre hombres y mujeres estaba impulsando los resultados significativos en lugar de los
estudiantes que se negaron a declarar su género. Esto puede deberse a una muestra relativamente pequeña de estudiantes en el último grupo.
En general, no se encontraron patrones consistentes dentro de subconjuntos específicos de la muestra. En otras palabras, no
hubo una submuestra en la que los hombres superaran consistentemente a las mujeres o viceversa. De manera similar, para la
puntuación total de CLA+ y la puntuación de la tarea de rendimiento (PT), no hubo un patrón constante de un género superando
a otro en las submuestras.
El único hallazgo consistente fue la diferencia en el rendimiento promedio de CLA+ en la sección SRQ. En la sección SRQ, todos
los grupos arrojaron una diferencia significativa en la que los estudiantes masculinos superaron levemente a las estudiantes
femeninas en promedio. Sin embargo, en la mayoría de las submuestras, el tamaño del efecto entre hombres y mujeres en el
desempeño promedio de SRQ fue insignificante. Una excepción a esto es la submuestra de salida internacional, en la que hubo
una pequeña diferencia entre hombres y mujeres en el desempeño promedio de SRQ.
En general, hubo pocos patrones claros con respecto a las diferencias de género en el desempeño de CLA+. El único hallazgo a
destacar fue la diferencia entre hombres y mujeres en la sección SRQ entre los estudiantes internacionales que salen. Se
necesita más investigación para examinar los factores que pueden haber contribuido a este hallazgo.
104 ÿ
Tabla 6.12. Resultados de ANOVA unidireccional que comparan la puntuación total de CLA+ por género
d.f. F ÿ2 pags
Entrando Internacional 2, 12380 7.60 0.001 0.001
Doméstico 2, 50774 20.52 0.001 <.001
saliendo Internacional 2, 10068 42.44 0.008 <.001
Doméstico 2, 47399 21.20 0.001 <.001
Tabla 6.13. Resultados de ANOVA unidireccional que comparan la puntuación de la tarea de rendimiento por género
df F ÿ2 pags
Entrando Internacional 2, 12380 2, 38.30 0.006 <.001
Doméstico 50774 7.35 0.000 0.001
saliendo Internacional 2, 10068 6.12 0.001 .002
Doméstico 2, 47399 23.81 0.001 <.001
Tabla 6.14. Resultados de ANOVA unidireccional que comparan la puntuación de respuesta seleccionada por género
d.f. F ÿ2 pags
Entrando Internacional 2, 12380 11.9.43 0.002 <.001
Doméstico 2, 50774 93.71 0.004 <.001
saliendo Internacional 2, 10068 72.62 0.014 <.001
Doméstico 2, 47399 25.55 0.001 <.001
Además de proporcionar su idioma principal y género, los estudiantes también respondieron una pregunta de la encuesta sobre el nivel más alto
de educación de sus padres. Sin embargo, las opciones de respuesta diferían según si los estudiantes evaluaron en la plataforma internacional
o en la plataforma nacional. Para los estudiantes que realizaron la prueba en la plataforma internacional, a excepción de los estudiantes italianos,
las opciones de respuesta se basaron en el sistema educativo del Reino Unido. Las traducciones para otros países se mantuvieron paralelas
para que cada opción de respuesta indicara un nivel de educación equivalente al de la muestra del Reino Unido. A los efectos de estos análisis,
las categorías de respuesta se han convertido para representar los niveles CINE. Los puntajes promedio de los estudiantes por clase y nivel de
educación de los padres se informan en la Figura 6.1-Figura 6.6 para las muestras internacionales y estadounidenses.
Los resultados de CLA+ por nivel de educación de los padres se examinaron más a fondo a través de ANOVA de una vía (consulte la Tabla 6.15-
Tabla 6.16). En términos generales, los niveles más altos de educación de los padres se asociaron con puntajes CLA+ más altos.
En la muestra internacional, cada nivel sucesivo de educación de los padres a menudo se asoció con un aumento de puntaje promedio
estadísticamente significativo hasta el nivel de licenciatura. Para títulos superiores a la licenciatura, hubo menos diferencias de puntuación
significativas entre los niveles educativos. En la muestra de EE. UU., cada nivel sucesivo de educación de los padres se asoció con un aumento
significativo de la puntuación media.
En conclusión, los estudiantes cuyos padres tenían al menos una licenciatura se desempeñaron mejor en CLA+ que aquellos cuyos padres
tenían menos de una licenciatura. En la muestra internacional, el beneficio de la educación de los padres disminuyó después del nivel de
licenciatura. En la muestra de EE. UU., sin embargo, el beneficio continuó hasta el nivel de educación de grado/posgrado. La diferencia entre las
muestras internacional y estadounidense puede deberse a matices en la relación entre el nivel educativo y el estatus socioeconómico.
Alternativamente, estas diferencias también pueden resultar de discrepancias de muestreo entre países.
ÿ 105
Figura 6.1. Puntaje promedio de CLA+ por clase y educación de los padres, muestra internacional
Figura 6.2. Puntaje promedio de tareas de desempeño por clase y educación de los padres, muestra internacional
106 ÿ
Figura 6.3. Puntaje promedio de respuesta seleccionada por clase y educación de los padres, muestra internacional
Figura 6.4. Puntaje promedio de CLA+ por clase y educación de los padres, muestra de EE. UU.
ÿ 107
Figura 6.5. Puntaje promedio de tareas de desempeño por clase y educación de los padres, muestra de EE. UU.
Figura 6.6. Puntaje promedio de respuesta seleccionada por clase y educación de los padres, muestra de EE. UU.
Tabla 6.15. Resultados de ANOVA unidireccional para comparaciones por educación de los padres, muestra internacional
6, F ÿ2 pags
Entrando Puntaje total de CLA+ 10805 6, 40.17 0.022 <.001
puntuación PT 10805 6, 23.131 0.013 <.001
Puntuación SRQ 10805 6, 29.09 0.016 <.001
saliendo Puntaje total de CLA+ 3475 6, 18.99 0.032 <.001
puntuación PT 3475 11.24 0.019 <.001
Puntuación SRQ 6, 3475 13.72 0.023 <.001
108 ÿ
Tabla 6.16. Resultados de ANOVA unidireccional para comparaciones por educación de los padres, muestra de EE. UU.
d.f. F ÿ2 pags
Entrando Puntaje total de CLA+ 5, 50771 636.76 0.059 <.001
puntuación PT 5, 50771 331.73 0.032 <.001
Puntuación SRQ 5, 50771 569.66 0.053 <.001
saliendo Puntaje total de CLA+ 5, 47396 418.05 0.042 <.001
puntuación PT 5, 47396 207.32 0.021 <.001
Puntuación SRQ 5, 47396 383.89 0.039 <.001
Dadas las diferencias encontradas en el desempeño de CLA+ según los niveles de educación de los padres, es útil investigar
cualquier posible interacción entre la educación de los padres y el desempeño de CLA+. Específicamente, es importante
abordar la preocupación de que las diferencias de desempeño entre los estudiantes que ingresan y egresan pueden deberse
a la selección más que al efecto educativo. Aunque los datos disponibles no permiten hacer una inferencia causal concluyente,
sí permiten una exploración más profunda. Para desentrañar la relación entre la educación de los padres y el rendimiento de
CLA+ de los estudiantes, se compararon las puntuaciones promedio totales de CLA+ de los estudiantes que ingresaban y
egresaban después de controlar la educación de los padres. El primer paso de este procedimiento consistió en realizar una
regresión simple entre la educación de los padres y la puntuación total de CLA+ (ver Tabla 6.17-Tabla 6.18).
Tabla 6.17. Resultados de regresión simple, muestra internacional
Fuente B SE B ÿ t pags
Constante 1046.00 2.77 378.17 <.001
Educación para padres 11.70 0,67 0.15 17.56 <.001
Tabla 6.18. Resultados de regresión simple, muestra de EE. UU.
Fuente B SE B ÿ t pags
Constante 984.43 1.54 637.70 <.001
Educación para padres 27.00 0.41 0.21 66.26 <.001
A continuación, se utilizaron pruebas t de muestras independientes para comparar los estudiantes que ingresaban y
egresaban dentro de cada muestra. Los residuos de las regresiones simples se usaron como variables dependientes (ver Tabla 6.19).
Las pruebas t mostraron resultados significativos para ambas muestras; sin embargo, el tamaño del efecto para la muestra
internacional fue insignificantemente pequeño. Desde un punto de vista práctico, estos resultados no son concluyentes en
cuanto a si las diferencias de desempeño entre los estudiantes que ingresan y egresan se pueden atribuir al efecto de la
selección o de la educación. Por un lado, las diferencias significativas entre los niveles de clase después de controlar la
educación de los padres respaldan la noción de que puede haber un efecto educativo más allá de la selección. Esto se ve
reforzado por el tamaño del efecto modesto pero significativo observado en la muestra de EE. UU. Sin embargo, el pequeño
tamaño del efecto entre la muestra internacional apunta a la selección inicial como un indicador más importante que el efecto
educativo.
Tabla 6.19. Resultados de la prueba t de muestras independientes: Puntaje total de CLA+ residual por nivel de clase
t d.f. pags
d de Cohen
Muestra internacional Muestra -3.61 14292 <.001 -.07
estadounidense -48.45 97048 <.001 -.31
ÿ 109
En general, estos resultados deben interpretarse con cautela dadas las limitaciones de estos análisis. Lo más notable
es que, a diferencia de los análisis de los capítulos anteriores, los residuos de la muestra internacional no se
ponderaron por país. Esto puede haber enmascarado efectos que fueron más prominentes en algunos países pero
menos prominentes que otros. Además, no hay suficiente información para sacar una inferencia causal sobre el
impacto de la educación frente a la selección. Se necesita investigación futura para desentrañar esta compleja relación.
ÿ 111
7 Validez predictiva de CLA+
Jessalynn James, TNTP (Estados Unidos)
Jonathan Lehrfeld, ETS (Estados Unidos)
Los resultados de la investigación presentados en este capítulo provienen de dos estudios que
utilizaron un conjunto de datos longitudinales que examinaron la validez de CLA+ como predictor
de los resultados posteriores a la educación superior para los estudiantes en transición de la
educación superior a la carrera. Los datos de CLA+ de los estudiantes que se graduaron en 2014
y 2017 y los resultados de las encuestas de sus empleadores y asesores ayudan a responder
preguntas sobre la importancia de estas habilidades en la educación posterior a la educación
superior y si pueden predecirse mediante los puntajes de las pruebas CLA+.
112 ÿ
Introducción
Nota: Los datos sobre la validez predictiva de la Evaluación del aprendizaje universitario (CLA+) corresponden a los datos de CLA+ para
estudiantes de los Estados Unidos. Actualmente no hay suficientes datos de CLA+ International para un estudio de la validez predictiva
del instrumento.
El conocimiento basado en hechos y contenido ya no es suficiente para el éxito en la educación superior y la carrera.
Los estudiantes necesitan habilidades genéricas como el pensamiento crítico, la resolución de problemas y la comunicación escrita para
alcanzar su máximo potencial. Aunque los padres y los estudiantes a menudo creen que obtener la admisión a la educación superior es
un paso claro hacia el éxito, los estudiantes de hoy enfrentan un enorme desafío para navegar con éxito la educación superior, como se
refleja en las tasas nacionales de graduación dentro de los Estados Unidos. Solo el 41 % de los estudiantes de educación superior por
primera vez y de tiempo completo en los Estados Unidos se gradúan dentro de los cuatro años y solo el 59 % lo hace dentro de los seis
años (de Brey et al., 2019[1]), estadísticas que muestran un panorama preocupante .
La persistencia y la retención son desafíos de larga data, con pocas mejoras recientes, en particular para los estudiantes de minorías y
de bajos ingresos (Banks and Dohy, 2019[2]; Hernandez and Lopez, 2004[3]). Los datos más recientes indican que entre los estudiantes
que se matricularon en educación superior por primera vez en el otoño de 2017, solo el 62 % se mantuvo en su institución original en el
otoño de 2018 (National Student Clearinghouse Research Center, 2019[4]). Aunque muchos estudiantes citan razones no académicas
como dificultades financieras, salud u obligaciones familiares como las principales causas de la deserción o el aplazamiento de su
educación (Astin and Oseguera, 2012[5]), el fracaso académico también es un factor significativo que contribuye a la falta de persistencia
y permanencia de los estudiantes en la educación superior.
Una vez que los estudiantes se gradúan, su próximo desafío es encontrar una carrera que aproveche sus conocimientos, habilidades y
capacidades. Como se indicó en el Capítulo 2, si bien el conocimiento del contenido es una parte necesaria de la educación de un
estudiante, por sí solo es insuficiente para que un estudiante prospere académica y profesionalmente (Capital, 2016[6]; Hart Research
Associates, 2013[7]; National Association of Colleges and Employers, 2018[8]; Rios et al., 2020[9]; World Economic Forum, 2016[10]).
Queda pendiente la cuestión de si estas habilidades genéricas son empíricamente predictivas de los resultados de la educación superior.
Los datos de CLA+ de estudiantes de último año que se gradúan ayudan a responder preguntas sobre la importancia de estas habilidades
y la efectividad de usar CLA+ como una herramienta para identificar las fortalezas y áreas de mejora de los estudiantes.
Los resultados de la investigación presentados en este capítulo provienen de dos estudios que utilizaron un conjunto de datos
longitudinales que examinaron la validez de CLA+ como predictor de los resultados posteriores a la educación superior para los
estudiantes en transición de la educación superior a la carrera. Los datos de CLA+ de los estudiantes que se graduaron en 2014 y 2017
y los resultados de las encuestas de sus empleadores y asesores ayudan a responder preguntas sobre la importancia de estas
habilidades en la educación posterior a la educación superior y si pueden predecirse mediante los puntajes de las pruebas CLA+.
Estudio 1: Validez predictiva CLA+ de los resultados de la educación superior
Este estudio examinó la validez de CLA+ como predictor de los resultados de la educación superior para las transiciones de los
estudiantes a sus carreras. Se administró una encuesta longitudinal a los graduados de la primavera de 2014 para seguir sus experiencias
posteriores a la educación superior.
Método
Participantes
Un total de 12 752 estudiantes de último año evaluados en la primavera de 2014. Procedían de 149 instituciones de educación superior
de cuatro años que incluían una combinación de universidades de investigación públicas y privadas, universidades y facultades de
maestría y facultades de licenciatura. Las tasas de admisión de las 149 instituciones oscilaron entre el 18 % y el 100 % (promedio del 66
%), las tasas de graduación de seis años oscilaron entre el 19 % y el 92 % (promedio del 55 %) y el porcentaje de blancos osciló
ÿ 113
del 5% al 95% (mediana 68%). Se establecieron estándares con referencia a criterios para el CLA+ (Zahner, 2014[11])
utilizando la metodología de marcadores (Lewis et al., 1999[12]). La Tabla 7.1 muestra la información demográfica de toda
la cohorte y de aquellos que obtuvieron el nivel de dominio competente, logrado o avanzado, que fue el 61,6 % de la cohorte.
Tabla 7.1. Estadísticas descriptivas demográficas
Todos los participantes Competente, Cumplido y Avanzado

norte 12 752 7 849
% Femenino 62.3 61.2
% Blanco 60,9 68.6
% Inglés idioma principal hablado en el hogar % Padre 85.7 88,9
con al menos una licenciatura Promedio (St. Dev) GPA 52.5 57.7
acumulativo (de 4.0) 3,22 (0,49) 3,34 (0,46)
Fuentes de datos y materiales
CLA+
Los estudiantes tomaron el CLA+ en la primavera de 2014.
Encuesta #1
Se administró una encuesta longitudinal a la cohorte de 2014 para seguir sus experiencias posteriores a la educación
superior. Se administraron encuestas a los participantes tres, seis y 12 meses después de la graduación. De aproximadamente
13 000 estudiantes, 1 585 aceptaron participar en la encuesta y 993 persistieron en las tres fases. Cabe señalar que el
registro para la encuesta se envió en agosto, tres meses después de que muchos de los participantes se graduaran, lo que
podría limitar el alcance debido a direcciones de correo electrónico obsoletas o desatendidas.
Resultados
Se utilizaron regresiones logísticas para analizar la validez predictiva de las puntuaciones CLA+ en los resultados de la
educación superior (Tabla 7.2). Estos incluyeron:
• resultados positivos posteriores a la educación superior en general (0 = no, 1 = sí al empleo a tiempo completo o
parcial, inscripción en educación continua, servicio militar o participación en un servicio o programa de voluntariado
como AmeriCorps)
• salario anual (0 = menos de USD 45 000, 1 = más de USD 45 000), utilizando la mediana nacional para los graduados
de educación superior de 2014 (National Association of Colleges and Employers, 2015[13]) para determinar la
dicotomía
• empleo (0 = desempleado, 1 = empleado a tiempo completo o parcial)
• empleo a tiempo completo (0 = no, 1 = sí)
• educación continua (0 = actualmente no está inscrito en un programa de educación continua, 1 =
matriculados en un programa de educación continua).
La puntuación CLA+ se utilizó para predecir las cinco variables dicotómicas en análisis separados. Los resultados se
encuentran en la Tabla 7.2. Se encontró que CLA+ es un predictor significativo de todos los resultados de la educación
superior para los estudiantes un año después de su graduación.
114 ÿ
Tabla 7.2. Resultados de la regresión logística para predecir los resultados posteriores a la educación superior por CLA+
puntuaciones
Resultados generales Salario Empleo Tiempo completo Escuela de posgrado
empleo
ÿ ÿ ÿ ÿ ÿ
(SE) (SE) (SE) (SE) (SE)
norte 969 634 791 705 318
Puntuación CLA+ .002* .002* .003** .001* .003**
(.001) (.001) (.001) (.001) (.001)
Interceptar .10 -3.22** -.91 -1.15 -3.25**
(.97) (.94) (1.14) (.71) (1.14)
-2 Logaritmo de probabilidad 647.81 727.48 453.37 1059.47 386.00
Nota: *p < .05; ** p < 0,01
Raza/Etnia por habilidades genéricas por competitividad institucional (Figura 7.1)
La raza/etnicidad fue autoinformada por los estudiantes en la encuesta demográfica de CLA+. Se seleccionaron cuatro
categorías para el análisis: asiática; afroamericano/negro, no hispano; Hispano o latino; y Blanco, no hispano. Los estudiantes
también se clasificaron en dos grupos según su dominio de las habilidades medidas en CLA+: aquellos que dominan el
pensamiento crítico y la comunicación escrita y aquellos con habilidades emergentes o en desarrollo. La variable final era si el
estudiante asistía a una institución competitiva o no competitiva (Barron's Profiles of American Colleges, 2014[14]).
Figura 7.1. Distribución de competencia CLA+ y competitividad institucional por raza/etnicidad; n = 12 476.
Básicamente, hay grandes proporciones de estudiantes pertenecientes a minorías que dominan y superan el dominio de las
habilidades de pensamiento crítico y comunicación escrita que asisten a instituciones no competitivas. Aproximadamente el
35% de los estudiantes afroamericanos/negros (no hispanos) y el 25% de los estudiantes hispanos o latinos que asisten a
estas instituciones no competitivas tienen habilidades competentes, logradas o avanzadas. Aunque estas proporciones pueden
no parecer grandes, el número de estudiantes de minorías en instituciones menos competitivas o no competitivas supera con creces
ÿ 115
el número de los que asisten a las instituciones competitivas. Esto significa que hay un grupo significativamente grande de graduados
universitarios calificados de grupos minoritarios o subrepresentados que pueden ser pasados por alto como candidatos viables debido
a la escuela a la que asistieron.
Hay potencialmente millones de estudiantes que se gradúan de instituciones menos competitivas y no competitivas (Benjamin,
2020[15]) que dominan las habilidades que los empleadores dicen que desean (Hart Research Associates, 2013[7]), (2015[16]) . Dado
que hay una inscripción cada vez mayor en estas instituciones menos selectivas y no selectivas, que tienen proporciones más altas
de estudiantes de minorías (Benjamin, 2020[15]), los empleadores deben expandir sus búsquedas de reclutamiento más allá de los
colegios y universidades de élite para tener una representación más representativa . y diversa fuerza de trabajo.
Los hallazgos de este estudio respaldan la conclusión de que las habilidades de pensamiento crítico y comunicación escrita son
importantes para predecir la ubicación profesional y el éxito en el lugar de trabajo (Arum and Roksa, 2014[17]).
Además, CLA+ puede servir como un instrumento eficaz para identificar a los estudiantes de alto rendimiento de instituciones menos
competitivas y no competitivas y para hacer que sus habilidades sean más visibles para los empleados en perspectiva. Los estudiantes
de alto rendimiento que asisten a instituciones menos competitivas y no competitivas (Hoxby y Aver, 2012[18]) de hecho tienen las
mismas habilidades de pensamiento crítico que sus compañeros en instituciones competitivas, lo que potencialmente puede conducir
a resultados positivos después de la universidad. .
Estudio 2: CLA+ Validez Predictiva de las Evaluaciones de Empleadores y Asesores
Este estudio sigue al primer estudio sobre la validez predictiva de CLA+ en los resultados de la educación superior y responde a la
pregunta de la importancia de las habilidades genéricas y la utilidad de un instrumento para medir estas habilidades. En 2015, los
investigadores contactaron a los empleadores o asesores de posgrado de la cohorte de estudiantes original y los encuestaron.
También se contactó a una segunda cohorte de estudiantes de la primavera de 2017 para este estudio. No se incluyeron en el Estudio
1.
Método
Participantes
De la cohorte de la primavera de 2014, 52 empleadores y 23 asesores respondieron a la encuesta para un total de 75 participantes.
10 empleadores y 4 asesores adicionales respondieron a una encuesta separada para la cohorte de 2017, para un total de 89
participantes. Dado el pequeño tamaño de la muestra, los resultados de la encuesta de los empleadores y los asesores se analizaron
juntos. La Tabla 7.3 muestra la información demográfica de los estudiantes cuyos empleadores y asesores respondieron a la encuesta
y de todos los estudiantes que tomaron la prueba en la primavera de 2014 y en la primavera de 2017.
Tabla 7.3. Estadísticas descriptivas demográficas
Estudiantes de la encuesta de empleadores Todos los participantes
primavera 2014 y primavera 2017
norte 89 21 513
% Femenino 66.3 60.0
% Blanco 66.3 59.2
% Inglés idioma principal hablado en el hogar % Padre 89.5 84.5
con al menos una licenciatura Promedio (St. Dev) GPA 66.2 51,9
acumulativo (de 4.0) 3,37 (0,45) 3,24 (0,48)
Media (St. Dev) SAT (o ACT convertido) 1 114 (153) 1 066 (172)
116 ÿ
Análisis
Se utilizaron estadísticas descriptivas y pruebas de chi-cuadrado para investigar si los empleadores y asesores se preocupan
por las habilidades medidas por CLA+. Luego se usaron modelos de regresión logística ordinal para ilustrar la relación entre
el puntaje total de CLA+ y las calificaciones de los empleadores y asesores de los participantes en dichas habilidades, así
como la relación entre el puntaje total de CLA+ y la calificación de los empleadores/asesores sobre cómo se clasificó el
participante. en comparación con otros recién graduados de educación superior en el lugar de trabajo/programa de
posgrado. La suposición de probabilidades proporcionales se probó comparando el ajuste de los modelos de regresión
logística ordinal con los modelos de regresión multinomial. Se encontró que ambos conjuntos de modelos dieron como
resultado un ajuste muy similar para cada pregunta.
Fuentes de datos y materiales
Encuesta #2
En 2015, un año después de graduarse de la universidad, se administró una encuesta a empleadores y asesores de
estudiantes que tomaron CLA+ en la primavera de 2014. La encuesta también se administró a empleadores y asesores de
la cohorte de 2017. Cabe señalar que existe un sesgo en la muestra, ya que los estudiantes se autoseleccionaron para
proporcionar la información de sus empleadores y asesores de posgrado. Sin embargo, los estudiantes no se diferenciaron
significativamente demográficamente de la cohorte total de estudiantes (Tabla 7.3). Hubo un poco más de estudiantes
mujeres, estudiantes que se identificaron como blancos, estudiantes que hablaban inglés como idioma principal en el hogar
y estudiantes con padres con al menos un título universitario en el grupo participante que en la cohorte total.
La encuesta consistió en una serie de preguntas (Tabla 7.4) sobre cuán importantes son el pensamiento crítico y las
habilidades de comunicación escrita para el desempeño exitoso de un empleado o estudiante, las percepciones del
empleador o asesor sobre qué tan competente es su empleado o estudiante, y cómo el empleado o estudiante clasificado
en comparación con sus compañeros en el lugar de trabajo o programa de posgrado.
Tabla 7.4. Preguntas de la encuesta para empleadores
¿Qué tan importantes son las siguientes 1= 2= 3= 4= 5=
habilidades para un desempeño exitoso Sin importancia de poco moderadamente Importante Muy importante
en el puesto del participante? importancia importante
Análisis y Resolución de Problemas
Eficacia de escritura
Mecánica de escritura
¿Cómo calificaría al participante en las 1= 2= 3= 4= 5=
siguientes habilidades? Insatisfactorio Necesidades Satisfactorio Bueno Sobresaliente

mejora
En general, ¿dónde se ubica el desempeño 1= 2= 3= 4= 5=

del participante en comparación con otros abajo Debajo de otros Sobre los mismos Por encima de otros arriba
graduados universitarios recientes en su bueno empleados como otros empleados bueno
lugar de trabajo? otros empleados empleados otros empleados
ÿ 117
Resultados
Importancia de las habilidades CLA+
Los resultados indican que los empleadores y los asesores de posgrado consideran importantes el pensamiento crítico y las habilidades
de comunicación escrita, medidas por el análisis y la resolución de problemas, la eficacia de la escritura y la mecánica de la escritura. La
Tabla 7.5 muestra la distribución de las respuestas a las tres primeras preguntas de la Tabla 7.4. Dado que solo unos pocos empleadores
o asesores de posgrado respondieron "Sin importancia" o "De poca importancia", estas dos categorías y "Moderadamente importante" se
fusionaron en una categoría "Moderadamente importante o menos" en análisis posteriores. Sin embargo, con fines descriptivos, mostramos
las cinco categorías de respuesta originales.
Como era de esperar dados los porcentajes observados informados en la tabla, las pruebas de chi-cuadrado confirmaron que las
respuestas fueron significativamente diferentes de la casualidad (es decir, no hubo una probabilidad igual de que los empleadores/asesores
eligieran cualquiera de las tres respuestas a cada pregunta) . Claramente, los empleadores y los asesores de posgrado consideraron que
el análisis y la resolución de problemas, la efectividad de la escritura y la mecánica de la escritura eran importantes o muy importantes.
Tabla 7.5. Distribución de las respuestas a las preguntas de “Importancia”
Importancia de Sin importancia de poco moderadamente Importante Muy ÿ2(gl),
importancia importante importante pags
Análisis y 0% 0% 8% 24% 67% 132,96(4), p

Resolución de problemas < 0,001
Escritura 2% 4% 13% 34% 47% 63,93(4),

Eficacia p < 0,001
Escritura 5% 5% 19% 42% 30% 41,78(4), p

Mecánica < 0,001
Puntajes CLA+ que predicen el desempeño en el lugar de trabajo o en la escuela de posgrado de los participantes
A continuación, utilizamos modelos de regresión logística ordinal para examinar la capacidad predictiva de la puntuación total de CLA+ en
cuatro calificaciones proporcionadas por el empleador o asesor de posgrado de los participantes (preguntas 4-7 en la Tabla 7.4). Dado
que el análisis y la resolución de problemas, la efectividad de la escritura y la mecánica de la escritura son habilidades importantes o muy
importantes, ¿qué tan bien predice el puntaje total de CLA+ el uso posterior de estas habilidades por parte de los participantes en el lugar
de trabajo o en la escuela de posgrado? Además, ¿qué tan bien predice el puntaje CLA+ las clasificaciones relativas de los participantes
por parte del empleador o el asesor de posgrado?
La Tabla 7.6 muestra los coeficientes de regresión logística ordinal, sus errores estándar, los intervalos de confianza del 95% y las
estadísticas t (p < .001 para todos los análisis). Los coeficientes de regresión se pueden interpretar como las probabilidades logarítmicas
de obtener una calificación más alta dado un aumento de 1 punto en la puntuación total de CLA+. Por ejemplo, en el modelo de análisis y
resolución de problemas, el coeficiente estimado se da como .0033. Por lo tanto, para un aumento de 1 punto en la puntuación total de
CLA+, las probabilidades logarítmicas de "saltar" a una categoría de calificación más alta ("Bueno" en lugar de "Satisfactorio o peor", o
"Sobresaliente" en lugar de "Bueno") aumentan en .0033. Los coeficientes de regresión son pequeños porque las puntuaciones totales de
CLA+ están en una gran escala (400-1600), por lo que no se espera que un punto extra haga una gran diferencia. Dos factores aumentarían
la interpretabilidad de los resultados: 1) usar un aumento de puntaje más significativo, como 50 puntos, y 2) convertir las probabilidades
logarítmicas en probabilidades exponenciando el coeficiente. Por lo tanto, si un estudiante obtiene 50 puntos más que un segundo
estudiante, las probabilidades logarítmicas de ser calificado en una categoría más alta que el segundo estudiante son 50*.0033 = .165, y
las probabilidades son exp (.165) = 1.18. Este primer estudiante tiene un 18 % más de probabilidades que el segundo estudiante de
obtener una categoría más alta ("Bueno" en lugar de "Satisfactorio o peor", o "Sobresaliente" en lugar de "Bueno") debido a la puntuación
total más alta de CLA+.
118 ÿ
Tabla 7.6. Modelos de regresión logística ordinal para predecir el rendimiento de los participantes después
de la educación superior
covariable Est. coeficiente Estándar error estadística t IC del 95 %
Más bajo Superior
Puntuación CLA+ .0033 .0002 14.33 .0029 .0038
Puntuación CLA+ .0043 .0002 18.36 .0039 .0048
Puntuación CLA+ .0046 .0002 19.33 .0041 .0051
Comparación de rango del participante

Puntuación CLA+ .0049 .0002 22.18 .0045 .0053
Nota: Los coeficientes estimados son probabilidades logarítmicas de recibir una calificación una categoría más alta dado un aumento de 1 punto en la puntuación total de CLA+.
Conclusión
Los empleadores y asesores encuentran que el pensamiento crítico y las habilidades de comunicación escrita son importantes o muy
importantes para los puestos de nivel inicial en la fuerza laboral y los programas de posgrado. CLA+ predice los resultados positivos
de la educación superior según lo medido por las respuestas de la encuesta de los empleadores. Es importante tener esto en cuenta
porque, a pesar de que aproximadamente 1,8 millones de personas se gradúan cada año, los empleadores todavía encuentran una
brecha de habilidades (Arum and Roksa, 2014[17]; Capital, 2016[6]; Hart Research Associates, 2013[7]; National Association of
Colleges and Employers, 2018[8]; Rios et al., 2020[9]; World Economic Forum, 2016[10]).
Los recién graduados luchan por encontrar trabajos de nivel de entrada apropiados y se preguntan si están obteniendo un buen
retorno de su inversión (Abel, Deitz and Su, 2014[19]). Y los servicios profesionales tradicionales y los recursos de búsqueda de
empleo normalmente no brindan a los estudiantes una plataforma para demostrar habilidades de orden superior a los empleadores.
El impacto para los estudiantes que no se gradúan o se gradúan y no pueden encontrar un empleo adecuado es enorme para los
estudiantes y los padres, así como para las instituciones. Los datos más recientes del Departamento de Educación de EE. UU.
indican que muchas familias de ingresos bajos y medianos se han endeudado considerablemente para financiar la educación
universitaria de sus hijos (Fuller and Mitchell, 2020[20]). La OCDE (2013[21])
La Encuesta de Habilidades de Adultos (PIAAC), que evalúa habilidades básicas como la alfabetización, la aritmética y la resolución
de problemas en entornos digitales, ha demostrado que las calificaciones de educación superior, la medida de capital humano más
utilizada, son un indicador deficiente del nivel real de habilidades de la población. . Cada vez hay más pruebas de que las
cualificaciones no coinciden con las habilidades (McGowan and Andrews, 2015[22]). Ayudar a los estudiantes a mejorar y mostrar
sus habilidades de pensamiento crítico, resolución de problemas y comunicación mejora sus posibilidades de obtener resultados
académicos y profesionales positivos.
Los hallazgos de este estudio respaldan la conclusión de que las habilidades genéricas, como el pensamiento crítico y la comunicación
escrita, son importantes para predecir la ubicación profesional y el éxito en el lugar de trabajo. Además, el CLA+ puede servir como
un instrumento eficaz no solo para identificar a los estudiantes de alto rendimiento, sino también para hacer que sus habilidades de
pensamiento crítico y comunicación escrita sean más visibles para los posibles empleadores y los funcionarios de admisiones de las
escuelas de posgrado.
ÿ 119
Referencias
Abel, J., R. Deitz y Y. Su (2014), “¿Están los recién graduados universitarios encontrando buenos trabajos?”, Temas actuales [19]
en economía y finanzas, vol. 20/1.
Arum, R. y J. Roksa (2014), Adultos aspirantes a la deriva, University of Chicago Press, Chicago, IL. [17]
Astin y L. Oseguera (2012), “Influencias preuniversitarias e institucionales en el logro de títulos”, en Seidman, A. (ed.), Retención [5]
de estudiantes universitarios: fórmula para el éxito estudiantil, Rowman & Littlefield Publishers, Nueva York.
Banks, T. y J. Dohy (2019), "Mitigar las barreras a la persistencia: una revisión de los esfuerzos para mejorar las tasas de [2]
retención y graduación de los estudiantes de color en la educación superior", Estudios de educación superior, vol. 9/1, págs.
118-131, https://doi.org/10.5539/hes.v9n1p118.
Perfiles de universidades estadounidenses de Barron (2014), perfiles de universidades estadounidenses de Barron, 31 [14]
edición, Serie Educativa de Barron.
Benjamin, R. (2020), “Eleveling the Playing Field From College to Career”, en Bienes Colectivos [15]
e Investigación en Educación Superior, https://doi.org/10.4324/9780429453069-6.
Capital, P. (2016), Informe de preparación de habilidades laborales de 2016, http://www.payscale.com/data packages/job-skills. [6]
de Brey, C. et al. (2019), “Estado y tendencias en la educación de grupos raciales y étnicos 2018”, [1]
Centro Nacional de Estadísticas Educativas, vol. NCES 2019-038, https://nces.ed.gov/
programs/raceindicators/index.asp.
Fuller, A. y J. Mitchell (2020), "¿Qué escuelas dejan a los padres con la mayor deuda de préstamos universitarios?", The [20]
Wall Street Journal, https://www.wsj.com/articles/which-schools-leave-parents con-la-mayor-deuda-de-préstamo-
universitario-11606936947.
Hart Research Associates (2015), ¿Se está quedando corto? Aprendizaje universitario y éxito profesional, Hart Research [dieciséis]
Associates, Obtenido de Washington, DC, http://www.aacu.org/sites/default/files/files/LEAP/

2015employerstudentsurvey.pdf.
Hernandez, J. and M. Lopez (2004), “Leaking Pipeline: Issues Impacting Latino/A College [3]
Student Retention”, Journal of College Student Retention: Research, Theory & Practice, vol. 6/1, págs. 37-60, https://
doi.org/10.2190/fbly-0uaf-ee7w-qjd2.
Hoxby, C. y C. Aver (2012), "The Missing One-Offs: The hidden supply of high-achieving, low income Students", Documento de [18]
trabajo 18586 de la Oficina Nacional de Investigación Económica.
Lewis, D. et al. (1999), El procedimiento de establecimiento de estándares de marcadores, McGraw-Hill, Monterey, CA. [12]
McGowan, M. y D. Andrews (2015), Skill desajuste y política pública en los países de la OCDE, OECD Publishing, París. [22]
Asociación Nacional de Universidades y Empleadores (2018), ¿Están los graduados universitarios “listos para una carrera”?, [8]
https://www.naceweb.org/career-readiness/competencies/are-college-graduates-career ready/.
120 ÿ
Asociación Nacional de Universidades y Empleadores (2015), Salario inicial promedio para la clase universitaria de 2014, http:// [13]
www.naceweb.org/about-us/press/average-starting-salaries-class-2014.aspx.
National Student Clearinghouse Research Center (2019), persistencia y retención del primer año para la cohorte de otoño de [4]
2017, https://nscresearchcenter.org/snapshotreport35-first-year-persistence and-retention/.
OCDE (2013), Informe técnico de la Encuesta de Habilidades de Adultos (PIAAC), OCDE, París, http:// [21]
www.oecd.org/skills/piaac/_Technical%20Report_17OCT13.pdf.
Ríos, J. et al. (2020), "Identificación de habilidades críticas del siglo XXI para el éxito en el lugar de trabajo: un análisis de [9]
contenido de anuncios de trabajo", Investigador educativo, vol. 49/2, págs. 80-89, https://doi.org/10.3102/0013189X19890600.
Estrategia de Empleo, Habilidades y Fuerza Laboral para la Cuarta Revolución Industrial, Foro Económico Mundial,
http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf.
Zahner, D. (2014), Informe final del estudio de establecimiento de estándares CLA+, Consejo para la Ayuda a la Educación, Nueva [11]
York, Nueva York.
ÿ 121
8 campos de estudio
Este capítulo explora las relaciones entre el desempeño de los estudiantes en la Evaluación
del aprendizaje universitario (CLA+) y los campos de estudio en la universidad o colegio. Los
campos de estudio se clasifican de manera diferente para las muestras internacionales y
estadounidenses. Por lo tanto, los resultados se presentan por separado. Además, la encuesta
internacional incluyó preguntas sobre el formato de instrucción.
Estos datos se discuten primero.
122 ÿ
Formato instructivo
Después de completar el CLA+, los estudiantes internacionales respondieron a una serie de preguntas, incluidas preguntas sobre
el formato de su instrucción. Las preguntas no son mutuamente excluyentes; Se pidió a los estudiantes que seleccionaran todas
las que correspondan.
La tabla del Anexo muestra el número y porcentaje de estudiantes que avalaron cada uno de los formatos instruccionales,
mostrados en los encabezados de las columnas por área de estudio. Los porcentajes se calculan en función del número de
estudiantes para un campo de estudio determinado. Por ejemplo, la lectura en fila para estudiantes de artes liberales, su
instrucción incluía conferencias (54 % de los estudiantes), estudios de arte (51 %) y seminarios (41 %), por nombrar algunos
formatos. En general, las conferencias, los seminarios y el estudio independiente fueron los formatos de instrucción más
respaldados en todos los campos de estudio.
Se examinó el desempeño de los estudiantes en el CLA+ para cada formato de instrucción. La Tabla 8.1 muestra las puntuaciones
medias de CLA+ por formato de instrucción. Es importante señalar que hay superposición en las muestras (por ejemplo, los
estudiantes que participaron en seminarios también pueden haber participado en estudios independientes). Las puntuaciones
totales medias de los estudiantes que participaron en seminarios, laboratorios de ciencias o conferencias estuvieron dentro del
nivel de dominio Competente. Las puntuaciones totales medias para los otros formatos de instrucción estuvieron dentro del nivel
de dominio en desarrollo. Los formatos de conferencias y seminarios son comunes en todos los campos de estudio, pero los
estudiantes de ciencias indicaron con mayor frecuencia los laboratorios de ciencias (ver Anexo). Los resultados sugieren que
hacer que los estudiantes participen en seminarios, laboratorios de ciencias o conferencias puede facilitar el desarrollo de
habilidades de pensamiento crítico. La figura 8.1 muestra los puntajes promedio de CLA+ de los estudiantes por formato de instrucción.
Tabla 8.1. Puntuaciones de CLA+ por formato de instrucción: muestra internacional
Puntuación media de CLA+
Formato Instruccional norte Total PT SRQ
Seminario 5 497 1 112 1 126 1 097
Conferencia 7 526 1 103 1 111 1 095
Aprendizaje a distancia/clase 2 997 1 092 1 084 1 100

en línea
Laboratorio de ciencia 1 458 1 105 1 105 1 105
Estudio de arte 2 662 1 094 1 105 1 083
Servicio de aprendizaje/trabajo de campo 3 510 1 072 1 080 1 064
Estudio independiente 5 713 1 096 1 105 1 087
Otro 1 629 1 082 1 083 1 081
ÿ 123
Figura 8.1. Puntajes promedio de CLA+ por formato de instrucción para la muestra internacional
Campos de estudio para estudiantes internacionales
Las opciones de respuesta de los campos de estudio diferían dependiendo de si los estudiantes evaluaron en la plataforma internacional
o en la plataforma nacional. Los países que probaron en la plataforma internacional fueron Chile, Finlandia, México y algunos estudiantes
de Reino Unido (22%). La plataforma nacional incluía solo a los Estados Unidos. Los resultados del puntaje promedio de los estudiantes
se presentan en tablas y se ilustran en figuras.
La Tabla 8.2 presenta el puntaje total de CLA+ y los resultados de sección por campo de estudio para la muestra internacional.
La tabla muestra los resultados de puntajes de escala promedio para los estudiantes que ingresan y egresan y la diferencia promedio
entre esos puntajes. Cuando los resultados de la diferencia de medias son positivos, los estudiantes que salen obtienen puntajes más
altos en promedio que los estudiantes que ingresan; cuando los resultados de la diferencia de medias son negativos, los estudiantes
que ingresan obtienen puntajes más altos en promedio que los estudiantes que salen. En general, los estudiantes que egresaron lograron
puntajes promedio más altos que los estudiantes que ingresaron, con algunas excepciones.
Se excluyeron los campos de estudio con menos de 100 estudiantes para cualquiera de las cohortes para evitar informar resultados que
no sean representativos de los grupos de estudiantes. Los tres campos de estudio excluidos fueron el programa general (artes liberales),
el derecho y los programas de servicios (servicios sociales, enfermería).
En cuanto a los resultados de puntaje total de CLA+, los puntajes promedio para ciencias, humanidades o artes y ciencias sociales
estuvieron dentro del nivel de dominio competente para los estudiantes que ingresan. Todos los puntajes promedio de los estudiantes
que egresaron se clasificaron como competentes, excepto en negocios y agricultura. Los valores de diferencia de medias muestran un
mayor crecimiento desde la entrada hasta la salida del estado para los grupos de salud o bienestar y no especificados.
Otra observación es que las muestras de los estudiantes que ingresaban eran mucho más altas que las de los estudiantes que salían,
aproximadamente entre 2 y 4 veces más altas.
Para determinar si hubo diferencias de rendimiento entre los campos de estudio de los estudiantes internacionales, se realizó un análisis
de varianza (ANOVA). Los resultados de la Tabla 8.3 muestran que hubo diferencias significativas para ambas cohortes y para cada
puntaje CLA+, aunque los tamaños del efecto fueron bajos.
124 ÿ
Tabla 8.2. Puntuaciones CLA+ por campo de estudio para cohortes de estudiantes: muestra internacional
Campo de estudio Estudiantes que ingresan Estudiantes que salen Significar
Significar norte Dakota del Sur Significar norte Dakota del Sur
diferencia
Puntaje total de CLA+
humanidades o artes 1 109 2 228 129 1 119 697 134 9
Ciencias Sociales 1 098 1 188 129 1 109 326 133 12
Negocio 1 057 1 269 131 1 055 412 131 -2
Ciencias 1 113 1 580 135 1 117 417 126 5
Ingeniería, fabricación, arquitectura o construcción. 1 092 2 155 124 1 106 576 124 14
Agricultura 996 425 122 991 177 111 -5
Salud o bienestar (servicios sociales, enfermería) 1 076 1 158 116 1 098 616 125 22
No conocido o no especificado de otra manera 1 075 379 124 1 113 139 114 38
Tarea de rendimiento CLA+
Ciencias Sociales 1 099 1 188 166 1 123 326 166 24
Negocio 1 084 1 269 179 1 065 412 176 -19
Ciencias 1 103 1 580 162 1 124 417 149 21
Ingeniería, fabricación, arquitectura o construcción. 1 088 2 155 151 1 100 576 148 12
Agricultura 975 425 167 986 177 149 11
Preguntas de respuesta seleccionada de CLA+
Ciencias Sociales 1 097 1 188 159 1 096 326 170 -1
Negocio 1 030 1 269 154 1 044 412 154 14
Ciencias 1 123 1 580 172 1 111 417 168 -12
Ingeniería, fabricación, arquitectura o construcción. 1 096 2 155 161 1 113 576 164 dieciséis
Agricultura 1 018 425 143 997 177 134 -21
Nota: La "diferencia de medias" se calcula restando la media de "Entrada" de la media de "Salida".
Para determinar si había diferencias de rendimiento entre los campos de estudio de los estudiantes internacionales, se
realizaron análisis ANOVA. Los resultados de la Tabla 8.3 muestran que hubo diferencias significativas para ambas
cohortes y para cada puntaje CLA+, aunque los tamaños del efecto fueron bajos.
Tabla 8.3. ANOVA unidireccional para puntajes CLA+ en todos los campos de estudio para estudiantes internacionales
Grupo Puntaje CLA+ df F ÿ2 pags
Entrando Puntaje total de CLA+ 7, 10381 7, 63.46 0.041 <.001
Puntuación de la tarea de rendimiento 10381 45,95 0.030 <.001
Puntaje de respuesta seleccionada 7, 10381 51.76 0.034 <.001
Puntuación de la tarea de rendimiento 7, 3359 24.73 0.049 <.001
Las comparaciones post hoc de Bonferroni se realizaron con un nivel de significación de 0,05. Para el puntaje total de
CLA+, los estudiantes de ciencias y humanidades se desempeñaron mejor que todos o la mayoría de los otros campos de
estudio y todos o la mayoría de los otros campos de estudio se desempeñaron mejor que negocios y agricultura para el ingreso.
ÿ 125
grupo. Para la cohorte que salió, los estudiantes de humanidades y ciencias superaron a los estudiantes de negocios y agricultura, y
todos los grupos se desempeñaron mejor que el grupo de agricultura.
Los resultados de CLA+ PT muestran que los estudiantes de humanidades y artes se desempeñaron mejor que todos los demás campos
de estudio y todos los demás campos de estudio se desempeñaron mejor que la agricultura para la cohorte entrante. Para la cohorte
que salió, todos los campos de estudio superaron a los grupos de negocios y agricultura.
Los resultados de CLA+ SRQ muestran que los estudiantes de ciencias se desempeñaron mejor que todos los demás grupos, y los
estudiantes de negocios y agricultura recibieron puntajes más bajos en promedio que los otros campos de estudio para la cohorte
entrante. Para la cohorte que salió, los estudiantes de ingeniería se desempeñaron mejor que los estudiantes de salud y bienestar,
negocios y agricultura; los negocios se desempeñaron mejor que la agricultura, pero por debajo de la mayoría de los otros grupos, y los
estudiantes de agricultura se desempeñaron por debajo de todos los demás grupos.
Estos resultados sugieren que existen diferencias consistentes y significativas entre los campos de estudio. Se encontró que los
estudiantes de negocios y agricultura tenían puntajes relativamente bajos y los estudiantes de humanidades, ciencias y ciencias sociales
tenían puntajes relativamente altos en comparación con sus compañeros en otros campos de estudio. La implicación de estos hallazgos
es que los estudiantes, particularmente los estudiantes de negocios y agricultura, pueden beneficiarse de algunos talleres de instrucción
sobre pensamiento crítico y habilidades de comunicación escrita para aumentar sus habilidades al nivel de otros campos de estudio.
La Figura 8.2-Figura 8.4 muestra los resultados de los estudiantes internacionales para las puntuaciones CLA+ total, PT y SRQ,
respectivamente.
Figura 8.2. Puntuaciones totales de CLA+ de los estudiantes internacionales por campo de estudio
126 ÿ
Figura 8.3. Puntuaciones de las tareas de rendimiento de los estudiantes internacionales por campo de estudio
Figura 8.4. Puntuaciones de respuesta seleccionadas de estudiantes internacionales por campo de estudio
ÿ 127
Campos de estudio para estudiantes estadounidenses
Los campos de estudio de los Estados Unidos constaban de cinco categorías. La Tabla 8.4 presenta los resultados por cohorte y campo de
estudio para cada puntaje CLA+. También se muestran los resultados de la diferencia de medias.
Al observar los resultados de puntaje total de CLA+ para los estudiantes que ingresan, solo el puntaje promedio para los estudiantes de
ciencias e ingeniería estuvo en el nivel de dominio Competente, y los puntajes promedio para los otros campos de estudio estuvieron en el
nivel de dominio en Desarrollo. Por el contrario, los puntajes promedio de los estudiantes que egresaron estaban en el rango Competente
para estudiantes de ciencias e ingeniería, ciencias sociales y humanidades e idiomas, y en el rango En desarrollo para negocios y ayuda/
servicios. Es interesante notar que la clasificación de los campos de estudio se mantuvo igual para los estudiantes que ingresaron y egresaron
en los tres puntajes de CLA+. Los estudiantes de ciencias e ingeniería obtuvieron la puntuación media más alta, seguidos de ciencias
sociales, humanidades e idiomas, negocios y ayuda/servicios.
Los resultados de la diferencia de medias fueron positivos para todos los puntajes de CLA+ y campos de estudio, lo que indica que los
estudiantes que egresaron lograron consistentemente puntajes más altos en promedio que los estudiantes que ingresaron. La diferencia
media más alta se observó en el campo de ayuda/servicios en los tres puntajes de CLA+, lo que puede sugerir que los estudios en el área de
ayuda/servicios contribuyen a adquirir habilidades de pensamiento crítico y comunicación escrita.
Tabla 8.4. Puntuaciones de CLA+ por campo de estudio para cohortes de estudiantes: muestra de EE. UU.
Campo de estudio Estudiantes que ingresan Estudiantes que salen Significar
Significar norte Dakota del Sur Significar norte Dakota del Sur
diferencia
Puntaje total
Negocio 1 046 8 572 146 1 087 10 611 143 41
Ayuda/Servicios 1 018 11 239 139 1 078 11 191 143 61
Humanidades e Idiomas 1 069 4 057 148 1 110 6 327 149 41
Ciencias e Ingeniería 1 097 16 290 146 1 143 10 015 146 45
Tarea de rendimiento
Negocio 1 033 8572 166 1 079 10 611 168 46
Ayuda/Servicios 1 010 11 239 164 1 068 11 191 166 58
Ciencias Sociales 1 055 5 078 174 1 106 6 871 172 51
Puntaje de respuesta seleccionada
Negocio 1 059 8 572 181 1 095 10 611 177 35
Ayuda/Servicios 1 025 11 239 172 1 089 11 191 176 64
Ciencias Sociales 1 090 5 078 186 1 130 6 871 183 39
Para determinar si hubo diferencias significativas en el rendimiento entre los campos de estudio de los estudiantes de EE. UU., se realizaron
análisis ANOVA. Los resultados de la Tabla 8.5 muestran que hubo diferencias significativas para ambas cohortes para cada puntaje CLA+,
aunque los tamaños del efecto fueron relativamente bajos. Figura 8.5,
La Figura 8.6 y la Figura 8.7 muestran los resultados de puntaje de escala promedio para cada puntaje de CLA+ por campos de estudio para
la muestra de EE. UU.
128 ÿ
Tabla 8.5. ANOVA unidireccional para puntajes CLA+ en todos los campos de estudio para estudiantes de EE. UU.
Grupo Puntuación CLA+ d.f. F ÿ2 pags
Entrando Puntaje total de CLA+ 4, 45231 536.83 0.045 <.001
Las pruebas post hoc de Bonferroni se realizaron con un nivel de significancia de 0,05. El mismo patrón de resultados surgió para
ambas cohortes y para todos los puntajes de las pruebas CLA+. Específicamente, los estudiantes de ciencias e ingeniería y ciencias
sociales superaron a todos oa la mayoría de los demás campos de estudio; Los estudiantes de negocios y ayuda/servicios se
desempeñaron más bajo que todos o la mayoría de los otros campos de estudio.
Figura 8.5. Puntuaciones totales de CLA+ de los estudiantes estadounidenses por campo de estudio
ÿ 129
Figura 8.6. Puntuaciones de tareas de rendimiento de los estudiantes estadounidenses por campo de estudio
Figura 8.7. Puntuaciones de respuestas seleccionadas de estudiantes estadounidenses por campo de estudio
130 ÿ
Conclusión
Este capítulo exploró las relaciones entre el desempeño de los estudiantes en el CLA+ y los campos de estudio en la universidad o
colegio. Además, se examinó el desempeño de los estudiantes en el CLA+ para cada formato de instrucción. En promedio, las
puntuaciones de CLA+ para los estudiantes que participaron en seminarios, laboratorios de ciencias o conferencias estuvieron dentro
del nivel de dominio Competente.
Los campos de estudio de los estudiantes internacionales eran diferentes a los de los estudiantes estadounidenses. Para los
estudiantes internacionales, los estudiantes de ciencias y humanidades tendieron a superar a sus compañeros en otros campos de
estudio. Para la muestra de EE. UU., los estudiantes de ciencias e ingeniería y los estudiantes de ciencias sociales superaron en
promedio a sus pares.
Estos resultados sugieren que existen diferencias consistentes y significativas entre los campos de estudio para las muestras
internacionales y estadounidenses. La muestra internacional es más diversa que la estadounidense. Como se señaló en la Parte III de
este libro, los capítulos de Italia, Finlandia, el Reino Unido, México y América Latina describen la introducción del CLA+ dentro de un
contexto específico y para un propósito específico.
Independientemente de las políticas educativas y los programas de rendición de cuentas, los grupos de estudiantes pueden
beneficiarse de la instrucción para facilitar el desarrollo de sus habilidades de pensamiento crítico y comunicación escrita.
ÿ 131
Anexo 8.A. Muestra internacional: Formato instruccional por campos

de estudio
Anexo Cuadro 8.A.1. Formato instructivo por campos de estudio para la muestra internacional
Seminarios Conferencias Distancia Ciencias Estudios de arte Servicio Independiente Otro
Aprendizaje/ En línea laboratorios Aprendizaje/ Campo Estudiar

Clases Trabajar
norte % norte % norte % norte % norte % norte % norte % norte %
Programa general (artes liberales) 161 80 49,7% 115 71,4% 35 21,7% 5 3,1% 27 16,8% 29 18,0% 44 27,3% 22 13,7%
humanidades o artes 2 925 1 209 41,3% 1 591 54,4% 312 10,7% 86 2,9% 1 481 50,6% 702 24,0% 1195 40,9% 286 9,8%
Ciencias Sociales 1 514 740 48,9% 999 66,0% 342 22,6% 70 4,6% 126 8,3% 334 22,1% 564 37,3% 131 8,7%
Negocio 1 681 722 43,0% 920 54,7% 431 25,6% 42 2,5% 96 5,7% 395 23,5% 652 38,8% 133 7,9%
Ciencias 1 997 813 40,7% 993 49,7% 415 20,8% 533 26,7% 192 9,6% 381 19,1% 807 40,4% 256 12,8%
Ingeniería, fabricación, arquitectura 2 731 818 30,0% 1 163 42,6% 650 23,8% 394 14,4% 445 16,3% 541 19,8% 1104 40,4% 425 15,6%
o construcción.
Agricultura 602 159 26,4% 230 38,2% 92 15,3% 79 13,1% 77 12,8% 298 49,5% 224 37,2% 78 13,0%
Salud o bienestar (servicios sociales, 1 774 681 38,4% 980 55,2% 550 31,0% 217 12,2% 115 6,5% 620 34,9% 807 45,5% 160 9,0%
enfermería)
Servicios (personal, transporte, 272 77 28,3% 155 57,0% 55 20,2% 7 2,6% 10 3,7% 52 19,1% 106 39,0% 29 10,7%
medio ambiente, seguridad)
No conocido o no especificado de 518 146 28,2% 288 55,6% 73 14,1% 23 4,4% 89 17,2% 138 26,6% 156 30,1% 100 19,3%
otra manera
Total 14 175 5 445 7 434 2 955 1 456 2 658 3490 5 659 1 620
Nota: Los porcentajes en las celdas naranjas están entre 25 y 50 por ciento; los porcentajes en las celdas grises son superiores al 50 por ciento.
ÿ 133
9 Comparación de países
El capítulo 9 aborda la evaluación comparativa de los países. Aunque el Capítulo

5 resume los niveles de dominio entre países, ponderando por igual a los países
debido a las diferencias en el tamaño de la muestra, el capítulo actual analiza
los resultados por país sin revelar las nacionalidades. Los países están
etiquetados de la A a la E para el anonimato. Los datos presentados incluyen
solo los países que evaluaron a los estudiantes que ingresan y egresan, que son
Chile, Finlandia, México, el Reino Unido y los Estados Unidos. Italia evaluó solo
a los estudiantes que salen y, por lo tanto, no se incluye en estos resultados.
134 ÿ
Introducción
La primera sección del capítulo presenta los niveles de dominio de los estudiantes que ingresan y egresan por país.
La segunda sección del capítulo cubre las estadísticas resumidas de ingreso y egreso de estudiantes por país. Ambas secciones
juntas brindan información sobre el desempeño de los estudiantes en el CLA+ al examinar los patrones de desempeño en todos
los países.
Niveles de dominio por país
La Tabla 9.1 presenta el porcentaje de estudiantes que ingresan y egresan en cada nivel de maestría por país. La diferencia
entre el porcentaje de estudiantes que salen y los que ingresan se muestra en la fila denominada "Diferencia" (salir menos
ingresar). La expectativa es que los estudiantes que salen tendrán un mejor desempeño que los estudiantes que ingresan dado
que los estudiantes que salen han completado varios años de educación postsecundaria.
Esperaríamos ver un porcentaje más bajo de estudiantes que salen clasificados en los niveles de dominio Emergente y en
Desarrollo (diferencia negativa) y un porcentaje más alto de estudiantes que salen clasificados en los niveles de dominio
Competente, Logrado y Avanzado (diferencia positiva). Los resultados muestran que este es generalmente el caso para cuatro
de los cinco países. El país C muestra pequeñas diferencias porcentuales entre los niveles de dominio, algunas de las cuales
van en la dirección opuesta a lo esperado (p. ej., un porcentaje ligeramente mayor de estudiantes en la cohorte que sale se
clasifica como en desarrollo en comparación con los estudiantes que ingresan).
Los resultados para el País C sugieren que el desempeño de los estudiantes en el CLA+ fue similar para los estudiantes que
ingresaron y egresaron.
Tabla 9.1. Nivel de dominio por país y cohorte
Nivel de dominio
País Grupo Emergentes En desarrollo Competente Cumplido Avanzado

A Entrando 14,4% 35,9% 33,3% 14,6% 1,8%
saliendo 9,3% 32,0% 35,9% 20,2% 2,5%
Diferencia -5,1% -3,9% 2,6% 5,6% 0,7%
B Entrando 18,1% 38,6% 33,8% 9,5% 0,1%
saliendo 12,4% 35,9% 36,3% 14,7% 0,7%
Diferencia -5,7% -2,7% 2,5% 5,2% 0,6%
C Entrando 17,4% 36,2% 31,5% 12,9% 2,0%
saliendo 17,1% 37,7% 30,9% 12,0% 2,4%
Diferencia -0,3% 1,5% -0,6% -0,9% 0,4%
D Entrando 14,8% 29,0% 34,3% 18,6% 3,4%
saliendo 6,5% 22,6% 32,3% 30,3% 8,4%
Diferencia -8,3% -6,4% -2,0% 11,7% 5,0%
mi Entrando 27,1% 31,5% 26,6% 13,3% 1,5%
saliendo 17,9% 29,3% 30,5% 19,3% 2,9%
Diferencia -9,2% -2,2% 3,9% 6,0% 1,4%
Nota: La “Diferencia” se calcula restando el porcentaje de “Entrada” del porcentaje de “Salida”.
ÿ 135
Figura 9.1. Nivel de dominio por país y cohorte
La Figura 9.2 muestra una perspectiva diferente. Presenta los valores de diferencia porcentual del nivel de
dominio (salir menos ingresar) que se encuentran en la Tabla 9.1 por país y nivel de dominio. Aunque los
patrones son los mismos para los países A, B, D y E, los resultados de los países D y E muestran cambios más
drásticos que los países A y B. Es decir, el porcentaje de estudiantes clasificados en cada nivel de dominio difiere
en mayor medida. basado en el estado de entrada y salida.
Figura 9.2. Diferencia porcentual de la puntuación total de CLA+ entre los estudiantes que salen y los que ingresan
136 ÿ
Varios factores entran en juego al interpretar los resultados entre países:
• ¿Los sistemas de educación postsecundaria apoyan el desarrollo de habilidades de pensamiento crítico?
• ¿Existen diferencias sistemáticas en los grupos de estudiantes que ingresan y egresan? Los estudiantes que ingresan con alto
rendimiento y los que salen con bajo rendimiento mostrarán diferencias más pequeñas que los alumnos que ingresan con bajo
rendimiento y los que salen con alto rendimiento.
• ¿Estaban los estudiantes motivados para desempeñarse bien en la prueba?
Dado que el sistema educativo y el entorno político de cada país son únicos, los otros capítulos del libro brindan información sobre los propósitos
y objetivos para administrar el CLA+ a las muestras de estudiantes elegidos para participar. El crecimiento entre las habilidades de los
estudiantes que ingresan y egresan puede interpretarse en el contexto de esos factores.
La importancia del esfuerzo y la participación en las puntuaciones de CLA+ se destacó en el Capítulo 5. Los estudiantes que reportaron un alto
interés y participación en las secciones de Pregunta de respuesta seleccionada (SRQ) y Tarea de rendimiento (PT) lograron puntuaciones de
sección más altas. Los resultados tendieron a ser lineales. Con cada aprobación sucesiva de una calificación más alta de esfuerzo y compromiso,
hubo un aumento incremental en los puntajes de las secciones PT y SRQ.
Otro medio de evaluar el esfuerzo y la motivación es observar si los estudiantes utilizaron todo el tiempo asignado para completar las secciones
SRQ y PT. Por lo general, encontramos que la mayoría de los estudiantes no usan todo el tiempo. En ocasiones, algunos de los estudiantes no
responden las últimas preguntas de la sección SRQ. Entre el uso del tiempo y la respuesta a las preguntas, planteamos la hipótesis de que la
motivación puede ser un factor para algunos estudiantes.
Resumen estadístico
Esta sección presenta los resultados resumidos de CLA+ por país y cohorte. La Tabla 9.2 muestra la media, los puntajes de los rangos de los
percentiles 25 y 75, y el rango intercuartílico para los estudiantes que ingresan y egresan. La diferencia entre las puntuaciones medias de los
estudiantes que salen y entran se presenta en la última columna (diferencia de medias). Estos puntajes de rango percentil transmiten la
variabilidad en los puntajes de los estudiantes que no está sujeta a los valores atípicos.
Sorprendentemente, los puntajes totales promedio de CLA+ en todos los países fueron relativamente similares. Por ejemplo, los puntajes totales
de CLA+ promedio más bajo y más alto para los estudiantes que ingresan fueron 1 060 y 1 111, respectivamente.
Sin embargo, el valor más bajo se clasificó como el nivel de dominio en desarrollo y el valor más alto se clasificó como el nivel de dominio
competente. Las mayores diferencias medias entre los estudiantes que egresaron y los que ingresaron se observaron en los países D y E para
cada componente de la prueba CLA+. Estos resultados proporcionan una imagen consistente con los resultados presentados anteriormente.
Hubo mayores aumentos de puntuación desde la entrada hasta la
cohortes salientes de los países D y E en comparación con los demás países. Los valores de la diferencia media para el País C indican que el
desempeño de los estudiantes que ingresan y egresan fue similar.
Los rangos intercuartílicos fueron más amplios para la puntuación CLA+ SRQ de cada país. Recuerde que la sección SRQ está fuera de los 25
puntos de puntuación sin procesar, en comparación con los 18 puntos de puntuación sin procesar para el PT. Sin embargo, los valores de
diferencia media más grandes se observaron en las puntuaciones de la sección PT, lo que indica una mejora en las habilidades de comunicación
escrita medidas por la evaluación CLA+.
ÿ 137
Tabla 9.2. Puntuaciones CLA+ por país y cohorte
Estudiantes que ingresan Estudiantes que salen
Enterrar Enterrar
Significar
25 perc. rango 75 por ciento rango de 25 perc. rango 75 por ciento rango de
País Significar rango cuartiles Significar rango cuartiles diferencia
Puntaje total CLA+
A 1 099 1 018 1 186 168 1 127 1 038 1 214 177 28
B 1 072 996 1 153 157 1 101 1 022 1 185 163 29
C 1 086 999 1 173 174 1 085 996 1 169 173 -1
D 1 111 1 020 1 210 190 1 176 1 070 1 277 207 64
mi 1 060 952 1 168 216 1 103 1 001 1 210 209 42
Puntuación CLA+PT
A 1 096 1 001 1 181 180 1 130 1 046 1 226 180 35
B 1 062 989 1 148 159 1 099 1 021 1 180 159 37
C 1 088 1 001 1 181 180 1 099 1 001 1 181 180 10
D 1 188 1 084 1 290 206 1 263 1 155 1 372 217 74
mi 1 043 931 1 159 228 1 090 976 1 207 231 47
Puntaje CLA+ SRQ

A 1 101 978 1 220 242 1 123 998 1 250 252 21
B 1 082 966 1 195 229 1 102 984 1 224 240 20
C 1 084 969 1 191 222 1 071 951 1 176 225 -13
D 1 034 919 1 150 231 1 089 982 1 205 223 55
mi 1 078 938 1 217 279 1 116 985 1 253 268 38
Nota: La "diferencia de medias" se calcula restando la puntuación media a escala de los "estudiantes que ingresan" de la puntuación media a escala de los "estudiantes que salen". PT = Tarea de Desempeño;
SRQ = Pregunta de respuesta seleccionada
Para tener una idea de cómo estos valores se comparan entre países, Figura 9.3, Figura 9.4 y Figura 9.5
ilustran las puntuaciones de escala en los rangos de percentil 25 y 75 por cohorte y país para la puntuación total de la
prueba CLA+, la puntuación de la sección PT y la puntuación de la sección SRQ, respectivamente. Lo primero que se
nota en las cifras es la variabilidad entre países. Las diferencias son más pronunciadas para la sección PT en comparación
con la sección SRQ y el puntaje total de la prueba. Por ejemplo, compare los países D y E para obtener los resultados del PT.
Los sistemas educativos pueden poner un énfasis diferente en las habilidades de comunicación escrita, lo que resulta en
un mayor rendimiento para algunos países. En general, estos resultados sugieren que diferentes países tienden a tener
diferentes fortalezas en las secciones PT y SRQ.
138 ÿ
Figura 9.3. Resultados de puntuación total de CLA+ por país y cohorte de estudiantes
Nota: PR = rango percentil
Figura 9.4. Resultados de la puntuación de la tarea de rendimiento (PT) de CLA+ por país y cohorte de estudiantes
ÿ 139
Figura 9.5. Resultados de la puntuación de la pregunta de respuesta seleccionada (SRQ) de CLA+ por país y cohorte de estudiantes
Conclusión
El Capítulo 9 abordó la evaluación comparativa de los países mediante la discusión de los resultados a nivel de país sin
revelar las nacionalidades. Estos resultados brindan información sobre los patrones de desempeño en el CLA+ en todos
los países. La primera sección del capítulo presentó los niveles de dominio de los estudiantes que ingresan y egresan
por país. Como era de esperar, un porcentaje menor de estudiantes que egresaron se clasificó en los niveles de dominio
Emergente y en Desarrollo y un porcentaje más alto de estudiantes que egresaron se clasificó en los niveles de dominio
Competente, Cumplido y Avanzado en comparación con sus compañeros universitarios que ingresan. Se observó una
excepción. El desempeño de los estudiantes fue similar para los estudiantes que ingresaron y egresaron de un país.
La segunda sección del capítulo presentó estadísticas resumidas para los estudiantes que ingresan y egresan por país.
Los valores de rango de los percentiles 25 y 75 mostraron variabilidad entre países. Las diferencias fueron más
pronunciadas para la tarea de rendimiento (sección PT) en comparación con la sección de pregunta de respuesta
seleccionada (SRQ) y las puntuaciones totales de la prueba. En general, estos resultados sugieren que los cinco países
muestran diferentes niveles de variabilidad en las puntuaciones de CLA+ y muestran fortalezas y debilidades relativas
en las secciones PT y SRQ.
ÿ 141
Parte III La
evaluación CLA+ en los
países participantes
142 ÿ
10 CLA+ en los Estados Unidos
La Parte III de este informe analiza la evaluación en cada uno de los seis países
participantes. Cada capítulo revisa el contexto de la política, la administración de
pruebas, los niveles de dominio, la distribución de puntajes y los datos relacionados con
el esfuerzo y el compromiso. Este capítulo analiza la evaluación CLA+ en los Estados
Unidos, donde tiene una larga historia y ha adquirido un fuerte estatus y reconocimiento.
ÿ 143
Introducción
Las instituciones de educación superior originales en los Estados Unidos, siguiendo el modelo del sistema Oxford-Cambridge en
el Reino Unido (Miller y Rudolph, 1962[1]; Thelin, 2012[2]) para educar y capacitar a los ministros, han evolucionado con el tiempo
y se han convertido en un sistema de educación superior complejo, si no el más complejo a nivel mundial.
Actualmente, hay 4 360 instituciones que otorgan títulos (Snyder, de Brey and Dillow, 2019[3]), de las cuales 2 832 son de cuatro
años y 1 528 de dos años. Los títulos de licenciatura suelen ser otorgados por instituciones públicas o privadas como parte de un
programa de estudios de cuatro años. Los títulos de asociado suelen tener una duración de dos años y se otorgan a través de
colegios comunitarios, colegios técnicos y escuelas vocacionales.
Las denominaciones de "colegio" y "universidad", aunque a menudo se usan indistintamente coloquialmente dentro de los Estados
Unidos, tienen algunas diferencias. Si bien no existen estándares nacionales, que es un tema dentro de la educación superior en
los Estados Unidos, las universidades suelen ser instituciones que brindan títulos de pregrado y posgrado y tienen una mayor
matrícula de estudiantes. Las universidades, por otro lado, tienden a ofrecer solo títulos universitarios (asociados y licenciaturas)
y, a menudo, tienen menos estudiantes que las universidades. Las universidades pueden designar ciertos programas como
colegios dentro de la universidad. Por ejemplo, las Facultades de Ciencias Agrícolas de la Vida; Arquitectura, Arte y Urbanismo;
Artes y Ciencias; Ingeniería; y Ecología Humana son parte de la Universidad de Cornell. Tanto los colegios como las universidades
pueden ser instituciones públicas o privadas. Y dentro del sector de las instituciones privadas, se pueden categorizar como
entidades sin fines de lucro o con fines de lucro. Una tercera categoría, mucho más pequeña, de instituciones de educación
superior utiliza títulos como “instituto”, “academia”, “sindicato”, “conservatorio” y “escuela”.
Como ocurre con muchos otros países, existen instituciones financiadas con fondos públicos y privados. Dentro del sector privado,
existe una mayor división con instituciones sin fines de lucro y con fines de lucro. Las instituciones públicas están financiadas
principalmente por los gobiernos estatal y federal (Ginder, Kelly-Reid and Mann, 2017[4]) y son organizaciones sin fines de lucro.
Las instituciones privadas dependen más de las dotaciones (Kaplan, 2020[5]) y, en particular para las instituciones con fines de
lucro, de la matrícula estudiantil, que puede representar hasta el 90 % de la financiación (Ginder, Kelly-Reid and Mann, 2017[4] ]).
Las instituciones públicas comprenden el 37% (1 623 de 4 260) de las instituciones de educación superior dentro de los Estados
Unidos (Snyder, de Brey and Dillow, 2019[3]). Dentro del sector privado, que consiste en aproximadamente el 63 % de todas las
instituciones de educación superior, el 61,5 % (1 682 de 2 727) de ellas son sin fines de lucro (Snyder, de Brey and Dillow, 2019[3]).
A partir del otoño de 2020, se proyecta que 16,7 millones de estudiantes de pregrado asistirán a colegios y universidades en los
Estados Unidos (De Brey et al., 2021[6]). De estos estudiantes, la mayoría (74 %) asiste a instituciones públicas, el 83,4 % asiste
a instituciones de cuatro años, el 57,1 % son mujeres y el 38,3 % son personas de color (De Brey et al., 2021[6]). Durante el año
académico 2020/21, se otorgaron casi dos millones de títulos de licenciatura (De Brey et al., 2021[6]).
Sin embargo, a pesar de la tendencia ascendente en la inscripción universitaria durante las últimas dos décadas, las tasas de
graduación universitaria siguen siendo relativamente bajas en los Estados Unidos. Según el Centro Nacional de Estadísticas
Educativas (Hussar et al., 2020[7]), a partir de la primavera de 2020, casi el 40 % de los estudiantes que comenzaron a buscar
una licenciatura en una institución de cuatro años en 2012 aún no han recibido su título. . Además, las tasas de retención de un
año a otro varían considerablemente entre instituciones. Entre 2017 y 2018, aunque las instituciones altamente selectivas tuvieron
altas tasas de retención de estudiantes del 97 %, las escuelas menos selectivas y de admisión abierta retuvieron un porcentaje
sustancialmente menor (62 %) de sus estudiantes durante este mismo período (Hussar et al., 2020[7] ]). Contrariamente a la
noción frecuentemente perpetuada de que la retención de estudiantes es un problema de “primer año”, la deserción de estudiantes
sigue siendo un riesgo para los estudiantes en todos los niveles de clase, con aproximadamente un tercio de los que abandonan
la universidad habiendo obtenido al menos tres cuartas partes de los créditos requeridos. para la graduación (Mabel and Britton,
2018[8]). Si bien muchos estudiantes citan razones no académicas, como dificultades financieras, obligaciones familiares o de
salud, como las principales causas de la deserción o el aplazamiento de su educación universitaria (Astin and Oseguera, 2012[9]),
el fracaso académico también es un factor importante que contribuye a la falta de de persistencia y disminución de la retención de
los estudiantes en la educación superior.
144 ÿ
La deserción de los estudiantes de las instituciones de educación superior puede tener una serie de consecuencias financieras.
Los estudiantes que no obtienen una licenciatura tienden a tener peores resultados profesionales, medidos por salario y empleo, que
sus compañeros más educados. Según la Oficina de Estadísticas Laborales de EE . UU . (2020[10]), hay un aumento en el salario
anual medio por cada nivel de educación completado.
De manera similar, el desempleo varía inversamente con la obtención de un título, lo que significa que aquellos que tienen menos
educación tienen más probabilidades de estar desempleados. Es importante tener en cuenta que los reveses en los resultados
profesionales para los que no tienen un título no se limitan a aquellos que nunca se han matriculado en la universidad. Aquellos que
alguna vez estuvieron inscritos en la educación superior y no lograron completar su educación universitaria también experimentan
reveses en los resultados de su carrera.
Los hallazgos previos son mixtos en cuanto a si a los que no tienen un título y que han completado alguna universidad les va mejor
financieramente que a los que no continuaron su educación después de recibir un diploma de escuela secundaria (por ejemplo, Baum
(2014[11]), Giani, Attewell y Walling, (2019[12]), Shapiro et al. (2014[13])). Sin embargo, hay pocas dudas de que a los
estudiantes que completan su licenciatura les va mejor que a los que se matriculan en la universidad pero nunca se gradúan
(Giani, Attewell and Walling, 2019[12]). Al igual que los graduados universitarios, los estudiantes universitarios que nunca
completan su título tienden a enfrentar costos financieros sustanciales al acumular deudas mientras renuncian a las
ganancias monetarias. Sin embargo, a diferencia de sus pares con títulos universitarios, los que abandonan la universidad
experimentan la carga de estos costos sin llegar a ganar el capital social (es decir, las redes de relaciones) que conlleva un
título de educación superior. De hecho, este problema se extiende incluso a los estudiantes que tardan más de los cuatro
años estándar en graduarse de la universidad, ya que acumulan mayores costos financieros a lo largo de los años con
rendimientos decrecientes (Sullivan, 2010[14]).
Las instituciones de educación superior han empleado numerosas estrategias para aumentar las tasas de retención y graduación de
los estudiantes, con resultados mixtos. Algunos programas que han tenido éxito en aumentar las tasas de retención y graduación
incluyen cursos de pensamiento crítico con “métodos de investigación” (Ahuna, Tinnesz y VanZile Tamsen, 2010[15]) y cursos de
habilidades de estudio específicos para estudiantes que regresan y que están en período de prueba académico debido a su bajos
promedios de calificaciones (GPA) (Engle, Reilly and Levine, 2004[16]). Por el contrario, Johnson y Stage (2018[17]) revisaron el uso
de las universidades de las 10 prácticas de alto impacto para el éxito de los estudiantes identificadas por la Asociación de Colegios y
Universidades Estadounidenses: seminarios para estudiantes de primer año, planes de estudios básicos, comunidades de aprendizaje,
cursos de escritura, asignaciones colaborativas. , investigación de pregrado, estudios en el extranjero, aprendizaje de servicio, pasantías
y proyectos finales o de último año (Kuh, 2008[18]). La cantidad de prácticas ofrecidas en el campus no mostró relación con las tasas
de graduación de cuatro o seis años. De las 10 prácticas, solo las pasantías y los seminarios de primer año mostraron relaciones
predictivas con la tasa de graduación, las cuales fueron débiles y negativas. Las pasantías tuvieron una relación negativa con la tasa
de graduación de cuatro años pero no con la tasa de graduación de seis años, lo que indica que las pasantías pueden prolongar la
cantidad de tiempo necesario para completar todos los créditos requeridos sin desalentar la graduación en sí misma.
Johnson y Stage (2018[17]) sugieren que la relación negativa que encontraron entre la inclusión de seminarios para estudiantes de
primer año y la tasa de graduación puede deberse a la falta de instrucción específica. Es decir, las escuelas que requieren seminarios
de primer año para todos los estudiantes pueden estar invirtiendo demasiado en los seminarios en lugar de asignar sus recursos a los
estudiantes con mayor necesidad. De hecho, Potts y Shultz (2008[19]) no encontraron un efecto significativo de los seminarios para
estudiantes de primer año sobre la retención de estudiantes al considerar un alumnado completo, pero sí encontraron un efecto positivo
significativo sobre la retención para los estudiantes que vivían fuera del campus y para los estudiantes cuya alta -Los perfiles escolares
estaban por debajo del estándar típico de su escuela. De manera similar, Engle, Riley y Levine (2004[16]) encontraron un efecto positivo
de los programas de retención específicos para estudiantes que habían tenido un desempeño deficiente en su primer o segundo año
de universidad.
Curiosamente, a pesar de la importancia destacada de las experiencias académicas para la integración de los estudiantes y, por lo
tanto, para la retención, pocas investigaciones hasta la fecha han examinado el papel de las habilidades de pensamiento crítico en la
retención de los estudiantes. Sin embargo, las habilidades de pensamiento crítico se han relacionado con otros resultados universitarios
y posteriores a la universidad. Algunos ejemplos incluyen resultados profesionales como la situación laboral y el salario (Arum and
Roksa, 2014[20]): Capítulo 7) y resultados educativos como la matriculación en la escuela de posgrado (Arum and Roksa, 2014[20];
Mullen, Goyette and Soares, 2003[21]).
ÿ 145
Dados los hallazgos positivos con respecto a los programas y cursos que se enfocan y satisfacen las necesidades específicas de los
estudiantes, es importante comprender mejor los métodos que se pueden usar para enfocar a los estudiantes de manera efectiva. Si
bien existe evidencia de que los cursos diseñados para mejorar las habilidades de pensamiento crítico pueden tener un impacto
positivo en la retención de los estudiantes (p. ej. (Ahuna, Tinnesz y VanZile-Tamsen, 2010[15])), existe una relativa falta de literatura
que investigue la importancia de las habilidades de pensamiento crítico como predictores de retención de estudiantes en comparación
con predictores más tradicionales como el promedio de calificaciones de la escuela secundaria (HSGPA). Si las universidades desean
introducir una programación que apunte a las habilidades de pensamiento crítico, se debe identificar y seleccionar a los estudiantes
en función de su competencia en pensamiento crítico.
Desde una perspectiva teórica, Mah (2016[22]) promociona los beneficios de las habilidades de pensamiento crítico, el análisis de
aprendizaje y las insignias digitales para la retención de estudiantes, lo que sugiere que estas construcciones y prácticas no solo
benefician la retención de estudiantes individualmente, sino que también interactúan entre sí. Una evaluación de las habilidades de
pensamiento crítico, entonces, tiene el potencial de cumplir diferentes funciones para promover un aumento en la retención de
estudiantes. Primero, a nivel de la institución, tiene el potencial de ayudar a identificar a los estudiantes que se beneficiarían más de
la remediación específica. En segundo lugar, a nivel de estudiante, puede ayudar a los estudiantes a comprender sus propias
fortalezas y debilidades y, por lo tanto, buscar la orientación y los recursos adecuados para satisfacer sus necesidades. Esto no es
solo para estudiantes que no dominan estas habilidades. Aquellos que son competentes también pueden beneficiarse de una mayor
mejora de sus habilidades. En tercer lugar, brindar retroalimentación sobre el desempeño del pensamiento crítico puede aumentar la
motivación de los estudiantes para promover sus propias habilidades de pensamiento crítico y, por lo tanto, mejorar su compromiso
académico.
Contexto de la política
En 2006, bajo la Comisión del Futuro de la Educación Superior, se estableció el Sistema Voluntario de Responsabilidad (VSA) para
proporcionar una forma de comparar y reportar evidencia del aprendizaje de los estudiantes en instituciones de educación superior a
través del Retrato Universitario (Jankowski et al. , 2012[23]; McPherson y Shulenburger, 2006[24]; Miller, 2007[25]). La Comisión de
Ortografía, que lleva el nombre de la entonces Secretaria de Educación Margaret Spellings, convocó a un panel de expertos para
desarrollar una estrategia para garantizar que la educación superior fuera accesible y asequible, y que preparara adecuadamente a
los estudiantes para la economía global.
El VSA fue desarrollado por la Asociación de Universidades Públicas y de Concesión de Tierras (APLU) y la
Asociación Estadounidense de Colegios y Universidades Estatales (AASCU) como una forma para que las
instituciones de educación superior midan los requisitos descritos por la Comisión de Ortografía y eviten la
creciente preocupación. que el gobierno federal iba a exigir una métrica única para la accesibilidad institucional,
la asequibilidad y la responsabilidad. El VSA proporciona un marco para cumplir con estos requisitos (Keller and
Hammang, 2008[26]). Como parte de la iniciativa VSA, son necesarias las evaluaciones de los resultados de los
estudiantes y la evaluación de la eficacia institucional (Liu, 2017[27]; 2011[28])
En 2008, un estudio financiado por el Fondo para el Mejoramiento de la Educación Postsecundaria (FIPSE) examinó si las
evaluaciones de los resultados de aprendizaje de educación general de los estudiantes de educación superior proporcionaban
información comparable (Klein et al., 2009[29]; Steedle, Kugelmass and Nemeth, 2010[30]). Los hallazgos de este estudio llevaron al
uso de tres evaluaciones de habilidades genéricas: la Evaluación Universitaria de Competencia Académica (CAAP) de ACT, la
Evaluación Universitaria de Aprendizaje (CLA) del Consejo para la Ayuda a la Educación (CAE) y la Medida de Competencia
Académica del Servicio de Pruebas Educativas (ETS). and Progress (MAPP) – como parte de la iniciativa VSA para la rendición de
cuentas institucional.
El CLA se convirtió en una de las evaluaciones que las instituciones podrían usar para informar los resultados de aprendizaje de los
estudiantes en el Retrato universitario de VSA. Las instituciones administraron los informes CLA para VSA ya sea para evaluación
comparativa o valor agregado como una medida de crecimiento institucional. Y aunque esta fue una solución parcial a la
recomendación de garantía de calidad y responsabilidad de la Comisión de ortografía, esta solución fue insuficiente para medir los
logros de aprendizaje de los estudiantes individuales de estas habilidades esenciales para la universidad y la carrera, como el
pensamiento crítico, la resolución de problemas y la comunicación escrita.
146 ÿ
Proceso de implementación del CLA+
Desde 2002, CAE ha sido pionero en el uso de evaluaciones basadas en el desempeño para evaluar las habilidades esenciales de preparación universitaria
y profesional de los estudiantes. Hasta la fecha, más de 700 instituciones, tanto en los Estados Unidos como a nivel internacional, y más de 650 000
estudiantes han participado en el CLA. El CLA se diseñó como una medida institucional de las habilidades de pensamiento crítico de los estudiantes,
proporcionando estimaciones de crecimiento transversales y datos de referencia normativos. En 2013, CAE hizo la transición a la próxima iteración de CLA,
CLA+. CLA+ incluye una sección de respuesta seleccionada, que proporciona subpuntuaciones adicionales y permite que CLA+ brinde confiabilidad a nivel
de estudiante.
La evaluación está diseñada para completarse en aproximadamente 90 minutos e incluye un tutorial opcional, una tarea de rendimiento (PT), preguntas de
respuesta seleccionada (SRQ) y una encuesta demográfica. El CLA+ se administra a través de un navegador seguro que distribuye el PT y 25 SRQ a cada
estudiante. Los instrumentos de evaluación deben administrarse en condiciones de prueba estandarizadas y controladas, con todos los estudiantes
supervisados por un supervisor. En la primavera de 2020, CAE introdujo la supervisión remota como respuesta a la pandemia de COVID-19. La supervisión
remota permitió a las instituciones de educación superior administrar CLA+ a los estudiantes en línea y supervisar a través del software de conferencias
web. Los resultados de un estudio que midió la diferencia entre los estudiantes a los que se les administró CLA+ y fueron supervisados de forma remota
versus en persona no encontraron diferencias significativas entre las puntuaciones de PT de los estudiantes y solo diferencias marginalmente significativas
para las puntuaciones de SRQ (Zahner and Cortellini, 2021[31]). Los estudiantes en la condición de supervisión remota se desempeñaron ligeramente mejor
en los SRQ que aquellos en la condición de supervisión en persona.
El modelo transversal estándar para evaluar el crecimiento institucional involucra evaluar una muestra de 100 o más estudiantes que ingresan durante la
ventana de evaluación de otoño (generalmente desde mediados de agosto hasta principios de noviembre), y luego evaluar una muestra de 100 o más
estudiantes que egresan durante la evaluación de primavera. ventana (típicamente desde principios de febrero hasta mediados de mayo). Todas las
sesiones de prueba requieren un supervisor para aprobar a los estudiantes en la interfaz y administrar el entorno de prueba.
Pasos de administración de la prueba:
1. Reciba un correo electrónico de bienvenida del equipo de CLA+ con materiales didácticos.
2. Verificar los planes de prueba.
3. Revisar los materiales de instrucción y completar las pruebas de tecnología.
4. Administrar el examen CLA+ a los estudiantes.
5. Confirme con CAE que la prueba esté completa.
6. Envíe los datos del registrador para confirmar el nivel de clase del estudiante.
7. Reciba informes a través de un servicio seguro para compartir archivos.
Los resultados transversales incluyen estimaciones de crecimiento (en forma de tamaños de efecto y puntajes de valor agregado) y datos normalizados,
como clasificaciones de percentiles. Los informes transversales también incluyen información como puntajes resumidos, subpuntajes y niveles de dominio.
Si una institución solo desea evaluar una sola cohorte o no quiere métricas de crecimiento institucional, puede optar por recibir resultados de nivel de
dominio. Los resultados del nivel de dominio incluyen estadísticas solo para los estudiantes evaluados dentro de una administración específica; no incluyen
estimaciones de crecimiento ni datos normalizados y tienen requisitos de muestreo menos estrictos. Estos resultados incluyen puntajes resumidos,
subpuntajes y niveles de dominio.
Los estudiantes no necesitan realizar la prueba dentro de una administración específica para ser incluidos en la muestra institucional para este tipo de
informes.
ÿ 147
Resultados
Puntajes totales de CLA+ y puntajes de sección entre estudiantes que ingresan y egresan
La Tabla 10.1 presenta el puntaje promedio y la desviación estándar (entre paréntesis) para cada puntaje CLA+ por cohorte. Los
estudiantes que ingresaron en los Estados Unidos recibieron un puntaje total promedio de CLA+ de 1 060 (SD = 149), que
corresponde con el nivel de dominio en desarrollo. Los estudiantes que salen en promedio obtuvieron 43 puntos más, con un
puntaje promedio de 1 103 (SD = 148), que corresponde al nivel de dominio Competente. Las pruebas t de muestras independientes
encontraron una pequeña diferencia significativa entre los estudiantes que ingresan y egresan en la puntuación total de CLA+
(Tabla 10.2). Como se ve en las diferencias de puntuación resumidas en la Tabla 10.1, así como en los resultados de la prueba t
que se muestran en la Tabla 10.2, el aumento en la puntuación total de CLA+ entre los niveles de clase parece estar impulsado en
parte por la diferencia en el rendimiento promedio de las clases respectivas en el pt Hubo un aumento de puntaje promedio de 47
puntos entre los estudiantes que ingresaron y egresaron en el PT (d de Cohen = .28), mientras que hubo un aumento de puntaje
promedio de 38 puntos entre clases en la sección SRQ (d de Cohen = .21).
Tabla 10.1. Puntajes promedio totales de CLA+ y puntajes de sección, por clase
Puntaje total de CLA+ Puntuación de la tarea de rendimiento Puntaje de respuesta seleccionada
Entrando 1 060 1 043 1 078
(n = 50.809) (149) (168) (186)
saliendo 1 103 1 090 1 116
(n = 47.431) (148) (170) (182)

Diferencia de +43 +47 +38
puntuación (salida - entrada)
Tabla 10.2. Resultados de la prueba t de muestras independientes para estudiantes que ingresan y egresan
t d.f. pags
d de Cohen
Puntaje total de CLA+ -44.76 97894 <.001 .29
Puntuación de la tarea de rendimiento -43.63 97627 <.001 .28
Puntaje de respuesta seleccionada -32.27 97972 <.001 .21
Niveles de dominio de CLA+ y distribuciones de puntuación
La distribución general de los niveles de dominio de CLA+ se resume en la Tabla 10.3. Como se muestra en la Figura 10.1, las
distribuciones variaron entre los estudiantes que ingresaban y egresaban. El análisis de chi-cuadrado reveló que estas diferencias
eran estadísticamente significativas (df = 4, ÿ 2 = 1835.19, p < .001, V de Cramer = .137). En general, los porcentajes más altos de
estudiantes que ingresan que los que salen caen en los niveles de dominio sin dominio (es decir, "Emergentes" y "En desarrollo"),
y los porcentajes más altos de estudiantes que salen que los que ingresan caen en los niveles de dominio que alcanzan y superan
el umbral "Competente". (es decir, "Competente", "Completado" y "Avanzado"). La diferencia más notable entre los estudiantes que
ingresan y egresan con respecto a los niveles de dominio fue la diferencia de 9 puntos porcentuales encontrada en el nivel de
dominio Emergente. Mientras que el 27 % de los estudiantes que ingresaron se desempeñaron en este nivel (lo que significa que
carecían incluso de habilidades básicas de pensamiento crítico), el 18 % de los estudiantes que egresaron se desempeñaron en el
nivel Emergente. La tendencia entre los estudiantes que ingresan y egresan en la distribución del nivel de dominio se reflejó aún
más en la distribución de las puntuaciones totales de CLA+ (Figura 10.2-Figura 10.3). Aunque los puntajes se distribuyeron
normalmente en ambos niveles de clase, la distribución de los puntajes de los estudiantes que egresaron cayó un poco más que la
de los puntajes de los estudiantes que ingresaron.
148 ÿ
Tabla 10.3. Distribución del nivel de dominio
Nivel Porcentaje
emergentes 22,7%
Desarrollando 30,4%
Competente 28,5%
Logrado 16,2%
Avanzado 2,2%
Figura 10.1. Distribución del nivel de dominio de CLA+, por clase
Figura 10.2. Distribución total de puntajes CLA+, estudiantes que ingresan
ÿ 149
Figura 10.3. Distribución total de puntajes de CLA+, estudiantes que salen
subpuntuaciones CLA+
Además de la comparación de las puntuaciones totales de CLA+ y las distribuciones de puntuaciones, también se
analizaron las subpuntuaciones de PT y SRQ. En las tres subpuntuaciones de PT: Análisis y resolución de problemas
(APS), Eficacia de escritura (WE) y Mecánica de escritura (WM), los estudiantes que salen en promedio superaron a los
estudiantes que ingresan. Las diferencias entre los puntajes de los estudiantes que ingresan y egresan fueron significativas
pero pequeñas (Figura 10.4; Tabla 10.4). El mismo patrón se mantuvo para las tres subpuntuaciones del SRQ: razonamiento
científico y cuantitativo (SQR), lectura crítica y evaluación (CRE) y crítica y argumento (CA). Sin embargo, la diferencia en
las subpuntuaciones del SRQ, aunque significativa, fue insignificantemente pequeña (Figura 10.5; Tabla 10.4).
Figura 10.4. Puntuaciones secundarias de tareas de rendimiento, por clase
Nota: APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de Escritura
150 ÿ
Figura 10.5. Subpuntuaciones de respuestas seleccionadas, por clase
Nota: SQR = Razonamiento Científico y Cuantitativo; CRE = Lectura Crítica y Evaluación; CA = Criticar un Argumento
Tabla 10.4. Resultados de la prueba t de muestras independientes para estudiantes que ingresan y egresan
t d.f. pags
d de Cohen
APS -40.63 97024 <.001 0.25

NOSOTROS -44.66 96903 <.001 0.28
WM -44.27 97401 <.001 0.27
SQR -25.31 97858 <.001 0.16
CRE -27.93 98042 <.001 0.18
California -20.24 97257 <.001 0.13
Nota: APS = Análisis y Resolución de Problemas; WE = Eficacia de la escritura; WM = Mecánica de Escritura; SQR = Razonamiento Científico y Cuantitativo;
CRE = Lectura Crítica y Evaluación; CA = Criticar un Argumento
Esfuerzo y compromiso autoinformados
Al finalizar CLA+, todos los estudiantes nacionales de EE. UU. informaron su esfuerzo y compromiso percibidos en cada sección
de la evaluación a través de escalas Likert de 5 puntos (Tabla 10.5). En el PT, los estudiantes que ingresan dieron una calificación
de esfuerzo promedio de 3.7 (DE = 0.9). La calificación promedio otorgada por los estudiantes que egresaron fue de 3,7 (DE = 0,9).
Para la sección SRQ, los estudiantes que ingresaron informaron un promedio de 3,2 puntos en la escala de esfuerzo (SD = 1,0) y
los estudiantes que egresaron informaron un promedio de 3,3 (SD = 1,0). La Tabla 10.5 resume la distribución de las calificaciones
de esfuerzo autoinformadas por clase y sección. . Las pruebas t de muestras pareadas mostraron que los estudiantes que ingresan
reportaron gastar más esfuerzo en la sección PT que en la sección SRQ (t(50776) = 126.61, p < .001, d de Cohen
= .54). Lo mismo sucedió con los estudiantes que egresaron (t(47401) = 99.19, p < .001, d de Cohen = .41). Para ambos niveles
de clase, el tamaño del efecto fue moderado.
ÿ 151
Tabla 10.5. Esfuerzo autoinformado de los estudiantes en cada sección de CLA+
PT Entrando 0,5% 5,5% 38,5% 34,9% 20,5%
saliendo 0,7% 6,3% 36,1% 32,4% 24,5%
SRQ Entrando 3,3% 17,2% 45,8% 23,7% 10,0%
saliendo 2,8% 14,2% 43,0% 25,3% 14,7%
En comparación con el esfuerzo autoinformado, las calificaciones de los estudiantes sobre su compromiso con la evaluación
tendieron a caer más abajo en la escala. Sin embargo, las diferencias entre el compromiso informado de los estudiantes con la
sección PT y la SRQ reflejaron las que se observaron previamente con el esfuerzo autoinformado. La calificación promedio de
participación de PT entre los estudiantes que ingresan fue 3.0 (SD = 1.0), y entre los estudiantes que salen fue 3.1 (SD = 1.0).
En contraste, los estudiantes que ingresan reportaron un nivel de compromiso promedio de 2.4 (SD = 1.0) para la sección SRQ,
y los estudiantes que salen reportaron un promedio de 2.6 (SD = 1.1). En ambos niveles de clase, hubo una diferencia
significativa entre las dos secciones con respecto a la participación de los estudiantes. El tamaño del efecto fue moderado tanto
para los estudiantes que ingresan (t(50776) = 117.27, p < .001, d de Cohen = .41) como para los estudiantes que salen (t(47401) = 99.67, p
< .001, d de Cohen = .49). Las distribuciones se resumen en la Tabla 10.6.
Tabla 10.6. Participación autoinformada de los estudiantes en cada sección de CLA+
Nada atractivo un poco atractivo Moderadamente muy atractivo

atractivo
PT Entrando 8,2% 19,0% 40,1% 26,9%
saliendo 8,3% 17,5% 37,9% 29,2%
SRQ Entrando 21,5% 30,5% 33,2% 12,3%
saliendo 18,1% 27,3% 36,0% 15,3%
Puntuaciones de la sección CLA+, por esfuerzo y compromiso
En ambos niveles de clase, se encontró que había una asociación entre el esfuerzo/compromiso autoinformado y el desempeño
de CLA+. En términos generales, las puntuaciones promedio tendieron a aumentar con cada nivel sucesivo de esfuerzo y
compromiso (Tabla 10.7-Tabla 10.8). De hecho, el análisis de regresión múltiple muestra que tanto el esfuerzo como el
compromiso fueron predictores significativos de la puntuación del PT (Tabla 10.9) en ambos niveles de clase. La variación total
en las puntuaciones del PT explicada por el esfuerzo y la participación fue del 12 % para los estudiantes que ingresan y del 14
% para los estudiantes que salen. La excepción a esto es el compromiso autoinformado en la sección SRQ. Aunque tanto el
esfuerzo como el compromiso surgieron como predictores significativos de la puntuación SRQ entre los estudiantes que salen,
solo el esfuerzo surgió como un predictor significativo entre los estudiantes que ingresan (Tabla 10.10). La variación total en las
puntuaciones del SRQ explicada por el esfuerzo y el compromiso fue menor que la encontrada en los resultados de la regresión
del PT. Solo el 6 % de la variación en las puntuaciones del SRQ se explicó por el esfuerzo y la participación en los resultados de
los estudiantes que ingresan y egresan.
152 ÿ
Tabla 10.7. Puntaje promedio de la sección CLA+ por esfuerzo autoinformado
PT Entrando 840 896 1 001 1 080 1 104
(180) (163) (159) (153) (159)

saliendo 819 932 1 046 1 130 1 150
(165) (161) (158) (152) (160)
SRQ Entrando 904 1 010 1 084 1 123 1 122
(147) (179) (181) (177) (179)

saliendo 902 1 039 1 119 1 157 1 154
(148) (179) (175) (172) (179)
Tabla 10.8. Puntaje promedio de la sección CLA+ por participación autoinformada
De nada un poco atractivo Moderadamente muy atractivo

PT Entrando 945 996 1 051 1 082 1 096
(168) (167) (163) (157) (160)

saliendo 982 1 039 1 096 1 131 1 135
(177) (171) (162) (158) (160)
Entrando 1 024 1 086 1 096 1 103 1 082
(180) (184) (186) (179) (184)

saliendo 1 055 1 120 1 136 1 135 1 113
(183) (180) (179) (179) (181)
Tabla 10.9. Resultados de la regresión: puntaje de esfuerzo/compromiso y tarea de desempeño
Entrando saliendo
Variable B SE (B) 0.90 ÿ B EE (B) ÿ pags
Esfuerzo 52.53 0.27 p <.001 56.22 0,92 0.31 <.001
Compromiso 19.90 0.78 0.12 <.001 16.44 0.82 0.10 <.001
Tabla 10.10. Resultados de la regresión: puntaje de esfuerzo/compromiso y respuesta seleccionada
Entrando saliendo
Variable B SE (B) 0.99 ÿ B EE (B) ÿ pags
Esfuerzo 47.49 0.24 p <.001 46.98 0,97 0.25 <.001
Compromiso -0.24 0.90 0.00 0.792 -2.28 0.91 -0.01 0.012
ÿ 153
Implicaciones políticas y lecciones aprendidas
Las instituciones de educación superior en Estados Unidos tienen un largo historial de resiliencia e innovación: quizás el ejemplo más
familiar es cómo los colegios y universidades adoptaron el proyecto de ley GI11 e implementaron la mayor expansión del acceso a la
educación postsecundaria en el mundo (Olson, 1973[32 ]). La pandemia de COVID-19 plantea un desafío nuevo y abrumador, lo que
lleva a muchos educadores y analistas a preguntarse si la educación superior alguna vez volverá a ser lo que era, más específicamente,
la enseñanza y el aprendizaje en persona o en el campus.
De hecho, algunos críticos del sistema estadounidense (en todos los niveles), tomando prestado el cliché quizás trillado de no dejar
que una buena crisis se desperdicie, esperan que el desafío actual conduzca a reformas fundamentales. Un líder educativo lo ve
como una "oportunidad similar a Sputnik" (Reville, 2020[33]).
Si el sistema continúa adaptándose y cómo, dependerá de una combinación de voluntad política, limitaciones económicas, posibilidades
tecnológicas y compromiso con los valores fundamentales de la enseñanza y el aprendizaje.
Mientras tanto, los cambios ya son evidentes: las aulas se están moviendo a formatos remotos o híbridos que requieren adaptaciones
por parte de la facultad y el personal; los administradores están considerando horarios semestrales alternativos para aliviar la
congestión y permitir el "distanciamiento social"; y las oficinas de admisiones están modificando los requisitos para hacer que las
pruebas estandarizadas sean opcionales en un esfuerzo por aliviar la carga de los estudiantes que ya tienen dificultades para
completar la escuela secundaria (o la universidad) con éxito.
Si el objetivo nacional de las instituciones de educación superior es lograr niveles más altos de logro educativo (Bowen, Mcpherson
and Ream, 2018[34]), entonces el papel de la evaluación dentro de este contexto es esencial. En el centro del logro educativo está la
retención, la persistencia y la graduación. Dados los hallazgos positivos con respecto a los programas y cursos que se enfocan y
satisfacen las necesidades específicas de los estudiantes, es importante comprender mejor los métodos que se pueden usar para
enfocar a los estudiantes de manera efectiva. Si bien existe evidencia de que los cursos diseñados para mejorar las habilidades de
pensamiento crítico pueden tener un impacto positivo en la retención de los estudiantes (p. ej. (Ahuna, Tinnesz y VanZile-Tamsen,
2010[15])), existe una relativa falta de literatura que investigue la importancia de las habilidades de pensamiento crítico como
predictores de retención de estudiantes en comparación con predictores más tradicionales como el promedio de calificaciones de la
escuela secundaria. Si las universidades desean introducir una programación que apunte a las habilidades de pensamiento crítico, se
debe identificar y seleccionar a los estudiantes en función de su competencia en pensamiento crítico.
Al obtener un título de educación superior, si los graduados no pueden encontrar un empleo adecuado, el impacto es inmenso para
los estudiantes, sus padres y sus instituciones. Los datos más recientes del Departamento de Educación de EE. UU. revelan que
muchas familias de ingresos bajos y medianos se han endeudado sustancialmente para financiar la educación universitaria de sus
hijos (Fuller and Mitchell, 2020[35]). Según un análisis realizado por el Banco de la Reserva Federal de Nueva York (2018[36]), a
diciembre de 2020, el 40 % de los recién graduados universitarios estaban subempleados, es decir, trabajaban en trabajos que
generalmente no requieren un título universitario, lo que impactó su salud financiera personal y la de la economía en general.
Por lo tanto, existe la necesidad de identificar y mejorar las habilidades genéricas de los estudiantes porque son estas habilidades las
que los empleadores consideran esenciales para el éxito profesional (Capital, 2016[37]; Hart Research Associates, 2013[38]; National
Association of Colleges and Employers, 2018[39]; Rios et al., 2020[40]; Foro Económico Mundial, 2016[41]).
Próximos pasos
Desde 2019, CAE ha dejado de utilizar CLA+ únicamente como un instrumento de responsabilidad y garantía de calidad de la
educación superior. Actualmente, además de proporcionar a las instituciones información sobre el valor agregado institucional, CAE
también hace posible que los educadores utilicen los resultados de CLA+ como un diagnóstico de los estudiantes para identificar las
fortalezas y áreas de mejora de los estudiantes, así como para estudios longitudinales y de eficacia. El instrumento puede ser utilizado
para responder preguntas de investigación institucional tales como:
• ¿Qué tan preparados están los estudiantes para su próximo paso y dónde necesitan apoyo?
154 ÿ
• ¿Qué tan bien está desarrollando la institución las habilidades esenciales en los estudiantes?
• ¿Cuánto están creciendo los estudiantes de un año a otro? • ¿Cómo ha
mejorado un nuevo currículo las habilidades esenciales de los estudiantes?
Además, CAE ha cambiado el nombre de la subpuntuación de Razonamiento científico y cuantitativo (SQR) de la sección de Alfabetización de
datos (DL) del SRQ, ya que refleja con mayor precisión las habilidades medidas en la evaluación. Todos los informes del año académico de
otoño de 2021 reflejarán este lenguaje actualizado. No se han realizado cambios en la construcción real. Esto fue únicamente un cambio en el
nombre de la subsección.
Plataforma del siguiente paso
En 2021, CAE presentó la plataforma Next Step, que incorpora las aplicaciones orientadas al cliente que se utilizan durante todo el proceso de
evaluación, incluida la asistencia de soporte y la gestión de cuentas, a través de un solo inicio de sesión. Para involucrar mejor a los estudiantes,
los elementos mejorados con tecnología, como estímulos y respuestas en video, simulaciones y opciones de arrastrar y soltar, pueden integrarse
en las evaluaciones basadas en el desempeño. Las nuevas capacidades de informes permitirán a los estudiantes y educadores comprender
mejor la preparación de los estudiantes para su próximo paso.
Para los educadores, la plataforma Next Step ofrece una manera conveniente de entregar CLA+. La plataforma también permite que las
evaluaciones personalizadas se diseñen, desarrollen y administren fácilmente en la misma plataforma, lo que reduce el tiempo y el esfuerzo.
Los estudiantes pueden completar evaluaciones dentro de la plataforma y los resultados se pueden proporcionar rápidamente gracias a la
puntuación mejorada de inteligencia artificial (IA). La plataforma Next Step también ofrecerá a los estudiantes la oportunidad de obtener
microcredenciales, una medida basada en evidencia de habilidades del mundo real que pueden compartir con universidades y posibles
empleadores.
ASS+
En 2020, CAE introdujo Success Skills Assessment (SSA+) como una evaluación formativa de las habilidades genéricas de los estudiantes.
Idealmente, las instituciones evaluarían a los estudiantes usando SSA+ cuando ingresan a la universidad y recibirían los informes de puntaje de
los estudiantes poco, si no inmediatamente, después de completar la evaluación.
Tras la evaluación de los estudiantes, las instituciones podrían implementar cursos de estudio u otro apoyo curricular para ayudar a los estudiantes
a mejorar sus habilidades.
SSA+, una evaluación de 60 minutos, está alineada con los mismos constructos que se miden en CLA+, pero utiliza elementos mejorados con
tecnología y otros elementos para reforzar las habilidades genéricas de los estudiantes en lugar de simplemente pedirles que escriban un solo
ensayo. Todavía hay una parte escrita del SSA+ PT, calificada con la misma rúbrica que el CLA+ PT. Sin embargo, el SSA+ PT está destinado a
ser más formativo que el CLA+, lo que permite a los educadores trabajar directamente con los estudiantes en el aula para mejorar sus habilidades.
El ímpetu para este desarrollo se basó en las solicitudes de los clientes de CLA+ que querían una evaluación más corta que arrojara los resultados
de los estudiantes más rápidamente y usaron tipos de elementos más modernos y mejorados con tecnología para medir las habilidades de sus
estudiantes. Las respuestas escritas de los estudiantes se califican principalmente con un motor de calificación automatizado, y los elementos de
respuesta seleccionada y mejorados con tecnología también se califican automáticamente.
CAE cree que usar una evaluación formativa de habilidades genéricas como SSA+, seguida de apoyo curricular para mejorar estas habilidades
y terminar con una evaluación sumativa como CLA+ conducirá a mejores resultados de aprendizaje para los estudiantes de educación superior.
Se alienta a cualquier institución de educación superior en los Estados Unidos que esté interesada en utilizar una evaluación para medir las
habilidades genéricas de los estudiantes a comunicarse con CAE para obtener más información sobre cómo implementar un plan de evaluación
para este propósito.
ÿ 155
perspectivas
Los educadores pueden usar los puntajes de las evaluaciones de los estudiantes y los niveles de dominio de las habilidades
genéricas para ayudar a identificar las fortalezas y el apoyo de desarrollo necesario para mejorar. Ser evaluado de esta
manera es particularmente valioso para aquellos estudiantes que corren mayor riesgo de abandonar debido a dificultades
académicas. La identificación de los estudiantes que podrían beneficiarse de una intervención académica adicional al
principio de su mandato puede conducir a un aumento en las tasas de retención, persistencia y graduación de los estudiantes.
Además, mejorar estas habilidades aumentaría la probabilidad de que el estudiante individual tenga mejores resultados en
la educación superior y después de la educación superior, como un GPA más alto (Zahner, Ramsaran and Zahner, 2012[42]),
un empleo adecuado, un salario más alto y una matrícula más alta. en un programa de posgrado (Zahner and James,
2016[43]; Zahner and Lehrfeld, 2018[44]).
Los educadores y los empleadores reconocen claramente que el conocimiento basado en hechos ya no es suficiente y que
las habilidades genéricas como el pensamiento crítico, la resolución de problemas y la comunicación escrita son esenciales
para el éxito. La oportunidad de mejorar las habilidades esenciales de los estudiantes radica en la identificación y la acción.
Esto se puede resaltar aún más con el uso de insignias digitales verificadas o una microcredencial, que es un movimiento
que ha ido cobrando impulso lentamente (Mah, Bellin-Mularski and Ifenthaler, 2016[45]; Lemoine and Richardson, 2015[46] ;
Lemoine, Wilson y Richardson, 2018[47]; Rottmann y Duggan, 2021[48]).
Las evaluaciones que se combinan con insignias digitales verificadas o microcredenciales brindan a los educadores la
oportunidad de ayudar a los estudiantes a identificar sus fortalezas y áreas en las que pueden mejorar. Esto es fundamental
para desarrollar pensadores críticos, solucionadores de problemas y comunicadores que serán esenciales en el futuro. Con
una atención cercana y cuidadosa a las habilidades genéricas esenciales de los estudiantes, incluso un pequeño aumento
en el desarrollo de estas habilidades podría impulsar los resultados futuros para los estudiantes, los padres, las instituciones
y la economía en general.
156 ÿ
Referencias
Ahuna, K., C. Tinnesz y C. VanZile-Tamsen (2010), ““Métodos de investigación”: Uso del pensamiento crítico para retener [15]
a los estudiantes”, Innovative Higher Education, vol. 36/4, págs. 249-259, https://doi.org/10.1007/s10755-010-9173-5.
Arum, R. y J. Roksa (2014), Adultos aspirantes a la deriva: transiciones tentativas de la universidad [20]
Graduados, University of Chicago Press, Chicago.
Astin y L. Oseguera (2012), “Influencias preuniversitarias e institucionales en el logro de títulos”, en Retención de estudiantes [9]
universitarios: fórmula para el éxito estudiantil, Rowman & Littlefield Publishers, Nueva York.
Baum, S. (2014), "Educación superior ganando valor premium, variación y tendencias", edición de febrero del Urban [11]
Institute, https://www.urban.org/research/publication/higher-education-ganancias-premium-valor-variación -and-trends
Bowen, W., M. Mcpherson y T. Ream (2018), "Plan de lección: una agenda para el cambio en la educación superior [34]
estadounidense", The Review of Higher Education, vol. 41/2.
Capital, P. (2016), Informe de preparación de habilidades laborales de 2016, http://www.payscale.com/data [37]

paquetes/habilidades laborales (consultado el 28 de abril de 2021).
De Brey, C. et al. (2021), Digest of Education Statistics 2019 (NCES 2021-009), https://nces.ed.gov/ [6]
pubs2021/2021009.pdf (consultado el 5 de agosto de 2022).
Engle, C., N. Reilly y H. Levine (2004), “Un estudio de caso de un programa de retención académica”, Journal of College [dieciséis]
Student Retention: Research, Theory & Practice, vol. 5/4, págs. 365-383, https://doi.org/10.2190/jp0w-5358-y7dj-14b2.
Banco de la Reserva Federal (2018), The Labor Market for Recent College Graduates, https:// [36]
www.newyorkfed.org/research/college-labor-market/college-labor market_underemployment_rates.htm
Fuller, A. y J. Mitchell (2020), "¿Qué escuelas dejan a los padres con la mayor deuda de préstamos universitarios?", The Wall [35]
Street Journal, https://www.wsj.com/articles/which-schools-leave-parents -with-the most-college-loan-debt-11606936947
(consultado el 3 de diciembre de 2020).
Giani, M., P. Attewell y D. Walling (2019), "El valor de un título incompleto: heterogeneidad en los beneficios del mercado laboral [12]
de la no finalización de la universidad", The Journal of Higher Education, vol. 91/4, págs. 514-539, https://doi.org/
10.1080/00221546.2019.1653122.
Ginder, S., J. Kelly-Reid y F. Mann (2017), “Inscripción y empleados en educación postsecundaria [4]
Instituciones, otoño de 2016; y Estadísticas Financieras y Bibliotecas Académicas, Año Fiscal 2016 Primer Vistazo (Datos
Provisionales)”, Primer Vistazo (Datos Provisionales) (NCES 2015-012). Departamento de Educación de EE.UU. Washington,
DC: Centro Nacional de Estadísticas Educativas, https://nces.ed.gov/pubs2018/2018002.pdf (consultado el 5 de agosto de
2022).
Hussar, B. et al. (2020), “La condición de la educación 2020”, Instituto de Ciencias de la Educación, vol. 5/1, https:// [7]
nces.ed.gov/pubs2020/2020144.pdf (consultado el 5 de agosto de 2022).
ÿ 157
Jankowski, N. et al. (2012), Transparency and Accountability: An Evaluation of the VSA College Portrait Pilot, A [23]
Special Report from the National Institute for Learning Outcomes Assessment for the Voluntary System of
Accountability, National Institute for Learning Outcomes Assessment, Champaign, IL, https:/ /
www.learningoutcomesassessment.org/wp content/uploads/2019/02/VSA_Report.pdf.
Johnson, S. y F. Stage (2018), "Compromiso académico y éxito estudiantil: ¿Las prácticas de alto impacto [17]
significan tasas de graduación más altas?", The Journal of Higher Education, vol. 89/5, págs. 753-781,
Kaplan, A. (2020), Apoyo voluntario a la educación: hallazgos clave de los datos recopilados para el [5]
Año fiscal académico 2018-19 para instituciones de educación superior de EE. UU., Consejo para el Avance y
Apoyo a la Educación, Washington, DC.
Keller, C. y J. Hammang (2008), “El sistema voluntario de rendición de cuentas para la rendición de cuentas y la [26]
evaluación institucional”, New Directions for Institutional Research, vol. 2008/S1, págs. 39-48, https://doi.org/
10.1002/ir.260.
Klein, S. et al. (2009), Informe de estudio de validez de prueba (TVS), informe técnico de ETS, electrónico [29]
Servicios de prueba, Princeton, NJ,
https://www.ets.org/research/policy_research_reports/publications/report/2009/iddk.
Kuh, G. (2008), Prácticas educativas de alto impacto: qué son, quién tiene acceso a ellas y por qué son [18]
importantes, Asociación de Colegios y Universidades Estadounidenses, Washington, DC.
Lemoine, P. y M. Richardson (2015), "Micro-Credenciales, Nano Títulos e Insignias Digitales: Nuevas [46]
Credenciales para la Educación Superior Global", Revista Internacional de Tecnología y Marketing Educativo,
vol. 5/1, págs. 36-49.
Lemoine, P., W. Wilson y M. Richardson (2018), Marketing de microcredenciales en la educación superior global: [47]
disrupción innovadora, IGI Global, https://doi.org/10.4018/978-1-5225-5673-
2.ch007.
Liu, O. (2017), "Diez años después de la Comisión de ortografía: de la rendición de cuentas a la mejora [27]
interna", Medición educativa: problemas y práctica, vol. 36/2, págs. 34-41, https://doi.org/10.1111/
emip.12139.
Liu, O. (2011), “Evaluación de resultados en la educación superior: desafíos e investigaciones futuras en el [28]
contexto del sistema voluntario de rendición de cuentas”, Medición educativa: problemas y práctica, vol. 30/3,
págs. 2-9, https://doi.org/10.1111/j.1745-3992.2011.00206.x.
Mabel, Z. y T. Britton (2018), "Salir tarde: comprender el alcance y los predictores de la salida tardía de la [8]
universidad", Social Science Research, vol. 69, págs. 34-51, https://doi.org/10.1016/j.ssresearch.2017.10.001.
Mah, D. (2016), "Analítica de aprendizaje e insignias digitales: impacto potencial en la retención de estudiantes en [22]
la educación superior", Tecnología, conocimiento y aprendizaje, vol. 21/3, págs. 285-305, https://doi.org/
10.1007/s10758-016-9286-8.
Mah, D., N. Bellin-Mularski y D. Ifenthaler (2016), Fundación de distintivos digitales y microcredenciales: [45]
demostración y reconocimiento de conocimientos y competencias, https://doi.org/10.1007/978-3-319-15425
-1.
158 ÿ
McPherson, P. y D. Shulenburger (2006), Hacia un Sistema Voluntario de Programa de Responsabilidad [24]
(VSA) para Universidades y Colegios Públicos, Asociación Nacional de Universidades Estatales y

Colegios Land-Grant, Washington, DC.
Miller, M. (2007), “Editorial: La Comisión sobre el Futuro de la Educación Superior”, Change: The Magazine of [25]
Higher Learning, vol. 39/1, págs. 8-9, https://doi.org/10.3200/chng.39.1.8-9.
Miller, R. y F. Rudolph (1962), “The American College and University: A History”, AAUP [1]
Boletín, vol. 48/4, https://doi.org/10.2307/40222930.
Mullen, A., K. Goyette y J. Soares (2003), “¿Quién va a la escuela de posgrado? sociales y [21]
Correlatos académicos de la continuación educativa después de la universidad”, Sociología de la

educación, vol. 76/2, págs. 143-169, https://doi.org/10.2307/3090274.
Asociación Nacional de Universidades y Empleadores (2018), Are college graduates “career ready”?, https:// [39]
www.naceweb.org/career-readiness/competencies/are-college-graduates-career ready/ (consultado el 19 de

febrero de 2018 ).
Olson, K. (1973), “La Ley GI y la Educación Superior: Éxito y Sorpresa”, American [32]
Trimestral, vol. 25/5, págs. 596-610, https://doi.org/10.2307/2711698.
Potts, G. y B. Schultz (2008), “El seminario de estudiantes de primer año y el éxito académico de los estudiantes en riesgo [19]
estudiantes”, College Student Journal, vol. 42/2, págs. 647-658.
Reville, P. (2020), Coronavirus nos brinda la oportunidad de repensar la educación K-12, [33]
https://www.bostonglobe.com/2020/04/09/opinion/coronavirus-gives-us-an-opportunity rethink-k-12-
education/ (consultado el 9 de abril de 2020).
Ríos, J. et al. (2020), "Identificación de habilidades críticas del siglo XXI para el éxito en el lugar de trabajo: un [40]
análisis de contenido de anuncios de trabajo", Investigador educativo, vol. 49/2, págs. 80-89, https://doi.org/
10.3102/0013189x19890600.
Rottmann, A. y M. Duggan (2021), Microcredenciales en educación superior, IGI Global. [48]
Shapiro, D. et al. (2014), Algo de universidad, sin título: Una visión nacional de los estudiantes con alguna [13]
inscripción en la universidad, pero sin terminar, Signature Report No.7, National Student Clearinghouse
Research Cener, Herndon, VA.
Snyder, T., C. de Brey y S. Dillow (2019), “Digest of Education Statistics 2017”, National Center for Education [3]
Statistics, https://nces.ed.gov/pubs2018/2018070.pdf (consultado el 5 de agosto de 2022).
Steedle, J., H. Kugelmass y A. Nemeth (2010), “¿Qué miden? Comparación de tres evaluaciones de resultados [30]
de aprendizaje”, Change: The Magazine of Higher Learning, vol. 42/4, págs. 33-37, https://doi.org/
10.1080/00091383.2010.490491.
Sullivan, D. (2010), "Los costos ocultos de las bajas tasas de graduación de cuatro años", Educación liberal, [14]
vol. 96 (verano de 2010), págs. 24-31.
Thelin, J. (2012), Una historia de la educación superior estadounidense: tercera edición, Johns Hopkins [2]
University Press, Atenas, MD.
ÿ 159
Oficina de Estadísticas Laborales de EE. UU. (BLS) (2020), Obtenga más información, gane más: la educación conduce a [10]
salarios más altos, menor desempleo, https://www.bls.gov/careeroutlook/2020/data-on display/education-pays. htm
(consultado en mayo de 2020).
Estrategia de Empleo, Habilidades y Fuerza Laboral para la Cuarta Revolución Industrial, Foro Económico
Mundial, http://www3.weforum.org/docs/WEF_Future_of_Jobs.pdf.
Zahner, D. y O. Cortellini (2021), El papel y el efecto de la supervisión remota en la evaluación en la educación superior, [31]
Actas de la Asociación Estadounidense de Investigación Educativa de 2021, Washington, DC.
Zahner, D. y J. James (2016), Validez predictiva de una evaluación de pensamiento crítico de los resultados [43]
posteriores a la universidad [Presentación del artículo], Conferencia de 2016 de la Asociación Estadounidense
de Investigación Educativa, Washington, DC,.
Zahner, D. y J. Lehrfeld (2018), Evaluaciones de empleadores y asesores sobre la importancia del pensamiento crítico y [44]
las habilidades de comunicación escrita después de la universidad [Presentación del artículo], Conferencia de 2018
de la Asociación Estadounidense de Investigación Educativa, Nueva York, NY.
Zahner, D., L. Ramsaran y D. Zahner (2012), “Comparación de alternativas en la predicción del éxito universitario”, [42]
Reunión anual de la Asociación Estadounidense de Investigación Educativa.
Nota
1 La Ley de reajuste de militares de 1944, a menudo conocida como la Ley GI, fue una ley que proporcionó una variedad de beneficios
para los veteranos de la Segunda Guerra Mundial que regresaban.
ÿ 161
11 Evaluación de los resultados de

aprendizaje de los estudiantes
universitarios: la experiencia italiana con TECO
Alberto Ciolfi, Agencia Nacional para la Evaluación de Universidades e Institutos de Investigación (ANVUR) (Italia)
Morena Sabella, Agencia Nacional para la Evaluación de Universidades e Institutos de Investigación (ANVUR) (Italia)
Como se discutió en este capítulo, Italia fue el primer país fuera de los
Estados Unidos en implementar la evaluación CLA+ como parte de su
proyecto TECO a nivel nacional y su decisión de avanzar hacia un enfoque
de evaluación diferente.
162 ÿ
Introducción
Desde su creación en 1999, Italia ha sido parte del Proceso de Bolonia, que busca brindar coherencia a los sistemas de
educación superior en toda Europa. El Espacio Europeo de Educación Superior (EEES) se estableció para facilitar la
movilidad de estudiantes y personal, y para hacer que la educación superior europea sea más inclusiva, accesible,
atractivo y competitivo a nivel mundial.
Uno de los resultados del proceso fue el desarrollo del Marco de Cualificaciones para el Espacio Europeo de Educación
Superior (QF para el EEES). Todos los países participantes acordaron introducir un sistema de educación superior de tres
ciclos consistente en estudios de licenciatura, maestría y doctorado (PhD).
En consecuencia, el Marco Italiano de Cualificaciones se ha estructurado en tres ciclos: cada ciclo corresponde a una
cualificación académica específica (grado) que le permite continuar sus estudios y participar en convocatorias públicas para
ingresar al mercado laboral. Todos los programas de estudio están estructurados en créditos, denominados “crédito formativo
universitario” (CFU). Este sistema es equivalente al Sistema Europeo de Transferencia y Acumulación de Créditos (ECTS).
Una CFU corresponde aproximadamente a una carga de trabajo de 25 horas para el estudiante, incluido el tiempo de estudio
individual. La cantidad media de trabajo realizado por un estudiante a tiempo completo durante un año académico se fija
convencionalmente en 60 CFU/ECTS.
Figura 11.1. El sistema universitario italiano
Fuente: ANVUR
El sistema de educación superior italiano actualmente incluye 97 universidades: 61 universidades públicas, 19 universidades
privadas, 11 universidades privadas en línea (solo programas de aprendizaje electrónico) y seis escuelas especiales de
educación terciaria, que solo brindan formación de doctorado. Además, el sistema nacional también incluye la educación superior
ÿ 163
en Arte, Música y Danza (AFAM), que actualmente suma 159 instituciones que realizan docencia, producción artística e
investigación en artes visuales, música, danza, teatro y diseño, y entregan títulos de nivel universitario. El sector AFAM no
está incluido en la experiencia italiana de evaluar los resultados de aprendizaje genéricos de los estudiantes.
Los resultados de aprendizaje comunes a todas las cualificaciones de un mismo ciclo se rigen por un conjunto de descriptores
generales. Reflejan la amplia gama de disciplinas y perfiles, y deben poder resumir la variedad de características de cada
sistema nacional de educación superior. Los Descriptores de Dublín son declaraciones generales sobre los resultados
ordinarios que obtienen los estudiantes después de completar un plan de estudios y obtener una calificación. Los descriptores
están concebidos para describir la naturaleza general de la cualificación. Además, no se consideran disciplinas y no se
limitan a áreas académicas o profesionales específicas.
Los Descriptores de Dublín consisten en: Conocimiento y comprensión; Aplicar el conocimiento y la comprensión; Hacer
juicios; Habilidades de comunicación; y Habilidades de aprendizaje. Los resultados de aprendizaje de los cursos de primer y
segundo ciclo de italiano se estructuran de acuerdo con los Descriptores de Dublín.
En particular, entre 2012 y 2013, la Agencia Nacional para la Evaluación de Universidades e Institutos de Investigación (en
adelante, ANVUR) llevó a cabo una evaluación experimental de los resultados de aprendizaje genéricos mostrados por los
estudiantes que se gradúan de las universidades italianas por medio del TECO (TEst sulle prueba de competencia). Esta
prueba piloto fue diseñada tomando como referencia el estudio de factibilidad de la OCDE denominado AHELO – Assessing
Higher Education Learning Outcomes. Es coherente con los Estándares y Directrices Europeos para la Garantía de la Calidad
(ESG, 2015[1]) que promueven el aprendizaje centrado en el estudiante, acompañado del análisis de los resultados del
aprendizaje, en todo el Espacio Europeo de Educación Superior (EEES).
ANVUR es un organismo público italiano independiente que supervisa el sistema nacional de educación superior y cuyo
objetivo principal es mejorar su calidad general. Las tareas de evaluación de la agencia, que opera desde 2012, abarcan
toda la gama de actividades de las instituciones de educación superior: enseñanza y aprendizaje; investigar; impacto de
iniciativas sociales (“tercera misión”); y desempeño administrativo. Se aplican metodologías de evaluación de resultados y
de procesos con un amplio uso de herramientas informativas desarrolladas por/en colaboración con ANVUR.
Razones para TECO
Diversas razones impulsaron a ANVUR a realizar esta prueba piloto, a partir de 2013. Decreto Legislativo n. 19 de 27 de
enero de 2012 que regula el sistema de Autoevaluación y Evaluación Periódica y Acreditación en la educación superior (en
adelante AVA) introdujo un sistema de acreditación inicial y periódica de las universidades y sus programas de estudio; una
evaluación periódica de la calidad, eficiencia y resultados de la actividad docente de las universidades; y la mejora de los
mecanismos que sustentan la autoevaluación de la calidad y eficacia de las actividades de las universidades.
En este marco, la prueba piloto TECO complementa el proceso de evaluación a través de indicadores que permiten la
autoevaluación de la calidad de los aprendizajes alcanzados por los estudiantes durante sus estudios. En concreto, TECO
permite la autoevaluación de las competencias genéricas que poseen los estudiantes al egresar de la universidad. Lo hace
mediante la construcción de indicadores que estiman los niveles de competencia de los estudiantes universitarios. Estos
indicadores también permiten la evaluación y acreditación periódica de las universidades y sus programas de estudio.
También es cierto que las principales partes interesadas (empleadores, universidades, estudiantes y sus familias,
contribuyentes y el gobierno) están interesadas en una calidad de educación cada vez mayor en las universidades italianas.
En un principio, la prueba piloto TECO pretendía medir competencias transversales: el pensamiento crítico necesario para
resolver un problema o tomar una decisión; la capacidad de representar y comunicar un
164 ÿ
hecho dado; y la capacidad de aprender nuevos conocimientos relacionados con áreas no necesariamente conectadas con las
particularidades de la disciplina científica que se estudia. Estas competencias no son objeto de seguimiento, evaluación o certificación
por parte de las universidades porque no son objeto de actividades docentes específicas; más bien, son parte de ese acervo intangible
de conocimientos y habilidades que todos los maestros deberían transmitir a los estudiantes simplemente enseñando su materia. Estas
se detectan a través de TECO-T, un test diseñado para evaluar competencias transversales.
Las habilidades disciplinarias adquiridas por los estudiantes en varios programas de licenciatura se evalúan a través de TECO-D.
El experimento italiano con el CLA+ (TECO 2013-2015)
En el diseño de la prueba piloto de TECO, ANVUR estableció una serie de criterios dictados tanto por la conciencia de que se trataba
de un experimento (plazos ajustados, presupuesto limitado, participación voluntaria de los estudiantes) como por la necesidad de
recopilar la mayor cantidad de datos posible (variables contextuales ) para una comprensión más completa de los resultados de las pruebas:
1. Usar la misma prueba para todos los cursos universitarios, que se evaluaría de manera uniforme con respecto a todos los
estudiantes porque las competencias genéricas son por su naturaleza independientes del campo de estudio específico:
dependen de cómo se estudia, no de lo que es. siendo estudiado.
2. Mediante una prueba que consta de a) una parte de respuesta abierta que permite comprobar la capacidad lectora, el análisis
crítico de los textos y la capacidad de tomar decisiones coherentes a partir de los mismos, así como la eficacia y técnica de
redacción, y b) una parte de respuesta cerrada parte para evaluar la calidad del razonamiento científico cuantitativo.
3. Identificar a los estudiantes elegibles (estudiantes que se gradúan), es decir, aquellos con derecho a participar en la prueba si
están en un rango definido de progreso y madurez a lo largo del camino del estudio.
4. Limitar el objetivo a evaluar las competencias genéricas adquiridas (el nivel real de aprendizaje) y no el valor añadido de la
formación universitaria. Esto implica excluir a los estudiantes de primer año de la prueba, pero permite que se entregue
información significativa a las partes interesadas con plazos de entrega más cortos. En principio, un análisis longitudinal (de
las mismas personas al principio y al final de los estudios universitarios) sería la mejor opción para determinar el valor
añadido universitario, pero esto requeriría una espera de al menos 3-4 años.
5. Utilizar variables contextuales que permitan filtrar resultados individuales del TECO (rebautizado como CLA+) que dependen
tanto de características individuales de la población estudiantil –por ejemplo, de carácter personal o familiar– como colectivas
–por ejemplo, la tasa de crecimiento en la región de origen o en la región donde se encuentra la universidad. Esto filtra las
características individuales que pueden explicar la finalización rápida y exitosa de los estudios de ciertos estudiantes. Y
permite estimar estadísticamente el valor añadido analizando lo que queda de varias regresiones múltiples.
Pruebas de 2013
Casi 30 universidades ofrecieron participar en la prueba piloto de TECO. Los siguientes 12 (un límite predefinido) fueron seleccionados
para el piloto de 2013: Piamonte Oriental (PO), Padua (PD), Milán (MI), Udine (UD), Bolonia (BO), Florencia (FI), Roma La Sapienza
(RM1), Roma Tor Vergata (RM2), Nápoles Federico II (NA), Salento (LE), Cagliari (CA) y Messina (ME). Esto aseguró universidades
con una mezcla de características de tamaño y adecuada representación regional (4 del Norte, 4 del Centro y 4 del Sur más islas); y
excluyó a las universidades no multidisciplinarias.
En cuanto a la administración de la prueba, se conoció que las personas habilitadas para rendir el CLA+ eran poco menos del 20% del
total de estudiantes de tercero y cuarto año -excluyendo carreras de las profesiones de la salud-
matriculados en las 12 universidades participantes, es decir una población de 21 872 en el curso académico 2012-2013. De hecho, 14
907 personas se preinscribieron para la prueba, incluidas numerosas personas extrañas que no podían participar en la prueba, y, entre
las personas elegibles y preinscritas, solo unos 5 900 estudiantes realmente asistieron a la prueba.
ÿ 165
La prueba piloto TECO de 2013 realizada por ANVUR fue el primer intento de evaluar el nivel de competencias genéricas
adquiridas por estudiantes universitarios en Italia (Zahner and Ciolfi, 2018[2]). La proporción media de candidatos aptos
entre los estudiantes de tercer y cuarto curso (índice de regularidad, R) y la proporción media de los que acudieron a
presentarse a la prueba entre los aptos (índice de participación, P) oscilan de forma muy amplia en las 25 disciplinas.
grupos y las 12 universidades participantes.
Pruebas de 2015
En 2015, ANVUR llevó a cabo la misma experiencia piloto con la participación de 26 universidades y más de 6 000
estudiantes. En cuanto a la participación, el análisis multivariado realizado sobre algunas variables independientes
(como la edad, la nota media del diplomado, el número de exámenes, la nota media de los exámenes) mostró que la
edad del estudiante, la nota obtenida en el bachillerato y la nota media de los exámenes, fueron en todos los casos
significativos (<0,05). Es decir, cuanto menor sea la edad del estudiante y mayor sea su calificación en los exámenes de
diploma y universitarios, mayor será su participación en TECO. Además de verificar los niveles de competencias
generalistas a través de un cuestionario específico adicional, los pilotos de TECO también proporcionaron algunas
variables de antecedentes (como datos demográficos, ambientales, socioeconómicos y relacionados con los antecedentes
culturales) de los estudiantes participantes. Estas variables se recopilaron en parte durante la fase de registro del CLA+
(información básica) y en parte el día en que tomaron la prueba (principalmente información de antecedentes
socioeconómicos y culturales).
El análisis mostró una relación correlacional descendente sistemática entre el resultado CLA+ y las variables edad,
género femenino (versus masculino) y residencia fuera de la región de ubicación de la universidad.
Hubo una relación ascendente en relación con las variables de tiempo desde la obtención del diploma, provenientes de
una escuela secundaria de “estudios clásicos” (en comparación con otros tipos de escuelas secundarias), calificaciones
medias de diploma y universidad, ciudadanía italiana e italiano hablado en el hogar (versus no). -Ciudadanía e idioma
italiano). La influencia de los padres aparece en el sentido de que la ausencia de la madre (no del padre) baja la
puntuación CLA+, en igualdad de condiciones, y el hecho de que el padre esté ocupado en un puesto directivo/profesional
(pero no la madre) la eleva.
El efecto de la condición sociocultural fue mucho más fuerte en las correlaciones simples porque en las regresiones
múltiples también se ejerce a través de los grados de diploma y universidad, así como en la elección de la escuela
secundaria. Algunas variables contextuales –como, por ejemplo, la situación familiar– pierden valor una vez que se
controlan otras. Esto se debe específicamente a que el estado familiar ayuda a predecir el tipo de diploma de escuela
secundaria, la calificación del diploma, el tipo de carrera elegida y la calificación universitaria promedio, además de
predecir el resultado en la prueba CLA+. Por otro lado, en correlaciones simples, el alto estatus profesional y cultural de
los padres se correlacionó fuertemente con el éxito en el CLA+: cuando, independientemente del cargo del padre, la
madre tiene un puesto gerencial/profesional o un trabajo administrativo, título universitario o bachillerato, se observaron
resultados por encima de la media y la mediana; y esto se aplica igualmente al padre. La ausencia de al menos uno de
los padres es la peor condición de privación y es mucho peor que tener un padre o una madre trabajadores manuales,
desempleados o sin cualificación.
El examen de las correlaciones simples entre todas las variables contextuales y el resultado de la prueba CLA+ o sus
dos componentes, complementado en ocasiones con la observación de la correlación indirecta (p. ej., con diplomas y
calificaciones universitarias), arrojó algunas generalizaciones amplias, no necesariamente aplicables a todos los lugares
geográficos. macroáreas de Italia. Mirando las variables para los datos familiares, fue algo sorprendente que los casos
en los que hay hermanos en la universidad o no fueran observacionalmente equivalentes y lo mismo para vivir fuera del
sitio con respecto a la universidad o no. En cambio, el tamaño de la familia parecía tener un efecto negativo, así como el
tiempo de viaje necesario para llegar a la universidad. Los estudiantes con más equipamiento tecnológico en promedio
obtuvieron mejores resultados, así como los que realizan al menos un viaje al año fuera de la región o al extranjero; esto
no pareció influir en la nota media del diploma sino, más bien, en la nota media en la universidad.
exámenes
166 ÿ
Problemas críticos de 2013 y 2015
Tanto los experimentos CLA+ 2013 como 2015 han resaltado algunos problemas críticos. El primero fue el sesgo de
autoselección de las universidades y de los estudiantes que se sumaron al proyecto y realizaron la prueba, respectivamente.
En el caso de las universidades, la composición de la muestra se definió más en función de la expresión de su disponibilidad
que de su representatividad. En cuanto a la selección de estudiantes, además del criterio del número mínimo de ECTS
obtenidos por los estudiantes matriculados en el tercer año de una determinada universidad, también se agregó la
autoselección de los mismos estudiantes, con una tasa de participación promedio del 20%. , lo que impidió extrapolar las
observaciones obtenidas a toda la población estudiantil.
La segunda cuestión crítica estaba relacionada con la puntuación de las respuestas proporcionadas por los estudiantes. Las
respuestas abiertas de la prueba Performance Task (PT) fueron codificadas por 239 puntuadores, identificados entre los
docentes de las universidades participantes del piloto, quienes evaluaron las pruebas de los estudiantes de forma totalmente
gratuita. Para cada universidad, se identificó un profesor como Lead Scorer. Luego de ser capacitado por el Consejo de
Ayuda a la Educación (CAE), el Lead Scorer tenía la responsabilidad de capacitar y monitorear al grupo de trabajo asignado
en la calificación. En la experiencia italiana esta formación multinivel debilitó el sistema de evaluación, aumentando la brecha
en la codificación, como lo indica un bajo coeficiente de correlación entre los mismos puntuadores.
Sobre la base de parámetros de calidad predefinidos, fue necesaria una tercera evaluación en el 52% de los casos.
Redefiniendo el TECO
Estos temas críticos llevaron a ANVUR a redefinir todo el TECO en 2016. Esto incluyó áreas de referencia, marcos
relacionados, enfoque metodológico y herramientas. En cuanto a la participación de los estudiantes, comprendió a todos los
estudiantes matriculados en cursos de primer ciclo y de ciclo único en un momento específico de su carrera, ya que eran
más numerosos (y, por lo tanto, más relevantes para fines de política pública), menos autoseleccionados (respecto de las
maestrías). grados) y más probabilidades de ingresar al mercado laboral.
Otro cambio importante se refirió al momento de la entrega del TECO: se abandonó el número de UFC como criterio de
selección. En cambio, el único criterio administrativo era que los estudiantes estuvieran matriculados.
Esta elección fue congruente con un enfoque de valor agregado, que refleja el desarrollo de competencias durante la
formación universitaria y no solo las características iniciales de los estudiantes.
A diferencia de antes, el nuevo TECO contenía solo preguntas cerradas para facilitar la codificación y reducir la variabilidad
entre diferentes calificadores. Y el desarrollo interno de la prueba superó el problema de la adaptabilidad de la prueba a la
muestra italiana (Ciolfi et al., 2016[3]).
Finalmente, la ya mencionada subdivisión del proyecto en dos líneas paralelas, TECO transversal
(TECO-T) y TECO disciplinar (TECO-D), fue otro aspecto en el que ANVUR quiso centrarse a la hora de redefinir el proyecto.
Estaba claro que TECO debería seguir refiriéndose a habilidades transversales como alfabetización, aritmética, resolución
de problemas, educación cívica (entendida como conocimiento y habilidades cívicas y políticas). Dado su carácter transversal,
la evaluación de estas competencias para estudiantes universitarios no podía reflejar los conocimientos disciplinares
adquiridos en los distintos grados. Sin embargo, ANVUR cree que las habilidades transversales se pueden mejorar durante
los estudios universitarios y no son el estado final del desarrollo cognitivo de un individuo (Benadusi and Stefano, 2018[4]).
En particular, el TECO-T fue realizado por la agencia con un proceso de arriba hacia abajo que involucró a grupos de
expertos seleccionados, compuestos principalmente por profesores universitarios. La detección de competencias disciplinarias
fue otorgada por grupos de trabajo autónomos con enfoque disciplinario, apoyados por la ANVUR. Brevemente, después de
analizar e identificar el contenido disciplinario central de un programa de estudio, lo organizaron con respecto a los cinco
Descriptores de Dublín. Después de esta fase preliminar, cada grupo de trabajo fue responsable de redactar el TECO-D
específico de la disciplina.
ÿ 167
Figura 11.2. Distintos contenidos y enfoques del TECO-T y el TECO-D
Fuente: ANVUR
La participación en el proyecto seguía siendo voluntaria para universidades, programas de estudio y estudiantes. Las pruebas
estaban dirigidas a estudiantes matriculados en el primer y último año del programa de estudios. Los resultados de las
pruebas se comunicaron individualmente a los alumnos participantes y de forma anónima a los responsables del programa y
no afectaron a ninguna valoración por parte del profesorado ni a la nota final de la titulación.
TECO-T y competencias transversales
Las habilidades evaluadas en TECO-T son alfabetización, aritmética, resolución de problemas y educación cívica. La hipótesis
de trabajo es que estas habilidades se basan en una formación generalista. Pueden formarse en la universidad,
independientemente del contenido relacionado con la disciplina y, por lo tanto, las habilidades son comparables entre
universidades y/o programas de estudio (Rumiati et al., 2018[5]). La agencia llevó a cabo las pruebas TECO-T con la
colaboración de expertos, en su mayoría profesores universitarios, siguiendo un proceso top-down.
Las primeras pruebas realizadas y validadas (I y II pruebas de campo en 2016) fueron Alfabetización y Aritmética.
La prueba de alfabetización fue diseñada para evaluar los niveles de habilidad de los estudiantes para comprender, interpretar
y reflexionar sobre un texto que no estaba directamente relacionado con un contenido disciplinario específico o un área
temática, utilizando dos tipos de pruebas: un texto seguido de preguntas cerradas y un texto breve en el que se han borrado
algunas palabras (prueba Cloze) que el alumno debe volver a introducir.
La prueba de Numeracy mide los niveles de habilidad de los estudiantes para comprender y resolver problemas lógico-
cuantitativos a través de un texto breve acompañado de gráficos y tablas seguido de algunas preguntas o una imagen
infográfica seguida de algunas preguntas cortas.
Durante la edición de 2019 se validaron dos nuevos TECO-T: Problem Solving y Civics.
La prueba de resolución de problemas evalúa el nivel de comprensión y habilidad para resolver problemas simples y
complejos, así como la habilidad para lograr objetivos en un contexto dado donde no se pueden lograr con acciones directas
o con cadenas conocidas de acciones y operaciones (Checchi et al. , 2019[6]).
Finalmente, la prueba de Civismo evalúa las habilidades personales, interpersonales e interculturales que se relacionan con
formas de comportamiento que caracterizan a las personas que participan activa y constructivamente en la vida social y
laboral, y pueden resolver conflictos cuando sea necesario. En la base está la comprensión de conceptos como democracia,
justicia, igualdad, ciudadanía y derechos civiles.
168 ÿ
TECO-D y competencias disciplinarias
Las denominadas competencias disciplinarias, a diferencia de las transversales, están íntimamente ligadas a los contenidos
específicos de los programas de estudio y solo pueden compararse entre programas de un campo disciplinario similar.
El desarrollo de TECO-D fue coordinado por ANVUR pero llevado a cabo por grupos de trabajo designados por la junta directiva
de ANVUR. Los miembros de esos grupos de trabajo eran profesores universitarios e investigadores en un campo disciplinario
específico que participaron voluntariamente en el proyecto. Fueron seleccionados para representar a la totalidad de la academia y
las organizaciones científicas.
Los grupos de trabajo de TECO-D determinaron los contenidos disciplinarios básicos de un grupo de programas homogéneos para
desarrollar una prueba disciplinaria integral.
Afiliarse al TECO-D presenta aspectos innovadores para la comunidad académica por varias razones:
• Estimula una definición compartida de los contenidos troncales disciplinares y su organización con respecto a
los Descriptores de Dublín;
• Fomenta la elaboración de pruebas de contenido compartido a nivel de grupos homogéneos de programas de estudio,
permitiendo comparaciones interuniversitarias e intrauniversitarias con fines de autoevaluación;
• Garantiza la gestión centralizada y certificada por ANVUR (entrega, recogida de datos y

análisis).
Para ayudar a los grupos de trabajo disciplinarios a alcanzar sus objetivos, ANVUR preparó dos herramientas principales que
contienen información útil para:
• cómo determinar el contenido disciplinario básico de acuerdo con los Descriptores de Dublín (Documento de trabajo
n.1).
• cómo preparar correctamente una prueba (Documento de trabajo n.2).
La agencia también brindó apoyo técnico-científico a los grupos de trabajo para la validación de las pruebas elaboradas.
TECO-T y TECO-D (2016-2019)
Desde 2016, cada año ANVUR propone ventanas de tiempo específicas para la entrega de las pruebas TECO-T y TECO-D,
generalmente entre octubre y diciembre. La actividad está coordinada por los grupos disciplinares y las pruebas se imparten a
través de una plataforma online gestionada por CINECA1 1. Una vez que se cierra
la ventana de entrega, ANVUR continúa con el análisis. Mientras tanto, cada estudiante participante puede descargar su certificado
de aprovechamiento personal accediendo a un portal dedicado con las mismas credenciales personales utilizadas para acceder a
la prueba. El resultado único (media 200 y desviación estándar 40) se calcula estandarizando las puntuaciones obtenidas por
todos los encuestados en base al modelo probabilístico de Rasch de dos parámetros, que permite considerar tanto la habilidad
del encuestado como la dificultad de cada pregunta .
Los resultados obtenidos en el TECO no se registran en la carrera universitaria del estudiante.
TECO 2016
El primer experimento TECO desarrollado por ANVUR (con la colaboración de un grupo de expertos) fue un piloto del TECO-T
(sólo Alfabetización y Aritmética). ANVUR lo entregó a fines de 2016 para validar las pruebas a través de una prueba de campo.
El proyecto piloto tuvo lugar en cinco universidades en las que participaron estudiantes específicos: Universidad de Messina
(Economía), Universidad de Padua (Psicología), Universidad de Roma "Tor Vergata" (Medicina), Universidad de Salento (Literatura)
y Politécnico de Turín (Ingeniería) . Este primer piloto involucró a 854 estudiantes matriculados en el primer y tercer año del primer
ciclo (licenciatura). El consiguiente análisis de
ÿ 169
ANVUR mostró que todos los ítems individuales midieron habilidades específicas, representaron diferentes niveles de dificultad
y fueron capaces de distinguir a los estudiantes más competentes de los demás.
En particular, en cuanto a la prueba de Lectoescritura (cuadernos 1 a 6), se midió una buena consistencia interna mediante el
Alfa de Cronbach, lo que significa que las pruebas lograron medir una sola competencia. Los elementos de los diferentes
cuadernillos tenían una dificultad similar, lo que refleja los criterios de diseño de la prueba.
Tabla 11.1. Prueba de campo de alfabetización TECO-T
Alfabetización Alfabetización Alfabetización Alfabetización Alfabetización alfabetización 6
1 144 2 142 3 142 4 142 5 142 142

Número de pruebas válidas (estudiantes)
Puntuación media 19.85 18.71 21.05 18.03 19.39 19.04
Estándar desarrollo 4.04 3.70 4.79 4.44 3.81 3.63
Coeficiente de variación - CV 20.3 19.7 22.8 24.6 19.7 19.1
Alfa de Cronbach 0.777 0.675 0.796 0.766 0.664 0.689
Facilidad media 0,66 0,62 0.70 0,60 0,65 0,63
Correlación biserial puntual 0.39 0.31 0.39 0.39 0.32 0.32
Número de elementos revisados 10 8 7 9 7 10
Fuente: análisis ANVUR
En cuanto a la prueba de Aritmética (cuadernos 1 a 4), el Alfa de Cronbach se encuentra cerca de 0,8, lo que significa que las
pruebas lograron medir una sola competencia. Los elementos de los diferentes cuadernillos tenían una dificultad similar, lo que
refleja los criterios de diseño de la prueba.
Tabla 11.2. Prueba de campo de aritmética TECO-T
Aritmética 1 Aritmética 2 Aritmética 3 Aritmética 4

Número de pruebas válidas 214 214 213 213
(estudiantes)
Puntuación media 13.31 15.91 14.99 15.59
Estándar desarrollo 4.81 4.50 4.87 5.17
Coeficiente de variación - CV 36.1 28.3 32.5 33.2
Alfa de Cronbach 0.848 0.799 0.829 0.837
Facilidad media 0.53 0,64 0,60 0,62
correlación biserial puntual 0.41 0.40 0.42 0,45
Número de elementos revisados 6 5 4 2
Después del análisis, ANVUR revisó todos los folletos para resolver algunos problemas menores relacionados con artículos
específicos (ver tablas). Durante la primavera de 2017, se entregaron las versiones finales de las pruebas de Alfabetización y
Aritmética a 1 759 estudiantes matriculados en el primer y tercer año del primer ciclo (licenciatura) en otras cinco universidades
(Bari, Bolonia, Firenze, Milano “Bicocca” , Palermo), teniendo en cuenta sólo cinco áreas disciplinarias seleccionadas por ANVUR
(Biología, Educación, Ciencias Psicológicas, Economía y Profesiones de la Salud).
En la primavera de 2017, el TECO entregó adicionalmente (al final de la prueba) un cuestionario que proporcionó información
útil sobre los antecedentes familiares de los estudiantes y otras experiencias personales relacionadas con la vida universitaria y
laboral.
Luego de la validación de las pruebas, entre noviembre de 2017 y marzo de 2018 se llevó a cabo un piloto nacional de TECO.
Con el TECO-T (Alfabetización y Aritmética) se entregaron los siguientes TECO-D a los estudiantes matriculados en esos
170 ÿ
programas de estudio específicos posteriores al TECO-T: Fisioterapia, Enfermería, Radiología Médica. En general, este piloto
involucró a 27 universidades de todo el país y un total de 12 510 estudiantes de forma voluntaria. Se activaron un total de
481 sesiones de prueba en la plataforma CINECA y 146 tutores de aula designados por las universidades participantes
monitorearon la entrega.
Dado que no fue posible establecer una cantidad adecuada de salas de prueba equipadas con computadoras para algunas
universidades, se proporcionó un método de entrega de prueba en papel para permitir que todas las universidades
participaran en el piloto.
Los resultados globales para todos los estudiantes (sin distinguirlos por universidad o programa de estudios) mostraron que
las diferencias entre las puntuaciones medias son estadísticamente significativas entre los estudiantes de primer y tercer año
tanto en Alfabetización como en Aritmética. Se observó un aumento estadísticamente significativo en las habilidades de los
estudiantes durante sus estudios universitarios, aunque con un crecimiento progresivo para las relacionadas con
Alfabetización, y con una disminución significativa para las relacionadas con Aritmética entre segundo y tercer año. Cabe
señalar que al inicio de sus estudios, los estudiantes registraron un nivel por debajo del valor promedio establecido (200) en
ambas áreas (198,6 para Alfabetización y 197,6 para Aritmética) (Ciolfi and Sabella, 2018[7]).
Figura 11.3. Puntuaciones medias e intervalos de confianza de las pruebas de Lectoescritura y Aritmética,
por año académico de matrícula
Nota: 1 año = primer año, 2 años = segundo año, 3 años = tercer año
La siguiente figura muestra los mismos resultados por género, lo que sugiere que las niñas, aunque muestran la misma
tendencia que los niños durante los tres años, alcanzan niveles significativamente más bajos, en particular en aritmética.
Cabe destacar que, al separar los datos por género, las diferencias entre el primer y tercer año de Alfabetización no son
estadísticamente significativas.
ÿ 171
Figura 11.4. Puntuaciones medias e intervalos de confianza de las pruebas de Alfabetización y Aritmética,
por curso académico de matrícula y sexo
Nota: Femminile = femenino, Maschile = masculino

Durante la fase de preinscripción en TECO, se pidió a los alumnos que respondieran un cuestionario relacionado con la
formación, la profesión y el tipo de ocupación de sus padres y otros antecedentes.
Con esta información fue posible calcular un índice de estatus inspirado en el Índice de Estatus Económico, Cultural y Social
(ESCS) utilizado en los informes del Programa para la Evaluación Internacional de Estudiantes (PISA) de la OCDE. El ESCS
es una de las variables más utilizadas en el análisis de datos del programa PISA. Se basa en las respuestas de los estudiantes
a un cuestionario de contexto, construido para obtener información sobre oportunidades educativas y desigualdades. El cálculo
del TECO involucra la síntesis por Análisis de Componentes Principales (ACP) de dos variables: el puntaje atribuido al estatus
ocupacional más alto de los padres (Ganzeboom and Treiman, 1996[8]) y el mayor número de años de educación alcanzados
por los padres. Con base en los cuartiles, se identificaron cuatro clases, cuyos resultados agregados se muestran en la
siguiente tabla. Emerge claramente que el contexto familiar (con los estímulos culturales y/o económicos relacionados) afecta
el desarrollo de habilidades de los estudiantes, en particular para los estudiantes con antecedentes favorecidos.
(Ciolfi y Sabella, 2018[7]).
172 ÿ
Figura 11.5. Puntuaciones medias e intervalos de confianza de las pruebas de alfabetización y aritmética,
por año y situación cultural
Nota: bajo = cuartil inferior, medio-bajo = segundo cuartil, medio-alto = tercer cuartil, alto = cuartil superior.
TECO 2018
El piloto TECO 2018 tenía las mismas características que los TECO-T (Lectoescritura y Aritmética) y los TECO-D de Enfermería,
Fisioterapia y Radiología Médica que se entregaban a los estudiantes matriculados en esos programas de estudio específicos
(Galeoto et al., 2019[9 ]).
En general, este piloto involucró a 26 universidades de todo el país y un total de 10 148 estudiantes de forma voluntaria. Se
activaron un total de 450 sesiones de prueba en la plataforma CINECA y 153 tutores de aula designados por las universidades
participantes monitorearon la entrega.
Los estudiantes de Enfermería fueron los más numerosos en número absoluto (7 557), seguidos por los de Fisioterapia (1 655)
y Radiología Médica (936).
TECO 2019
Durante la edición de TECO 2019, que se llevó a cabo entre septiembre y diciembre, participaron 47 universidades de todo el
país, con un total de 21 929 estudiantes. Los estudiantes participantes fueron
matriculados en 12 diferentes programas de estudio de primer nivel en el área médico-sanitaria2 2 . Un TECO-D específico fue
desarrollado y entregado para cada uno. Además, se validaron estadísticamente dos nuevas áreas del TECO-T: Resolución de
Problemas y Educación Cívica. Más concretamente, un grupo seleccionado de 4 050 estudiantes respondieron la nueva prueba
de Resolución de Problemas o Civismo. Los estudiantes procedían de 41 universidades, matriculados en las carreras de
Radiología Médica, Filosofía y Ciencias de la Educación. La validación de las pruebas mostró buena confiabilidad y validez para
ambas pruebas.
TECO 2020
A partir de la edición TECO 2020, los estudiantes recibieron un solo cuadernillo TECO-T que contenía pruebas para las cuatro
áreas validadas: alfabetización, aritmética, resolución de problemas y educación cívica.
ÿ 173
Figura 11.6. El desarrollo de TECO
Entrega de TECO durante la pandemia de COVID-19
Para la edición TECO 2020/2021 se desarrolló un nuevo sistema de entrega en cumplimiento de la normativa vigente
para evitar la propagación de la pandemia del COVID-19.
ANVUR decidió realizar la entrega de la prueba de forma remota, es decir, cada alumno estaba conectado desde casa
con su dispositivo personal. El sistema de reconocimiento de alumnos, el bloqueo de páginas web durante la prueba y
el manejo de las aulas virtuales (con la ayuda de un tutor en línea) se definió junto con CINECA.
Para permitir una fácil organización de la TECO, se definieron dos ventanas de entrega en lugar de una: la primera fue
del 20 de octubre al 31 de diciembre de 2020, la segunda del 1 de marzo al 31 de mayo de 2021.
El TECO 2020/2021 se organizó en dos partes diferenciadas como en años anteriores: un TECO-T y un TECO-D (si
está disponible para el programa de estudios en el que el estudiante estaba matriculado). Cada estudiante tenía que
completar ambas partes. Solo los estudiantes que completaron el TECO-T podrían tomar el TECO-D. En cualquier
caso, se garantizaba un respiro entre las dos fases.
El TECO-T es una prueba única de 50 minutos con referencia a la alfabetización, la aritmética, la resolución de problemas y la educación cívica.
Se asignaron al azar dos conjuntos diferentes de TECO-T a los estudiantes, también dentro de la misma aula virtual.
Los TECO-D duran 90 minutos. Durante la primera ventana (octubre-diciembre 2020) se impartieron Profesiones de la
Salud, Educación y Psicología; durante la segunda ventana (marzo-mayo 2021) se administraron los TECO-D de
Filosofía, Psicología, Educación, Letras Clásicas y Modernas y Medicina.
En la primera ventana (octubre-diciembre de 2020) participaron 19 292 estudiantes de 54 universidades. Las pruebas
se llevaron a cabo en 48 días para un total de 1 282 sesiones de prueba (un promedio de 26,7 sesiones por día) para
un promedio de 402 pruebas por día.
174 ÿ
Tabla 11.3. Participación en TECO 2020
Disciplinas n de virtuales N. de alumnos Universidades

aulas participantes/total
universidades*
Dietética 42 510 22/12
Fisioterapia 104 1 868 17/41
Enfermería 451 10 204 21/42
enfermería infantil 11 192 6/8
Terapia del lenguaje 36 557 9/29
Neuro y psicomotricidad de la edad del desarrollo 29 646 8/12
Obstetricia 74 1 222 17/33
Educación 155 1 155 20/42
Psicología 253 1 186 28/42
Técnicas de laboratorio biomédico 53 675 16/35
Técnicas de radiología médica 69 820 20/39
Terapia ocupacional 19 257 7/8
Total 1 296 19 292
Nota: *Número de universidades participantes / número de universidades que ofrecen ese programa de estudios.
Para los estudiantes que participaron en la segunda ventana (marzo-mayo de 2021), la semana del 19 al 22 de abril
de 2021 se dedicó exclusivamente a estudiantes matriculados en programas de maestría de ciclo único de Medicina
y Cirugía (Bacocco et al., 2020[10]). Toda la operación se llevó a cabo en cuatro días para un total de 5 924
estudiantes de 29 universidades con 721 tutores de aula virtual.
Tabla 11.4. Participación en Medicina y Cirugía TECO 2021
Universidad N. de alumnos
TORINO 768
Nápoles Federico II 713
ROMA "La Sapienza" 630

CATANIA 534
BRESCIA 315
MILANO-BICOCCA 300
Florencia 289
MOLISE 289
MILÁN 287
ROMA "Tor Vergata" 201

PISA 163
TRIESTA 163
PADUA 158
BOLONIA 140
PIEMONTE ORIENTAL "Amedeo Avogadro"-Vercelli 134

SALERNO 113
INSUBRIA Varese-Como 97
MODENA y REGGIO EMILIA 90
FERRARA 86
VERONA 83
"Campus Bio-Medico" de ROMA 81

MESINA 74
ÿ 175
"Magna Grecia" de CATANZARO 54

L'AQUILA 37
Campania "Luigi Vanvitelli" 36

FOGGIA 35
PARMA 22
"G. d'Annunzio" CHIETI-PESCARA 20
BARI ALDO MORO 12
Total 5 924
Actualmente, ANVUR se está centrando en el análisis de este último ensayo de campo de Medicina y Cirugía. Una vez
finalizado el análisis, cada alumno podrá descargar su certificado de aprovechamiento certificado por ANVUR.
Posibles próximos pasos y perspectivas
En los últimos años, el principal decisor político en el ámbito de la educación superior (a saber, el Ministerio de Educación,
Universidades e Investigación) se ha caracterizado por profundos y continuos cambios en la alta dirección y organización
interna debido a la inestabilidad del sistema nacional. gobierno.
Estos cambios no han favorecido la continuidad del diálogo entre el gobierno, la ANVUR, la academia, el mercado laboral y
todos los demás actores relevantes. Esto ha dificultado el desarrollo de una visión compartida con respecto a la evaluación
de los resultados de aprendizaje genéricos de los estudiantes promovida por ANVUR con el TECO. Esto explica en parte
por qué aún falta un proyecto nacional bien definido y, en consecuencia, no ha habido desarrollos con referencia al marco
regulatorio. TECO sigue siendo un proyecto, una iniciativa caracterizada por la participación voluntaria.
Sin embargo, recientemente el gobierno italiano ha dividido el Ministerio correspondiente, creando un Ministerio de
Universidad e Investigación independiente. El establecimiento de un Ministerio dedicado ha sido recibido muy positivamente
por la comunidad académica, quienes esperan que esta reorganización gubernamental proporcione un valor agregado al
sector de la educación superior y confiera mayor impacto a los temas y asuntos específicos de la educación superior en la
agenda política a nivel mundial. nivel nacional.
Incluso dentro de ANVUR se esperan cambios importantes. El órgano político (Consejo de Gobierno) está redefiniendo el
sistema AVA según los principios de simplificación y mayor atención a la evaluación de resultados. La revisión del sistema
nacional de acreditación y evaluación es una oportunidad importante para discutir el papel de TECO y, más en general, el
papel de la medición de los resultados del aprendizaje para mejorar la evaluación de los resultados.
En este período, la agencia comenzó a redactar el Informe sobre la universidad y el sistema de investigación italianos 2021
en el que ANVUR captura (con el apoyo de un análisis longitudinal) la situación de la universidad y la investigación en Italia.
Propone reflexiones críticas sobre fortalezas y oportunidades, y aspectos a mejorar. Al igual que sus predecesores, el
informe de 2021 tendrá un capítulo dedicado a la evaluación de los resultados de aprendizaje y el TECO. Este informe
completo, al igual que el anterior, se publicará en el sitio web y se presentará en un evento público dedicado a los
responsables de la toma de decisiones y las partes interesadas.
Por último, es importante destacar la importancia de los últimos desarrollos del TECO-D. La creación del grupo de trabajo
de Medicina ha centrado la atención de la comunidad académica en el TECO. Actualmente, existe un fuerte debate sobre
la evaluación de habilidades y competencias en ciencias de la salud y la posible contaminación de contenidos entre el
máster de ciclo único de Medicina y Cirugía y los programas de primer ciclo de profesiones sanitarias. El informe de 2021
mostrará los resultados de la primera prueba de campo de estudiantes matriculados en Medicina y Cirugía.
176 ÿ
Independientemente de los desarrollos futuros, está claro que el interés en la evaluación de los resultados de aprendizaje
genéricos y disciplinarios está creciendo, como lo demuestra la creciente participación en el TECO de universidades,
estudiantes y el establecimiento de grupos de trabajo disciplinarios. La comunidad académica y la ANVUR creen que
es fundamental profundizar en el análisis de los resultados de enseñanza y aprendizaje, en particular los resultados de
aprendizaje genéricos, con el propósito de mejorar continuamente. Herramientas como TECO ciertamente pueden
ayudar en el análisis.
ÿ 177
Referencias
ANVUR (ed.) (2016), “La sperimentazione sulla valutazione delle competenze attraverso il test sulle competenze [3]
(TECO – 2013 e 2015)”, Rapporto sullo Stato del Sistema Universitario e della Ricerca 2016, pp. 259-287.
Bacocco, B. et al. (2020), “Medicina alla prova. La validazione del Progress Test a cura [10]
dell'ANVUR (Prueba de estudios médicos. La validación de la prueba de progreso por ANVUR)”, Medicina E
chirurgia, Journal of Italian Medical Education 85, pp. 3819-3816, https://doi.org/10.4487/medchir2020-85- 6.
Benadusi, L. and M. Stefano (eds.) (2018), Le competenze: Una mappa per orientarsi (Universale [4]
paperbacks Il Mulino Vol. 729), Fondazione Agnelli, Bologna: Il Mulino.
Checchi, D. et al. (2019), Il Problem Solving come competenza trasversale: inquadramento e [6]
prospettive nell'ambito del progetto TECO, Scuola Democratica, https://doi.org/
10.12828/93404.
ESG (2015), Estándares y Directrices para la Garantía de Calidad en la Educación Superior Europea [1]
Area, Bruselas, Bélgica (ISBN: 978-9-08-168672-3).
Galeoto, G. et al. (2019), El uso de una plataforma dedicada para evaluar las profesiones de la salud [9]
cursos universitarios, https://doi.org/10.1007/978-3-319-98872-6_33.
Ganzeboom, H. y D. Treiman (1996), “Medidas internacionalmente comparables del estatus ocupacional para la [8]
Clasificación Internacional Estándar de Ocupaciones de 1988”, Social Science Research, vol. 25/3, https://doi.org/
10.1006/ssre.1996.0010.
Momigliano, S. (ed.) (2018), “La rilevazione delle competenze degli studenti: il progetto TECO”, Rapporto Biennale [7]
sullo stato del sistema universitario e della ricerca, pp. 155-166.
Rumiati, R. et al. (2018), “Competencias-clave en la educación superior como herramienta para la democracia”, [5]
Form@re, vol. 18, págs. 7-18, https://doi.org/10.13128/formare-24684.
superior”, en Evaluación de los resultados del aprendizaje en la educación superior, Metodología de medición y
evaluación educativa, Springer International Publishing, Cham, https: //doi.org/10.1007/978-3-319-74338-7_11.
notas
1
CINECA es un Consorcio sin ánimo de lucro que desarrolla aplicaciones y servicios avanzados de Tecnologías de la Información.
Está compuesto por 97 miembros: el Ministerio de Educación de Italia, el Ministerio de Universidades e Investigación de Italia, 69
universidades italianas y 26 instituciones nacionales italianas (ANVUR incluida). Hoy es el mayor centro informático italiano.
2
Los programas de estudio son: Pedagogía, Enfermería, Fisioterapia, Dietética, Enfermería Infantil, Logopedia, Neuroterapia y
Psicomotricidad de la Edad del Desarrollo, Obstetricia, Técnicas de Laboratorio Biomédico, Terapia Ocupacional.
ÿ 179
12 Evaluar las habilidades genéricas de

estudiantes de pregrado en
Finlandia
Jani Ursin, Universidad de Jyväskylä (Finlandia)
Heidi Hyytinen, Universidad de Helsinki (Finlandia)
Este capítulo describe un proyecto sobre la evaluación de las habilidades genéricas de

los estudiantes universitarios finlandeses. Ofrece una breve descripción del sistema de
educación superior finlandés y el contexto político que ha allanado el camino para la
evaluación de habilidades genéricas. Describe los objetivos del proyecto e ilustra cómo
se llevó a cabo en Finlandia. El capítulo también presenta los hallazgos clave sobre el
dominio de las habilidades genéricas y los principales factores que explican el nivel de
las habilidades genéricas. Finalmente, presenta recomendaciones de políticas destinadas
a mejorar la enseñanza y el aprendizaje de habilidades genéricas dentro de los estudios
de pregrado, y describe las lecciones aprendidas de la evaluación de habilidades
genéricas en Finlandia.
¡Este capítulo se basa en el informe final de KAPPAS! proyecto. Para obtener más información, consulte Ursin, J., H.
Hyytinen y K. Silvennoinen (eds.) (2021[1]), Evaluación de las habilidades genéricas de los estudiantes universitarios en Finlandia :
¡hallazgos de los Kappas! Proyecto. Ministerio de Educación y Cultura. Publicaciones del Ministerio de Educación y Cultura 2021:31.
180 ÿ
El sistema de educación superior finlandés
Se puede considerar que el sistema educativo finlandés tiene dos corrientes principales, es decir, una corriente general
(que brinda a los estudiantes conocimientos generales, información y habilidades) y una corriente vocacional (que
brinda a los estudiantes competencias vocacionales y profesionales). El sistema es flexible, lo que permite un fácil
movimiento entre las corrientes durante la carrera educativa de uno, y pocos estudiantes llegan a un callejón sin salida.
El sistema de educación superior (ES) también refleja las dos corrientes, ya que consta de dos sectores complementarios:
una con 24 universidades de ciencias aplicadas (UAS) de orientación profesional y la otra con 14 universidades
intensivas en investigación. Las UAS forman profesionales en respuesta a las necesidades del mercado laboral y
realizan actividades de investigación, innovación y desarrollo. Por su parte, las universidades intensivas en investigación
realizan investigación científica y brindan instrucción y educación de posgrado con base en esa investigación.
Ambos tipos de instituciones de educación superior (IES) gozan de autonomía, con libertad para llevar a cabo la
educación y la investigación. Esta libertad está asegurada en la Constitución finlandesa y garantizada por las leyes
que rigen las IES (Ammattikorkeakoululaki, 2014[2]; Ley de Universidades, 2009[3]). No obstante, como parte del
gobierno, el Ministerio de Educación y Cultura (MoEC) asigna financiamiento básico a las IES y dirige las actividades
de las instituciones a través de un proceso de gestión por resultados (Ursin, Hyytinen and Sivennoinen, 2019[4]).
Actualmente (a partir de 2021), Finlandia tiene 38 IES con alrededor de 300 000 estudiantes (Vipunen – opetushallinnon
tilastopalvelu, 2019[5]). Cada institución de educación superior decide los estudiantes que serán admitidos y los
criterios de admisión. Existen tres formas de admisión de estudiantes a las IES: exámenes de ingreso, calificaciones
en el Examen de Matriculación o en titulaciones de bachillerato profesional y la vía de la Universidad Abierta. Los dos
primeros son las principales formas de admisión de estudiantes. Recientemente, se reformó la admisión de estudiantes
de educación superior de tal manera que se le dé más peso a las calificaciones. Esto significa que desde 2020 en
adelante, más de la mitad de las plazas de los estudiantes se han cubierto en función de las calificaciones, lo que
destaca la importancia del éxito en la educación secundaria superior y especialmente en el Examen de Matriculación.
La educación superior es gratuita para todos los estudiantes a excepción de los que provienen de países que no son
miembros de la Unión Europea o del Espacio Económico Europeo. Las universidades ofrecen licenciaturas (programas
de 3 años), maestrías (programas de 2 años) y posgrados de tercer ciclo (programas de 3 años); en cambio, las UAS
ofrecen licenciaturas (con una duración de 3 a 4 años) y maestrías (con una duración de 1,5 a 3 años). En línea con
los objetivos del proceso de Bolonia, que refleja la voluntad política de 49 países para construir un Espacio Europeo de
Educación Superior, un enfoque basado en competencias para el desarrollo curricular ha ganado terreno en la
educación superior finlandesa (Gaebel et al., 2018[6] ).
El contexto político para la evaluación de habilidades genéricas
Durante las últimas dos décadas, ha habido un debate activo sobre las habilidades y competencias que debe promover
la educación superior. En Europa, esta discusión se ha referido a formas de mejorar la calidad y la transparencia de la
educación superior (p. ej., Ursin (2014[7]))). La Unión Europea, por su parte, ha subrayado
que los cambios en la vida laboral requieren una amplia gama de competencias de los graduados de educación
superior. Desde una perspectiva intergubernamental, la OCDE ha subrayado la importancia de los resultados del
aprendizaje en la educación superior a través de un estudio de viabilidad sobre la Evaluación de los resultados del
aprendizaje en la educación superior (AHELO), realizado en 2010-2013 (Tremblay, Lalancette and Roseveare,
2012[8] ). De acuerdo con esto, las habilidades genéricas, como la resolución de problemas, la comunicación y la
cooperación (además de las habilidades profesionales) se consideran importantes en la vida laboral, el aprendizaje
continuo y la digitalización (p. ej. (Comisión Europea, 2013[9])) . Por poner un ejemplo, en la era de la inteligencia
artificial, las habilidades genéricas pueden verse como el elemento que diferencia a los humanos de las máquinas, con
las operaciones técnicas dejándose cada vez más a las máquinas y con los humanos enfocándose en procesos que
requieren creatividad y originalidad (Comisión Europea Educación y Formación, 2019[10]).
En Finlandia, el gobierno considera que las competencias producidas por la educación superior son cruciales para el
éxito de Finlandia en la educación global y los mercados laborales. El gobierno se ha fijado como ideal el objetivo
ÿ 181
que Finlandia debería ser el país más competente del mundo, con una educación superior que produzca los mejores
entornos de aprendizaje y aprendizaje del mundo. Además, las habilidades generadas por la educación superior se
consideran fundamentales en Finlandia en términos de respuesta a los cambios en el mercado laboral y desde el punto
de vista del aprendizaje continuo. De hecho, para un país pequeño como Finlandia, la educación superior es vista como
la clave para operar e influir a escala global (Ministry of Education and Culture, 2017[11]).
Tradicionalmente, la política de educación superior en Finlandia ha aspirado a un nivel igual de calidad en todo el sistema
(Välimaa, 2004[12]). Sin embargo, las evaluaciones de la calidad de la enseñanza y el aprendizaje en la educación
superior no son sencillas. De hecho, hasta ahora Finlandia ha carecido de información sobre lo que los estudiantes
aprenden durante sus estudios y sobre qué tan bien la política de educación superior, destinada a promover la igualdad,
realmente produce o mejora la enseñanza y el aprendizaje de alta calidad.
La experiencia de los estudiantes universitarios puede verse como compuesta de (1) conocimientos y habilidades
específicos del campo y (2) habilidades genéricas. En la educación superior, las habilidades genéricas más importantes
son las habilidades cognitivas de orden superior, como el pensamiento crítico, la argumentación y el razonamiento
analítico (p. ej., Tsaparlis (2020[13]), Arum y Roksa (2011[14]), Lemons y Lemons (2013[ 15])). No obstante, estudios
previos, tanto a nivel internacional como en Finlandia, han indicado que los estudiantes de pregrado enfrentan desafíos,
por ejemplo, en argumentación, interpretación y evaluación de información, y en sacar conclusiones (p. ej. (Badcock, Pattison y Harris
(2010[16]), Arum y Roksa (2011[14]), Evens, Verburgh y Elen (2013[17]), Hyytinen et al. (2015[18])).
Implementación de CLA+ International en Finlandia
Objetivos y coordinación del proyecto
Las preocupaciones y aspiraciones políticas presentadas anteriormente allanaron el camino para el proyecto titulado
Evaluación de los resultados de aprendizaje de estudiantes universitarios en Finlandia (acrónimo finlandés KAPPAS!).
Sus objetivos principales eran (1) identificar el nivel de habilidades genéricas de los estudiantes universitarios finlandeses
y (2) determinar los factores asociados con el nivel de habilidades genéricas. El proyecto fue financiado por el Ministerio
de Educación y Cultura (MoEC) y llevado a cabo por el Instituto Universitario de Investigación Educativa de Jyväskylä
(FIER), junto con el Centro Universitario de Enseñanza y Aprendizaje Universitario de Helsinki (HYPE). El Consejo de
Ayuda a la Educación (CAE) participó en el proyecto como socio internacional. En total, siete (de 24) UAS finlandeses y
11 (de 14) universidades participaron en el estudio.
Traducción, adaptación y verificación del CLA+ Internacional
Los instrumentos de prueba, las plataformas de prueba, las interfaces del supervisor y los manuales de prueba se
tradujeron a los dos idiomas oficiales de Finlandia, es decir, finlandés y sueco (finés). El proceso de traducción y
adaptación de los instrumentos de prueba siguió las pautas del Comité Internacional de Traducción para traducir y
adaptar pruebas (Bartram et al., 2017[19]); por lo tanto, constaba de cuatro fases. En la primera fase, los socios
internacionales tradujeron los instrumentos de prueba del inglés al finlandés y al sueco. Luego, dos traductores (que
tenían conocimiento de las culturas de habla inglesa, pero cuyo idioma nativo era el idioma principal de la cultura de
destino) en Finlandia verificaron y confirmaron las traducciones de forma independiente.
Posteriormente, el equipo de investigación nacional concilió y verificó las revisiones. Después de verificar las traducciones
finlandesas, las traducciones suecas se compararon con las traducciones finlandesas para garantizar la equivalencia de
las traducciones. Finalmente, las traducciones se probaron previamente en laboratorios cognitivos. Cada laboratorio
cognitivo duró alrededor de dos horas e involucró protocolos de pensamiento en voz alta y entrevistas entre 20
estudiantes universitarios finlandeses. Los laboratorios cognitivos permitieron comprobar que el proceso de traducción y
adaptación de las versiones finlandesa y sueca no había alterado el significado o la dificultad de las tareas, y que los
instrumentos aprovechaban los procesos cognitivos como se esperaba (Hyytinen et al., 2021[20]; Leighton, 2017[21]).
Los instrumentos de prueba y las plataformas de prueba se ajustaron con precisión sobre la base de los laboratorios
cognitivos; por lo tanto, se abordaron algunos problemas de coherencia entre las traducciones finlandesa y sueca.
182 ÿ
administración de pruebas
Muestreo de datos
El grupo objetivo de KAPPAS! El proyecto consistió en estudiantes en las etapas inicial y final de sus programas de licenciatura,
que asistieron a 18 IES finlandesas participantes. El objetivo del muestreo fue obtener una muestra lo más representativa
posible, con base en el campo de estudio, y con cobertura de todo el país. El punto de partida del marco muestral fue seleccionar
200 estudiantes de etapa inicial y 200 de etapa final de cada IES participante. La experiencia previa, incluida la recopilación de
datos del estudio de factibilidad AHELO (Tremblay, Lalancette and Roseveare, 2012[8]; Ursin, 2020[22]) , había demostrado
que es difícil motivar a los estudiantes de educación superior a participar en tales estudios, y que el muestreo aleatorio de
estudiantes individuales tiene una baja tasa de participación. Por este motivo, el equipo de investigación decidió llevar a cabo
un muestreo de datos mediante un método de muestreo por conglomerados. El muestreo se realizó dentro de cada IES de tal
manera que los campos de estudio fueron seleccionados al azar. A partir de entonces, se seleccionó aleatoriamente un grupo
(como un tutor o un grupo de seminario) dentro de los campos de estudio requeridos para que se muestreara el número
deseado de estudiantes.
En general, el muestreo de datos buscaba la mejor representatividad posible a nivel nacional más que a nivel institucional.
Recopilación de datos
Se aplicó una versión traducida y culturalmente adaptada del CLA+ Internacional. Incluía una tarea de desempeño (PT), un
conjunto de 25 preguntas de respuesta seleccionada (SRQ) y un conjunto de 37 preguntas de información de antecedentes. Se
administró en línea a través de una plataforma de prueba segura durante un período de prueba asignado (de agosto de 2019 a
marzo de 2020). Cada sesión de prueba tuvo una duración de 2 horas y 15 minutos. Los estudiantes tenían 60 minutos para
completar el PT, seguido de 30 minutos para los SRQ. A partir de entonces, los estudiantes completaron una encuesta de
antecedentes. El PT midió el análisis y la resolución de problemas, la efectividad de la escritura y la mecánica de la escritura.
Para completar con éxito el PT, los estudiantes debían familiarizarse con los materiales disponibles en una biblioteca de
documentos electrónicos y luego escribir una respuesta a la pregunta, que trataba sobre las diferencias en la esperanza de vida
en dos ciudades. Los SRQ midieron la lectura crítica y la evaluación, el razonamiento científico y cuantitativo y la crítica de un
argumento. Las SRQ en cada sección se basaron en uno o más documentos. Los materiales y preguntas en las secciones
cubrieron los temas de proteína cerebral, nanotecnología y mujeres en combate.
Cada HEI era responsable de (1) invitar a los estudiantes y (2) administrar y supervisar las pruebas basadas en computadora
de acuerdo con las instrucciones y manuales proporcionados por el equipo nacional de investigación y el CAE.
El equipo de investigación también ofreció capacitación a las personas de contacto en todas las IES y apoyo a los supervisores.
¡Participación en las KAPPAS! proyecto fue voluntario y se obtuvo el consentimiento informado de los participantes. En algunas
instituciones, los estudiantes participantes recibieron pequeños incentivos no monetarios como entradas de cine.
En total, 2 402 estudiantes de pregrado participaron en el estudio. De estos, 1 538 (64%) eran estudiantes de etapa inicial
(primer año) y 864 (36%) estudiantes de etapa final (tercer año). Los participantes consistieron en 1 273 (53 %) estudiantes
universitarios y 1 129 (47 %) estudiantes de la UAS, comprendiendo en total 1 178 (49 %) hombres y 1 158 (48 %) mujeres. La
mayoría de los estudiantes realizaron la prueba en finlandés, y solo 156 (6,5 %) completaron la prueba en sueco. La tasa de
participación fue del 25%. La tasa varió entre estudiantes de etapa inicial y etapa final, tipos de IES y áreas de estudio. La tasa
de participación fue más alta entre los estudiantes de etapa inicial de la UAS (39%) y más baja entre los estudiantes universitarios
de etapa final (15%).
Análisis de datos
Con el fin de preparar los datos para el análisis, cada respuesta de PT tuvo que ser calificada por dos calificadores
independientes y capacitados sobre la base de la rúbrica de calificación CLA+. La rúbrica de puntuación incluía tres subpuntuaciones
ÿ 183
relacionados con el análisis y la resolución de problemas, la eficacia de la escritura y la mecánica de la escritura. Cada aspecto se calificó en
una escala de seis puntos con una opción adicional para las respuestas que no se pudieron calificar; por ejemplo, una respuesta vacía. Para
asegurar la consistencia de la puntuación, se usaron papeles de calibración y la puntuación fue monitoreada por un anotador líder.
El enfoque de los análisis estadísticos (estadísticas descriptivas y regresión lineal y logística) se basó en el diseño, utilizando ponderaciones
de encuestas y teniendo en cuenta los datos agrupados. En parte debido al diseño del muestreo, y en parte debido a la falta de respuesta,
hubo una variación considerable en las probabilidades de inclusión entre los subgrupos de estudiantes (definidos por género, campo de
estudio, institución y programa de estudio). Las distorsiones en los datos eventuales de la muestra se corrigieron utilizando ponderaciones
de encuestas derivadas de los registros de estudiantes finlandeses. Debido a que los individuos en un programa de estudio específico
tendían a estar correlacionados, todas las estimaciones de varianza y los intervalos de confianza resultantes y las pruebas de significación
se calcularon mediante métodos que tenían en cuenta esta correlación intragrupo. Además, para todas las tareas, se determinó un nivel
proporcional de dificultad a través del análisis de ítems. El punto medio de la escala PT fue de aproximadamente 990 puntos, mientras que
su rango fue de aproximadamente 510-1 470 puntos. El punto medio de la escala para los SRQ fue de aproximadamente 1 090 puntos y el
rango de 550 a 1 630 puntos. El punto medio de la escala de puntaje total del estudiante fue de 1 040 puntos y el rango de 530 a 1 550
puntos.
Informes a estudiantes e instituciones de educación superior
Todos los estudiantes que participaron en el estudio recibieron un informe sobre sus calificaciones en las pruebas más material de apoyo, lo
que les permitió potenciar sus habilidades genéricas. Cada HEI también recibió un informe sobre el desempeño de sus estudiantes en las
pruebas. El equipo de investigación nacional organizó varios seminarios web personalizados para las instituciones de educación superior
para debatir sobre KAPPAS! resultados y considerar cómo las habilidades genéricas podrían integrarse mejor en las prácticas de enseñanza
y aprendizaje en una IES determinada.
Resultados principales
Niveles y dominio de habilidades genéricas
Esta sección examina el dominio de las habilidades genéricas de los estudiantes finlandeses de educación superior mediante las puntuaciones
medias y el nivel de dominio en todo el conjunto de datos, y además por la etapa de estudios y el sector de la educación superior.
La puntuación media de CLA+ para los datos en su conjunto fue de 1 075. Las puntuaciones en el PT y en la sección SRQ
ambos estaban muy cerca de esta cifra (Figura 12.1). No obstante, hubo algunas variaciones entre los grupos de estudiantes. Las diferencias
entre los alumnos de etapa inicial y final en puntajes totales y en puntajes de PT fueron estadísticamente significativas; es decir, las
competencias genéricas de los estudiantes de etapa final se encuentran en un nivel más alto que las de los estudiantes de etapa inicial. Al
examinar los puntajes medios de los estudiantes universitarios y de la UAS, se encontró que los estudiantes universitarios de último ciclo
obtuvieron los puntajes más altos. Su diferencia con cualquier otro grupo de estudiantes fue especialmente notable en el segmento PT en el
que los estudiantes universitarios de etapa final obtuvieron 45 puntos más que los estudiantes universitarios de etapa inicial y hasta 96 puntos
más que los estudiantes de UAS de etapa final. Todas estas diferencias fueron estadísticamente muy significativas. Dependiendo del puntaje
considerado (PT, SRQ o total), el sector de la educación superior explicó el 5-9% de la varianza en los puntajes medios, mientras que la
etapa de estudios explicó solo alrededor del 2% de la varianza.
184 ÿ
Figura 12.1. Puntuaciones medias CLA+ de los participantes: por etapa de estudios, tipo de IES y global
Fuente: Ursin et al., (2021[1]).
En términos de niveles de dominio, para casi el 60 % de los estudiantes universitarios finlandeses, las habilidades genéricas
se encontraban en un nivel básico o inferior. Para el resto (alrededor del 40 %), las habilidades se encontraban en un nivel
Competente o superior (Tabla 12.1). Muy pocos estudiantes alcanzaron el nivel de dominio más alto (Avanzado). Hubo una
clara diferencia entre los sectores de educación superior, con un 24% de los estudiantes de la UAS exhibiendo el nivel de
dominio más bajo (Inferior al básico), mientras que entre los estudiantes universitarios solo el 7% cayó en esta categoría. Al
mismo tiempo, el 23% de los estudiantes universitarios alcanzaron los dos niveles más altos de dominio, con solo el 5% de
los estudiantes de la UAS alcanzando estos niveles. La diferencia fue aún más llamativa cuando se tuvo en cuenta la etapa
de estudios. Así, el 29% de los estudiantes de la UAS de etapa inicial se encuentran por debajo de un nivel Básico de dominio,
quedando en esta categoría solo el 8% de los estudiantes universitarios de etapa inicial. En cuanto a los estudios de etapa
final, el 28% de los estudiantes universitarios alcanzaron al menos un nivel de dominio Terminado, mientras que la cifra
correspondiente a los estudiantes de etapa final de la UAS fue del 7%.
Tabla 12.1. Niveles de dominio de los participantes por etapa de estudios, tipo de IES y para el
total de participantes (%)
Avanzado Logrado Competente Básico Por debajo del básico
Todos los participantes 0.2 10 31 40 19
Estudiantes de etapa inicial 0.0 7 29 41 23
Estudiantes de la etapa final 0.4 13 32 40 15
Estudiantes universitarios 0.6 22 39 32 7
estudiantes de la UAS 0 5 27 44 24
Principales factores asociados al nivel de competencias genéricas
Se investigaron las asociaciones con el nivel de habilidades genéricas con respecto al campo de estudio, edad, género, nivel
educativo, nivel socioeconómico y actitud hacia la prueba. Como la edad no mostró una asociación sistemática con el dominio
de las habilidades genéricas, no se discutirá más en este capítulo.
ÿ 185
Dependiendo de la puntuación media observada, el género parecía tener una asociación sistemática con las puntuaciones
medias de CLA+ (Figura 12.2). En el componente PT, las alumnas obtuvieron puntuaciones significativamente más altas que
los varones. En los SRQ el resultado fue el contrario, con estudiantes varones superando a las mujeres. Aunque el campo
de estudio per se no tuvo una asociación sistemática con el nivel de competencias genéricas, se observó una asociación vía
género; por lo tanto, el mejor rendimiento general de PT se produjo en los campos dominados por mujeres (como las
humanidades), mientras que el mejor rendimiento de SRQ se produjo en los campos dominados por hombres (como la
ingeniería). En otras palabras, en los campos dominados por mujeres, las habilidades relacionadas con el análisis y la
resolución de problemas, la efectividad de la escritura y la mecánica de la escritura estaban en un nivel más alto que en los
campos dominados por hombres. Los campos dominados por hombres superaron a los campos predominantemente
femeninos en las habilidades medidas por los SRQ, es decir, aquellas que involucran lectura crítica y evaluación, razonamiento
científico y cuantitativo, y la capacidad de criticar un argumento. Sin embargo, el género solo explicó alrededor del 1% de la
varianza en las puntuaciones medias de los campos analizados.
Figura 12.2. Puntuaciones medias de CLA+ de participantes femeninos y masculinos
La información sobre antecedentes educativos consistía en si el participante había realizado o no el examen de matriculación,
cómo había tenido éxito en el examen de lengua materna incluido en él y si el participante tenía un título o calificación previa.
El examen de matriculación finlandés es un examen nacional que generalmente se toma al final de la escuela secundaria
superior finlandesa. El examen consta de un mínimo de cuatro pruebas. Uno de ellos, es decir, la prueba en la lengua
materna del candidato, es obligatorio para todos los candidatos. Las calificaciones en el Examen de Matriculación son (de
mayor a menor): laudatur (L), eximia cum laude approbatur (E), magna cum laude approbatur (M), cum laude approbatur (C),
lubenter approbatur (B), approbatur ( A) e improbatur (I, indicando fracaso en la prueba).
La proporción de estudiantes que habían completado el examen de matriculación en el conjunto de datos fue del 80 %. La
cifra fue mayor para los estudiantes universitarios, con el 92% de los universitarios (frente al 66% de los estudiantes de la
UAS) habiendo realizado el Examen de Matriculación. Los puntajes promedio de CLA+ de los estudiantes que habían
completado el Examen de Matriculación fueron en promedio 84 puntos más altos que los de aquellos estudiantes que no lo
habían hecho (Figura 12.3). Esta diferencia fue estadísticamente muy significativa. En efecto, algunas de las diferencias
entre los universitarios y los universitarios de la UAS se explican por la mayor proporción de personas que habían realizado
el Examen de Matriculación entre los universitarios.
El Examen de Matriculación explicó el 5-9% de la varianza de las puntuaciones medias.
186 ÿ
Figura 12.3. Examen de matriculación y puntajes promedio de CLA+ en todos los datos
El nivel de competencias genéricas estuvo fuertemente asociado con las competencias en lengua materna exhibidas en el
Examen de Matriculación; por lo tanto, las puntuaciones medias de CLA+ aumentaron casi linealmente con las calificaciones de
la lengua materna, y las diferencias entre los grupos fueron estadísticamente significativas (Figura 12.4). Los que reprobaron la
prueba de lengua materna o no estaban matriculados mostraron el nivel más bajo de competencias genéricas, mientras que los
que habían obtenido alguna de las dos calificaciones más altas en la prueba de lengua materna obtuvieron los resultados más
altos. La calificación de la lengua materna en el Examen de Matriculación fue, de hecho, el factor individual más fuerte que
explica la variación en las puntuaciones medias (es decir, 11-22% de la variación).
Figura 12.4. Calificación de la lengua materna en el examen de matriculación y puntajes promedio de

CLA+ en todos los datos
ÿ 187
Existía una clara diferencia entre los universitarios y los universitarios de la UAS en cuanto a las calificaciones previas que habían
obtenido; así, el 76% de los estudiantes universitarios y el 45% de los estudiantes de la UAS habían realizado únicamente el Examen
de Matriculación, mientras que para el 27% de los estudiantes de la UAS, frente a solo el 2% de los estudiantes universitarios, el título
profesional fue el único título obtenido . Los que habían completado tanto un título profesional como el Examen de Matriculación
representaban el 16% de los estudiantes de la UAS y el 7% de los estudiantes universitarios. Entre los estudiantes de la UAS, el 7% ya
contaba con otro título de educación superior; la proporción correspondiente entre los estudiantes universitarios fue del 10%.
Los estudiantes que ya habían completado un título de educación superior anterior obtuvieron los mejores resultados en la prueba
CLA+; sin embargo, la diferencia entre estos estudiantes y los que habían obtenido sólo el Examen de Matriculación no fue
estadísticamente significativa (Figura 12.5). Los estudiantes con solo una cualificación profesional obtuvieron las puntuaciones más
bajas.
Figura 12.5. Grado o cualificación anterior del estudiante y puntuaciones medias de CLA+
La educación de los padres y el número estimado de libros en el hogar de la infancia del estudiante se llevaron a
describir el origen socioeconómico del estudiante. A partir de los datos de educación de los padres se puede observar que los padres
de estudiantes universitarios son más propensos a tener un nivel educativo alto que los padres de estudiantes de la UAS. En el presente
conjunto de datos, el 43 % de los padres de los estudiantes universitarios tenían al menos una maestría, mientras que la proporción
correspondiente para los estudiantes de la UAS era del 20 %. Por el contrario, el 47% de los padres de los alumnos de la UAS no
habían superado el título de nivel secundario. La cifra correspondiente entre los padres de los estudiantes universitarios fue del 27%.
Los estudiantes cuyos padres habían alcanzado, como máximo, una educación básica mostraron la distinción más clara de otros
grupos de estudiantes, con puntajes promedio significativamente más bajos que los de otros grupos (Figura 12.6). Las diferencias entre
los otros grupos fueron bastante pequeñas, con solo unas pocas diferencias en el PT o las puntuaciones medias totales que mostraron
significación estadística. Fue notable que, en general, el nivel de educación de los padres explicaba solo una pequeña parte de la
variación (1-4%) en el nivel de habilidades genéricas.
188 ÿ
Figura 12.6. Educación de los padres y puntuaciones medias de CLA+ en todos los datos
La cantidad de libros en el hogar de la infancia del estudiante se puede utilizar como un indicador de la cultura de
lectura y aprendizaje asociada con los antecedentes del hogar del estudiante. Los datos indicaron que los estudiantes
universitarios tenían en promedio una mayor cantidad de libros en sus hogares de infancia que los estudiantes de la
UAS. Las puntuaciones medias en la prueba CLA+ (en el PT, el SRQ y en total) mejoraron linealmente con el aumento
del número de libros en el hogar de infancia del alumno (Figura 12.7). Esta conexión positiva fue estadísticamente muy
significativa para las puntuaciones totales, las puntuaciones PT y las puntuaciones SRQ. El número de libros en el
hogar de la infancia explicó el 5-8% de la varianza de las puntuaciones medias.
Figura 12.7. Número de libros en el hogar de la infancia y las puntuaciones medias de CLA+ en todos los
datos
ÿ 189
Las actitudes de los estudiantes hacia la prueba se exploraron preguntando qué tan atractivas encontraron las tareas incluidas
en la prueba y cuánto esfuerzo pusieron para completar las tareas. La distribución del interés de los estudiantes fue bastante
simétrica en los datos; la mayoría de los estudiantes encontraron la prueba interesante o moderadamente interesante. Los
estudiantes universitarios tenían más probabilidades de encontrar la prueba atractiva que los estudiantes de la UAS. No hubo
diferencias significativas entre los estudiantes universitarios o UAS de etapa inicial y final.
Unos cuatro de cada cinco estudiantes dijeron que habían hecho un gran esfuerzo o aplicado su mejor esfuerzo para completar
la prueba CLA+ International. Uno de cada tres estudiantes universitarios informó que había aplicado su mejor esfuerzo en la
prueba. Tan importante esfuerzo fue más común entre los estudiantes de etapa final que los de etapa inicial, tanto en las
universidades como en las UAS. Los estudiantes universitarios de etapa final fueron los más propensos a aplicar su mejor
esfuerzo (39%) mientras que los estudiantes de UAS de etapa inicial fueron los que menos (11%). La proporción de estudiantes
que dijeron que hicieron poco o ningún esfuerzo fue solo del 2% en los datos.
Tanto la participación como el esfuerzo en la prueba tuvieron una asociación lineal y estadísticamente altamente significativa
con los resultados de la prueba: cuanto más esfuerzo había aplicado un estudiante para completar la prueba y más comprometido
estaba un estudiante con la prueba, mayores eran los resultados alcanzados (Figura 12.8 y Figura 12.9). La participación en la
prueba explicó el 4-8% de la varianza, mientras que el esfuerzo explicó el 4-9% de la varianza.
Figura 12.8. Puntuaciones medias de CLA+ y participación de los estudiantes en la prueba
190 ÿ
Figura 12.9. Puntuaciones medias de CLA+ y esfuerzo aplicado para completar la prueba
Principales factores que explican el nivel de competencias genéricas entre los estudiantes finlandeses
de educación superior
Se realizaron análisis de regresión múltiple para examinar las relaciones entre las puntuaciones de CLA+ y las variables de
fondo. Tanto para los estudiantes universitarios como para los estudiantes de la UAS, las variables explicativas más
significativas para todos los puntajes de CLA+ fueron (1) la calificación en la lengua materna del estudiante en el Examen de
Matriculación y (2) la cantidad de esfuerzo que el estudiante había aplicado para tomar la prueba (Tabla 12.2). ). La cantidad
de libros en el hogar de la infancia explicó la variación en los puntajes de CLA+ de manera estadísticamente significativa en
todos los casos excepto en uno (PT para estudiantes universitarios), lo que indica que los estudiantes que crecieron con
libros en el hogar tendieron a tener un mayor nivel de habilidades genéricas. Los roles de las otras variables de fondo
evaluadas variaron entre los puntajes. En particular, las diferencias entre los campos de estudio y las diferencias de género
a menudo perdían su significación estadística cuando se controlaban las otras variables de fondo. Los coeficientes de
determinación del modelo de regresión fueron mayores para los PT que para los SRQ, y mayores para los estudiantes de la
UAS que para los estudiantes universitarios. Fue notable que las diferencias en los puntajes de PT de los estudiantes de la
UAS podrían explicarse con bastante precisión por factores de fondo.
ÿ 191
Tabla 12.2. Factores estadísticamente significativos que explican las variaciones en las puntuaciones de las pruebas
CLA+ dentro de los modelos de regresión multivariable
Estudiantes universitarios estudiantes de la UAS
Puntuación PT Puntuación SRQ Puntaje total Puntuación PT Puntuación SRQ Puntaje total
n de observaciones n = 1216 n = 1175 n = 1183 n = 1049 n = 1024 n = 1042
R-cuadrado R² = 27% R² = 15% R² = 20% R² = 32% R² = 16% R² = 26%

*** *** **
Etapa de estudios (etapa inicial/etapa final) ns ns ns
*** **
Campo de estudio ns ns ns ns
*** * **
Género Masculino Femenino) ns ns ns
*** ** *** *** *** ***
Grado de lengua materna en el examen de matriculación
** **
Otro título (cualquiera) que no sea el examen de ns ns ns ns
matriculación (título profesional/HE)
*** *** ** * **
Número de libros en el hogar de la infancia ns
*
educación de los padres ns ns ns ns ns
*** *** *** *** ** ***
Esfuerzo en prueba CLA+
*** ** *
Nota: p<0,001; p<0,01; p<0,05; ns = no significativo
Implicaciones y lecciones aprendidas
Sobre la base del estudio, se pueden hacer cuatro recomendaciones de política. En primer lugar, se debe prestar más
atención al aprendizaje de habilidades genéricas en los niveles educativos inferiores, y también en entornos de aprendizaje
fuera de la escuela. Mientras que los KAPPA! proyecto centrado en las habilidades genéricas de los estudiantes de pregrado,
los hallazgos muestran que una base importante para el desarrollo de habilidades genéricas se establece en la educación previa.
Este hallazgo está en línea con estudios previos, donde se encontró que las habilidades genéricas son un predictor
importante del rendimiento académico y la adaptación a la educación superior (por ejemplo, Arum y Roksa (2011[14]), van
der Zanden et al. (2018[ 23])). Por lo tanto, los resultados indican la necesidad de enfatizar las habilidades genéricas ya en
el nivel preterciario (por ejemplo, en el nivel secundario), especialmente en la educación y formación profesional. Además,
los resultados demuestran que la cultura académica del hogar de la infancia es un predictor importante de las habilidades
genéricas de los estudiantes. En este sentido, la evidencia de este estudio destaca la importancia de la lectura y de fomentar
la lectura desde una edad muy temprana (cf. Leino et al. (2019[24]), Kleemola, Hyytinen and Toom (próximamente[25])) .
Esto podría implicar prestar atención a algo más que las circunstancias académicas en el hogar de la infancia y considerar
cómo se podría establecer una variedad de entornos de aprendizaje focales fuera de la escuela.
En segundo lugar, debe explorarse el papel de las competencias genéricas en la admisión de estudiantes. En 2020, se
reformaron los procedimientos de admisión en la educación superior finlandesa; por lo tanto, después de un debate político,
el énfasis en la admisión de estudiantes se alejó de los exámenes de ingreso únicos de "alto riesgo" hacia admisiones
basadas en diplomas que involucran un enfoque en las calificaciones del Examen Nacional de Matriculación (Kleemola and
Hyytinen, 2019[26]; Kleemola, Hyytinen y Toom, de próxima aparición[25]). Los hallazgos de este proyecto respaldan las
admisiones basadas en diplomas en la selección de estudiantes, en la medida en que las calificaciones en lengua materna
del examen de matriculación en particular fueron un buen predictor del dominio de habilidades genéricas. Sin embargo, hay
buenas razones para no renunciar por completo a los exámenes de ingreso. De acuerdo con el principio elemental de
igualdad de oportunidades en finlandés HE, se debe garantizar una transición a la educación superior para aquellos
solicitantes elegibles que no hayan completado el examen de matriculación. Se han propuesto como solución exámenes de
ingreso de naturaleza más genérica, que involucran algo similar al CLA+ International (Talman, 2018[27]).
Sin embargo, antes de emprender una renovación integral del examen de ingreso, se necesitará más investigación sobre el
valor predictivo de las habilidades genéricas previas. Para obtener más información sobre este tema, la investigación futura
debería, por ejemplo, centrarse en evaluar una gama más amplia de habilidades genéricas que pueden ser relevantes en la
preparación para la educación superior (Kleemola, Hyytinen y Toom, de próxima aparición[25]).
192 ÿ
En tercer lugar, es necesario desarrollar habilidades genéricas de acuerdo con los objetivos de la UAS y la educación
universitaria. Los hallazgos del presente estudio enfatizaron las diferencias entre el dominio de las habilidades genéricas entre
los estudiantes universitarios y los de la UAS, con estudiantes universitarios exhibiendo habilidades genéricas superiores y
más versátiles que los estudiantes de la UAS, según lo medido por CLA+ International. Desde la perspectiva de la política de
ES, esta observación puede explicarse por las diferentes misiones y perfiles de estudiantes que poseen esos sectores de ES.
En los esfuerzos por desarrollar habilidades genéricas, será importante (1) reconocer que los estudiantes de las UAS y
universidades muestran diferentes tipos de habilidades de pensamiento crítico, argumentación, razonamiento analítico y
comunicación escrita, y (2) considerar las consecuencias de esto en términos de formas de apoyar el aprendizaje de los
estudiantes a lo largo de su trayectoria de estudio. Las habilidades en cuestión se consideran cruciales para convertirse en un
ciudadano genuinamente autónomo y participativo del siglo XXI. Además, se ha descubierto que estas habilidades son
esenciales para progresar con éxito en la educación superior y en la transición a la vida laboral (Arum and Roksa, 2011[14];
Tuononen, Parpala and Lindblom-Ylänne, 2017[28]; Tuononen, Parpala y Lindblom-Ylänne, 2019[29]).
Finalmente, los hallazgos indican que el nivel de habilidades genéricas es sorprendentemente bajo, especialmente para ciertos
grupos de estudiantes en un país que lucha por la igualdad en todo su sistema de educación superior. Los resultados a este
respecto destacan las prácticas de enseñanza y aprendizaje de las IES finlandesas como tema de debate. Hay varios medios
por los cuales las IES podrían promover mejor la enseñanza y el aprendizaje de habilidades genéricas. Por ejemplo, al buscar
apoyar el desarrollo de habilidades genéricas, se debe prestar más atención a la coherencia del plan de estudios y a la
integración sistemática de habilidades genéricas a lo largo de los estudios de los estudiantes (Hyytinen, Toom and Shavelson,
2019[30]). Las habilidades genéricas deben practicarse sistemáticamente en múltiples contextos y dentro de varias tareas,
combinando la teoría y la práctica a lo largo de los estudios de educación superior de los estudiantes (Virtanen and Tynjälä,
2018[31]). Esto significa que el aprendizaje de habilidades genéricas debe expresarse dentro del plan de estudios y tenerse
en cuenta sistemáticamente en términos de resultados de aprendizaje previstos, métodos de enseñanza, tareas y evaluaciones
(Hyytinen, Toom and Shavelson, 2019[30]). La integración exitosa a nivel del currículo involucra la colaboración entre los
maestros y las personas que toman decisiones sobre el currículo. Además, los docentes de educación superior deben tener
una comprensión clara de en qué consisten realmente las habilidades genéricas y por qué se deben enseñar esas habilidades.
Además, necesitan competencias pedagógicas que les permitan integrar los elementos de las competencias genéricas en sus
prácticas docentes.
Entonces, ¿cuáles fueron las principales lecciones del proyecto? Cuando las IES participantes en KAPPAS! Cuando se les
preguntó sobre la usabilidad de los resultados de la evaluación, muchas IES indicaron su intención de utilizar los hallazgos
para mejorar su enseñanza y aprendizaje. Las IES también descubrieron que el proyecto hizo que las habilidades genéricas
fueran más visibles en sus instituciones, lo que provocó un debate sobre el papel de las habilidades genéricas en la enseñanza
y allanó el camino para el desarrollo de planes de estudios más orientados a la vida laboral en sus programas de estudio.
También se expresaron esperanzas de que los hallazgos específicos de la institución se utilicen como parte de la formación
pedagógica de los docentes e, idealmente, también en la orientación de los estudiantes, que abarque los planes de estudio
personales y la orientación profesional. No obstante, para las IES, los aspectos más desafiantes de la evaluación estaban
relacionados con la implementación intensiva de mano de obra de la prueba (incluido el reclutamiento de estudiantes que
consumía mucho tiempo) y las limitaciones de los hallazgos específicos de la institución en los casos en que el número de
participantes los estudiantes permanecieron bajos. Además, dado que en las KAPPAS! proyecto solo se entrevistó a un
puñado de los estudiantes participantes sobre cómo podrían utilizar los resultados de sus pruebas individuales, sería importante
en el futuro llevar a cabo dicha investigación a mayor escala; por ejemplo, como parte de la prueba real.
Aunque el equipo del proyecto pretendía mantener un alto nivel científico al realizar el estudio, surgieron algunos desafíos
inevitables. Las dificultades en el reclutamiento de estudiantes hicieron que la tasa de participación se mantuviera bastante
baja, aunque esto podría tenerse en cuenta hasta cierto punto en los análisis. Además, hubo algunos problemas de
confiabilidad relacionados con el instrumento de prueba, en términos del número limitado de tareas empleadas. Otro punto a
tener en cuenta fue que el diseño del estudio transversal no permitió una investigación confiable de las formas en que
realmente se desarrollan las habilidades genéricas, un tema que es de crucial importancia e interés para las IES finlandesas y
el gobierno finlandés.
ÿ 193
Próximos pasos y perspectivas
Para examinar el desarrollo de las competencias genéricas, es necesaria una indagación longitudinal, dentro de la cual
se seguiría a los mismos estudiantes desde la etapa inicial hasta la final de sus estudios de pregrado. Para el sistema
de educación superior en su conjunto, dicha información de seguimiento podría indicar si la educación superior finlandesa
está realmente en camino de producir el mejor aprendizaje del mundo, tal como lo establece el gobierno en sus objetivos
políticos. Para las IES, un estudio de seguimiento brindaría a los estudiantes información más confiable sobre el valor
agregado de su educación. En el futuro, también será importante reconocer mejor a los estudiantes como individuos
conscientes y garantizar que la evaluación realmente ayude al estudiante a convertirse en un mejor aprendiz. Por lo
tanto, es importante que la evaluación de las habilidades genéricas proporcione información que realmente apoye a los
estudiantes en el desarrollo de sus habilidades genéricas. Por último, pero no menos importante, dado que en Finlandia
las pruebas estandarizadas en educación no se han adoptado ampliamente, es crucial que la evaluación no se convierta
en un ejercicio de una vez por todas de “alto riesgo”; más bien, debería cumplir el propósito de una evaluación dirigida
por la mejora, un principio que hasta ahora ha sido primordial en la cultura de evaluación de la educación superior
finlandesa. Uno puede anticipar que la adherencia continua a este principio promoverá la evaluación de habilidades
genéricas en la educación superior finlandesa en los próximos años.
194 ÿ
Referencias
Ammattikorkeakoululaki (2014), Ley politécnica (932/2014), https:// [2]

www.finlex.fi/fi/laki/smur/2014/20140932 (consultado el 23 de abril de 2021).
Arum, R. y J. Roksa (2011), Academically Adrift: Limited Learning on College Campuses, University of [14]
Chicago Press, Chicago.
Badcock, P., P. Pattison y K. Harris (2010), “Desarrollo de habilidades genéricas a través de estudios [dieciséis]
universitarios: un estudio de las artes, la ciencia y la ingeniería en Australia”, Higher Education, vol.
60/4, págs. 441-458, https://doi.org/10.1007/s10734-010-9308-8.
Bartram, D. et al. (2017), “Directrices del ITC para traducir y adaptar pruebas (segunda edición)”, [19]
Revista internacional de pruebas, vol. 18/2, págs. 101-134,
DeHaan, R. (ed.) (2013), "Preguntas para evaluar habilidades cognitivas de orden superior: no es solo [15]
Bloom's”, CBE—Educación en Ciencias de la Vida, vol. 12/1, págs. 47-58,
https://doi.org/10.1187/cbe.12-03-0024.
Comisión Europea (2013), Grupo de Alto Nivel sobre la Modernización de la Educación Superior. [9]
Comisión Europea Educación y Formación (2019), Competencias clave para el aprendizaje permanente - [10]
Oficina de Publicaciones de la UE, Oficina de Publicaciones de la Unión Europea.
Evens, M., A. Verburgh y J. Elen (2013), "Pensamiento crítico en estudiantes universitarios de primer año: el [17]
impacto de la educación secundaria y superior", Revista internacional de educación superior, vol. 3/2,
https://doi.org/10.5430/ijhe.v2n3p139.
Gaebel, M. et al. (2018), Tendencias 2018: Aprendizaje y enseñanza en la educación superior europea [6]
Área.
Hyytinen, H. et al. (2015), “Problematizando la equivalencia de los resultados de las pruebas de desempeño [18]
pruebas basadas en el pensamiento crítico para estudiantes de pregrado”, Estudios en Evaluación
Educativa, vol. 44, págs. 1-8, https://doi.org/10.1016/j.stueduc.2014.11.001.
Hyytinen, H., A. Toom y R. Shavelson (2019), “Mejorar el pensamiento científico a través de la [30]
Desarrollo del Pensamiento Crítico en la Educación Superior”, en Redefiniendo el Pensamiento Científico
para la Educación Superior, Springer International Publishing, Cham, https://doi.org/10.1007/978-3-
030-24215-2_3.
Hyytinen, H. et al. (2021), “La relación dinámica entre los procesos de respuesta y la autorregulación en [20]
las evaluaciones de pensamiento crítico”, Estudios en Evaluación Educativa, vol. 71, pág. 101090,
https://doi.org/10.1016/j.stueduc.2021.101090.
Kleemola, K. and H. Hyytinen (2019), “Exploring the Relationship between Law Students' Prior [26]
Rendimiento y rendimiento académico en la universidad”, Ciencias de la Educación, vol. 9/3, pág. 236, https://
doi.org/10.3390/educsci9030236.
Kleemola, K., H. Hyytinen y A. Toom (próximamente), Pensamiento crítico y escritura en la transición a la [25]
educación superior en Finlandia: ¿importan el rendimiento académico previo y los antecedentes
socioeconómicos?, Presentado para su publicación.
ÿ 195
Kyndt, E. et al. (eds.) (2017), La transición de la universidad a la vida laboral: una exploración de las percepciones de [28]
los graduados sobre sus competencias académicas, Taylor & Francis, Routledge, http://hdl.handle.net/
10138/308628.
Leighton, J. (2017), Uso de entrevistas de pensamiento en voz alta y laboratorios cognitivos en la investigación educativa, [21]

Leino, K. et al. (2019), PISA 18: ensituloksia. Suomi parhaiden joukossa [Primeros resultados de PISA [24]
18], Ministerio de Educación y Cultura, ISBN: 978-952-263-678-2, https://

julkaisut.valtioneuvosto.fi/handle/10024/161919 (consultado el 1 de agosto de 2022).
Ministerio de Educación y Cultura (2017), Trabajando juntos por la mejor educación del mundo. [11]
Políticas de promoción de la internacionalidad, Ministerio de Educación y Cultura.
Talman, K. (2018), Ammattikorkeakoulujen uuden digitaalisen valintakokeen kehittäminen – [27]
määrittelyvaiheen tulokset: Tutkimusraportti. [Desarrollo de un nuevo examen de ingreso digital para

universidades de ciencias aplicadas : resultados de la fase de definición: informe de investigación, Universidad de
Ciencias Aplicadas de Metropolia, ISBN: 978-952-328-119-6, https://www.theseus.fi /handle/10024/154646 (consultado
el 1 de agosto de 2022).
Tremblay, K., D. Lalancette y D. Roseveare (2012), “Estudio de viabilidad de la evaluación de los resultados del [8]
aprendizaje en la educación superior (AHELO)”, informe del estudio de viabilidad, vol. 1, https://www.oecd.org/
education/skills-beyond-school/AHELOFSReportVolume1.pdf
Tsaparlis, G. (2020), "HABILIDADES DE PENSAMIENTO DE ORDEN SUPERIOR E INFERIOR: EL CASO DE LA [13]
QUÍMICA REVISADO", Journal of Baltic Science Education, vol. 19/3, págs. 467-483, https://doi.org/10.33225/
jbse/20.19.467.
Tuononen, T., A. Parpala y S. Lindblom-Ylänne (2019), Evaluaciones de graduados sobre la utilidad de la educación [29]
universitaria y el éxito profesional temprano : un estudio longitudinal de la transición a la vida laboral, evaluación y
evaluación en la educación superior.
Ley de Universidades (2009), FINLEX, Ministerio de Justicia, [3]
http://www.finlex.fi/en/laki/kaannokset/2009/en20090558 (consultado el 23 de abril de 2021).
Ursin, J. (2020), Estudio de viabilidad de la evaluación de los resultados del aprendizaje en la educación superior, SAGE [22]
Publications, Inc., 2455 Teller Road, Thousand Oaks, California 91320 https://doi.org/ ,
10.4135/9781529714395.n52.
Ursin, J. (2014), “Resultados del aprendizaje en la educación superior finlandesa desde la perspectiva del marco [7]
curricular integral”, en Coates, H. (ed.), Evaluación de los resultados del aprendizaje en la educación superior,
Peter Lang, https://doi.org /10.3726/978-3-653-04632-8/20.
Ursin, J. et al. (eds.) (2021), Evaluación de las habilidades genéricas de los estudiantes de pregrado en Finlandia: [1]
¡Descubrimiento de los Kappas! Proyecto (Informe No. 2021: 31), Ministerio de Educación y Cultura de Finlandia,
http://urn.fi.
Ursin, J., H. Hyytinen y K. Sivennoinen (2019), “Reformas de la educación superior en Finlandia”, en [4]
Broucker, B. et al. (eds.), Reforma del Sistema de Educación Superior, BRILL, https://
doi.org/10.1163/9789004400115_005.
196 ÿ
Välimaa, J. (2004), “Nacionalización, localización y globalización en la educación superior finlandesa”, Higher [12]
Education, vol. 48/1, págs. 27-54, https://doi.org/10.1023/b:high.0000033769.69765.4a.
van der Zanden, P. et al. (2018), “Patrones de éxito: éxito de estudiantes de primer año en múltiples [23]
dominios”, Estudios en Educación Superior, vol. 44/11, págs. 2081-2095, https://doi.org/
10.1080/03075079.2018.1493097.
Vipunen – opetushallinnon tilastopalvelu (2019), Korkeakoulujen opiskelijat. Opetushallinnon ja [5]

Tilastokeskuksen tietopalvelusopimuksen aineisto 2.8, https://vipunen.fi/fi fi/_layouts/
15/xlviewer.aspx?id=/fi-fi/Raportit/Korkeakoulutuksen%20opiskelijat_A1.xlsb.
Virtanen, A. y P. Tynjälä (2018), “Factores que explican el aprendizaje de habilidades genéricas: un estudio de [31]
las experiencias de los estudiantes universitarios”, Enseñanza en la Educación Superior, vol. 24/7, pp.
880-894, https://doi.org/10.1080/13562517.2018.1515195 (consultado el 23 de abril de 2021).
ÿ 197
13 Uso de CLA+ en un piloto en Inglaterra

para medir la ganancia de aprendizaje
JG Morris, Universidad de Birmingham (Reino Unido)
SC Brand, Birmingham City University (Reino Unido)
El Capítulo 13 analiza la implementación de CLA+ en un pequeño conjunto de

instituciones como parte de un estudio piloto para evaluar la ganancia de aprendizaje
en el Reino Unido. Este estudio de caso muestra la capacidad de la evaluación para
servir como herramienta de diagnóstico. El capítulo también analiza los desafíos
asociados con el reclutamiento y la motivación de los estudiantes.
198 ÿ
Introducción
Las universidades en Inglaterra se describen como organizaciones autónomas e independientes que cuentan con algunos
fondos gubernamentales, pero que no son propiedad ni están administradas directamente por el gobierno (Eurydice, 2019[1]).
Existe una diversa oferta de universidades, derivada de diversos cambios en la organización de la educación superior.
La expansión del sector se produjo en la década de 1960 cuando el informe Robbins estableció el principio de que, en función
del mérito, los cursos deberían estar mucho más disponibles.
Otro cambio muy significativo en el sector de la educación superior en inglés ocurrió en 1992. Antes de esto, la educación
superior se brindaba en universidades y escuelas politécnicas. Las universidades eran instituciones autónomas financiadas por
el gobierno central para la investigación y la enseñanza; los politécnicos, por otro lado, estaban bajo el control de las autoridades
locales y proporcionaban principalmente educación vocacional. Luego, en 1992, se abolió la llamada “brecha binaria” y los
politécnicos se convirtieron en universidades autónomas. Una característica de esta autonomía es que el poder de otorgar títulos
recae en las universidades y no en el estado. Este cambio ha proporcionado una amplia gama de universidades, pero quedan
algunas distinciones: por ejemplo, las universidades anteriores a 1992 tienden a ser más intensivas en investigación, mientras
que las universidades posteriores a 1992 tienen un mayor enfoque en los cursos de formación profesional.
El regulador del sector de la educación superior en Inglaterra ha sido la recién formada Oficina de Estudiantes desde enero de
2018, y son ellos quienes pueden registrar nuevas instituciones que solicitan facultades para otorgar títulos.
El sector de educación superior del Reino Unido comprende alrededor de 160 instituciones y poco más de 2,5 millones de
estudiantes en 2019-20 (HESA, 2021[2]), de los cuales 1,89 millones eran estudiantes universitarios y 0,64 millones de
posgrados. En 2016-17, poco menos del 20 % de los estudiantes eran de fuera del Reino Unido. De estos estudiantes extranjeros,
alrededor del 30 % eran de la Unión Europea (UE) y el 70 % de países no pertenecientes a la UE (Universities UK, 2018[3]). La
mayoría de los cursos de primer grado a tiempo completo tienen una duración de tres años.
La Tasa de Participación Inicial en la Educación Superior (HEIPR, por sus siglas en inglés), una estimación de la probabilidad
de que un joven participe en la educación superior a la edad de 30 años, creció constantemente del 42 % en 2006-07 al 49 %
en 2011-12, pero se redujo drásticamente en 2012-13 antes de recuperarse en los años siguientes. En 2014-15 volvió a subir al 48%.
De hecho, las cifras de 2011-12 y 2012-13 ahora pueden interpretarse como una perturbación del aumento constante durante
casi 10 años. Después de 2013, se reanudó el aumento en HEIPR y aumentó a poco más del 50 % en 2017-18 (Gov.uk, 2020[4]).
Es interesante que este aumento constante en la participación de los jóvenes en la educación superior se haya producido en el
contexto del aumento de las tasas de matrícula. Estas tarifas anuales se introdujeron en Inglaterra a través de la Ley de
Enseñanza y Educación Superior de 1998 al nivel de GBP 1 000 por año para estudiantes universitarios de tiempo completo.
El nivel de la tarifa se triplicó en la Ley de Educación Superior de 2004 y las instituciones permitieron establecer tarifas hasta un
máximo de GBP 3 000 por año. En este punto, las tasas de matrícula, en lugar de pagarse por adelantado, se cubrían
principalmente con préstamos de tasas de matrícula con reembolso diferido hasta que los graduados alcanzaran un umbral de
ingresos. Un aumento adicional en las tasas de matrícula siguió al Informe Browne Asegurando un Futuro Sostenible para la
Educación Superior (Browne, 2010[5]). A partir de 2012, el gobierno elevó la tarifa máxima a GBP 9 000 por año y también elevó
el umbral de reembolso de ingresos para los graduados a GBP 21 000 (Hubble and Bolton, 2018[6]). Finalmente, a partir de
2017-18, la tarifa máxima aumentó a GBP 9 250. Las tasas de matrícula siguen manifestándose para la mayoría de los
estudiantes como una acumulación de deuda luego de tomar préstamos estudiantiles durante su carrera. Esta es una
yuxtaposición interesante: antes de la imposición y los subsiguientes aumentos en las tasas de matrícula, el costo de la matrícula
lo sufragaba el estado. La posición actual ve al estudiante como el principal portador de este costo y quizás ha visto una mayor
tendencia de los estudiantes a verse a sí mismos como clientes. Esto a su vez ha llevado, particularmente durante la última
década, a mucho trabajo en el campo de la participación de los estudiantes con el concepto de estudiantes como socios activos
en lugar de meros clientes (por ejemplo, ver (Brand and Millard, 2019[7])).
ÿ 199
Contexto de política para CLA+
Los primeros pasos en Inglaterra que llevaron a nuestro trabajo con CLA+ surgieron del Departamento de Negocios, Innovación y Habilidades
(BIS) del gobierno cuando se le pidió al Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) que considerara si había
mejores indicadores, como medidas de participación de los estudiantes para proporcionar información sobre cómo era una experiencia estudiantil
de alta calidad. Esta solicitud se presentó en su carta de subvención anual a HEFCE para 2014-15. La carta de subvención del año siguiente
para 2015-16 estableció la expectativa de que debería haber progreso hacia el desarrollo y la prueba de nuevas medidas de ganancia de
aprendizaje.
Como prefacio a esta iniciativa, en 2014 se encargó un informe sobre la ganancia del aprendizaje a RAND Europe, un instituto de investigación
independiente sin fines de lucro con sede en Cambridge, Reino Unido. RAND había trabajado en asociación con BIS, HEFCE y la Academia de
Educación Superior (HEA ). En particular, se le pidió a RAND que investigara:
1. ¿De qué manera y con qué fines se utilizan métodos y herramientas para medir los logros del aprendizaje?
uso en la educación superior Inglés?
2. Análisis de los beneficios relativos de los enfoques para medir habilidades genéricas independientemente del conocimiento específico
de la disciplina y medir habilidades genéricas en contextos disciplinarios
3. Análisis de la aplicabilidad de métodos y herramientas para medir la ganancia de aprendizaje para diferentes propósitos identificados,
como informar mejoras en el aprendizaje y la enseñanza; proporcionar información a los futuros estudiantes y sus asesores; investigar
el impacto de intervenciones particulares de aprendizaje y enseñanza y factores contextuales; ayudar en la comparación internacional;
o para formar parte del aseguramiento de la calidad del aprendizaje y la enseñanza
4. ¿Cuáles son las consideraciones relevantes para el uso o adaptación de métodos o herramientas para medir
ganancia de aprendizaje en un contexto de educación superior en inglés?
5. ¿Cuáles son las consideraciones relevantes para el diseño y desarrollo de actividades piloto sólidas para medir la ganancia de
aprendizaje que podrían extraerse de la práctica y la literatura existentes?
6. ¿Qué lecciones relevantes se pueden extraer de la investigación sobre el valor agregado realizada en la escuela del Reino Unido?
¿sector?
El informe integral producido (McGrath et al., 2015[8]) destacó una serie de cuestiones que fueron clave para este trabajo. Uno de esos
problemas fue que, aunque 130 de los 147 que respondieron a una convocatoria de información a través de la Academia de Educación Superior
(HEA) reconocieron que el "concepto de ganancia de aprendizaje podría ser útil", también hubo un nivel de cautela en cuanto a cómo tales
medidas podrían utilizarse para la rendición de cuentas y la transparencia (McGrath et al., 2015, p. xiii[8])
El informe RAND identificó 14 métodos posibles clasificados en cinco grupos: calificaciones, encuestas, pruebas estandarizadas, métodos
mixtos y otros métodos cualitativos. Es importante destacar que el informe también señaló la clara distinción entre las medidas directas de la
ganancia de aprendizaje y las medidas indirectas, como las encuestas de compromiso, las encuestas de satisfacción y las estadísticas de
empleo de los graduados o los salarios de los graduados. Una sugerencia que surgió en el informe fue que aquellos que lo habían encargado
tal vez quisieran llevar a cabo una serie de pruebas piloto que exploraran una variedad de cuestiones prácticas, técnicas, metodológicas y
financieras cuando buscaran utilizar algunos de los métodos discutidos. En particular, el informe señaló que "el concepto de ganancia de
aprendizaje, y su definición, estaba en su infancia en la educación superior en Inglaterra".
Por lo tanto, a principios de 2015, HEFCE invitó expresiones de interés para "financiar proyectos que pondrán a prueba y evaluarán medidas de
ganancia de aprendizaje". Hubo un interés considerable en esta convocatoria, que finalmente condujo a la concesión de aproximadamente GBP
4 millones en 13 proyectos piloto en los que participaron más de 70 instituciones de educación superior. En esta etapa, HEFCE definió la
ganancia de aprendizaje como "la distancia recorrida: la mejora en el conocimiento, las habilidades, la preparación para el trabajo y el desarrollo
personal demostrado por los estudiantes en dos momentos". Parte del pensamiento de HEFCE en ese momento era tratar de demostrar al
gobierno ya los estudiantes el valor de sus inversiones en educación superior. Esta convocatoria hacía referencia específica no sólo a los cinco
200 ÿ
grupos enumerados anteriormente, sino también a la posibilidad de explorar enfoques tanto longitudinales como transversales.
Una característica interesante del informe RAND fue la distinción establecida entre "Conocimiento del contenido" y "Habilidades
y competencias". El conocimiento del contenido se definió como “un cuerpo de información que los maestros enseñan y que se
espera que los estudiantes aprendan en una determinada materia o área de contenido” (McGrath et al., 2015, pp. 7-
8[8]). El término se tomó para referirse a hechos, conceptos, teorías y principios que se enseñan y aprenden en lugar de
habilidades relacionadas, como leer, escribir o investigar, que los estudiantes también aprenden en cursos académicos. Este
concepto de una evaluación de habilidades genéricas se había descrito previamente en el Informe de viabilidad de la Evaluación
de los resultados del aprendizaje en la educación superior (AHELO) en 2012 (AHELO, 2012[9]), que consideró una rama de
habilidades genéricas y dos ramas de materias específicas en economía y economía. ingeniería.
Fue en este contexto que el trabajo, que dirigimos, se propuso utilizar la Evaluación del aprendizaje universitario (CLA+). Fue
uno de los dos proyectos financiados que utilizan una prueba estandarizada. Establecimos un programa ambicioso de pruebas
y nuestra intención original era realizar un estudio longitudinal que hiciera un seguimiento de hasta 1 000 estudiantes en las
cuatro universidades participantes, todas las cuales eran instituciones posteriores a 1992. El momento de este trabajo fue un
factor crítico: las decisiones sobre qué proyectos se financiarían no llegaron hasta julio de 2015, lo que dejó solo unas pocas
semanas para establecer la actividad de prueba. Tal vez un desafío aún mayor fue el hecho de que para todos los estudiantes
participantes la actividad de evaluación estaría más allá de su plan de estudios y, por lo tanto, podría ser percibida por muchos
como una actividad extra voluntaria.
Nos referimos más arriba a la temprana cautela revelada en una encuesta realizada por la HEA sobre cómo y para qué fines
podría utilizarse la información obtenida del aprendizaje. En las primeras etapas de nuestro proyecto, el personal académico
participante expresó preocupaciones similares. Se planteó la pregunta de hasta qué punto este trabajo podría beneficiar a los
estudiantes en términos de cualquier potencial que pudiera tener para conducir a mejoras en el aprendizaje y la enseñanza, y
también para ayudar a los estudiantes individuales en su propio desarrollo de habilidades.
Otro desarrollo significativo durante el período de tiempo (2015-18) de nuestro proyecto fue el desarrollo del Marco de excelencia
docente (TEF), que tuvo su primera iteración completa en 2016-17. El TEF se introdujo como una evaluación a nivel de
proveedor que se entregó según una especificación proporcionada por el Departamento de Educación, que en ese momento
era el ministerio gubernamental responsable de la educación superior. El TEF se concentró en tres “Aspectos de la Calidad”:
Calidad de la Enseñanza; Ambiente de aprendizaje; y Resultados de los Estudiantes y Ganancia de Aprendizaje. Parece
probable que existiera el deseo de que los proyectos financiados que se están llevando a cabo puedan contribuir eventualmente
a la elección de alguna forma de método estándar para la evaluación de la ganancia de aprendizaje para contribuir al TEF a
medida que se desarrolla. El TEF ahora ha sido renombrado Marco de Excelencia Docente y Resultados Estudiantiles. Luego
de una revisión independiente y una respuesta del gobierno a principios de 2021, se propuso que continuara como una revisión
periódica operando cada cuatro o cinco años a nivel institucional en lugar de a nivel de asignatura (Office for Students, 2021[10]).
Proceso de implementación CLA+
entrega del proyecto
Nuestro objetivo inicial en nuestra institución cuando implementamos el CLA+ fue evaluar a los estudiantes longitudinalmente
de una variedad de disciplinas a través de cuatro puntos de prueba en varios puntos de sus estudios. Dos de estos puntos de
prueba ocurrirían durante el primer año de estudio con los dos puntos de prueba restantes en el otoño de su segundo y tercer
año. Un retraso en la confirmación de la financiación de nuestro proyecto significó que las pruebas se retrasaron. Nuestro
primer punto de prueba se trasladó a la primavera del primer año de los estudiantes y el número total de puntos de prueba
longitudinales se redujo de cuatro a tres. Como parte de nuestro proyecto de ganancia de aprendizaje, apuntamos a reclutar
hasta ~350 estudiantes en nuestra institución para evaluar longitudinalmente y permitir la deserción. Gran parte del reclutamiento
e implementación del CLA+ fue realizado por un líder institucional basado en el Centro para la Excelencia en el Aprendizaje y
la Enseñanza de nuestra institución, y el líder del proyecto trabajando como consultor.
ÿ 201
También fue importante que trabajáramos de cerca con el personal académico dentro de la facultad. Como discutiremos más adelante
en este capítulo, esto resultó ser uno de los factores integrales en el reclutamiento de estudiantes. Además de los líderes de nuestro
personal, buscamos involucrar a los estudiantes en todos los aspectos centrales de la implementación de la prueba. A lo largo del
período de entrega de pruebas de tres años, empleamos a varios estudiantes en prácticas que trabajaron en estrecha colaboración
con nosotros en la logística de las pruebas, el análisis de datos y la inclusión de la voz de los estudiantes en todo lo que hicimos al
interactuar con los estudiantes y difundir nuestros hallazgos.
Adaptación de CLA+ a CLA+ Internacional
En el proceso de utilizar una prueba estadounidense en el contexto del Reino Unido, trabajamos en estrecha colaboración con
el Consejo de Ayuda a la Educación (CAE) para adaptar el CLA+ a las necesidades y diferencias culturales de los estudiantes
que realizan la prueba. Como Ashford-Rowe et al., (2013[11]) destacan en su trabajo sobre la evaluación auténtica, el CLA+ se
alinea con dos características críticas del diseño de evaluación eficaz: la garantía de la transferencia de conocimientos a un
único dominio del mundo real y el rol de metacognición. El seguro de la transferencia de conocimientos requiere “coherencia
entre la evaluación y la aplicación en el mundo real” (Ashford-Rowe, Herrington y Brown, 2013, p. 208[11]). Por ejemplo, la
tarea de rendimiento (PT) basada en "construir" un estadio de béisbol se reelaboró utilizando estadios de fútbol (fútbol) ubicados
en Inglaterra. Una característica central del PT les pide a los estudiantes que analicen e interpreten múltiples fuentes de datos
y perspectivas para construir su propio argumento en el formato de un informe, una habilidad transferible para usar en cualquier
contexto. Como destacan Zahner y Lehrfeld (2018[12]) , la medición de tales habilidades se ha convertido en un indicador
importante en la colocación profesional y el lugar de trabajo.
éxito.
Después de esto, la metacognición reconoce la "importancia de la reflexión crítica y la autoevaluación", un componente clave
fomentado a través de la prueba a través de una encuesta de autoevaluación y los informes de los estudiantes resultantes que
indican sus niveles de dominio (Ashford-Rowe, Herrington y Brown, 2013, págs. 208-209[11]). También reelaboramos el
lenguaje para adaptarlo a la ortografía y la gramática del Reino Unido en el CLA+, incluido el cambio de la terminología del nivel
de dominio para reflejar el lenguaje de desarrollo utilizado en los criterios de evaluación y calificación. Uno de los puntos
notables de nuestros hallazgos a través de comentarios cualitativos y anecdóticos fue que la estructura y los temas del PT
fueron recibidos positivamente, pero las preguntas de respuesta seleccionada (SRQ) fueron recibidas de manera menos
favorable.
Parte de la implementación de CLA+ también requirió recursos de personal no solo para reclutar estudiantes y evaluar la
logística, sino también para calificar las presentaciones de PT. Esta respuesta escrita se calificó utilizando una rúbrica
personalizada de evaluadores humanos sobre análisis y resolución de problemas, y eficacia de escritura y mecánica de
escritura, todos los cuales necesitaban ser capacitados y calibrados antes de la prueba. CAE y nosotros mismos encontramos
que esta era una oportunidad útil para llevar a cabo sesiones de capacitación de anotadores con el personal de nuestra
institución y nuestras otras tres instituciones asociadas del proyecto de ganancia de aprendizaje. Estos demostraron ser
entornos fructíferos que alentaron el diálogo crítico sobre el proceso de puntuación, como las diferentes perspectivas de los
evaluadores individuales que pueden influir en las puntuaciones generales, una característica señalada en la investigación de
Wyatt-Smith et al., (2010[13]) sobre la puntuación. con rúbricas. Un aspecto interesante de nuestra calificación fue que,
dependiendo de las instituciones que estaban evaluando en una ventana en particular, los colegas no necesariamente
calificarían a los estudiantes de sus respectivas instituciones, lo cual fue una consideración importante para que el equipo del proyecto eliminara c
CLA+ como herramienta de diagnóstico
Como se señaló en nuestra sección anterior, los factores contextuales que rodearon el proyecto sobre la medición de la
ganancia de aprendizaje significaron que hubo cierto grado de vacilación por parte de nuestros colegas académicos que en
algunos casos fueron nominados para ayudarnos con el reclutamiento y las pruebas de los estudiantes. La perspectiva de
medir a sus estudiantes longitudinalmente y luego compararlos tanto institucional como externamente sobre si sus estudiantes
habían demostrado desarrollo en su pensamiento crítico a lo largo de su programa evocó cierto nivel de ansiedad.
202 ÿ
dentro de muchos de nuestros colegas. También vale la pena señalar aquí que, en parte, esto se ha visto exacerbado por una
cultura de medición en todo el sector y la creciente visión de los estudiantes como clientes, una ideología que a menudo perpetúa
la institución en lugar de los propios estudiantes (Woodall, Hiller y Resnick , 2012[14]). Entonces no fue una sorpresa que
ocurriera tal resistencia. Una característica importante de nuestra implementación implicó persuadir a los colegas del valor de
CLA+ no solo como una plataforma para medir y rastrear el desarrollo de los estudiantes, sino también como una herramienta
de diagnóstico. Además, nuestro equipo de proyecto ofreció su garantía de que los datos recopilados no se usarían como un
palo metafórico para juzgar los méritos/fallas de sus programas.
El uso de dichos datos de diagnóstico también se alinearía con la estrategia institucional y la investigación sectorial más amplia
sobre cómo mejorar el progreso y la retención de los estudiantes (ver (Webb et al., 2017[15])). Por lo tanto, dicho trabajo pone el
desarrollo de los estudiantes a la vanguardia al mismo tiempo que equilibra las presiones institucionales, como la pérdida de
tarifas por el retiro de los estudiantes. Muchos miembros del personal, en particular los que residen en ciertas disciplinas, vieron
instantáneamente el valor de la prueba y, cuando fue posible, trataron de convencer a sus estudiantes del valor de tomar el
CLA+, incluida la oferta de incentivos en ciertas situaciones. A pesar de esto, todavía experimentamos una mezcla de reacciones
de los colegas dentro de nuestra institución, que van desde la inversión total hasta la apatía y un esfuerzo activo para disuadir a
los estudiantes de completar la prueba.
Reclutamiento y prueba de estudiantes
Planeamos evaluar a los estudiantes de una variedad de disciplinas en las cuatro facultades de la universidad. Con los pilotos
de nivel de materia de TEF como telón de fondo de nuestro trabajo, vimos una oportunidad única para analizar algunas de las
diferencias clave en el desempeño de los estudiantes en el CLA+, y también cómo las percepciones de los estudiantes sobre la
prueba variarían dependiendo de su disposición. hacia las habilidades que pretende medir. Inicialmente evaluamos a estudiantes
de literatura inglesa, trabajo social, marketing e informática, pero luego ampliamos nuestro alcance para incluir una gama más
amplia de disciplinas, que se vio influenciada principalmente por nuestras dificultades para reclutar estudiantes para completar la
prueba. Al final del proyecto, habíamos evaluado a estudiantes de las siguientes disciplinas en nuestra institución:
• Redes informáticas y seguridad • Literatura

inglesa • Ingeniería • Comunicación gráfica y
visual • Joyería • Marketing • Medios y
comunicación
• Psicología •
Trabajo Social
Todas las sesiones de prueba se llevaron a cabo de forma remota en espacios de laboratorio de computación, trabajando en
colaboración con los departamentos de Tecnología de la Información (TI) de la universidad para garantizar que la plataforma de
prueba CLA+ se pudiera descargar sin problemas antes del comienzo de la prueba. A menudo programamos las pruebas durante
dos horas, a pesar de que la prueba solo necesita 90 minutos para completarse, para permitir el tiempo adicional dedicado a la
configuración y la finalización del cuestionario demográfico al final. Las pruebas se anunciaron inicialmente como actividades
extracurriculares con incentivos como comida y un eventual cambio a tarjetas de regalo y sumas en efectivo para alentar la
asistencia. Sin embargo, a pesar de estos incentivos y los beneficios reportados por participar en tales actividades, continuamos
luchando con el reclutamiento de estudiantes (Kaufman and Gabler, 2004[16]).
Como Stuart et al. (2011[17]) , el problema del reclutamiento de estudiantes no es una sorpresa considerando la literatura que
examina el compromiso de los estudiantes con actividades extracurriculares. El estudio proporciona evidencia
ÿ 203
que los estudiantes de entornos socioeconómicos más bajos pasan mucho más tiempo trabajando en el material del curso que en
actividades extracurriculares, lo que sugiere que la principal motivación de estos estudiantes son sus evaluaciones (Stuart et al., 2011, p.
10[17]). Como una universidad de participación en expansión, los enfoques de aprendizaje y las circunstancias de nuestros estudiantes
probarían ser un factor importante con algunos de los aspectos exitosos de nuestro proyecto. Como discutiremos más adelante, tuvimos
un éxito particular con el compromiso solo cuando incorporamos la prueba en el plan de estudios como una pieza de evaluación de
diagnóstico formativa.
Los informes institucionales y orientados a los estudiantes también demostraron ser un aspecto valioso de este enfoque y proporcionaron
pistas de programas/módulos y datos importantes sobre la demografía de sus cohortes a través del rendimiento, el idioma y el género.
Esto nos permitiría a nosotros y al personal académico identificar rápidamente a los estudiantes con dificultades y ofrecer un medio para
ser más inclusivos en su enfoque de apoyo a los estudiantes. El surgimiento del CLA+ como una valiosa herramienta de diagnóstico se
convirtió en el foco central de nuestro proyecto y la base para implementar la prueba en la institución. Podría decirse que medir la
ganancia de aprendizaje se convirtió en un objetivo secundario.
En esta sección, nuestro objetivo es proporcionar una descripción de nuestros principales hallazgos durante nuestro proyecto financiado
sobre la medición de la ganancia de aprendizaje. Esto incluye una narrativa cuantitativa sobre cuántos estudiantes fueron reclutados y
evaluados, cómo se desempeñaron los estudiantes evaluados en el CLA+ de los conjuntos de datos de la institución y los hallazgos de
nuestros estudios longitudinales y transversales. Además de esto, también incluiremos nuestros hallazgos cualitativos de los grupos de
enfoque de estudiantes.
Números de prueba y reclutamiento de estudiantes.
En total, nuestra institución evaluó a 774 estudiantes durante los tres años, con 2 090 evaluados en las cuatro instituciones asociadas. La
gran proporción de estudiantes de primer año reclutados (87 %) para tomar la prueba resaltó nuestra lucha para evaluar a los estudiantes
longitudinalmente a lo largo de varios años para medir el desarrollo de sus habilidades de pensamiento crítico a lo largo del tiempo. El
número restante de estudiantes de segundo año de nuestra muestra que tomaron el CLA+ alcanzó el 5,5 %, con un número ligeramente
mayor de estudiantes de tercer año con un 7,5 % (consulte la Tabla 13.1 a continuación).
En total, 132 estudiantes fueron evaluados longitudinalmente en nuestro proyecto. Aunque tuvimos dificultades iniciales con el
reclutamiento, tuvimos algunos estudios de casos extremadamente positivos relacionados con el uso de CLA+ como herramienta de
diagnóstico y pieza de evaluación formativa. Esto incluyó evaluar con éxito a 201 estudiantes de marketing de primer año con este
enfoque. Como discutiremos más adelante, nuestro trabajo con un programa de grado en Marketing mostró la capacidad de CLA+ también
para actuar como una herramienta reflexiva para el desarrollo de los estudiantes en lugar de solo como resultado del desempeño.
Finalmente, algunos de nuestros hallazgos más impactantes relacionados con las percepciones de los estudiantes sobre la prueba,
incluidos los factores que influyen en su motivación para tomar el CLA+, se revelaron en nuestro análisis transversal en 2016-17. Esto
involucró a los estudiantes que completaron el CLA+ seguido de un breve cuestionario de preguntas seleccionadas de la Encuesta de
compromiso del Reino Unido (UKES) y un breve grupo de enfoque para capturar reflexiones. Probamos y realizamos con éxito grupos
focales con 136 estudiantes en total durante este estudio.
Tabla 13.1. Número total de estudiantes evaluados por año de estudio y puntajes CLA+
Estudiantes CLA+ totales Estándar desarrollador de

percentil 25 percentil 75 Tamaño del efecto frente a
probado puntuación (promedio) Puntuación CLA+ puntaje puntaje primeros años
1 819 1 089 141 998 1 192 --

Primeros años
segundo año 114 1 098 135 1 007 1 200 .06
tercer año 157 1 162 167 1 042 1 261 .52

Todos los estudiantes 2 090 1 093 143 1 000 1 196 --
204 ÿ
Datos de rendimiento
En el contexto del desempeño general de los estudiantes en el CLA+ como parte de nuestro proyecto, el CAE llevó a cabo
un análisis de los estudiantes que realizaron el CLA+ en la nueva plataforma internacional. Observó una diferencia significativa
entre los años de estudio al observar las puntuaciones totales de CLA+. En nuestra institución, los estudiantes de tercer año
superaron a los estudiantes de primero y segundo año, siendo los primeros los que presentaron mayor diferencia en puntajes.
Si bien este fue un resultado que podríamos haber anticipado en nuestra búsqueda de medir la ganancia de aprendizaje,
también vale la pena señalar que la diferencia en estos puntajes generales estuvo influenciada en gran medida por los
puntajes en el PT, sin diferencias significativas entre los puntajes registrados en SRQ. En nuestros datos cualitativos, notamos
consistentemente que los estudiantes destacarían el PT como el aspecto más agradable del CLA+, destacando la libertad
que ofrece su estructura como la razón principal de esto. No se demostró el vínculo entre el disfrute o la motivación de los
estudiantes y su correlación con el rendimiento, pero es un área que a nuestro equipo de proyecto le hubiera gustado explorar
más a fondo.
Datos demográficos y rendimiento de CLA+
No es ningún secreto, particularmente en la educación superior del Reino Unido, que ha existido una brecha de rendimiento
entre los negros y las minorías étnicas (BME) y sus contrapartes blancas en la obtención de los "títulos superiores", que
generalmente consistirían en estudiantes que obtienen un Honores de primera clase o Honores superiores de segunda clase
(Advance HE, 2017[18]). En su Equality in Higher Education: Statistical Report (2017), observaron una brecha del 15,6 % en
la consecución de un título superior entre los estudiantes de BME (63,2 %) y sus homólogos blancos (78,8 %) (Advance HE,
2017[18]) . Con esta estadística en mente, los estudiantes de nuestro proyecto que tomaron el CLA+ también reflejaron este
problema, agregando más evidencia para respaldar el trabajo necesario para cerrar la brecha. En particular, fue entre los
estudiantes de primer año que los estudiantes blancos en promedio recibieron puntajes CLA+ más altos que sus contrapartes
BME.
También se informó una diferencia en el desempeño de los estudiantes según su idioma principal. Los estudiantes cuyo
primer idioma era el mismo que el idioma de instrucción, en nuestro caso, el inglés británico, superaron a sus compañeros
con diferentes idiomas primarios. Este patrón fue consistente a lo largo de todos los años de estudio y genera preocupaciones
importantes acerca de las evaluaciones centradas en la medición de constructos tales como las habilidades de comunicación,
particularmente escritas, lo que podría poner en desventaja a estos estudiantes. En nuestros estudiantes de primer año
evaluados, encontramos que los estudiantes cuyo idioma principal era el inglés obtuvieron puntajes más altos que aquellos
para quienes este no fue el caso. Notablemente, esta diferencia fue más pronunciada en la Tarea de rendimiento, donde las
habilidades de comunicación escrita son más importantes que en las preguntas de respuesta seleccionada.
Finalmente, también fue interesante notar que hubo una diferencia significativa en los estudiantes cuyos padres habían
recibido diferentes niveles de educación para nuestros estudiantes de primer año, sin embargo, esto no se encontró en
nuestras muestras de estudiantes de segundo o tercer año. Debido a nuestro gran tamaño de muestra de primer año en
comparación con segundo y tercer año, es posible que no se pueda observar un efecto sólido de educación de los padres
debido a la falta de poder estadístico. Esta diferencia encontrada en nuestros primeros años se elabora en un estudio de
Vanthournout et al. (2016, pág. 53[19]). Señala que la democratización de la educación superior ha introducido cohortes de
estudiantes con diversos antecedentes, cada uno con diferentes formas de aprendizaje y motivación. En particular, nuestros
estudiantes de primer año cuyos padres no tenían más que educación primaria fueron superados por todos sus compañeros
cuyos padres habían alcanzado niveles educativos más altos. Esto confirma los argumentos del capital social y su impacto
en el desempeño de la evaluación. Más importante aún, saca a la luz el papel que debe desempeñar la educación superior
para cerrar estas brechas y la importancia de fomentar la adquisición de estrategias de aprendizaje para estos estudiantes.
ÿ 205
Uso del CLA+ para mejorar el aprendizaje y la enseñanza
Como se discutió en las secciones anteriores, poco después del comienzo de nuestro proyecto, quedó claro tanto para nuestra
institución como para nuestros socios del proyecto que había surgido un enfoque dual. Si bien nuestro objetivo principal era
medir los logros en el aprendizaje tanto a nivel institucional como individual, el valor potencial de utilizar el CLA+ como una
herramienta para que los estudiantes analicen su posición en relación con las habilidades que se evalúan para su desarrollo
continuo también se convirtió en parte de nuestro enfoque. Reflexionando sobre esto, también quedó claro que la prueba era
más atractiva para quienes estudiaban algunas disciplinas o, de hecho, para académicos clave que ejecutaban programas
basados en estas disciplinas.
Por ejemplo, el CLA+ se incorporó con éxito en la escuela de negocios de nuestra institución como elementos opcionales y
obligatorios del plan de estudios. En gran parte gracias a la inversión del líder del programa en CLA+, la prueba se hizo
obligatoria y se usó como parte de un módulo de desarrollo profesional durante los primeros años. Los informes resultantes
para los estudiantes actuaron como una forma de evidencia que eventualmente se presentaría en la evaluación sumativa
como parte de un portafolio electrónico, con una narrativa reflexiva sobre cómo los aspectos del portafolio podrían incorporarse
a las áreas de desarrollo continuo. Este uso del CLA+ y su integración dentro de estos portafolios se alinea con la propuesta
de que “un diseño de evaluación auténtico debe asegurar la transferencia de conocimiento” (Ashford-Rowe, Herrington and
Brown, 2013, p. 208[11]) a medida que se desarrollan los conocimientos y las habilidades. a través del compromiso de los
estudiantes con el CLA+ fueron transferidos más allá de este contexto.
Al distribuir estos informes y hacer explícito el vínculo con la empleabilidad, alentamos a los estudiantes a recopilar los
informes poco después de la mitad de su módulo durante el evento Graduate+ de la universidad, una semana centrada en el
desarrollo de atributos de empleabilidad. Naturalmente, también consideramos si, en todo caso, había una diferencia entre el
rendimiento de los estudiantes en el CLA+ al analizar a aquellos que tomaron la prueba como opcional versus obligatoria.
Para ello, el CAE comparó y analizó las diferencias entre el rendimiento de los alumnos de Otoño de 2017 (obligatoria) y
Primavera/Otoño (no obligatoria) de 2016 (ver Tabla 13.2 a continuación). Al igual que con nuestros resultados principales,
hubo una "diferencia marginal" en las puntuaciones totales de CLA+, ya que los estudiantes que tomaron el CLA+ como
elemento obligatorio de su módulo superaron ligeramente a sus homólogos no obligatorios. De manera similar, la diferencia
pareció estar impulsada por los resultados del PT, ya que no se informaron diferencias en las puntuaciones del SRQ. A pesar
de estas diferencias, también fue interesante notar que no hubo diferencia en el esfuerzo autoinformado, un área cubierta en
el cuestionario demográfico CLA+, lo que sugiere que la evaluación no aumentó la motivación en el caso de la cohorte
obligatoria.
Tabla 13.2. Puntuaciones totales de CLA+ por requisito de prueba y año de estudio
METRO Dakota del Sur norte
Puntuación total de CLA+ Obligatorio 1 105 142 194

no obligatorio 1 081 144 396
Puntuación de la tarea de rendimiento Obligatorio 1 183 171 200
Puntaje de respuesta seleccionada Obligatorio 1 024 160 194

Percepciones de los estudiantes sobre CLA+: Hallazgos de nuestros grupos de enfoque transversales
Durante nuestro tiempo trabajando en el proyecto, naturalmente buscamos tener discusiones con los estudiantes sobre el
CLA+ y algunas de sus motivaciones clave para completarlo. Durante nuestro estudio transversal, 136 estudiantes completaron
el CLA+ y también participaron en una Encuesta de Compromiso del Reino Unido (UKES) y un grupo de enfoque a medida.
Los grupos focales en particular nos ofrecieron un espacio para alentar a los estudiantes a pensar críticamente sobre los
aspectos centrales del CLA+, como el tema, su capacidad para evaluar las habilidades para las que está diseñado, su interés
en cómo se podrían usar los resultados y cualquier motivador clave. incitándolos a tomar la prueba.
206 ÿ
Cuando se les preguntó sobre el tema de la Tarea de rendimiento (PT), la mayoría de los estudiantes que tomaron la prueba tuvieron
problemas con la participación debido a la falta de relevancia para su tema. Esta ha sido una crítica a menudo lanzada contra el CLA+
en publicaciones como Academically Adrift (Arum and Roksa, 2011[20]), particularmente la preocupación de medir habilidades genéricas
sobre habilidades de materias especializadas que los estudiantes pueden asistir a la universidad para aprender.
Sin embargo, a pesar de esto, muchos también informaron que el proceso de analizar evidencia, formular un argumento crítico y
adaptarlo a varias situaciones del mundo real hizo que el PT fuera más atractivo en comparación con los SRQ. Siendo la última parte
del CLA+, la sección SRQ fue un área en la que los estudiantes citaron constantemente la fatiga mental, ya que habían invertido lo que
percibían como una gran cantidad de tiempo (60 minutos) en la tarea de PT. También hubo diferencias entre los temas de PT, que los
estudiantes destacaron por tener un impacto en el nivel de su motivación y compromiso. Nuestro pequeño número de estudiantes que
realizaron el CLA+ entre 2016 y 2017 nos informaron que preferían el segundo tema, ya que estaba más relacionado con su disciplina,
lo que sugiere que el contenido es un factor de influencia clave en el compromiso.
Cuando discutimos las habilidades que el CLA+ dice medir y desarrollar, encontramos varias tendencias consistentes de nuestros
estudiantes al respecto, incluidas las ideas sobre la estructura general, el tiempo y el cronograma del CLA+.
Se mencionó a lo largo de los grupos focales que los estudiantes pensaban que, independientemente de su disciplina, deberían poder
analizar, pensar críticamente y resolver problemas sin importar el contexto. A pesar de esto, como se mencionó anteriormente, también
existía la preocupación de que determinadas disciplinas pudieran tener una ventaja sobre otras en términos de rendimiento al realizar
la prueba. Por ejemplo, los estudiantes de cursos creativos y prácticos sintieron que los estudiantes que estudian programas que
practican la escritura y las habilidades analíticas, como Derecho, se desempeñarían mejor que sus contrapartes de Arte y Diseño. Al
analizar el desempeño entre disciplinas, no hubo diferencias significativas entre ninguna, lo que sugiere que, de hecho, estas habilidades
básicas no se ven afectadas por las áreas temáticas.
Los estudiantes también dudaban si querrían que sus resultados de CLA+ se compartiesen con sus compañeros.
Sin embargo, esto también se asoció con un interés en cómo sus puntajes podrían compararse con otros que habían realizado la
prueba de forma anónima y agregada, una característica que se ofrece en los informes de resultados de estudiantes individuales.
También hubo un interés evidente en que el potencial del informe de resultados sea valorado por los empleadores y los mejores
programas de posgrado.
La opción de no tener corrector ortográfico o autocorrección se citó constantemente como un problema. Si bien esto se considera
predominantemente como un lujo de nuestra parte, es importante tener en cuenta que el corrector ortográfico puede ser una
característica importante para la inclusión: una herramienta útil y necesaria para los estudiantes con dislexia en particular. Descubrimos
que CAE fue muy útil con otras preocupaciones de inclusión, como permitir tiempo adicional, con una función para agregar esto al
preinscribir a nuestras cohortes antes de la prueba. No solo el tiempo tomado fue un factor importante en el compromiso, sino que
también se discutió la cuestión de cuándo se toma el CLA+ durante un año académico.
Muchos destacaron que sería mejor realizar la prueba al comienzo oa la mitad de un año académico debido a que la última parte del
año tiene una carga de evaluación alta, por ejemplo, exámenes, fechas límite de trabajos de curso. Habíamos encontrado algunos
problemas con el tiempo, por lo que algunas sesiones de prueba tuvieron que realizarse durante estos períodos ocupados. Como era
de esperar, estos no fueron vistos como una alta prioridad para los estudiantes. También se sugirió que estos arreglos se habrían
logrado más fácilmente si el trabajo se hubiera incluido en el plan de estudios en lugar de fuera del plan de estudios.
Continuando con nuestra filosofía de asociación de estudiantes: trabajar con estudiantes en prácticas
Además de evaluar a los estudiantes como parte de nuestro proyecto de ganancia de aprendizaje, buscamos continuar con nuestra
tradición de trabajar en colaboración con los estudiantes de nuestro Centro. Esto informó todo lo que hicimos durante nuestra investigación.
Contratamos y trabajamos junto a tres estudiantes que trabajaban a tiempo parcial durante sus estudios para ayudar con la entrega del
proyecto y la recopilación y el análisis de datos. Nos aseguramos de que ambos estudiantes fueran copresentadores regulares con el
equipo del proyecto en conferencias para difundir los hallazgos, así como para comunicar sus propias experiencias como participantes
del proyecto. Fue una característica interesante de nuestro trabajo con ellos que también habían tomado la
ÿ 207
CLA+ como parte de nuestra cohorte de pruebas no obligatorias. Esto significó que pudieron brindar sus reflexiones y experiencias sobre
la realización del examen. Estos han demostrado ser invaluables, y tenemos la siguiente cita de uno de los pasantes:
Naturalmente tenía mucha curiosidad por la prueba debido a la poca información dada y estaba muy feliz de participar.
Ahora que tomé la prueba, la encontré muy desafiante pero gratificante, ya que probó con éxito mi capacidad de
pensar de manera crítica y analítica. – Estudiante de segundo año, Facultad de Informática, Ingeniería y Medio
Ambiente Construido
El empleo de nuestros pasantes se extendió más allá del alcance inicial de nuestro proyecto. Fueron parte integral de la incorporación de
la prueba en el plan de estudios de la Escuela de Negocios, haciendo que la prueba sea obligatoria. Nuestros pasantes trabajaron
directamente con los líderes de módulos y programas, coordinando las sesiones de prueba y trabajando con los supervisores.
Tras la entrega de los proyectos financiados por HEFCE, se llevó a cabo una evaluación independiente y se presentó a la Oficina de
Estudiantes (OfS), un organismo público no departamental del Departamento de Educación. Este informe destacó una serie de cuestiones
importantes. Sin duda, el más destacado de ellos fue el de la captación de alumnos para participar en las pruebas. Este problema no fue
exclusivo de los dos proyectos que emplearon CLA+, pero se encontró en muchos otros proyectos que requerían que los estudiantes
realizaran actividades que percibían como parte no obligatoria de su plan de estudios. Durante el curso de nuestro proyecto también
descubrimos que se lograron tasas de reclutamiento muy diferentes para las pruebas en diferentes áreas temáticas. Esto parecía estar
relacionado con el entusiasmo del personal académico clave con quien los estudiantes en cuestión tenían fuertes conexiones, como un
líder de curso o un tutor de año. Concluimos que para obtener altos niveles de reclutamiento, la prueba debería integrarse como parte del
plan de estudios. Alternativamente, como mínimo, debería estar presente un alto nivel de entusiasmo por las pruebas por parte del personal
académico. Sin estos niveles de reclutamiento, sería difícil investigar más a fondo la importante cuestión de la escalabilidad, o explorar
vínculos potenciales con los datos universitarios existentes.
También queda claro a partir del informe de evaluación externa que solo hubo un interés limitado en utilizar los datos de ganancias de
aprendizaje de los altos directivos o el personal académico en áreas temáticas que no están involucradas en esta etapa de este trabajo.
Parece probable que si se requiriera el uso de una prueba estandarizada para métricas institucionales, esta posición tendría que cambiar.
Otra lección clave aprendida se relaciona con la puntualidad. Dado que los proyectos financiados por HEFCE tenían un plazo de ejecución
muy corto, resultó imposible prepararse adecuadamente para necesidades como los calendarios de corrección, la formación de los
anotadores y el análisis de resultados a tiempo. Esto, a su vez, significó que era casi imposible mantener el interés de los estudiantes en
seguir adelante con el trabajo.
También surge la pregunta de para quién es la prueba CLA+. Nuestra opinión es que si se percibe que dicha actividad se relaciona
únicamente con la medición del desempeño institucional, entonces se perdería una oportunidad. Existe un beneficio potencial para que los
estudiantes individuales vean el intento inicial de prueba CLA+ como una importante función de diagnóstico de sus habilidades genéricas.
El cambio de enfoque de usar el CLA+ como una herramienta para la medición institucional a uno que es de diagnóstico:
aunque una desviación de los objetivos de nuestro proyecto inicial, abrió varias vías interesantes para el trabajo futuro.
Debido al éxito en la captación de estudiantes y en el uso de la prueba como parte de la evaluación formativa modular, hemos continuado
nuestro trabajo con la Escuela de Negocios de nuestra institución. Continuaremos incorporando la prueba en su módulo de Desarrollo
profesional y trabajaremos para incorporar el reflejo de estos resultados para el futuro.
208 ÿ
desarrollo, un enfoque central del módulo. Además, incluiremos la estructuración de una sesión en torno a la recopilación
y el sentido de los resultados para el individuo.
Uno de los hallazgos clave de nuestro grupo de enfoque fue el valor de CLA+ para el empleo. Al finalizar la prueba, los
estudiantes recibirían un informe sobre su desempeño junto con una insignia digital que confirma su nivel de dominio
general. Cuando se les preguntó, los estudiantes destacaron que estaban particularmente interesados en la idea de la
credencialización digital y el uso que tendría como parte de un portafolio de evidencia para los empleadores. Esta
sugerencia de que es más probable que los estudiantes realicen la prueba si los empleadores y/u otras universidades
valoran los resultados es una consideración útil para los equipos de programas/módulos al diseñar y entregar el plan de
estudios. Este es un aspecto de la prueba que sentimos que podríamos haber comunicado más cuando informamos a los
estudiantes sobre los beneficios de tomar la prueba, ya que enfrentarse a una evaluación tipo examen sin oportunidad de
prepararse puede haber sido una perspectiva que indujo ansiedad para los estudiantes.
También somos muy conscientes de algunas de las limitaciones que presenta el reclutamiento de estudiantes, a saber,
nuestra lucha por evaluar longitudinalmente a un mayor número de estudiantes (n = 132). Debido al bajo tamaño de la
muestra, no pudimos proporcionar estadísticas más útiles, lo que significa que no pudimos identificar los valores atípicos
que podrían haber sesgado potencialmente los datos, minimizando el margen de error. Incluso en nuestro estudio
transversal, la cantidad de alumnos de primer año superó con creces la cantidad de alumnos de segundo y tercer año
evaluados, lo que significa que fue difícil lograr analizar el rendimiento por año de estudio. Nos gustaría continuar trabajando
para evaluar a más estudiantes de segundo y tercer año para nuestros conjuntos de datos longitudinales y transversales.
Un desarrollo interesante que discutimos inicialmente en nuestra institución desde la implementación de CLA+ fue la
introducción de un centro de evaluación que ofrece pruebas de evaluación personalizadas a mayor escala para los estudiantes.
Esto se debió a nuestro nuevo enfoque en el uso de la prueba como una herramienta de diagnóstico junto con otras
instituciones en todo el sector de educación superior del Reino Unido que implementan centros similares. Además, dicho
centro también sería integral para abordar algunos de los desafíos relacionados con el progreso, la retención y el empleo
de nuestros estudiantes. Esta idea se adaptó de prácticas similares en el sistema de educación superior de EE. UU., donde
una variedad de mecanismos de apoyo estarían vinculados a evaluaciones similares ofrecidas en un solo lugar en una
ventana. Desde el cierre de nuestro proyecto, nuestra institución ahora cuenta con un centro de evaluación funcional en su
campus. El centro trabaja con colegas académicos para diseñar y ofrecer desarrollos digitales en sus programas mediante
la colaboración con un equipo de diseñadores y técnicos de evaluación digital. Los tipos de evaluación que se ofrecen se
clasifican en diagnóstico, desarrollo y destino, y ayudan a los estudiantes a comprender sus propias habilidades en relación
con conjuntos de habilidades más sutiles, como habilidades académicas, aritmética, construcción de oraciones y desempeño
en exámenes profesionales simulados.
ÿ 209
Referencias
Advance HE (2017), Unidad Desafío Igualdad. Igualdad en la educación superior: informe estadístico 2017, Advance HE, Reino [18]
Unido, https://www.advance-he.ac.uk/knowledge-hub/equality-higher-education-statistic-report-2017 (consultado el 15 de
julio de 2021).
AHELO (2012), Informe provisional del estudio de viabilidad de AHELO, OCDE, París. [9]
Arum, R. y J. Roksa (2011), Academically Adrift: Limited Learning on College Campuses, University of Chicago Press, [20]
Chicago.
Ashford-Rowe, K., J. Herrington y C. Brown (2013), “Estableciendo los elementos críticos que [11]
determinar la evaluación auténtica”, Assessment & Evaluation in Higher Education, vol. 39/2, págs. 205-222, https://
doi.org/10.1080/02602938.2013.819566.
Brand, S. y L. Millard (2019), Capítulo 4: Compromiso de los estudiantes con la calidad en la parte superior del Reino Unido [7]
educación: ¿más que seguridad?, Routledge, Londres y Nueva York.
Browne, L. (2010), Garantizar un futuro sostenible para la educación superior: una revisión independiente de la financiación de [5]
la educación superior y la financiación de los estudiantes.
Eurydice (2019), Instituciones autónomas y diversas, https://eacea.ec.europa.eu/nationalpolicies/eurydice/content/ [1]

types-higher-education-institutions-94_en (consultado el 3 de mayo de 2021).
Gov.uk (2020), Tasas de participación en la educación superior: Años académicos 2006/2007 - 2007/2018, https://www.gov.uk/ [4]
government/collections/statistics-on-higher-education-initial-participation rates ( consultado el 29 de julio de 2021).
HESA (2021), ¿Cuántos estudiantes hay en ES?, https://www.hesa.ac.uk/news/27-01-21/sb258- [2]

high-education-student-statistics/numbers (consultado el 3 de mayo de 2021).
Hubble, S. y P. Bolton (2018), Cuotas de matrícula de educación superior en Inglaterra, The House of [6]
Commons Library, https://researchbriefings.files.parliament.uk/documents/CBP-8151/CBP 8151.pdf (consultado el 29
de julio de 2021).
Kaufman, J. y J. Gabler (2004), “El capital cultural y las actividades extracurriculares de las niñas y [dieciséis]
chicos en el proceso de obtención de la universidad”, Poética, vol. 32/2, págs. 145-68, https://
doi.org/10.1016/j.poetic.2004.02.001.
McGrath, C. et al. (2015), Aumento del aprendizaje en la educación superior, RAND Corporation, Santa Mónica, California y [8]
Cambridge, Reino Unido, https://www.rand.org/pubs/research_reports/RR996.html.
Oficina para Estudiantes (2021), Futuro de TEF, https://www.officeforstudents.org.uk/advice-and [10]

orientación/enseñanza/futuro-de-la-tef.
Stuart, M. et al. (2011), “El impacto de la participación en actividades extracurriculares en la experiencia de los estudiantes y [17]
los resultados de posgrado para ampliar la participación de las poblaciones”, Aprendizaje activo en la educación superior,
vol. 3/12, págs. 203-215, https://doi.org/10.1177/1469787411415081.
Universities UK (2018), Patrones y tendencias, https://www.universitiesuk.ac.uk/facts-and [3]

stats/data-and-analysis/Pages/Patterns-and-trends-in-UK-higher-education-2018.aspx.
210 ÿ
Vanthournout, G. et al. (2016), Capítulo 4: Descubrir y fortalecer las estrategias de aprendizaje [19]
y motivación utilizando el instrumento Lemo, Lovaina, Lannoo.
Webb, O. et al. (2017), “Mejorar el acceso, la retención, el logro y el progreso en la educación superior Una [15]
revisión de la literatura que muestra un impacto demostrable”, Mejorar el acceso, la retención, el logro y
el progreso en la educación superior Una revisión de la literatura que muestra un impacto demostrable, https://
s3.eu-west-2.amazonaws.com/assets.creode.advancehe document manager/documents/hea/private/resources/
enhancing_access_retention_attainment_and_pr
ogression_in_higher_education_1_1568037358.pdf.
Woodall, T., A. Hiller y S. Resnick (2012), “Dar sentido a la educación superior: los estudiantes como [14]
consumidores y el valor de la experiencia universitaria”, Studies in Higher Education, vol. 39/1, págs. 48-67,
WyattÿSmith, C., V. Klenowski y S. Gunn (2010), “La centralidad de la práctica de juicio de los docentes en [13]
la evaluación: un estudio de los estándares con moderación”, Evaluación en la educación: principios,
políticas y prácticas, vol. 17/1, págs. 59-75, https://doi.org/10.1080/09695940903565610.
Zahner, D. y J. Lehrfeld (2018), Evaluaciones de empleadores y asesores sobre la importancia del pensamiento [12]
crítico y las habilidades de comunicación escrita después de la universidad, Documento presentado en la
Conferencia de 2018 de la Asociación Estadounidense de Investigación Educativa, Nueva York, NY.
ÿ 211
14 México: un enfoque innovador en
la evaluación de resultados de aprendizaje
Patricia Rosas, Universidad de Guadalajara (México)
Carlos I. Moreno, Universidad de Guadalajara (México)
Rubén Sánchez, Universidad de Guadalajara (México)
México ha implementado políticas para mejorar la calidad de su educación

superior durante más de dos décadas, abarcando cuatro administraciones. La
evaluación de los resultados del aprendizaje es una de esas políticas. La
institución analizada en este capítulo promueve una cultura de calidad que
permite aplicar diferentes perspectivas y herramientas al proceso de evaluación.
Los resultados ofrecidos aquí se enfocan en evaluar la cognición de orden
superior a través de pruebas de desempeño y respuesta construida. La prueba
CLA+ se aplicó en programas que actualmente no tienen exámenes de egreso y
recibió una amplia participación en muchas disciplinas y campus en una
universidad pública estatal. Un resultado principal corrobora la brecha existente
entre los estudiantes de mejor rendimiento en los campus metropolitanos y los
estudiantes de bajo rendimiento de los sitios regionales socioeconómicamente
desfavorecidos. Sin embargo, ciertos programas educativos van en contra de
esta disparidad, generando mejores resultados. Profundizar nuestra comprensión
de los contextos específicos que producen estos diferentes resultados nos
permitirá aprender de las prácticas más efectivas y mejorar los resultados del aprendizaje.
212 ÿ
Educación superior mexicana: disparidades socioeconómicas y cognitivas
El sistema de educación superior en México es complejo, debido a la diversidad social y regional del país.
Por lo tanto, los resultados de aprendizaje deben analizarse con referencia al contexto nacional, al sistema educativo
en general ya las variables endógenas a cada nivel y subsistema educativo. La recesión económica mundial y el
COVID-19 han dejado a la mitad de la población de México en la pobreza con aumentos predecibles en la
desigualdad educativa, digital, cognitiva y humana. Los desafíos se han vuelto más agudos para las instituciones de
educación superior (IES) en una variedad de temas: gobernanza; la adquisición y distribución justa y transparente
de los recursos financieros; calidad; y el desarrollo de capacidades para consolidar logros y superar con éxito nuevos
problemas.
México es un país de gran riqueza y diversidad. Su producto interno bruto (PIB) se ubica como el decimoquinto más
alto del mundo (Banco Mundial, 2021[1]). Sin embargo, sufre una enorme desigualdad: dos tercios de su riqueza se
concentran en el 10 % de las familias del país (CEPAL, 2017[2]), estadística que lo ubica entre el 25 % de las
naciones con los niveles más altos de desigualdad en el mundo (Oxfam, 2018[3]). La pobreza es una realidad
ineludible que es responsable de un creciente y preocupante abismo de desigualdad. En la presentación del informe
de América Latina 2020, la directora de la Comisión Económica para América Latina y el Caribe (CEPAL) afirma
que, debido a la crisis del COVID-19, México se ubica ahora como el cuarto país más alto de la región en términos
de de número de habitantes que viven en pobreza y pobreza extrema (Villanueva, 2021[4]). El informe señala que
de 2019 a 2020 la pobreza aumentó 9.1%, afectando al 50.6% de la población o 63.8 millones de mexicanos; la
pobreza extrema creció 7,7% para representar el 18,3% de la población, equivalente a 23,2 millones de personas
(CEPAL, 2021[5]). Según el Banco Mundial (2020[6]), la pobreza extrema se define como tener que vivir con menos
de USD 1,90 por día.
Esta disparidad económica tiene repercusiones en la educación. En 2020, el 49.3% de la población mexicana mayor
de 15 años solo tenía un nivel básico de educación (INEGI, 2020a[7]). La tasa de analfabetismo en México es de
4.7%, casi 6 millones de personas (INEGI, 2020b[8]). El panorama es aún más sombrío cuando se toman en cuenta
factores como los hábitos lectores y la comprensión: de la población que sabe leer, solo una cuarta parte comprende
completamente lo que lee (INEGI, 2020c[9]). Los resultados del Programa para la Evaluación Internacional de
Estudiantes (PISA) son bien conocidos, pero aunque los resultados generales de 2018 en matemáticas, lectura y
ciencias están por debajo de la media de los países miembros de la Organización para la Cooperación y el Desarrollo
Económicos (OCDE), México ha demostrado una estabilidad en sus resultados desde 2003 que podría enmascarar
tendencias hacia una disminución de la disparidad en los resultados: “El nivel de puntos alcanzado por al menos el
90% de los estudiantes en México mejoró en 5 puntos por cada trienio, en promedio , en cada una de las tres áreas principales”
(OCDE, 2018[10]). Además, solo el 23 % de la población entre 25 y 34 años tiene un título de educación superior,
mientras que el promedio de los países de la OCDE es del 44 % (OECD, 2019a[11]).
Las realidades digitales exacerban la disparidad
La disparidad educativa amplifica la disparidad digital y viceversa. Los resultados recientes de un estudio sobre el
impacto del COVID-19 en la educación (INEGI, 2021[12]) revelan una disminución en el nivel de matrícula para el
año académico 2020/21 en 5,2 millones en todos los niveles educativos. Hay una variedad de razones para esto,
que incluyen principalmente: disgusto por las clases en línea; falta de una computadora o conexión a Internet;
desempleo de uno u otro de los jefes de hogar; y la necesidad de dedicarse al trabajo lucrativo. La pandemia dejó en
claro la necesidad de mejorar la alfabetización digital y los métodos de enseñanza activa. El Programa de las
Naciones Unidas para el Desarrollo (PNUD) calculó una reducción del 15,6 % en las matriculaciones de nivel
universitario para 2020/21, de más de 3,8 millones de estudiantes en 2019/20 a poco más de 3,2 millones proyectados
para 2020/21 (PNUD, 2020[13] ). Esta es una caída de más de medio millón de estudiantes, según estadísticas de
la Secretaría de Educación Pública (SEP). La disparidad digital también afecta la educación. En México solo el
56.4% de los hogares cuenta con conectividad a Internet (INEGI, 2020d[14]) y solo el 11.2% de los de mayor
ÿ 213
los estudiantes de educación cuentan con una computadora de escritorio, con preferencia por las laptops (55,7%) y los teléfonos
inteligentes (31,8%).
Estas brechas educativas y digitales implican una disparidad cognitiva. Un bajo nivel de alfabetización no permite que la información a la
que se accede fácilmente y se ve en varios medios sea absorbida, interpretada y utilizada hábilmente. Esto tiene un efecto nocivo en la
forma en que se ejercen los pensamientos y las acciones. Como señala Pozo: “…quien no puede acceder a las diferentes formas culturales
de representación simbólica (numérica, artística, científica, gráfica, etc.) se encuentra empobrecido social, económica y culturalmente, así
como abrumado, confundido y desconcertado por la avalancha de información que no puede traducirse en conocimiento” (Pozo, 2006[15]).
La educación superior en México: un sistema complejo
Este es el contexto en el que se ha desarrollado la educación superior en México. Es un sistema complejo por su tamaño, diversidad
regional y 13 subsistemas. Los subsistemas incluyen universidades públicas estatales y nacionales; instituciones interculturales; institución
tecnológica y politécnica; instituciones solidarias y privadas; institutos técnicos federales descentralizados; centros públicos de investigación;
y escuelas públicas y privadas para la formación de maestros de primaria. Este complejo sistema genera factores que complican la
gobernanza, el financiamiento y las capacidades institucionales.
Según la Dirección General de Planeación, Programación y Estadística Educativa de la SEP (Dirección General de Planeación,
Programación y Estadística Educativa [Dirección General de Planeación, Programación y Estadística Educativa del Ministerio de Educación
Pública de México], 2020[16]), la matrícula total en la educación superior para 2019/20 estuvo por encima de los 4,9 millones de
estudiantes, con un 64% en colegios públicos versus un 36% en privados. Entre los diferentes subsistemas, la combinación de
universidades públicas e institutos tecnológicos representó casi el 60% de la matrícula total y el 92% del subtotal de educación pública. La
matrícula en las universidades estatales superó los 1,25 millones o el 43% de todo el sistema de universidades e institutos públicos; el de
las universidades federales -algo más de medio millón de estudiantes- representa el 20% del total. En México existen un total de 591
universidades e instituciones públicas, de las cuales 341 son universidades y 250 son institutos tecnológicos. Estas IES son cruciales para
el sistema y enfrentan tremendos desafíos para garantizar la excelencia educativa.
Construir el acceso y la calidad de la educación superior
Durante más de dos décadas, las políticas nacionales se han orientado a aumentar el acceso a la educación superior.
Estos han resultado en una tasa de cobertura bruta de 38,4 %, que es 10 puntos porcentuales por debajo de los países de América Latina
y más de 30 puntos porcentuales por debajo del promedio de los países miembros de la OCDE (ANUIES, 2018[17]). Si bien se ha
incrementado el acceso, también es importante considerar el tema de la calidad en la educación. El estudio de Ferreyra et al. (2017[18])
informa que en América Latina la tasa de acceso a la educación superior para personas entre 18 y 24 años ha aumentado considerablemente
y
estima que aproximadamente 3 millones de estudiantes, el 45% del aumento total de la matrícula, provienen de entornos desfavorecidos
y, por lo tanto, están académicamente menos preparados. Su informe señala la existencia de una tasa de deserción temprana del 35%
durante el primer año, asociada a bajos niveles en el desarrollo de las capacidades cognitivas de estos alumnos.
El sistema también “carece de diversidad de campos y niveles de estudio”, ya sea en términos de disciplinas específicas o áreas
interdisciplinarias. “Más de un tercio de los estudiantes están matriculados en administración de empresas y derecho”. (OCDE, 2019a[11]).
Necesita mejorar tanto en competencias generales como específicas, así como en fomentar el desarrollo de las “soft skills” a través de
métodos de aprendizaje activo que tanto valoran los empresarios.
214 ÿ
A lo largo de cuatro gobiernos, México ha implementado políticas educativas de calidad con un fuerte apoyo de la
Asociación Nacional de Universidades e Instituciones de Educación Superior (ANUIES). Las universidades
públicas estatales han respondido positivamente, sobre todo porque han podido acceder a fondos adicionales
para fortalecer las instituciones y la infraestructura; proporcionar becas para estudiantes para viajes e investigación;
y llevar a cabo investigaciones, aunque muchas han terminado recientemente. El primer paso fue introducir planes
de diseño para la educación superior y luego iniciar procesos de revisión externa. Las instituciones emblemáticas
son los Comités Interinstitucionales para la Evaluación de la Educación Superior (CIEES); el Consejo para la
Acreditación de la Educación Superior (COPAES) y sus organizaciones afiliadas; el Centro Nacional para la
Evaluación de la Educación Superior (CENEVAL); el extinto Instituto Nacional para la Evaluación de la Educación
(INEE); y las Comisiones Estatales Individuales de Planificación de la Educación Superior (COEPES), que se
establecieron en todo el país.
Evaluación de los resultados del aprendizaje
Las políticas de mejora de la calidad implementadas por las administraciones federales hace dos décadas crearon
el contexto político para evaluar los resultados del aprendizaje por medio de la prueba CLA+. En esta institución
se habían introducido procesos de evaluación con repercusiones positivas para los requisitos de admisión y
graduación, y evaluación y acreditación de la oferta educativa. Por otro lado, entre las tendencias internacionales
en educación, la evaluación de los resultados de aprendizaje apareció como un indicador de tercera generación
para los procesos de acreditación de la calidad. Los administradores de esta institución se involucraron en muchas
experiencias que ofrecieron conocimientos sobre focos e instrumentos para la evaluación. Esto contribuyó a
facilitar la participación comunitaria en nuevas formas de evaluación de resultados educativos como CLA+.
La institución en cuestión es propia del subsistema de universidades públicas estatales. Aunque goza de
autonomía administrativa, su financiamiento proviene principalmente de los gobiernos estatal y federal. Es una
institución masiva en términos de inscripción y tiene campus tanto en la ciudad capital del estado como en varias
ubicaciones regionales en todo el estado. Si bien lleva a cabo muchas funciones (enseñanza, investigación y
extensión), su énfasis particular está en la enseñanza. Los estudiantes que aspiran a la admisión deben presentar
un examen de aptitud, el cual se considera junto con sus promedios de secundaria. La admisión se otorga en
función del cupo disponible en cada programa educativo (PE) y los puntos obtenidos en el proceso de selección.
Esta institución inició sus procesos de evaluación externa en 1991, poco tiempo después de la creación del CIEES
a nivel nacional. Para el 2004 había formalizado su política a través del establecimiento de un fondo institucional
para sufragar los costos de las pruebas de evaluación, acreditación y resultados de aprendizaje. Tres años
después constituyó el Comité de Pares para la Autoevaluación Institucional y para 2012 inició sus procesos de
acreditación por medio de organismos internacionales.
La institución comenzó a evaluar los resultados de aprendizaje en 2005 como parte de sus políticas para mejorar
la calidad. Lo hizo inicialmente a través del Examen General de Egreso de Grados (EGEL), que es implementado
a nivel nacional por el CENEVAL. Cuando la Subsecretaría de Educación Superior de la SEP implementó
posteriormente el estudio de factibilidad de la OCDE Evaluación de los Resultados de Aprendizaje de la Educación
Superior (AHELO) a nivel nacional, esta institución participó.
Lo que mostró el estudio AHELO fue que, aunque la medición de las habilidades generales es un buen indicador
de la aplicabilidad en el lugar de trabajo, es importante combinarla, cuando sea posible, con una evaluación de
habilidades específicas. Adicionalmente, se observó que la tarea de testear despertó entusiasmo en la comunidad
académica, lo que podría ser aprovechado en la docencia y futuras evaluaciones. Una actividad fruto de la
participación de esta institución en el estudio AHELO fueron los talleres sobre tareas basadas en el desempeño
que ofreció a los docentes el Council for Aid to Education (CAE), con sede en Estados Unidos. Estos talleres
constituyeron la base para el desarrollo de un estudio piloto en cuatro campus regionales con bajos resultados de
aprendizaje. La intención era que los estudiantes de primer año realizaran cursos básicos que
ÿ 215
llevarlos a un nivel aceptable, con lecciones concentradas en tareas basadas en el desempeño para desarrollar sus habilidades
cognitivas. Los resultados de estos fueron positivos y se publicaron en Rosas y Silva (2019[19]).
Además, esta institución participó en un proyecto a nivel nacional convocado por la Dirección General de Formación Superior
Universitaria de la SEP. El proyecto, denominado Desarrollo y Evaluación de Competencias para el Aprendizaje en la Educación
Superior (DESCAES), midió el valor agregado de las IES a las competencias de manejo de la información, resolución de
problemas, comunicación, metacognición y autorregulación. Las herramientas fueron diseñadas en 2014 y 2015; se aplicaron
inicialmente en 2016, con una segunda aplicación en 2019.
Los argumentos a favor de la evaluación continua de los resultados de aprendizaje mediante la prueba CLA+ fueron:
1. El Examen de Graduación para Grados (EGEL) no cuenta con pruebas para todos los programas educativos de la
institución. En ese momento, 71 de sus 214 programas no tenían EGEL relacionado.
2. Existen 17 carreras de grado que son de carácter multidisciplinario o interdisciplinario y no pueden ser debidamente
evaluadas por EGEL, que está estructurado para una sola disciplina.
3. Más del 40% de los programas de pregrado no habían estado evaluando sus resultados, lo que resultó
en dos situaciones:
a) Las comparaciones entre los departamentos de la institución no fueron confiables porque hay ciertos campus donde
la prueba EGEL solo se aplicó en uno o dos programas mientras que en otros centros se aplicó en todos y cada uno
de los programas.
b) Algunos coordinadores de área comentaron que el nivel de trabajo estaba injustamente distribuido entre los
programas sujetos a evaluación de resultados de aprendizaje y los que no.
4. El costo de la prueba CLA+ aplicada en todos los ámbitos sería comparable al del EGEL.
En consecuencia, adoptar el modelo CLA+ sería una mejor inversión institucional para la evaluación de la totalidad de
los programas de pregrado.
5. El CLA+ ofrece la posibilidad de realizar estudios de valor añadido. La institución podría ponerlos a disposición sin un
costo desorbitado si las pruebas de admisión fueran realizadas por el CAE. El costo sería cubierto por las cuotas
pagadas por los estudiantes, mientras que los exámenes de egreso serían absorbidos por el fondo institucional de la
universidad.
Implementación de las pruebas CLA+
No todos los centros del campus de la universidad estaban dispuestos a participar, especialmente aquellos donde prácticamente
todos los programas ya tenían pruebas EGEL. También hubo falta de entusiasmo, incluso en los centros sin pruebas EGEL en
la mayoría de los programas, ya que tendrían que establecer estructuras y logística para realizar las pruebas CLA+. El acuerdo,
finalmente, fue que participarían los programas sin pruebas EGEL. Para ello, se autorizó un fondo para iniciar el nuevo modelo
de pruebas.
La participación varió en cada campus donde se implementó la prueba. Se realizaron tres sesiones de pruebas por semestre
con un total de 8 577 pruebas, de las cuales 2 176 fueron aplicadas a estudiantes egresados. El resto se administró a estudiantes
de primer año recién matriculados, con la idea de administrar posteriormente exámenes de egreso para evaluar el valor agregado
de sus programas educativos. La Tabla 14.1 muestra los datos de las pruebas.
216 ÿ
Tabla 14.1. Desglose numérico de las pruebas de CLA+ por administración
2017 2018 2018

2do semestre 1er semestre 2do semestre
Campus 14 13 13
Programas educativos 55 53 59
Exámenes de salida 665 717 594
Exámenes de ingreso 1 927 1 819 2 655
TOTAL de Pruebas Aplicadas 2 592 2 536 3 249
coordinadores 14 13 13
Personal de aplicación de prueba 89 80 77
El proceso de implementación contempló las siguientes etapas:
1. Establecimiento de laboratorios cognitivos para la traducción y adaptación cultural de las pruebas
2. Garantizar un número suficiente de coordinadores de implementación y personal de aplicación de prueba, así como
como entrenamiento para ellos
3. Administración de pruebas en la plataforma CAE
4. Recibir los resultados de las pruebas del CAE y procesarlos estadísticamente para la junta de gobierno.
evaluación y ratificación
Hubo algunas objeciones a la prueba CLA+, que tenían que ver con la carga de trabajo adicional y el personal limitado. Esto fue
especialmente cierto en los sitios regionales con menos personal. También hubo preocupaciones sobre el alto costo de evaluar los
resultados del aprendizaje. Esto requeriría financiamiento gubernamental, que puede sufrir una falta de continuidad cuando ocurren
cambios en las administraciones.
En general, sin embargo, los diferentes participantes dieron una opinión generalmente positiva de la implementación de CLA+. Para la
junta de gobierno, esta prueba introduce nuevas formas de evaluación, con la eventual posibilidad de comparar el desempeño de los
estudiantes de otras instituciones en otros países. También proporciona una evaluación de los programas que carecían de pruebas
EGEL. Los coordinadores logísticos y los profesores administradores consideraron que esta nueva prueba despertó entusiasmo entre
los estudiantes que las tomaron.
Finalmente, los estudiantes que respondieron a la breve encuesta sobre la prueba CLA+ en general fueron positivos al respecto.
Sin embargo, algunos respondieron que no se esforzaron al máximo porque las pruebas no eran obligatorias y no estaban incluidas
en el plan de estudios de su programa. Otros afirmaron que la prueba requería mucha reflexión y resultó estresante por ese motivo.
Algunos resultados: disparidades desafiantes, una vez más
Aunque no se había llevado a cabo un muestreo para garantizar la representatividad, la cantidad de pruebas que se aplicaron en una
amplia variedad de campus y programas educativos confirmó las disparidades entre los campus metropolitanos y los regionales. Si
bien aquí ha mejorado el acceso a la educación superior de un mayor número de jóvenes de estos sectores regionales desatendidos,
sus menores niveles de desempeño cognitivo ponen en peligro su capacidad para permanecer en la escuela y concluir con éxito sus
estudios.
La disparidad también se refleja en toda la gama de programas educativos (PE). Sin embargo, hay resultados
mostrando que el contexto no es el destino. Y también hay resultados que nos empujan a reflexionar sobre el diseño mismo de los
propios programas educativos y las formas en que se está enseñando la materia.
ÿ 217
Método de análisis
Nuestro análisis de los resultados del aprendizaje involucró estimaciones de la función de densidad de probabilidad (PDF)
y la comparación entre densidades, con un nivel de confianza del 95 %. La razón para seleccionar esta opción analítica
es que, en muchos casos, la simple comparación de promedios es ineficiente porque presupone una normatividad que no
siempre es una realidad. O porque las mediciones como coeficiente de variación o grado de efecto podrían ser
insuficientes para determinar el promedio estimado y la variación en las lecturas de interés.
Es importante señalar que estos resultados corresponden únicamente a los exámenes de egreso de los egresados y no
son representativos del desempeño global de la institución, dado que no se seleccionaron muestras representativas en
ningún nivel.
Así, comenzamos nuestro análisis a partir de los resultados generales representados en la Figura 14.1, en la que se
pueden observar cuatro gráficas de densidades de probabilidad de las puntuaciones obtenidas por los alumnos
participantes para toda la base de datos (figura superior) y, por separado (figuras inferiores), para los estudiantes que
realizaron la prueba CLA+ durante el segundo semestre de 2017 (Figura 14.1, 17B), el primer semestre de 2018 (Figura
14.1, 18A) y el segundo semestre de 2018 (Figura 14.1, 18B).
Figura 14.1. Densidades de probabilidad de puntos, agrupadas y separadas por semestre académico
En la misma Figura 14.1 se pueden observar, a partir de las líneas verticales punteadas, los niveles de destreza para las
habilidades evaluadas y el porcentaje de estudiantes que alcanzó cada uno de estos niveles: el 2% alcanzó “Avanzado”
y los niveles de mayor probabilidad fueron “Básico ”, con 37%, y “Competente”, con 31%. No hubo diferencias significativas
entre las competencias observadas a lo largo de los tres semestres académicos durante los cuales se realizaron las
pruebas.
De los resultados obtenidos en otras pruebas que brinda la institución, como las pruebas de aptitud de admisión y los
exámenes de egreso EGEL, el rendimiento de los estudiantes en los campus metropolitanos es generalmente más alto
que el de los estudiantes en los centros regionales rurales. Por ello, se procedió a observar los datos desagregados por
tipo de recinto. En la Figura 14.2 vemos que los estudiantes de los sitios metropolitanos superaron a los de los sitios regionales
218 ÿ
en los niveles de “Competente”, “Completado” y “Avanzado”, mientras que los estudiantes de sitios regionales tenían mayor
probabilidad que los de sitios metropolitanos para probar en los niveles de “Básico” y “Por debajo del básico”.
Esta diferencia se puede atribuir a varios factores, que van desde los estratos socioeconómicos hasta los niveles de oferta y
demanda educativa. Los factores socioeconómicos incluyen los estratos de las familias de los estudiantes y la disponibilidad
de personal altamente calificado y bibliotecas y centros de computación bien equipados en los diferentes campus. Con
respecto a las cuestiones de oferta y demanda, si el número de estudiantes que desean ingresar a la educación superior no
excede el número de cupos de admisión, un campus determinado bien podría admitir a todos los interesados. Pero cuando
la demanda de admisión supera la oferta de cupos disponibles, existe la posibilidad de seleccionar estudiantes de mayor
rango, lo que se traduce en mejores perfiles académicos para el estudiante promedio en esos sitios.
Figura 14.2. Contraste de densidades de probabilidad de puntajes, agrupados por dependencias

metropolitanas y regionales
Adicionalmente, implementar un análisis comparativo entre las 14 dependencias institucionales –

cinco metropolitanos, ocho regionales y un sitio virtual – los ordenamos en desempeño promedio descendente, donde 1 es
el valor de puntaje promedio más alto y 14 es el más bajo. Así, en la Figura 14.3 observamos el desempeño de los estudiantes
en los sitios metropolitanos. Se tomó como base el nivel de puntos de los estudiantes del sitio Metro_1 (la dependencia
institucional con mayor promedio) y se brindan contrastes con los estudiantes de los sitios Metro_2 (Figura 14.3A), Metro_3
(Figura 14.3B), Metro_5 (Figura 14.3C) y Metro_10 (Figura 14.3D). Además, para resaltar las diferencias observadas en la
Figura 14.3, en la Tabla 14.2, mostramos los porcentajes de estudiantes en cada nivel de dominio y para cada dependencia.
ÿ 219
Figura 14.3. Contraste de densidades de probabilidad de puntajes, agrupados por dependencias metropolitanas
Tabla 14.2. Porcentajes de estudiantes en cada nivel de dominio, por sitio
Niveles yo Yo tercero IV V
Metro_1 4% 23% 35% 29% 9%
Metro_2 13% 31% 33% 18% 5%
Metro_3 9% 33% 39% 17% 2%
Metro_5 7% 37% 41% 13% 2%
Metro_10 26% 38% 29% 6% 1%
Por lo tanto, en la Figura 14.3 y la Tabla 14.2, vemos que los estudiantes de Metro_1 muestran un mejor desempeño
en comparación con los estudiantes de Metro_2, Metro_3, Metro_5 y Metro_10, principalmente en las categorías
“Logro” y “Avanzado”. En la categoría “Competente”, Metro_3 y Metro_5 tienen mejores resultados que Metro_1
mientras que Metro_1 y Metro_2 muestran resultados similares, y Metro_1 es considerablemente superior a
Metro_10. Que D1 tenga el mejor desempeño es consistente con los resultados de la prueba EGEL para el resto
de los programas educativos de ese sitio, pero también es un sitio con mucha más demanda que oferta, lo que
explica que los estudiantes admitidos en ese sitio tengan niveles mucho más desarrollados de habilidades
cognitivas. El caso de Metro_5 solo refleja uno de sus programas educativos, que no tiene una prueba EGEL relacionada.
Sin embargo, D5 es un sitio con un comportamiento similar a Metro_1 en términos de estudiantes admitidos y su
desempeño medido en la prueba EGEL. Metro_3 es el único sitio en el que todos sus programas educativos
aplicaron la prueba CLA+ porque solo dos de sus programas aplicaron pruebas EGEL a los estudiantes que se
graduaban. Las disciplinas que se ofrecen en este sitio corresponden principalmente al campo de las artes, pero
también hay más demanda de ingreso que oferta de espacios disponibles, lo que garantiza una selección de
estudiantes con mejores perfiles. Si bien Metro_10 refleja niveles de desempeño similares a los de los sitios
regionales, incluso, en algunos casos, por debajo de algunos de ellos, este sitio solo participó con dos de sus
programas; el resto de sus programas aplican las pruebas EGEL con mejores niveles de desempeño que los dos
programas aquí medidos. Además, debido al tipo de programas que ofrece, habitualmente admite a todos los
aspirantes a admisión, independientemente de sus niveles de desempeño en las pruebas de admisión.
La Figura 14.4 muestra el desempeño del sitio metropolitano Metro_1 (con mejor desempeño) junto con el de
Virtual_4 (un sitio virtual para el aprendizaje en línea). En el nivel “Avanzado”, los estudiantes de Virtual_4
obtuvieron los puntajes más altos, mientras que los estudiantes de Metro_1 superaron la probabilidad en los niveles
“Competente” y “Completado”. En los niveles “Por debajo del básico” y “Básico”, los estudiantes de Virtual_4
superaron en probabilidad a los estudiantes de Metro_1. Este resultado podría explicarse por el hecho de que el sitio en línea admit
220 ÿ
prácticamente todos sus aspirantes, incluidos muchos que son estudiantes más maduros y con un alto grado de
autodirección.
Figura 14.4. Contraste de densidades de probabilidad de las puntuaciones obtenidas por los alumnos
participantes de las dependencias Metro_1 y Virtual_4.
Aunque la performatividad entre los sitios regionales es bastante similar, la Figura 14.5 muestra las densidades de
probabilidad de los puntos obtenidos por los estudiantes en los sitios regionales que tienen los mejores (Regional_6) y
peores (Regional_13 y Regional_14) resultados en las pruebas. El mayor número de resultados en la categoría "Por
debajo del básico" se produce en el sitio Regional_14 (Figura 14.5A), con aproximadamente el 50 % de los estudiantes
en la prueba más baja de las cinco categorías. Tanto Regional_13 como Regional_14 muestran resultados similares
(Figura 14.5B), con la mayor proporción de estudiantes apareciendo en el lado izquierdo del gráfico. Estos sitios admiten
prácticamente a todos los aspirantes, independientemente de los resultados de las pruebas de admisión, especialmente
en el caso del área donde se encuentra el sitio Regional_13, una región que incluye algunos municipios con 30-40% de
su población viviendo en condiciones de pobreza extrema.
Figura 14.5. Contraste de densidades de probabilidad de puntajes, agrupados por sitios de campus regionales
En la vista combinada de la Figura 14.6, vemos de un vistazo los contrastes entre los estudiantes de Metro_1 (el
promedio más alto de sitios metropolitanos), Metro_10 (el promedio más bajo de sitios metropolitanos), Regional_6 (el
promedio más alto de sitios regionales) y Regional_14 (el promedio más bajo de los sitios regionales). El gráfico de la
figura 14.6C muestra la similitud de rendimiento entre el sitio metropolitano más bajo (Metro_10) y el sitio regional más
alto (Regional_6). Esto se ve reforzado por el gráfico de la figura 14.6A, que muestra la
ÿ 221
disparidad entre los niveles más altos y más bajos de los sitios metropolitanos. En la Figura 14.6B podemos comparar
los promedios más altos de los mejores sitios metropolitanos y regionales; este gráfico muestra un comportamiento
comparable con el que se muestra en la figura 14.6A. La mayor disparidad se revela en la Figura 14.6D, en la que se
muestra el sitio metropolitano más alto (Metro_1) contra el sitio regional más bajo (Regional_14).
Figura 14.6. Contraste de densidades de probabilidad de las puntuaciones más altas y más bajas para las
dependencias metropolitanas y regionales
Sabemos que a nivel micro existen condiciones particulares en los programas educativos (PE) que pueden contribuir
a que el desempeño general de cada sitio sea mejor o peor. De la misma forma que los sitios, ordenamos los
programas educativos en desempeño promedio descendente, donde EP1 es el valor de puntaje promedio más alto y
EP52 es el más bajo. Por lo tanto, hemos hecho comparaciones por EP para los sitios metropolitanos. La Figura 14.7
presenta una comparación de los datos de EP1, EP2, EP10, EP16 y EP46.
En la figura 14.7A vemos resultados algo paralelos. Si bien los puntos porcentuales de los alumnos de EP1 superan
a los de los alumnos de EP2 en los niveles “Completado” y “Avanzado”, cabe señalar que ambos EP se imparten en
el mismo sitio (Metro_1) y pertenecen al mismo campo de conocimiento: Ciencias. El gráfico 14.7B muestra la similitud
de resultados en EP10 (área de Servicios) y EP16 (área de Ciencias), que también se dan en un mismo sitio (Metro_3).
Por otro lado, el gráfico 14.7C muestra EP10 (campo de Servicios) en el sitio Metro_3 junto con EP46 (campo de
Ciencias) en el sitio Metro_2, revelando que EP46, aunque se ofrece en un sitio metropolitano, muestra un desempeño
similar al nivel más bajo. EPs entre los sitios regionales. El Gráfico 14.7D destaca la enorme diferencia en los
resultados entre EP1 y EP46, a pesar de que ambos se impartieron en los sitios metropolitanos (Metro_1 y Metro_2,
respectivamente) con los promedios de puntos generales más altos y segundos más altos entre todos los sitios
participantes.
222 ÿ
Figura 14.7. Contraste de densidades de probabilidad de los puntajes de los estudiantes participantes,
agrupados por programa educativo (PE) en las dependencias metropolitanas
En la Figura 14.8 comparamos el desempeño por EP en todo tipo de sitios para los siguientes programas: EP1, EP9,
EP38, EP46 y EP52. Las asignaciones numéricas se basan en promedios de puntos, de modo que EP1 fue el
programa con la puntuación más alta y EP52 la más baja.
Figura 14.8. Contraste de densidades de probabilidad de puntajes por EP en dependencias

metropolitanas y regionales
En el gráfico que se muestra como Figura 14.8D, lo que se destaca es la diferencia entre EP1 (sitio metropolitano -
campo de la ciencia) y EP52 (sitio regional - campo de la agricultura). Más del 50 % de los estudiantes de EP52 se
concentran en el nivel más bajo, “por debajo del básico”, mientras que ocurre lo contrario en EP1, donde más del 50 % de
los estudiantes se encuentran dentro de los tres niveles más altos: “Competente”, “Completado” y “Avanzado”.
Además, la Figura 14.8A revela que al comparar EP1 con EP9 (sitio regional – campo de Servicios), aunque EP1
muestra un mejor desempeño, la diferencia no es abrumadora a pesar de las disparidades existentes entre los sitios
metropolitanos y regionales. En la Figura 14.8B hay una comparación entre EP46 (sitio metropolitano –
ÿ 223
campo de Ciencias), que tuvo el promedio más bajo entre todos los PE dados en los sitios metropolitanos, y EP52 (sitio
regional - campo de Agricultura), que tuvo el promedio más bajo entre los dados en los sitios regionales. Aquí podemos
ver que, a pesar de que ambos son el promedio más bajo de su respectivo tipo de sitio, la disparidad entre ubicaciones
geográficas continúa apareciendo como un factor importante. Finalmente, la figura 14.8C muestra un gráfico que nos
permite comparar los resultados de un EP que se ofrece tanto en sitios metropolitanos como regionales:
Campo de agricultura. A pesar de que el rendimiento en ambas ubicaciones fue bajo, el rendimiento en el sitio
metropolitano no fue tan bajo como en el sitio regional.
Principales conclusiones sobre estos hallazgos
Si bien este no es un estudio comparativo, en el análisis de las respuestas de los estudiantes a la prueba CLA+
encontramos diferencias importantes en su desempeño por campus y entre EP. Estas diferencias pueden atribuirse a
diferentes factores. El primer factor es la ubicación geográfica que confirma la superposición de la brecha económica a la
brecha educativa. La disparidad de condiciones sociales y económicas entre organismos regionales y metropolitanos, en
algunos casos esta brecha es muy evidente entre familias de altos y bajos ingresos. Los alumnos de los campus
regionales, donde el contexto económico es más precario, obtienen puntuaciones más bajas en promedio, mientras que
en los campus metropolitanos obtienen puntuaciones más altas. Esto también ocurre generalmente en el análisis basado
en PE, los PE adscritos a los sitios metropolitanos toman las primeras posiciones en el ranking, aunque algunos de los
PE en los campus regionales logran una clasificación alta, pero estas son excepciones.
Un segundo factor es la oferta y demanda de estos programas. En los sitios metropolitanos, generalmente, la demanda
supera la oferta; por tanto, la disponibilidad de plazas en cada campus deja abierta la posibilidad de seleccionar a los
alumnos con mayor puntuación de acceso. Sin embargo, los resultados también muestran, como excepción, que algunos
de los EP regionales tuvieron un buen desempeño no tan relacionado con la disponibilidad de plazas.
A través del análisis de estas respuestas no pudimos responder a algunas de las inquietudes como las diferencias en el
desempeño de los campus metropolitanos 1 y 10; o entre EP regionales y metropolitanos.
Sin embargo, a través de estas pistas, mirando hacia el futuro, podría ser posible realizar estudios comparativos para
explorar en profundidad las causas de estas diferencias; esto podría constituir una herramienta importante para mejorar
el desempeño en cada EP y en todos los campus.
Lo que aprendimos de los resultados de CLA+
A pesar de la brecha entre los sitios metropolitanos y regionales, existen otras variables que ayudan a explicar los mejores
o peores desempeños en los programas educativos. Consideramos indispensable emprender más y más profundamente
estudios con el fin de comprender plenamente estas variables. Las variables podrían estar relacionadas con el propio
diseño de los programas educativos. Esta es una conclusión provisional que puede extraerse de los resultados de las
pruebas del EP impartidas en cinco sitios diferentes, todos los cuales demostraron niveles de desempeño deficientes,
aunque con resultados marginalmente menos deprimentes en el sitio metropolitano. Las variables también pueden incluir
la preparación del cuerpo docente, dado que hemos observado que los sitios regionales geográficamente más cercanos
al área metropolitana obtienen algún beneficio de los miembros del cuerpo docente con base metropolitana, quienes
generalmente no tienen dificultad en viajar una hora más o menos para enseñar algunos cursos en sitios regionales
cercanos. Adicionalmente, se requiere analizar los demás recursos con los que cuentan los programas educativos para
su labor a fin de comprender en qué medida estos pueden haber influido en los resultados de aprendizaje resultantes.
Finalmente, comprender los resultados obtenidos para cada habilidad, en particular, permitirá desarrollar un plan de
intervención para mejorar la instrucción.
Nuestra posición es que todas las evaluaciones implican lecciones aprendidas porque una vez que detectamos aspectos
que no están funcionando aunque sea en un nivel mínimo, claramente se hace necesario intervenir para mejorarlos. Tal
224 ÿ
la intervención, sin embargo, no es posible sin antes aprender más sobre sus contextos específicos. La evaluación
actual nos ha dado una pauta para iniciar estudios sobre el valor agregado de la educación superior. Las pruebas
de admisión ya se han realizado y estamos en el punto en que requerimos la aplicación de pruebas de salida.
Si bien existe incertidumbre por las restricciones económicas actuales, sabemos que existe una disposición
positiva entre los directores institucionales para continuar con las evaluaciones de los aprendizajes. Lo que resta
por hacer es asegurar que las pruebas continúen, que se profundicen los estudios de los programas educativos
aquí analizados y que se encuentren mecanismos institucionales que garanticen la continuidad de las
evaluaciones de los resultados de aprendizaje.
ÿ 225
Referencias
ANUIES (2018), Visión y acción 2030 Propuesta de la ANUIES para renovar la educación superior [17]
en México, ANUIES, México, http://www.anuies.mx/media/docs/avisos/pdf/
VISION_Y_ACCION_2030.pdf.
Dirección General de Planeación, Programación y Estadística Educativa (2020), Principales cifras del [dieciséis]
sistema educativo nacional” , https:/ /www.planeacion.sep.gob.mx/Doc/estadistica_e_indicadores/

principales_cifras/principa
les_cifras_2019_2020_bolsillo.pdf.
CEPAL (2021), Panorama Social de América Latina: 2020, Comisión Económica de las Naciones Unidas [5]
para América Latina y el Caribe, Santiago, http://
www.cepal.org/sites/default/files/publication/files/46688/S2100149_en.pdf.
CEPAL (2017), Panorama Social de América Latina: 2016, Comisión Económica de las Naciones Unidas [2]
para América Latina y el Caribe, Santiago, http://
www.cepal.org/sites/default/files/publication/files/41599/S1700566_en.pdf.
Ferreyra, M. et al. (2017), En una encrucijada: la educación superior en América Latina y el [18]
Caribe, https://doi.org/10.1596/978-1-4648-1014-5.
INEGI (2021), Encuesta para la Medición del Impacto COVID-19 en la Educación (ECOVID-ED), Presentación [12]
de resultados. Instituto Nacional de Estadística y Geografía [Encuesta para Medir el Impacto del
COVID-19 en la Educación (ECOVID-ED). Informe de resultados. Instituto Nacional, https://
www.inegi.org.mx/contenidos/investigacion/ecovided/2020/doc/ecovid_ed_2020_prese
ntacion_resultados.pdf (consultado el 18 de marzo de 2021).
INEGI (2020b), Analfabetismo, http:// [8]

cuentame.inegi.org.mx/poblacion/analfabeta.aspx?tema=P.
INEGI (2020a), Características educativas de la población. [7]

población], https://inegi.org.mx/temas/educacion/.
INEGI (2020d), “Estadística a propósito del día mundial del internet (17 de mayo) datos [14]
nacionales”, Comunicado de prensa núm. 216/20, vol. 2019, http://
www.inegi.org.mx/contenidos/saladeprensa/aproposito/2020/eap_internet20.pdf
INEGI (2020f), Población, http://www.inegi.org.mx/temas/estructura/. [20]
INEGI (2020c), comunicado de prensa nro. 158/20, [9]

http://www.inegi.org.mx/contenidos/saladeprensa/boletines/2020/EstSociodemo/MOLEC2019
_04.pdf. (consultado el 23 de abril de 2020).
OCDE (2018), Panorama de la Educación 2017, OCDE, París, [10]

http://www.oecd.org/education/skills-beyond-school/EAG2017CN-Mexico-Spanish.pdf.
226 ÿ
OCDE (2019a), Higher Education in Mexico: Labour Market Relevance and Outcomes, Higher Education, OECD [11]
Publishing, París, https://doi.org/10.1787/9789264309432-en.
OCDE (2019b), El futuro de la educación superior mexicana: promoviendo la calidad y la equidad, [21]
Reseñas de Políticas Nacionales para la Educación, Publicaciones de la OCDE,
París, https://doi.org/10.1787/9789264309371-en.
Oxfam (2018), México justo: políticas públicas contra la desigualdad, [3]

https://ww.oxfammexico.org/mexico-justo-politicas-publicas-contra-la-desigualdad-0/.
Pozo, J. (2006), Adquisición de conocimiento, Segunda Edicion [Acquisition of Knowledge, [15]

segunda edición], Morata, Madrid, https://download.e-bookshelf.de/download/0003/5619/65/L
G-0003561965-0006870423.pdf.
Rosas, P; Silva, J; (ed.) (2019), Habilidades cognitivas y desempeño en el pregrado universitario, ANUIES, Ciudad de [19]
México.
PNUD (2020), Desarrollo Humano y COVID-19 en México: Desafíos para una recuperación sostenible, PNUD, [13]
http://www.mx.undp.org/ content/mexico/es/home/library/poverty/desarrollo humano-y-covid-19-en-
mexico-.html.
Villanueva, D. (2021), México, entre los países de AL con más pobres por pandemia: Cepal [4]
[México entre los países latinoamericanos con más pobreza por la pandemia: CEPAL], http://www.jornada.com.mx/
notas/2021/03/04/economia/mexico-entre-los-paises-de- al-con-mas-pobres-por-pandemia-cepal/.
Banco Mundial (2021), Banco de datos: Indicadores del desarrollo mundial (DataBank: World Development [1]
Indicators [base de datos]), https://databank.bancomundial.org/reports.aspx?
source=2&series=NY.GDP.MKTP.CD&count
ry=# (consultado el 18 de marzo de 2021).
Banco Mundial (2020), COVID-19 agregará hasta 150 millones de pobres extremos para 2021, comunicado de [6]
prensa n. 2021/024/DEC-GPV, http://www.bancomundial.org/es/news/press release/2020/10/07/covid-19-to-
add-as-150-million-extreme -pobre-para-2021
(consultado el 18 de marzo de 2021).
ÿ 227
15 CLA+ en América Latina:

aplicación y resultados
J. Enrique Froemel, Pontificia Universidad Católica de Valparaíso (Chile)
Si bien el título del capítulo se refiere a la región, CLA+ se implementó solo en

Chile. Sin embargo, la educación superior en América Latina se describirá
brevemente porque las reacciones al esfuerzo de divulgación más amplio aún
están pendientes en varios países. En Iberoamérica (América Latina más Portugal
y España), la tasa promedio anual de matrícula en educación superior aumentó un
3,5 % entre 2010 y 2016, totalizando casi 30 millones de estudiantes (OEI, 2018[1]).
Según la clasificación de Trow (Trow, 2008[2]) , Argentina, Chile, España y
Uruguay ya se encuentran en la etapa de universalización con tasas brutas de
matrícula en educación superior superiores al 50 % (OEI, 2018[1]). El resto de
países se encuentran en etapa de expansión con tasas que van del 15 al 50%.
228 ÿ
Figura 15.1. Porcentaje de estudiantes de educación superior por país en América Latina (2018)
Fuente: OEI-Observatorio CTS (2021[3]), Papeles del Observatorio Nº 20, Abril 2021: Panorama de la educación superior en Iberoamérica a través de los indicadores de la Red
Indices. http://www.redindices.org/novedades/139-papeles-del-observatorio-n-20-panorama-de-la-educación-superior-en-iberoamerica-a-traves-de-los-indicadores-de-la _ -índices rojos
(consultado el 26 de abril de 2021).
Chile
La estructura de la educación superior de Chile data de 1981 cuando se llevó a cabo una reestructuración
radical, profunda y algo controvertida del segmento. Se ha mantenido desde entonces con algunos cambios.
Actualmente existen tres tipos de instituciones de educación superior: universidades, institutos profesionales y
centros de formación técnica. Entre ellas, solo las universidades están habilitadas para otorgar todo tipo de
credenciales de educación superior: grados académicos, profesionales y técnicos, requiriendo programas de
cinco años para alcanzar el grado de “Licenciado”. También imparten programas de diploma de posgrado de
un año; maestrías, doctorados y otros certificados avanzados (por ejemplo, medicina y odontología) (OECD/
The World Bank, 2009[4]). Los institutos profesionales solo pueden otorgar títulos profesionales de cuatro años
por debajo del nivel de licenciatura. (OCDE/Banco Mundial, 2009[4]). Los centros de capacitación técnica solo
pueden ofrecer títulos técnicos en programas de 2 a 2 1/2 años (OECD/The World Bank, 2009[4]).
En cuanto al tamaño del sistema, en marzo de 2020 operaban en el país 150 instituciones de educación
superior (59 universidades, 39 institutos profesionales y 52 centros de formación técnica) (Servicio de
Información de Educación Superior SIES, 2020[5]).
Tabla 15.1. Número de instituciones de educación superior por tipo, en 2013
Tipo de institución de educación superior Instituciones (2013)

Estado público, miembros de la CRUCH dieciséis
Privada, sin fines de lucro, con orientación pública, miembros de CRUCH 9
Particular, sin fines de lucro, no miembros del CRUCH 35
Subtotal universidades 60
institutos profesionales 43
Centros de formación técnica 54
Subtotal de instituciones no universitarias 97
Total 157
Fuente: OCDE (2017[6]), Education in Chile, Reviews of National Policies for Education, OECD Publishing, París, https://doi.org/10.1787/9789264284425-en (consultado el 28 de abril
de 2021).
ÿ 229
Tres grupos de instituciones de educación superior autónomas han existido en Chile desde 1981 como se muestra en la Tabla 15.1.
Uno, agrupado en el Consejo de Rectores de las Universidades de Chile (CRUCH), creado en 1954, incluye a todas las universidades
públicas estatales y un grupo de instituciones privadas sin fines de lucro de orientación pública. Estas universidades privadas (9)
existían antes de 1981 o eran campus de instituciones privadas que ya funcionaban en ese momento y luego se convirtieron en
entidades independientes. Todas las instituciones miembros del CRUCH, públicas o privadas, históricamente han recibido
financiamiento directo del Estado. Recientemente, se crearon dos nuevas universidades públicas que se incorporaron al CRUCH con
estatus pleno. Además, recientemente, tres universidades privadas, establecidas después de 1981, fueron admitidas en el CRUCH,
aunque no cuentan con financiamiento estatal directo, a diferencia de todas las demás instituciones del CRUCH.
Un segundo grupo incluye únicamente universidades privadas creadas después de 1981 y constituye el grueso del segmento
universitario existente en el país (35). Ninguno de ellos puede operar con fines de lucro ya que la ley chilena no permite la existencia
de ese tipo de institución educativa.
El tercer grupo incluye todos los institutos profesionales y centros de formación técnica existentes (43 y 54, respectivamente). Todas
estas instituciones son privadas, aunque el gobierno está en proceso de crear y establecer 15 nuevos centros públicos de formación
técnica, distribuidos en algunas regiones del país (OCDE, 2017[6]).
En los últimos 40 años, la educación superior en Chile experimentó un crecimiento explosivo y descontrolado, pasando de menos de
20 instituciones en 1981 a más de 150. Este crecimiento significó un aumento en las oportunidades de estudios de educación superior
para estudiantes de todas las condiciones sociales, ya que se complementaron con instituciones estatales. programas de financiación.
No obstante, la calidad de la educación superior se deterioró, lo que provocó la aplicación de normas y reglas de acreditación más
estrictas para la creación de nuevas entidades de educación superior. Esto ha resultado en un serio impulso de calidad general en la
mayoría de las instituciones.
La matrícula de estudiantes creció en consonancia con la creación de entidades de educación superior, alcanzando tasas de
crecimiento bruto de más del 50 % en 2016, como se informó anteriormente (OEI, 2018[1]). En 2020, sin embargo, se produjo una
reducción en la tendencia ascendente del número de solicitudes a instituciones de educación superior, como se muestra en la Tabla 15.2.
Tabla 15.2. Variación matrícula total por nivel de grado 2016-2020
Nivel de grado 2016 2017 2018 2019 2020 Por ciento Por ciento Inscripción
variación variación distribución
2016-2020 2019-2020 2020
De licenciatura 1 178 480 1 177 177 1 187 873 1 194 310 1 151 727 -2,3% -3,6% 94,3%
Graduado 47 584 48 698 46 875 48 391 45 483 -4,4% -6,0% 3,7%
Diploma 21 114 22 418 27 588 25 803 23 807 -12,8% -7,7% 1,9%

Total 1 247 178 1 248 293 1 262 336 1 268 504 1 221 017 -2,1% -3,7% 100,0%
Fuente: SIES (2020[5]), Informe 2020 Matrícula en Educación Superior, SiES, Santiago, content/uploads/2020/07/Informe- https://www.mifuturo.cl/wp
matricula_2020_SIES.pdf (consultado el 18 de marzo de 2021).
Los diferenciales porcentuales de matrícula entre la participación femenina y masculina por especialidad es una característica
destacable del sistema de educación superior chileno. La Tabla 15.3 muestra que en todas las áreas excepto en dos (Ciencia y
Tecnología), cuando los porcentajes de matrícula femenina tienen valores positivos, son superiores a los masculinos y cuando son
negativos, los masculinos son superiores. Esto es particularmente evidente en Salud, Educación y Ciencias Sociales. Lo que es aún
más llamativo es que en aquellas áreas donde las mujeres muestran mayores diferenciales de matrícula, también se observa una
tendencia al alza para los años considerados.
230 ÿ
Tabla 15.3. Diferencial porcentual de matrícula de pregrado entre mujeres y hombres, por
campo de especialidad, entre 2005 y 2020
campo de especialidad 2005 2011 2016 2017 2018 2019 2020

administración, empresa y comercio -1.96 5.94 10.25 10.04 11.41 11.95 12.65
Agricultura, silvicultura, pesca y medicina veterinaria -12.21 -5.02 1.5 2.23 4.22 6.41 10.57
arte y arquitectura -7.45 -2.30 0.04 1.85 2.51 3.35 4.70
Ciencias 0.04 -1.26 -7.39 -7.21 -7.74 -8.42 -9.99
Ciencias Sociales 38.28 38.24 40.35 38.86 41.29 41.89 42.46
Ley 1.84 3.64 6.59 8.54 8.93 10.01 11.64
Educación 39.78 37.02 45.43 47.92 50.76 50.38 50.95
Humanidades 17.01 11.52 10.71 11.83 9.77 9.19 10.32
Salud 39.22 47.17 52.26 52.23 52.08 52.34 52.31
Tecnología -63.91 -59.63 -56.22 -56.78 -58.77 -59.87 -59.63
Fuente: CNED (2020[7]), Informe Tendencias de Estadísticas de Educación Superior por Sexo, CNED, Santiago. https://www.cned.cl/sites/
default/files/2020_informe_matricula_por_sexo_0.pdf (consultado el 18 de marzo de 2021).
Proceso de difusión de CLA+ en América Latina y España
El Consejo de Ayuda a la Educación (CAE), a través de su Fellow en América Latina, con sede en Santiago de Chile,
desplegó un esfuerzo de divulgación en la región entre 2017 y 2021. Entidades de educación superior seleccionadas,
incluidas universidades e institutos, así como ministerios, universidades Se contactaron asociaciones y agencias de
apoyo. Las actividades de acercamiento e información tomaron un tiempo considerable y consistieron en un proceso
iterativo que incluyó el suministro de información y la discusión, así como la formulación y respuesta de preguntas entre
el becario y cada una de las instituciones.
América Latina se entiende aquí como compuesta únicamente por países de América del Sur, América Central y el
Caribe, ya que la participación de México en CLA+ se manejó inicialmente por separado. Sin embargo, después de 2020
también se incluyeron instituciones mexicanas, como se muestra a continuación.
La duración y dificultad del proceso de extensión podría atribuirse a dos fuentes, a saber: un desarrollo generalizado pero
incipiente del currículo de Estudios Generales donde el Pensamiento Crítico constituye un conjunto clave de competencias;
y un malentendido generalizado de las características y una desconfianza generalizada de las pruebas estandarizadas.
Considerando el alto valor atribuido a la autonomía universitaria en América Latina, la mayoría de los contactos con
universidades e institutos fueron individuales. Solo se contactó a los ministerios para informarles sobre la existencia del
Estudio CLA+ en la región. Sin embargo, se buscó y consiguió la colaboración de entidades universitarias de apoyo
independientes activas en la región, como el Centro Interuniversitario de Desarrollo (CINDA) y el Consejo de Educación
Superior, en Paraguay.
Hasta 2020, solo cuatro universidades, todas de Chile, participaban en CLA+, aunque varios otros contactos prometedores
ya estaban pendientes al final del proceso de extensión y no pudieron concretarse.
ÿ 231
Tabla 15.4. Alcance de CLA+ en la región y España
Asociaciones de educación superior y entidades de apoyo 04

Ministerios de Educación 03
Instituciones de educación superior (universidades y otras) 64

Bolivia 01
Chile 28
Colombia 13
República Dominicana 03
Ecuador 01
México 36
Nicaragua 01
Paraguay 08
Perú 09
España 01
TOTAL 71
Contexto de política para CLA+
Los acuerdos firmados entre las instituciones participantes de CAE y CLA+ prescriben que los datos a nivel institucional no
deben divulgarse junto con la identificación de la entidad. En consecuencia, el informe anonimiza los resultados de las
instituciones individuales, aunque para contextualizar se muestran algunas de sus características y las cuatro instituciones
se etiquetan con letras mayúsculas (W, X, Y y Z).
Las universidades participantes de CLA+ en la región estaban todas ubicadas en Chile. Si bien el acercamiento a las
universidades en Chile se realizó de manera individual, se realizó un contacto directo en forma simultánea con el
Subsecretario de Educación, quien luego se convirtió en Ministro de Educación. Posteriormente se creó la nueva
Subsecretaría de Educación Superior y se siguieron los contactos con la persona designada para ese cargo. El propósito
de ese enfoque fue exclusivamente informar a las autoridades gubernamentales sobre CLA+, sus características y la
intención de reclutar instituciones en el país para unirse al estudio.
Ambas autoridades se mostraron extremadamente positivas sobre la potencial implementación de CLA+ en Chile debido a
dos razones principales. El primero versó sobre la ya creciente relevancia del Pensamiento Crítico como parte de los
Estudios Generales en la educación superior tanto a nivel mundial como en Chile. El segundo provino de la alta calidad y
objetividad del CLA+ frente a las herramientas internas de evaluación universitaria, diseñadas y administradas como están
por una entidad externa.
Las cuatro universidades chilenas participantes son privadas, aunque una tiene orientación pública y pertenece al Consejo
de Rectores (CRUCH) mientras que las otras tres no pertenecen al CRUCH.
Universidad W
La Universidad W, ajena al CRUCH, fue fundada hace más de 30 años y opera en diversas regiones del territorio chileno.
Ofrece programas de pregrado y posgrado en la mayoría de los campos de especialidad, organizados en siete facultades
(grupos de escuelas) y centros de investigación operativos. Esta institución, con más de 25 000 estudiantes, ha superado
con éxito todos los ciclos prescritos de acreditación institucional por parte de la Comisión Nacional de Acreditación (CNA-
Chile) y tiene un creciente componente de investigación. Comenzó a prepararse para participar en el CLA+ en otoño de
2017 (hemisferio sur).
Esta fue la primera universidad de la región y del país en inscribirse en el estudio. La principal motivación de su presidente
surgió de la necesidad de evaluar los resultados de un nuevo modelo educativo que se estaba implementando en ese
momento. Este tipo de modelo basado en competencias, aplicado por primera vez en esta universidad, introdujo sólidos
planes de estudio de Estudios Generales efectivos en todos los programas, incluidos los cognitivos, afectivos y académicos.
232 ÿ
elementos de rendimiento. CLA+ fue muy oportuno ya que pudo cumplir con los requisitos de resultados de datos duros de la
universidad sobre el rendimiento de los estudiantes en el componente cognitivo del modelo de currículo de Estudios Generales.
Universidad X
La Universidad X pertenece al mismo grupo que la W y fue fundada a principios de la década de 1990. Ahora matricula a 7 000
estudiantes e incluye la mayoría de los programas de pregrado. También ha sido acreditado con éxito por la CNA en todos los
casos. Opera seis facultades y 12 centros de investigación, con un crecimiento significativo del segmento de posgrado en la última
década. Participó en CLA+ en 2020 en un lapso de tiempo que, debido a la pandemia, abarcó otoño e invierno (hemisferio sur).
Esta institución ha implementado cambios curriculares significativos y un fuerte componente de evaluación de logros de
aprendizaje. Otorga alta relevancia también a los Estudios Generales, estableciendo su propio departamento. En consecuencia,
CLA+ representó una herramienta oportuna y útil para la evaluación estandarizada de los logros de los estudiantes en Pensamiento
Crítico. Su enfoque fue aplicar CLA+ para medir el rendimiento de los estudiantes a medida que se implementaban las
transformaciones del plan de estudios y afectaban las clases posteriores.
Universidad Y
La Universidad Y es parte del mismo grupo que la W y la X, tiene más de 30 años de existencia y está ubicada en las principales
zonas urbanas. Cuenta con más de diez facultades y varios centros de investigación. En la actualidad, inscribe a más de 40 000
estudiantes en programas de pregrado y posgrado. Ha superado con éxito todos los procesos de acreditación institucional
obligatorios de la Comisión Nacional de Acreditación y también ha obtenido acreditación institucional en el extranjero. Su primera
participación en CLA+ comenzó en el verano de 2020 (hemisferio sur) y sigue en curso debido a la pandemia, en el primer
semestre de 2021.
Como se mencionó, la Universidad Y está acreditada institucionalmente en los Estados Unidos y, aunque el sistema chileno aún
no requiere que las instituciones brinden evidencia sobre el rendimiento de los estudiantes de Estudios Generales, las agencias
regionales de los Estados Unidos sí lo hacen. Luego de explorar alternativas para cumplir con esta necesidad, la Universidad Y se
unió a CLA+ en 2020 motivada por la necesidad de la provisión formal de evidencia como requisito de acreditación institucional.
Sin embargo, la universidad también utiliza los datos de CLA+ para diagnosticar el dominio de las competencias de pensamiento
crítico de los estudiantes que ingresan; para medir el aprendizaje adicional de esas mismas habilidades durante los estudios
universitarios mediante pruebas a la clase que se gradúa; y para obtener un indicio de aprendizaje de valor agregado en esas
competencias como diferencial entre ambas clases.
Universidad Z
La Universidad Z es un miembro pleno maduro del Consejo de Rectores con más de 90 años de vida académica y un historial de
logros de acreditación institucional de muy alto nivel. Su matrícula supera los 15 000 estudiantes en programas de pregrado y
posgrado (doctorado, maestría y diplomado). Tiene nueve facultades y varias entidades de investigación, y opera varios campus
en una ubicación enfocada en Chile.
La participación inicial en CLA+ de la Universidad Z, debido a las limitaciones que plantea la pandemia de COVID-19, se ha
prolongado por casi dos años, habiendo comenzado en 2019.
Esta institución actualizó recientemente su modelo de educación de pregrado y posgrado. Tal cambio, por un lado, implica adoptar
una estructura curricular basada en competencias. Por otro lado, mejora la definición de su cobertura educativa en tres grandes
áreas de estudio: disciplinaria, profesional y competencias fundamentales (Estudios Generales). Se pone especial énfasis en los
Estudios Generales, incluyendo ocho componentes diferentes, siendo uno de ellos el Área de Competencia Científica. Esta área
requiere que los estudiantes desarrollen la capacidad científica, incluido el pensamiento analítico, abstracto y crítico para la
resolución de problemas, la generación de conocimientos y las habilidades de autoaprendizaje. CLA+ fue adoptado como una
herramienta de evaluación estandarizada válida y de alta calidad para evaluar el Área de Competencia Científica.
ÿ 233
Además, esta institución desarrolló un proyecto especial para mejorar los programas de formación docente, financiado por el
estado. Este apoyo de subvención del gobierno requiere que todos los estudiantes participantes sean evaluados para el logro en
los constructos incluidos en el Pensamiento Crítico. Una vez más, CLA+ resultó útil para evaluar toda la clase de ingreso de 2020
y su seguimiento durante los primeros tres años de estudio.
A pesar del reducido número de instituciones participantes en la región, la versatilidad de diseño de la aplicación CLA+ debe
destacarse en el caso de Chile. Si bien los diseños de aplicaciones reales para cada universidad se describirán más adelante, es
relevante señalar aquí que en las cuatro instituciones consideradas donde los contextos de políticas y necesidades eran diferentes,
la batería pudo adaptarse a esos contextos y cumplir con esas diferentes demandas. En un caso el propósito fue la evaluación
sumativa; en otro fue diagnóstico y obtención de ganancias de aprendizaje (tamaño del efecto); en otro más, se trataba de la
evaluación con fines de certificación; y en el último, combinó la evaluación transversal de los logros de aprendizaje en algunos
programas y el seguimiento longitudinal de los logros de una cohorte completa de formación docente durante varios años.
Proceso de implementación del CLA+
Como se mencionó anteriormente, el esfuerzo de vinculación dirigido a las universidades chilenas se realizó de manera individual
a través de contactos directos con cada universidad. Los contactos iniciales en Chile comenzaron en 2017 y fueron los primeros
en comenzar en la región.
Los formularios de las pruebas de la batería, originalmente en inglés, ya fueron traducidos al español, adaptados al uso lingüístico
de América del Sur, y fueron proporcionados por el CAE a las universidades participantes a través de una plataforma interactiva
de Internet.
Universidad W
El proceso de administración en la Universidad W incluyó tres fases. Un equipo de la Vicerrectoría Académica se hizo cargo del
proceso, se realizó intercambio de información con el CAE y se realizaron reuniones periódicas. La fase de preparación, entre la
universidad, el Fellow en América Latina y el equipo CAE con sede en Nueva York, comenzó en abril de 2018.
Los temas abordados incluyeron el nombramiento de contrapartes y definiciones de tareas en cada lado; intercambio mutuo de
requisitos; definición de aspectos técnicos; acuerdo sobre la estructura del diseño de la aplicación; decisiones sobre el diseño,
selección y aprobación de la muestra; definición de fechas relevantes; formación de equipos universitarios de aplicación; y solución
de problemas emergentes. Se acordó una muestra deliberada estratificada por campus y un diseño de análisis transversal del
tamaño del efecto, incluidas las clases de ingreso y graduación de 2018.
La fase de implementación de cuatro semanas comprendió la selección de la muestra, la identificación y el contacto de los sujetos,
y los ensayos de la plataforma de prueba. Se seleccionó la muestra, se cargó su base de datos a la plataforma CAE y se verificó
la identidad de los sujetos en el acceso a las instalaciones de prueba. Las pruebas formaban parte de las actividades regulares de
enseñanza y, por lo tanto, la participación era obligatoria. No obstante, de acuerdo con la ley chilena, cada estudiante participante
firmó una declaración jurada Consentimiento Informado (Acuerdo Informado), autorizando a la universidad a utilizar sus resultados
con fines de investigación y evaluación. Si la persona no firmaba el documento, sería eliminada de la muestra sin consecuencias
de ningún tipo y sustituida por otra que estuviera dispuesta a participar. En la Universidad W no se produjeron rechazos de
estudiantes y se observó un bajo índice de ausentismo.
La fase de administración se ejecutó simultáneamente en una semana y los estudiantes fueron evaluados en grupos de
aproximadamente 30 sujetos de manera presencial en las instalaciones de cómputo de la universidad y utilizando equipos institucionales.
La administración transcurrió sin incidentes con una alta tasa de finalización de la muestra. Un total de 562 alumnos pertenecientes
a las promociones de ingreso y egreso 2018 de las facultades de Administración y Negocios;
234 ÿ
Arquitectura y Construcción; Educación; Ciencias de la Salud; Ley; y Ciencias Sociales y Humanidades en los cuatro campus, como
se muestra en la Tabla 15.5.
Tabla 15.5. Distribución de la muestra de sujetos en la Universidad W, por clase y campus
Clase Instalaciones
Campus I Campus II Campus III Campus IV Estudiantes
Entrando en 2018 86 75 sesenta y cinco 62 288
Graduado 2018 57 49 92 76 274
Total 143 124 157 138 562
Universidad X
La Universidad X fue la segunda institución en sumarse a CLA+, a principios de 2019, y se consideraron necesarias pocas reuniones
entre las autoridades de la Universidad y el CAE Fellow para América Latina. La decisión fue rápida y el proceso terminó con la
evaluación real considerando las mismas tres fases habituales.
La fase de preparación incluyó dos videoconferencias con el equipo de CAE Nueva York para discutir el diseño de muestras y
aplicaciones. El director del Departamento de Estudios Generales de la Universidad y algunos miembros supervisaron el proceso y
se llevó a cabo un rápido proceso de intercambio de información con el CAE con comunicaciones periódicas y dos videoconferencias.
Los temas abordados fueron los mismos que los abordados en el caso anterior. El CAE Fellow propuso a la Universidad X recibir
retroalimentación de la experiencia de la Universidad W con CLA+. Se estableció contacto y se produjeron interacciones entre
ambos equipos.
Se planeó una muestra deliberada, estratificada por programas de campo de estudio y un diseño de análisis transversal del tamaño
del efecto. En este caso, la comparación incluyó tres cohortes ya que el rendimiento de los estudiantes en los efectos del plan de
estudios de Estudios Generales se exploraría en tres clases posteriores.
El plan de implementación original se vio alterado por los efectos del malestar social en el país y la pandemia de COVID-19. En
consecuencia, solo los estudiantes pertenecientes a la promoción de ingreso de 2019 pudieron ser evaluados en las instalaciones
de la universidad, utilizando las computadoras institucionales, en octubre y noviembre de ese año. Aquellos pertenecientes a las
cohortes de 2017 y 2015 que no pudieron realizar la prueba en primer lugar fueron programados para la aplicación del modo
supervisado en línea en 2020. La clase que ingresa en 2017 se evaluó entre noviembre y diciembre de 2020, así como un pequeño
segmento de 2015 entrando en clase, por lo que la comparación planificada de tres clases se logró solo con dos. Dado que la
Universidad X quiere construir un seguimiento de los resultados de su aplicación del plan de estudios de Estudios Generales en el
tiempo, se acordó otra aplicación con el CAE para 2021, incluyendo, esta vez, tres clases de ingreso: 2017, 2019 y 2021.
Se aplicó un proceso similar al de la Universidad W en X y se seleccionaron los estudiantes participantes, se cargó la base de datos
en la plataforma CAE y se verificaron las identidades de los sujetos al acceder a las instalaciones de prueba para la clase de ingreso
de 2019. Para la mayor parte de la muestra de ingreso a la clase de 2017, se utilizó el protocolo de prueba en línea supervisado y
los supervisores verificaron la identidad del estudiante antes de que los sujetos accedieran a la plataforma de prueba.
En este caso se organizaron 5 grupos de aproximadamente 25 alumnos y 1 supervisor cada uno. Cada estudiante utilizó su
dispositivo informático (computadora o tableta).
Para los estudiantes de la Universidad X, la solicitud fue voluntaria. Esta modalidad requirió un esfuerzo más profundo y prolongado
por parte del equipo universitario para convencer y dar seguimiento a los temas. Se esperaba que esto afectara los resultados ya
que los estudiantes eligieron participar voluntariamente. El ausentismo inicial fue mayor que en el caso de W y, a pesar de los
esfuerzos de seguimiento realizados por el equipo de la universidad, las cifras finales no cumplieron con las expectativas. Como lo
prescribe legalmente la ley, los estudiantes también firmaron una declaración jurada de acuerdo.
Se evaluó una muestra total de 308 estudiantes pertenecientes a los cursos de ingreso 2019 y 2017 pertenecientes a las facultades
de Educación; Ingeniería; Ciencias de la Salud; Ciencias Médicas; Ciencia y Tecnología; y Ciencias Sociales, como se muestra en
la Tabla 15.6.
ÿ 235
Tabla 15.6. Distribución de la muestra de sujetos en la Universidad X, por clase
Entrando a clase Estudiantes
2019 220
2017 108
Total 328
Universidad Y
Aunque fue un contacto temprano en Chile, tomó tiempo y varias reuniones para que la Universidad Y se uniera a CLA+.
La primera videoconferencia se realizó ya en enero de 2019 con el CAE Fellow y el equipo del CAE de Nueva York antes de la
decisión y firma del acuerdo. El Director del Departamento de Humanidades fue designado para estar a cargo de la aplicación
CLA+. Durante la fase de preparación, se realizó una videoconferencia en septiembre de 2019 y varios contactos con el CAE
Fellow. También se intercambió correspondencia frecuente por correo electrónico con el equipo de CAE Nueva York para
discutir el diseño y la muestra. Los temas abordados coincidieron con los cubiertos por las universidades W y X. El CAE Fellow
propuso que la Universidad Y recibiera retroalimentación de la experiencia de las Universidades W y Z en la aplicación de
CLA+ y las interacciones ocurrieron entre Z e Y. Dado que el funcionario de la facultad a cargo de CLA+ en esta universidad
tenía un buen conocimiento a nivel de usuario de los temas de evaluación, las fases de preparación y aplicación se organizaron
rápidamente y la gestión fue autónoma. Desde el principio, la Universidad Y decidió que su participación en CLA+ sería cíclica
en el sentido de que la batería se aplicaría cada dos años para medir en serie su logro de aprendizaje en Estudios Generales.
Para las clases de ingreso de 2020 y 2017 se planificó una muestra deliberada estratificada por programas de campo de
estudio y un diseño de análisis transversal del tamaño del efecto. Tanto la muestra como el diseño fueron presentados por la
universidad y aprobados por los científicos del equipo CAE de Nueva York. Los resultados de esta aplicación se consideraron
entre las pruebas requeridas por una agencia regional de EE. UU. para la validación de la acreditación en 2021, además de
brindar retroalimentación sobre los resultados de aprendizaje del plan de estudios de Estudios Generales de estas clases.
Al igual que en el caso de la Universidad X, el plan de implementación se vio afectado negativamente por el período de
malestar social de 2019 en el país y la pandemia de COVID-19. Esta administración retrasó hasta fines de 2020 y requirió el
uso de un protocolo supervisado en línea en lugar del procedimiento en el sitio originalmente planeado. Además de la demora,
la muestra no pudo evaluarse por completo durante este período y el resto se sometió a más pruebas en el primer semestre
de 2021 para completar el componente de la clase que se gradúa. De acuerdo con la intención de la universidad de una serie
longitudinal de CLA+, se espera un posible nuevo proceso de prueba para 2023.
La mecánica del proceso en la Universidad Y fue similar a la de la W y la X. Se eligieron los estudiantes de la muestra, se
cargó la base de datos en la plataforma CAE y los supervisores verificaron las identidades de los sujetos antes de acceder a la
plataforma de evaluación en línea. La administración de la prueba a ambas cohortes, que fue supervisada por supervisores
contratados externamente capacitados por la universidad, se llevó a cabo entre septiembre y diciembre de 2020. La prueba de
la clase restante de ingreso de 2017 aún está pendiente y debería completarse durante la primera mitad de 2021. Cada
supervisor supervisó aproximadamente a 100 estudiantes. Cada estudiante utilizó su dispositivo informático (computadora o
tableta). La toma de exámenes para los estudiantes era voluntaria. Y como fue el caso de las Universidades W y X, los
estudiantes firmaron declaraciones juradas.
Se evaluaron un total de 882 estudiantes pertenecientes a las clases de ingreso de 2020 y 2017 de 11 facultades.
La muestra que se muestra en la Tabla 15.7 se centró en Economía y Empresa; Educación; Humanidades y Ciencias Sociales;
Ingeniería; Ley; Medicamento; y Enfermería. Los otros dos grupos evaluados, aunque en menor escala, fueron Ciencias
Exactas y Ciencias de la Vida.
236 ÿ
Tabla 15.7. Distribución de la muestra de sujetos en la Universidad Y, por año de clase
Entrando a clase Estudiantes
2020 662
2017 220
Total 882
Universidad Z
Esta institución fue la segunda en el país en aceptar participar en CLA+, en enero de 2019. El CAE Fellow inició consultas con
sus principales funcionarios en julio de 2018. Una videoconferencia a la que asistió el Vicepresidente Académico y su personal,
el CAE Nueva York equipo y el Fellow en América Latina se llevó a cabo en agosto de ese año para finalizar la decisión.
Un equipo liderado por el Director de Desarrollo Estudiantil, que incluía a otros tres funcionarios, fue designado para estar a
cargo de la aplicación CLA+. Antes de que comenzaran las solicitudes reales, el equipo sostuvo tres reuniones remotas con el
CAE Fellow y el equipo de Nueva York sobre temas similares a los que se tratan en las otras tres universidades chilenas
participantes. En este caso, fue útil que un equipo multidimensional (incluyendo profesionales de administración, computación
y estadística) estuviera a cargo, ya que las estructuras de diseño y muestra plantearon desafíos múltiples, diversos y complejos.
La participación de CLA+ de la Universidad Z fue diferente del resto debido a que las pruebas se realizaron durante varios años
y en dos cohortes diferentes. Las cohortes estaban formadas por estudiantes de los programas de Ingeniería y Formación del
Profesorado. Para Ingeniería se definieron muestras deliberadas de las clases de ingreso y egreso de cada año. Para
Educación, la clase que ingresa se evaluó en base al censo. Se aplicaron diferentes diseños de comparación para cada una de
las cohortes. En el caso de Ingeniería, se incluyó una comparación transversal anual del tamaño del efecto de las clases de
ingreso y egreso. En el caso de Educación, se planificaron dos comparaciones: una anual, transversal, tamaño del efecto,
clase, comparación censal; y el otro fue una comparación de censo longitudinal de ingreso a clases durante tres años, a partir
de 2019. Tanto las estructuras de muestra/censo como los diseños de comparación se presentaron, discutieron y aprobaron a
través de contactos entre la universidad y los científicos del equipo de CAE Nueva York. Todos los temas debían ser evaluados
in situ en las instalaciones informáticas de la universidad, utilizando equipos institucionales.
Al igual que en los casos de las universidades X e Y, el período de malestar social de 2019 en Chile y la pandemia de COVID-19
provocaron serios inconvenientes en el plan de implementación de pruebas de la Universidad Z ese año. Se esperaba que la
solicitud original para 2019 finalizara en diciembre de 2019, y lo hizo con solo una cobertura parcial de las clases de ingreso de
2019 para ambas cohortes y sin materias de las clases de graduación. En consecuencia, los sujetos de la clase que ingresaron
en 2019 que no habían sido evaluados fueron evaluados en varias sesiones de agosto a diciembre de 2020. Esto requirió el
uso de un protocolo supervisado en línea en lugar del modo en el sitio originalmente planeado. Además de la demora, los
sujetos de la clase de graduados de 2019 no pudieron evaluarse en absoluto, por lo que no se pudieron realizar análisis
transversales del tamaño del efecto para los datos de 2019, ya que solo se realizaron pruebas de una sola vez. Como la
Universidad Z planeó una serie longitudinal de aplicaciones de CLA+ entre agosto y diciembre de 2020, se implementó un
proceso de prueba paralelo al de las asignaturas restantes de 2019 mediante supervisión en línea para las poblaciones y clases
correspondientes a ese año.
El proceso de realización de exámenes en la Universidad Z tuvo solo pequeñas diferencias con los de W, X e Y. Los estudiantes
de la muestra fueron elegidos por la universidad y la base de datos se subió a la plataforma CAE. En 2019, los supervisores
verificaron las identidades de los sujetos antes de ingresar a las instalaciones de prueba. En la administración de la prueba en
línea de 2020, los supervisores verificaron las identidades de los examinados antes de acceder a la plataforma de prueba. Los
supervisores y procuradores universitarios fueron capacitados por la universidad y se organizaron grupos de aproximadamente
50 estudiantes en ambas modalidades. En la modalidad en línea, cinco supervisores supervisaban a 10 estudiantes cada uno
y cada estudiante usaba su dispositivo informático (computadora o tableta). Tal como estaba previsto, las nuevas aplicaciones
deberían realizarse en 2021, aunque solo se calcularán los análisis transversales del tamaño del efecto, interrumpiendo así el plan
ÿ 237
tendencia longitudinal. La realización de exámenes en la Universidad Z era voluntaria y se realizaba durante el horario lectivo habitual.
Esta opción requería que los estudiantes fueran seguidos individualmente para asegurar la asistencia a las sesiones de evaluación. El consentimiento
se proporcionó verbalmente a través del contacto telefónico. Solo los estudiantes que aceptaron formalmente someterse a la prueba recibieron el
enlace de la plataforma de prueba.
Como se muestra en la Tabla 15.8, se evaluaron 1 341 estudiantes, pertenecientes a las cohortes 2019 y 2020, de las carreras de Ingeniería y
Formación Docente. Participaron estudiantes de cinco de las facultades: Ciencias Agronómicas y de Alimentos; Economía y Empresa; Ingeniería;
Filosofía y Educación; Ciencias del Mar y Geografía; y la ciencia.
Tabla 15.8. Distribución de la muestra de sujetos en la Universidad Z, por clase
Clase Estudiantes
Entrando en 2019 567
Entrando en 2020 623
Graduarse 2020 151

Total 1 341
Universidad W
En el diseño de esta institución, que incluyó la comparación de muestras de clases de ingreso y graduación para 2018, el puntaje total promedio
es más alto para la clase de graduación que para la clase de ingreso. Las desviaciones estándar (SD) tienen un valor muy cercano, lo que indica
una distribución similar de puntajes en ambas clases. El valor del tamaño del efecto (ES) muestra que, como se esperaba, la clase que se graduó
se desempeñó mejor que el grupo que ingresa.
En las puntuaciones de las tareas de rendimiento (PT), tanto las clases que ingresan como las que se gradúan tienen puntuaciones medias más
altas que sus puntuaciones totales. El puntaje promedio de PT de la clase que se gradúa es más alto que el de la clase que ingresa y sus valores
de SD son idénticos. Hay un EE positivo, muy cercano al de la puntuación total, y se puede concluir un efecto reducido del currículo universitario en
este tipo de habilidad de Pensamiento Crítico. Para las puntuaciones de Respuesta Estructurada (SR), la clase que se gradúa tiene una puntuación
media más alta que las puntuaciones medias tanto en el total como en la Tarea de Desempeño y la DE es más baja que la de la clase que ingresa.
El ES en este caso es inferior al del total. El nivel medio de desempeño de ambas clases es Básico.
Tabla 15.9. Puntuaciones en CLA+ en la Universidad W, por clase
Clase 2018 norte Puntuación media Estándar 25 75 percentil Tamaño del efecto
Desviación percentil percentil Clasificación Media
Puntaje Puntaje Puntaje
Entrando PT 288 1 100 174 1 001 1 226 76
Entrando en RS 288 1 049 170 921 1 172 54
Ingreso total 288 1 074 136 982 1 176 68
Graduado PT 274 1 121 174 1 046 1 226 51 0.12
Graduado SR 274 1 055 164 930 1 711 10 0.04
Graduarse 274 1 092 135 991 1 187 26 0.13

Total
Los porcentajes de los niveles de rendimiento de la clase que ingresa muestran un sesgo a la derecha y aparece una distribución más normal para
la clase que se gradúa con valores bimodales. Además, solo para la clase que se gradúa existen algunos casos de nivel Avanzado, lo que indica
un desempeño general más disperso.
238 ÿ
Figura 15.2. Porcentajes de niveles de rendimiento en la Universidad W, ingreso a clase
Figura 15.3. Porcentajes de niveles de rendimiento en la Universidad W, clase que se gradúa
Universidad X
Esta institución, en 2019, no completó las pruebas de la clase que se gradúa y solo completó la de las clases de ingreso
y tercer año.
En consecuencia, cabe esperar diferencias menores entre clases y valores de ES. Las puntuaciones totales medias en
ambas clases son casi idénticas y las SD están próximas. El valor del tamaño del efecto (ES) de la puntuación total es
pequeño y negativo, lo que sugiere un efecto pequeño del nuevo plan de estudios de estudios generales. Las
puntuaciones medias de la tarea de rendimiento (PT) son más altas para la clase que ingresa y las SD de ambas clases
son cercanas. ES es negativo y media desviación estándar en valor. La razón de esta falta de efecto de aprendizaje del
nuevo plan de estudios de Estudios Generales podría provenir de varias fuentes, entre ellas el efecto de rendimiento
insuficiente de los Estudios Generales en la clase de tercer año o un alto nivel de habilidad inicial de la clase que ingresa.
Los resultados de la sección de Respuesta Estructurada (SR) se parecen más a lo esperado ya que la puntuación media
de la clase de tercer año es más alta que la de la clase que ingresa. Los SD son diferentes y la clase que ingresa
muestra un desempeño más heterogéneo. El ES es positivo y cercano a 0.4 SD.
ÿ 239
Tabla 15.10. Puntuaciones en CLA+ en la Universidad X, por clase
Clase norte Puntuación media Estándar 25 75 percentil Efecto
Desviación percentil percentil Clasificación Media Talla

Entrando 220 1 165 116 1 091 1 286 93

2019 hora del Pacífico
Entrando 220 1 040 153 919 1 137 53

2019 RE
Entrando 220 1 104 101 1 033 1 170 78

Total 2019
Tercer año
2019 hora del Pacífico 108 1 105 110 1 012 1 181 38 -0.52
Tercero 108 1 099 140 993 1 201 26 0.39
Año 2019 RS
El nivel de rendimiento medio para ambas clases en esta institución es Competente. La distribución porcentual del nivel de
desempeño para las clases de ingreso y de tercer año muestra un sesgo hacia la derecha. La distribución de la clase de
tercer año es bimodal y ambas clases tienen valores de moda cercanos, la distribución de la clase entrante tiene algunos
valores atípicos de nivel Avanzado.
Figura 15.4. Porcentajes de niveles de desempeño en la Universidad X, ingreso a clase
Figura 15.5. Porcentajes de los niveles de desempeño en la Universidad X, clase de tercer año
240 ÿ
Universidad Y
En la Universidad Y, las clases de ingreso y graduación de 2020 se evaluaron en línea. Como muestra la Tabla 15.11, las
puntuaciones medias totales tienen una diferencia sustancial a favor del grupo que se gradúa con una desviación estándar de
más de 1,0 ES, lo que sugiere un rendimiento más alto y más homogéneo en el logro de Estudios Generales de la clase que se
gradúa. Para ambas clases, el valor SD y el diferencial están cerca.
En cuanto a la puntuación total, en la Tabla 15.11 se muestra una diferencia positiva a favor de la clase que se gradúa para los
resultados de la Tarea de rendimiento (PT), así como un valor de tamaño del efecto superior a 1 SD. En este caso, el diferencial
para ambos grupos también es bastante cercano. Todo esto puede explicarse por la adquisición de competencias de mayor nivel
por parte de los sujetos de la clase que se gradúa durante su formación en la Universidad Y. Para las puntuaciones de Respuesta
Estructurada (RS), se encuentra una diferencia positiva, aunque menor, a favor de la clase que se gradúa como en comparación
con las puntuaciones totales y de la Tarea de rendimiento, así como también se observa un valor positivo y menor de ES, algo
superior a 0,6 DE. Estos resultados pueden interpretarse como conclusiones confirmatorias derivadas de las puntuaciones
analizadas previamente. Spread sigue siendo muy similar para ambas clases.
Tabla 15.11. Puntuaciones en CLA+ en la Universidad Y, por clase

Entrando en 2020 662 1 004 131 911 1 091 37

PT
Entrando en 2020 662 1 060 168 935 1 171 58

RS
Entrando
Total 2020 662 1 033 121 942 1 114 49
Graduarse 220 1 144 135 1 046 1 226 sesenta y cinco 1.07

2020 hora del Pacífico
Graduarse 220 1 165 163 1 046 1 288 64 0,63

2020 RS
En la Universidad Y, el nivel de desempeño general para la clase que ingresa es Básico y Competente para el grupo que se
gradúa. Para la distribución porcentual de los niveles de rendimiento de la clase entrante, se observa un sesgo a la derecha, un
valor de modo más alto y también algunos casos de Nivel Avanzado. Para la clase que se gradúa, la forma de distribución es más
cercana a la normalidad con una moda más baja y más abundantes casos porcentuales de nivel Avanzado. Todas estas
características coinciden con comentarios anteriores sobre los resultados de la Universidad Y.
Figura 15.6. Porcentajes de niveles de desempeño en la Universidad Y, ingreso a clase
ÿ 241
Figura 15.7. Porcentajes de niveles de desempeño en la Universidad Y, clase que se gradúa
Universidad Z
La Universidad Z realizó pruebas en dos ventanas. El primero fue entre agosto y diciembre de 2019, utilizando la modalidad
presencial y computadoras de la universidad, y el segundo de agosto a diciembre de 2020 utilizando un protocolo supervisado
en línea y equipos de estudiantes debido a las limitaciones de la pandemia. Dado que la clase que se graduó en 2019 no
pudo ser evaluada debido al malestar social en el país, los resultados disponibles para ese año corresponden solo a la clase
que ingresa. En 2020, se examinaron ambas clases y se calculó el ES. En 2019, la puntuación media de la Tarea de
rendimiento es más alta que la puntuación total y la Respuesta seleccionada, lo que sugiere que la clase que ingresa tenía
un mejor estado inicial en los procesos mentales superiores conectados con esa tarea.
Tabla 15.12. Puntuaciones en CLA+ en la Universidad Z, ingresando a la clase 2019
Puntuaciones norte Significar Desviación Estándar Percentil 25 percentil 75

Tarea de rendimiento 567 1 171 145 1 091 1 271
Respuesta seleccionada 567 1 122 178 983 1 245
Total 567 1 145 124 1 065 1 237
Los recuentos del nivel de desempeño muestran un sesgo a la derecha con una mediana cercana a los 1 110 puntos y muy
pocos casos en el área del nivel Avanzado (más allá de los 1 400 puntos).
Figura 15.8. Recuento de sujetos de niveles de rendimiento en la Universidad Z, que ingresan a la clase 2019
242 ÿ
En 2020, las puntuaciones totales muestran un valor medio más alto para la clase que se gradúa y valores de varianza cercanos.
También aparece un pequeño ES positivo, lo que indica una clase de ingreso de Pensamiento Crítico algo más fuerte. Las
puntuaciones medias de la tarea de rendimiento muestran incluso una diferencia más pequeña entre las clases que las
puntuaciones medias totales, así como un ES muy bajo, lo que sugiere una clase de entrada con un rendimiento ligeramente
mejor en el constructo probado. La puntuación media de la Respuesta Seleccionada muestra cifras más altas aunque diferencias
bajas similares a las puntuaciones medias anteriores y al ES también.
Tabla 15.13. Puntuaciones en CLA+ en la Universidad Z, por clase

Entrando PT 623 1 094 107 1 046 1 136 75
Entrando en RS 623 1 154 171 1 041 1 273 92
Ingreso total 623 1 127 111 1 053 1 206 86
Graduado PT 151 1 103 121 1 046 1 181 38 0.08
Graduado SR 151 1 178 171 1 061 1 302 73 0.14
Graduarse 151 1 146 109 1 076 1 221 57 0.17

Total
Para esta universidad, el nivel de desempeño general es Competente para ambas clases. Las distribuciones porcentuales de
ambos niveles de rendimiento se acercan a la normalidad, con pocos casos extremos en ambos extremos y la clase que se
gradúa es bimodal.
Figura 15.9. Porcentajes de niveles de rendimiento en la Universidad Z, 2020, clase de ingreso
ÿ 243
Figura 15.10. Porcentajes de niveles de desempeño en la Universidad Z, 2020, clase que se gradúa
A pesar del origen de estudio de caso de la evidencia disponible, una implicación prudente y general es la creciente importancia
asignada al Pensamiento Crítico como parte del currículo de Estudios Generales en la educación superior chilena. Entre las cuatro
instituciones revisadas, dos de ellas, Y y Z, incluyeron los resultados de los datos de rendimiento de los estudiantes de Estudios
Generales como evidencia que se presentará a los organismos de acreditación institucional extranjeros (EE. UU.) y chilenos como
una de las razones de política para participar en el estudio.
Un aspecto relacionado es que todas las universidades chilenas involucradas consideran los Estudios Generales como parte de los
cambios curriculares que implementaron recientemente. En dos de los casos, esto afecta su modelo educativo y requirió pruebas
contundentes del desempeño de los estudiantes para los ajustes continuos de esas nuevas políticas.
Un tercer tema de política es una mayor conciencia en el país de la necesidad de integrar acciones de evaluación en la educación
superior. En tres de las instituciones chilenas, W, X y Z, se buscó información de diagnóstico a partir de los resultados del estudio, y
en las cuatro, los datos del estudio se utilizaron con fines formativos, ya sea a nivel de estudiante o de sistema.
Por último, el conocimiento y el impulso por utilizar instrumentos de evaluación de alta calidad técnica se están convirtiendo en la
norma en las instituciones de educación superior chilenas. En este sentido, las pruebas estandarizadas están recuperando su
prestigio principalmente mediante el uso de tareas de rendimiento y elementos de respuesta seleccionados mejorados, como en
CLA+, que permiten evaluaciones válidas, confiables y comparables de los procesos mentales superiores.
Algunas de las lecciones aprendidas tienen que ver con el proceso de divulgación. El enfoque de extensión directa demostró ser
válido ya que las autoridades gubernamentales reconocieron que no podían acercarse válidamente a las universidades en temas
académicos. Además, las universidades participantes reaccionaron positivamente al ser contactadas directamente. Sin embargo,
vale la pena considerar ponerse en contacto con organizaciones de educación académica superior, ya que pueden contribuir a la
credibilidad de la evaluación y permitir un alcance más eficiente y colectivo a las universidades y otras instituciones de educación
superior.
Otro aspecto es la duración del proceso de decisión para unirse al estudio.
Participar en una empresa de evaluación conjunta requiere una reflexión cuidadosa no solo desde el punto de vista financiero, sino
también en términos de imagen institucional. Sin embargo, esto hace que todo el proceso sea largo y, a veces, engorroso.
En consecuencia, el proveedor de la evaluación debe utilizar la experiencia y proporcionar información clara y oportuna.
244 ÿ
Debido a la falta de capacidad de evaluación técnica interna en la mayoría de las universidades de la región, la estructura de la muestra y el
diseño de comparación son dos temas que exigen un apoyo cercano y experto por parte del proveedor.
La ayuda con base científica en estos asuntos es esencial.
Como se trata de un estudio internacional, que involucra a diferentes países, idiomas y culturas, la participación de un miembro local del
personal del estudio es muy importante. Aunque el idioma es una preocupación primordial, en la mayoría de los casos también es necesario
familiarizar a las instituciones con las formas y los medios de evaluación actualizada y adaptar la relación a los procedimientos locales.
La verificación de los problemas técnicos informáticos y de comunicación por parte del proveedor mediante el apoyo y la supervisión
permanentes y las pruebas de funcionamiento es muy importante, especialmente en las condiciones de pandemia prevalecientes que requieren
el uso de plataformas seguras y supervisión. En este mismo sentido, la modalidad online enfrenta a los estudiantes con exigencias tecnológicas
que algunos de ellos no son capaces de cumplir. El aumento en el número de jóvenes de escalones de bajos ingresos que acceden a la
educación superior en Chile y la región ha significado que muchos estudiantes no puedan hacer frente a los requisitos de la aplicación
supervisada en línea porque no tienen acceso a equipos, software o conexiones adecuadas.
Los contactos establecidos con instituciones en Chile y el resto de la región revelan un conocimiento generalizado del componente de Estudios
Generales en los currículos de educación superior que afecta críticamente la capacidad de los graduados para desempeñarse en una sociedad
de la información. Esto genera la necesidad de asegurar que dichas competencias sean alcanzadas por los estudiantes, y que se genere
evidencia confiable y creíble sobre las mismas con fines de certificación para egresados, empleadores y autoridades institucionales y
gubernamentales.
También existe una tendencia creciente por parte de las entidades acreditadoras de la educación superior a exigir evidencias contundentes a
las instituciones académicas sobre el valor agregado que aportan a sus estudiantes, particularmente sobre las denominadas “competencias
fundamentales” incluidas en el constructo de Pensamiento Crítico evaluado por CLA+.
En consecuencia, la tendencia de evaluación inicial desarrollada para algunas universidades chilenas con CLA+ requiere expandirse al resto
de las instituciones de educación superior de la región. Tres de las cuatro instituciones chilenas cuya participación aquí se analizó, ya han
planificado y suscrito convenios con el CAE para su posterior participación. Desafortunadamente, obstáculos, algunos, con suerte, transitorios,
actualmente están obstaculizando esta extensión a otras entidades.
No obstante, si bien elementos como la pandemia son, esperamos, transitorios, algunos de sus efectos llegaron para quedarse, como el
crecimiento de las modalidades de enseñanza, aprendizaje y, sobre todo, evaluación a distancia.
Lo más probable es que la educación nunca vuelva a ser la misma que antes de la COVID-19 y los sistemas de evaluación como CLA+
tendrán que considerar la posibilidad de depender sustancialmente de modos de aplicación totalmente remotos.
Otro obstáculo que afecta la expansión regional en América Latina es la falta de financiamiento. Aunque CLA+ tiene un costo comparativamente
moderado, varias instituciones están dispuestas a participar pero no pueden pagar por su aplicación.
En consecuencia, existe la necesidad de motivar a las entidades de financiamiento nacionales, regionales y globales para que aporten
recursos ya sea al CAE para generar programas en América Latina o directamente a las instituciones de educación superior de la región para
que puedan aprovechar esta oportunidad única de evaluación.
En el aspecto psicométrico, la diversidad de tipos de ítems del CLA+ podría complementarse con otras formas de preguntas. En la actualidad,
esta es la única batería disponible capaz de evaluar válidamente competencias que incluyen procesos mentales superiores. Otro aspecto a
mejorar proviene de la esencia misma del enfoque por competencias que considera tres componentes: cognitivo, performativo y afectivo. La
batería CLA+ de hoy incluye las dos primeras competencias de pensamiento crítico. El tercero, que es el ámbito afectivo, aún debe
desarrollarse e incluirse en la batería. Este ámbito debería considerar probar algunas de las habilidades blandas relacionadas con el constructo
principal de pensamiento crítico.
ÿ 245
Referencias
CNED (2020), Informe Tendencias de Estadísticas de Educación Superior por Sexo, CNED, Santiago, https:// [7]
www.cned.cl/sites/default/files/2020_informe_matricula_por_sexo_0.pdf
(consultado el 18 de marzo de 2021).
OCDE (2017), Educación en Chile, Revisiones de Políticas Nacionales para la Educación, Publicaciones de la OCDE, [6]
París, https://doi.org/10.1787/9789264284425-en.
OCDE/Banco Mundial (2009), Revisiones de Políticas Nacionales para la Educación: Educación Terciaria en Chile [4]
2009, Revisiones de Políticas Nacionales para la Educación, Publicaciones de la OCDE, París, https://doi.org/
10.1787/9789264051386-en.
OEI (2018), Panorama de la Educación Superior en Iberoamérica a través de los indicadores de la Red Indices, OEI, [1]
Buenos Aires, https://oei.org.uy/uploads/files/news/Oei/191/panorama de- la-educacion-superior-iberoamericana-
version-octubre-2018.pdf (consultado el 18 de marzo de 2021).
OEI-Observatorio CTS (2021), Papeles del Observatorio Nº 20, Abril 2021: Panorama de la Educación Superior [3]
en Iberoamérica a través de los indicadores de la Red Indices, OEI, Buenos Aires, http://www.redindices.org/
novedades /139-papeles-del-observatorio-n-20-
panorama-de-la-educacion-superior-en-iberoamerica-a-traves-de-los-indicadores-de-la-red indices (consultado
el 28 de abril de 2021).
Servicio de Información de Educación Superior SIES (2020), “Informe matrícula 2020 en educación superior [5]
en Chile”, Servicio de Información de Educación Superior.
Trow, M. (2008), “Reflexiones sobre la transición de la élite a la masa al acceso universal: formularios [2]
and Phases of Higher Education in Modern Societies since WWII”, en Manual Internacional de Educación Superior,
https://doi.org/10.1007/978-1-4020-4012-2_13.
ÿ 247
dieciséis
Evaluación de los resultados de
aprendizaje genéricos de los
estudiantes en Australia y Nueva Zelanda
Mark Keough, Consejo para la Ayuda a la Educación (Australia)
Este capítulo trata sobre las perspectivas para implementar la evaluación

CLA+ en colegios profesionales y vocacionales en Australia y Nueva Zelanda.
248 ÿ
Introducción
La educación postsecundaria opera en dos sistemas primarios. El sector de la educación superior incorpora universidades
y proveedores privados con y sin fines de lucro. Este sistema está estandarizado y se rige por el gobierno federal, donde las
calificaciones están definidas por una estructura nacional, el Marco de Calificaciones de Australia.
La mayor parte de la educación profesional en las profesiones tradicionales se imparte en colaboración entre universidades
y colegios profesionales con un sistema de acreditación de universidades e industrias para la práctica profesional. Un
sistema nacional de cualificaciones acreditadas rige la educación y formación técnica y profesional.
Hay 39 universidades públicas y aproximadamente 130 proveedores privados de educación superior (con y sin fines de
lucro) en los siete estados y territorios. Según la Autoridad de Calidad de Habilidades de Australia (ASQA), cerca de 4 000
organizaciones de formación registradas abordan el mercado de la educación y formación tecnológica y profesional (TVET)
para estudiantes nacionales e internacionales.
Las universidades se agrupan en torno a intereses y perfiles de investigación. Por ejemplo, un grupo conocido como Group
of Eight (G8) Universities se centra en las profesiones tradicionales (por ejemplo, derecho y medicina) y estudios de
investigación formales, mientras que Australian Technology Network agrupa cinco universidades centradas en la tecnología.
Algunas universidades ofrecen oferta dual tanto de títulos superiores como de educación y formación profesional. La
provisión del sector dual prevalece particularmente en un estado de Australia, Victoria.
Desde 1985, el gobierno federal ha permitido que las universidades cobren las inscripciones a los estudiantes extranjeros.
El sector postsecundario ha crecido hasta convertirse en la industria de exportación basada en servicios más extensa de
Australia, contribuyendo con AUD 37,6 mil millones al PIB australiano total de AUD 1 397 mil millones en 2019. La proporción
de estudiantes nacionales e internacionales es cercana a 70:30 .
El sistema australiano está regulado por la Agencia de Estándares y Calidad de la Educación Terciaria (TEQSA) para títulos
superiores y la Agencia Australiana de Calidad de Habilidades (ASQA) para calificaciones de niveles vocacionales. El marco
general es una estructura de cualificaciones reguladas a nivel nacional bajo el Marco de Cualificaciones de Australia (AQF).
Hay 10 niveles del marco, con una nomenclatura estandarizada para las cualificaciones. El sector de la EFTP está
representado por los niveles 1 a 6 y utiliza un marco nacional de cualificaciones que especifica resultados de competencias
detallados. El "almacén" de competencias se conoce como el Marco Australiano de Capacitación de Calidad (AQTF).
Tabla 16.1. Nombres de calificación australianos
Nivel 1 Certificado 1
Nivel 5 Diploma
Nivel 6 Diploma Avanzado/Título Asociado
Nivel 7 Licenciatura
Nivel 8 Licenciatura con honores, certificado de posgrado, diploma de posgrado
Nivel 9 Maestría
Nivel 10 Doctorado
En Nueva Zelanda hay ocho universidades públicas1 , 16 institutos politécnicos públicos y un perfil similar de
estudiantes nacionales e internacionales. Conexiones a la red ampliada de la Asociación del Sudeste Asiático
(ASEAN; 16 países) grupo de cooperación incluye muchas naciones del Indo-Pacífico2 . Si bien existen muchas diferencias
detalladas entre los sistemas de Australia y Nueva Zelanda, el sistema postsecundario de Nueva Zelanda
ÿ 249
El sistema funciona de manera muy similar al sistema australiano. Se rige por la Autoridad de Cualificaciones de Nueva Zelanda (NZQA).
El pensamiento crítico y la resolución de problemas se encuentran entre las habilidades ectocurriculares3 identificadas por cada sector
como contribuyentes a la empleabilidad, un enfoque clave para el componente de educación nacional de todos los proveedores de educación.
La empleabilidad influye en el sector de los estudiantes internacionales, donde el apoyo a la movilidad y las opciones de carrera es vital
para elegir caminos educativos. Uno de los temas clave en la región definida como la gran región de la ASEAN, o lo que se identifica cada
vez más como el Indo-Pacífico, es el predominio de la movilidad estudiantil. Los estudiantes de esta región buscan activamente experiencias
educativas de países con una tradición educativa occidental, como Malasia y Singapur, Australia y Nueva Zelanda.
Unos pocos autores y organismos de investigación contribuyen a este campo de estudio en Australia y Nueva Zelanda. El Centro de
Investigación en Evaluación y Aprendizaje Digital en Educación (CRADLE) de la Universidad de Deakin es un organismo de investigación
dedicado con un gran interés en el campo. La profesora emérita Beverly Oliver se encuentra entre los escritores eminentes sobre la
empleabilidad y los atributos de los graduados, especialmente en el sector de la educación superior.
La educación vocacional australiana se enfoca en la empleabilidad y los resultados de aprendizaje del ecto-currículo en lo que se conoce
como habilidades básicas. Las fuentes de investigación incluyen el Consejo Nacional para la Investigación en Educación Vocacional y la
Comisión Nacional de Habilidades. En Nueva Zelanda, el interés en este campo se concentra en el instituto de investigación AKI Aotearoa4 .
Actualmente hay un conjunto importante de procesos de reforma en curso en Australia para el sector de EFTP. Existe un amplio debate
entre profesionales, académicos y responsables de políticas públicas sobre las microcredenciales. Sin embargo, como cualquier término
general o de la jerga, bien puede plantearse la pregunta de si la palabra es en sí misma una panacea para un problema más profundo.
Puede estar ofreciendo una etiqueta conveniente para un conjunto de ideas cuando se necesita un examen y una comprensión más
profundos de lo que las credenciales inmediatas y pequeñas pueden proporcionar en términos de desarrollo y mejora de habilidades.
Ya sea que se considere que la discusión sobre microcredenciales es una tendencia o una moda pasajera, las pequeñas cantidades de
aprendizaje siempre necesitarán una evaluación para garantizar que se logre la utilidad del aprendizaje. La educación no requiere un
contexto de resultados de empleo específicamente tangible para ser relevante. No importa cuán pequeño sea, un resultado de aprendizaje
puede encontrar su contexto en el análisis de ecto-currículos, habilidades exitosas para el ingreso a la carrera y/o la transición o progresión
de la carrera. Este tipo de contexto se adapta a habilidades como el pensamiento crítico, el pensamiento creativo, el análisis crítico, la
comprensión, la síntesis y la comunicación.
Iniciativas del sector de la educación y formación técnica y profesional
Bajo esta luz podemos observar el discurso público en Australia y Nueva Zelanda sobre la formación profesional, donde la empleabilidad
como tendencia ha sido parte del comentario general durante muchos años.
El Marco de Habilidades de Empleabilidad desarrollado por la Cámara de Comercio e Industria de Australia y el Consejo Empresarial de
Australia en 2002 sigue en uso. Las ocho habilidades identificadas dentro de ese marco son: comunicación, trabajo en equipo, resolución
de problemas, iniciativa y empresa, planificación y organización, autogestión, aprendizaje y tecnología.
Sobre la base de esta iniciativa anterior basada en la investigación de la industria, el Marco de Desarrollo de Habilidades Básicas para el
Trabajo se creó en consulta con los empleadores en 2013. El objetivo era ayudar a los proveedores de capacitación, los servicios de
empleo y cualquier otra organización que brinde servicios a grupos que buscan ayudar a las personas a convertirse en trabajadores. -Listo.
Estas habilidades básicas también han encontrado expresión en 10 comportamientos básicos de preparación para el trabajo: administrar
la carrera y la vida laboral; trabajar con roles; derechos y protocolos; comunicarse para el trabajo; conectar y
250 ÿ
trabajar con otros; planificar y organizar; tomar decisiones; identificar y resolver problemas; crear e innovar; reconocer y utilizar
diversas perspectivas y trabajar en un mundo digital.
En 2016, mientras buscaba abordar las necesidades de empleabilidad de los jóvenes, el Departamento Federal de Educación,
Habilidades y Empleo de Australia se basó en este cuerpo de trabajo general para identificar las habilidades básicas para la
empleabilidad. El Business Council of Australia publicó la publicación Being Work Ready: A Guide to What Employers Want,
(Business Council of Australia, 2016[1]) que agrupa las habilidades y atributos deseados por los empleadores en tres categorías:
valores, comportamientos y habilidades. Estar preparado para el trabajo está diseñado para mostrar el estándar mínimo de
habilidades que los empleadores esperan de los solicitantes de empleo poco después de haber comenzado el trabajo.
Tabla 16.2. Resumen de habilidades adaptado de la publicación del Business Council of Australia
Estar listo para trabajar
Valores Comportamientos Habilidades
Responsabilidad Adaptable alfabetización empresarial
Honestidad De mentalidad empresarial Análisis de datos Alfabetización
Respeto Cliente enfocado resolución de problemas
Ética de trabajo Globalmente consciente Análisis crítico

Auténtico Tecnología digital
colaborativo aritmética
Flexible Habilidades técnicas
consciente de sí mismo
Resiliente
Nota: Copyright Business Council of Australia (2016[1]).
Como parte de un importante conjunto de reformas para el sector de la educación vocacional, el gobierno federal australiano creó en
julio de 2020 una Comisión Nacional de Habilidades.
En 2020, esta nueva autoridad legal estableció un enfoque basado en la ciencia de datos para las habilidades para desarrollar
servicios de búsqueda de empleo y capacitación. El Proyecto JEDI (Infraestructura de Datos de Empleo y Educación) busca crear
un lenguaje común para las habilidades; vincular los trabajos a la formación adecuada; pronosticar necesidades futuras basadas en
análisis; y usar un único motor de datos para respaldar muchos resultados y servicios en el contexto australiano. La Comisión
clasifica las competencias básicas, incluidas las habilidades de empleabilidad, las habilidades blandas, las habilidades fundamentales
y las habilidades transferibles.
Ha habido un fuerte énfasis en las definiciones, los aportes de las partes interesadas y el establecimiento de una estrategia general.
Desafortunadamente, esto ha llevado a muchos significados diferentes, confundiendo el diálogo público. Podemos observar aportes
sustanciales pero resultados o claridad limitados.
Algunos describen el trabajo académico en la investigación de la empleabilidad en Australia como subdesarrollado, inexistente y
naciente (McArthur et al., 2017[2]). Esta perspectiva probablemente surge porque el trabajo publicado a menudo se ha centrado en
el análisis descriptivo en lugar de una investigación sobre los impactos económicos y las perspectivas sociales.
No hay duda de que esta es un área de interés emergente a medida que la población regional se vuelve más transitoria en su trabajo
y experiencia profesional. Las nuevas iniciativas, como el Proyecto JEDI, tardarán algún tiempo en encontrar su lugar. Existe la
esperanza de que haya interés entre los académicos para investigar la efectividad de estas iniciativas en términos de resultados
económicos y sociales.
En el contexto de Nueva Zelanda, estas habilidades se definen a través del contexto de promoción de carreras. El sitio ofrece
orientación a través de recursos de autoevaluación, incluida la herramienta "comparador de habilidades".5
ÿ 251
Iniciativas de política del sector de la educación superior
TEQSA ha definido los atributos de los graduados de esta manera: “Los resultados de aprendizaje genéricos se refieren a habilidades
transferibles, no específicas de una disciplina, que un graduado puede lograr a través del aprendizaje que tienen aplicación en los contextos
de estudio, trabajo y vida”. La empleabilidad y la ciudadanía de los graduados son resultados críticos atribuidos al desarrollo de los atributos
de los graduados universitarios en el contexto australiano (Oliver and Jorre de St Jorre, 2018[3]). En 2000, Bowden et al. (2000[4]) reconoció
que los atributos de los graduados se distinguían de los conocimientos y habilidades técnicas o de dominio en un plan de estudios por su
capacidad para preparar a los graduados como agentes del bien social en un futuro desconocido.
Óliver et al. sugiera tres preguntas fundamentales con respecto a la preparación de graduados de universidades australianas para 2020 y
más allá:
1. ¿Qué atributos de los graduados deben enfatizarse dados los cambios masivos que ocurren en la sociedad?
2. Más allá de la incorporación, ¿cómo se aseguran los resultados de los atributos?
3. ¿Qué atributos equipan para la empleabilidad?
Los resultados medibles no están garantizados. Cuando se realiza una medición, es probable que se base en encuestas genéricas basadas
en la opinión en lugar de datos empíricos y objetivos. Las razones principales por las que las universidades promueven los atributos de los
graduados quizás estén abiertas a cuestionamiento. Oliver considera correctamente si se trata más de comercializar los resultados potenciales
para los estudiantes potenciales que de un compromiso firme con los resultados extrínsecos y medibles después de la graduación.
Ha habido un trabajo considerable realizado en interés de los estándares de enseñanza y aprendizaje financiado por el Consejo Australiano
de Enseñanza y Aprendizaje. Estos son estándares de entrega, pero aún no son una medida de los resultados. Oliver y Jorre de St Jorre
continúan encontrando que los atributos de los graduados son consistentes en su énfasis en términos generales. Si se pueden lograr
definiciones más explícitas, será posible un análisis más significativo de los resultados objetivos. Parece haber un lugar emergente en el
contexto de Australia y Nueva Zelanda para el estudio empírico y longitudinal de los efectos en lugar del énfasis actual en los insumos y las
encuestas de satisfacción.
El trabajo de seguimiento en 2015 indicó que, si bien la mayoría de las universidades publicaron los atributos de los graduados, menos de la
mitad de los proveedores de educación superior australianos no universitarios siguieron su ejemplo. La universalidad y la definición consistente
siguen siendo un desafío en términos de medición.
Actualmente, a pesar de enfatizar las habilidades de empleabilidad y las cualidades de los graduados en políticas públicas y retórica asociada
a las políticas, los resultados para los estudiantes no son claros. Los resultados de los graduados que respaldan las habilidades de
empleabilidad no se miden en gran medida.
Los indicadores del trabajo de Oliver sugieren que se ha hecho mucho para comprender los tipos de evaluación que involucran a los
estudiantes. La aplicación consistente de esos principios a los atributos de los graduados puede estar aún por delante, en lugar de en la
práctica diaria (Oliver and Jorre de St Jorre, 2018[3]).
Cuestión de relevancia de la cualificación para la empleabilidad
La microcredencialización es una tendencia a medida que los representantes de la industria buscan abordar la inmediatez y la relevancia
laboral en las opciones de capacitación y educación acreditadas. El beneficio del aprendizaje justo a tiempo relacionado con las necesidades
laborales actuales o futuras tiene un atractivo significativo para los empleadores y posibles candidatos laborales. También es relevante para
el reciclaje de los empleados existentes. La agilidad en la empresa tanto para los empleadores como para los empleados potenciales es clave
para el éxito, ya que las mejoras tecnológicas aceleran cada vez más el ritmo del cambio.
Sin embargo, es difícil encontrar evidencia directa del beneficio de la microcredencialización como tendencia o beneficios claros del énfasis
en las habilidades de empleabilidad. La Institución Brookings informó sobre el progreso en el desarrollo y la implementación de las habilidades
del siglo XXI en octubre de 2020 (Taylor et al., 2020[5]).
252 ÿ
Su Centro para el Rediseño Curricular (CCR) ha definido 12 competencias y está monitoreando su inclusión progresiva en el
currículo sobre una base jurisdiccional. Las 12 competencias se definen en el marco de CCR.6 El informe concluye que las
instituciones tienden a incluir estas competencias en el plan de estudios, yendo más allá de las actividades puramente académicas
y centrándose en las necesidades del estudiante del siglo XXI. El informe (pág. 9) indica que Australia es líder en la consideración
integral de las 12 competencias en el marco.
Quality Indicators of Learning and Teaching (QUILT) es un grupo de encuestas australianas respaldadas por el gobierno que busca
medir la experiencia de los estudiantes, los resultados de los graduados, los resultados longitudinales de los graduados y la
satisfacción del empleador. Los conjuntos de datos de estas encuestas respaldan el sitio web de CompareED.
(www.compared.edu.au). Este sitio web proporciona datos de comparación con los promedios nacionales en función de los
resultados de la encuesta. Oliver identifica que el desafío con las encuestas QUILT es que son nacionales y genéricas en
instituciones completas en lugar de específicas para áreas particulares. Los resultados autoinformados de estudiantes y
empleadores se informan en lugar de opiniones objetivas basadas en medidas basadas en datos.
No obstante, proporcionan algunas comparaciones útiles de satisfacción y una base de comparación institucional en el sector de
la educación superior. Las encuestas QUILT son una medida opcional y no obligatoria.
¿Qué pasa con el plan de estudios de la escuela secundaria?
Las habilidades de empleabilidad también son el centro de atención en los últimos años de secundaria. La resolución de problemas
y el pensamiento crítico se han identificado como esenciales en la transición de la educación secundaria a los lugares de trabajo
para estudios posteriores. El plan de estudios australiano para las escuelas secundarias describe estas habilidades como
"Capacidades generales". Dr. Paul Weldon del Australian Council of Education Research (ACER), escrito en abril de , lamenta
20207 que
haya una falta de acuerdo sobre los fundamentos del constructo de capacidades generales. Además, enfatiza que la automatización
del trabajo es un impulsor del cambio que se aleja de las habilidades y el conocimiento específicos del dominio y se acerca a
capacidades críticas como el pensamiento crítico y la resolución de problemas (Weldon, 2020[6]). El énfasis del Marco de
Aprendizaje de la OCDE 20308 favorece “la movilización de conocimientos, habilidades, actitudes y valores a través de un proceso
de reflexión, anticipación y acción, para desarrollar las competencias interrelacionadas necesarias para comprometerse con el
mundo”.
Impactos de COVID-19 en la política
El número de estudiantes internacionales se ha visto diezmado por el COVID-19, ya que la frontera australiana ha permanecido
cerrada desde el primer trimestre de 2021 a pesar de (principalmente) la ausencia de propagación comunitaria de casos de
COVID-19 en Australia y Nueva Zelanda. El énfasis de las políticas en un mundo post-COVID-19 parece estar en la inversión en
habilidades y capacitación para el empleo. Es probable que se deje de enfatizar la movilidad de los estudiantes durante algún
tiempo, tal vez varios años. El énfasis en el empleo quizás se presente como un enfoque desafortunado cuando la empleabilidad
es un motivo o resultado sutilmente diferente. La empleabilidad es un estado del ser en el que la contribución social se centra en
la productividad en un sentido social más amplio que simplemente un resultado de empleo. El empleo exitoso es un resultado
directo de la empleabilidad.
El discurso sobre habilidades y conocimientos se ha desplazado para centrarse en el mercado laboral nacional en respuesta a la
pandemia. Mantenerse listo para el trabajo para aquellos desafiados por la oportunidad de empleo en esta nueva era parece un
motivo común en la respuesta gubernamental. Algunos autores ven algunos riesgos y quizás suposiciones sin fundamento de que
el mantenimiento de las habilidades recae completamente en el aprendiz, el estudiante o el desempleado.
Parece haber un énfasis en responder únicamente a la continua automatización del trabajo y el desarrollo de habilidades para los
mercados laborales como un simple arreglo de oferta y demanda. Una cantidad cada vez mayor de trabajo se orientará hacia las
tareas en lugar de hacia la carrera (O'Keeffe and Papadopoulos, 2021[7]).
Las indicaciones son que esta economía en contracción, a menudo llamada economía de concierto, crecerá significativamente en
los próximos cinco años. La precarización y el trabajo por encargo o por encargo son factores que llevan a la importancia de
ÿ 253
habilidades transferibles para los participantes. La importancia y la rapidez con que crece el sector suele estar en el ámbito de los
pronosticadores del mercado como Deloitte, Gartner y Forbes en lugar de la investigación académica, por lo que a menudo es
altamente especulativo. A partir de estas fuentes, las indicaciones sugieren que podríamos considerar un crecimiento del 25 % de la
fuerza laboral adulta en las economías occidentales desarrolladas en 2020 y 2021 al 40 % en 2025. Una investigación encargada por
el Instituto de Actuarios de Australia muestra que la economía de los conciertos se multiplicó por nueve en 2015. 2019.9 Para muchos
trabajadores, el empleo puede consistir en más de un contrato (o concierto) a la vez, tal vez incluso utilizando habilidades
completamente no relacionadas. Desarrollar y curar un almacén de habilidades de por vida es fundamental para el éxito laboral.
Los trabajadores independientes también necesitan que estas habilidades sean transferibles entre roles y, preferiblemente, medibles.
Para ganar roles de contrato, un trabajador temporal se basa en referencias de clientes y proyectos anteriores. Incrustado en esas
referencias hay un reconocimiento de las habilidades de empleabilidad o habilidades transferibles de un trabajador. Pero,
desafortunadamente, hay poca medición objetiva de esas habilidades. En su forma actual, las opiniones subjetivas sobre las
habilidades de un trabajador son tales que las buenas reseñas de los clientes pueden generar trabajo, mientras que las negativas niegan el empleo.
Desde la perspectiva de la ASEAN y el Indo-Pacífico, revisamos la cuestión de la movilidad. Las economías aspiracionales en estas
regiones prosperan al alentar a sus estudiantes a seguir una carrera académica en el extranjero. Mientras que muchos se repatrían a
su país de origen, otros encuentran nuevos hogares como ciudadanos de los países en los que eligieron estudiar. La noción de que la
ciudadanía es tan esencial como la empleabilidad es un hallazgo claro de Oliver (Oliver and Jorre de St Jorre, 2018[3 ]). De esta
manera, la evaluación CLA+ brinda un beneficio de valor agregado a los estudiantes que pueden buscar usar las habilidades del siglo
XXI para buscar trabajo, o incluso establecerse, fuera de su país de origen.
La empleabilidad de los estudiantes de por vida y los graduados universitarios con enfoque vocacional es el impulsor de la política
para el enfoque en las habilidades básicas en el aprendizaje postsecundario vocacional de Australia y Nueva Zelanda. Pero parece
haber una brecha significativa en la implementación y medición tanto del aprendizaje como de los resultados del aprendizaje. La
política es profunda en el deseo pero no intensa en términos de la metodología o la medición del aprendizaje y los resultados del
aprendizaje.
El CLA+ y sus herramientas de análisis derivadas ofrecen un rayo de luz en el análisis empírico y la evaluación comparativa detallada
para la medición de habilidades en habilidades básicas o de empleabilidad. A través de posibles programas piloto en una variedad de
entornos de la industria, existe un beneficio probable en la introducción de CLA+. Se están considerando proyectos de transición de
habilidades en veteranos militares que pasan del servicio al empleo civil, administración de atención médica y los últimos años de
secundaria cuando los estudiantes hacen la transición al trabajo, la educación vocacional o la educación superior. En este contexto, el
CLA+ ofrece información sobre la empleabilidad de los más jóvenes.
El Consejo para la Ayuda a la Educación (CAE) ha establecido un Memorando de Entendimiento con el Consejo Nacional Australiano
para la Investigación en Educación Vocacional. Según este acuerdo, hay planes en la segunda mitad de 2021 para emprender un
proyecto piloto con un proveedor de educación vocacional pública regional (Goulburn and Ovens Valley TAFE) en Victoria. Este
proyecto brindará a los estudiantes una medida empírica de sus habilidades básicas. Proporcionará información validada sobre sus
fortalezas y debilidades relativas en esas habilidades. Esperamos comprender el impacto de este enfoque.
Los exámenes de graduación de secundaria y los caminos de aprendizaje están actualmente bajo revisión con varios proyectos de
investigación en curso. A diferencia de la regulación nacional de la educación postsecundaria, la educación secundaria en Australia
está supervisada por las autoridades estatales.
Actualmente, las encuestas QUILT sirven al sector universitario. El desafío con estas encuestas es que se utilizan para apuntar a
estudiantes potenciales en el mercado de una universidad en lugar de proporcionar evidencia empírica sobre el aprendizaje de los
estudiantes. Muchas universidades son autónomas en su alcance y automatizadas en términos de calidad, y
254 ÿ
por lo que trabajar con asociaciones universitarias es muy deseable. El CLA+ ofrecería un conjunto de datos establecidos para
permitir una evaluación comparativa inmediata.
Dado que la empleabilidad es un tema clave, conectar los atributos de los graduados y las habilidades básicas con indicadores de
éxito laboral parecería una conexión válida a seguir en el contexto de Australia y Nueva Zelanda.
Conclusión
La transferibilidad de las habilidades del ecto-currículo es crucial en las economías pospandémicas de la región del Indo-Pacífico,
que abarca una economía de trabajos temporales, carreras plurales, transferibilidad y movilidad regional. A medida que Australia y
Nueva Zelanda restablecen su papel como proveedores de educación postsecundaria y previa al empleo para la región, la medición
y la garantía de los resultados de las cohortes de estudiantes adquieren una importancia cada vez mayor. A medida que los
estudiantes individuales asuman más responsabilidades para curar sus habilidades a lo largo de su carrera, es probable que
aumente la importancia de las medidas basadas en datos de la progresión relativa del aprendizaje, como el CLA+.
ÿ 255
Referencias
Bowden, J. et al. (2000), Capacidades genéricas de los graduados universitarios de ATN, Departamento de [4]
Educación, Capacitación y Juventud del Gobierno de Australia, Canberra.
Business Council of Australia (2016), Estar listo para trabajar: una guía de lo que quieren los empleadores, https:// [1]
www.bca.com.au/ being_work_ready_a_guide_to_what_employers_want.
McArthur, E. et al. (2017), “La visión de los empleadores sobre los graduados “listos para trabajar”: un estudio de [2]
Anuncios de empleos de marketing en Australia”, Journal of Marketing Education, vol. 39/2, págs. 82-93, https://
doi.org/10.1177/0273475317712766.
O'Keeffe, P. y A. Papadopoulos (2021), “La política favorable a las empresas del gobierno australiano [7]
respuesta del empleo a la COVID-19: un análisis crítico del discurso”, Economic and Labor Relations Review, vol.
32/3, https://doi.org/10.1177/1035304621997891.
Oliver, B. y T. Jorre de St Jorre (2018), “Atributos de graduados para 2020 y más allá: [3]
recomendaciones para los proveedores de educación superior de Australia”, Investigación y desarrollo de la educación
superior, vol. 37/4, págs. 821-836, https://doi.org/10.1080/07294360.2018.1446415.
Taylor, R. et al. (2020), Competencias para el Siglo XXI, Centro para el Rediseño Curricular, y [5]
Institución Brookings, Boston, MA.
Weldon, P. (2020), Definición de habilidades para el futuro: ¿Qué hay en un nombre?, [6]
https://www.acer.org/au/discover/article/defining-skills-for-the-future-whats-in- un nombre
(consultado el 21 de octubre de 2021).
notas
1
https://www.universitiesnz.ac.nz/about-university-sector/key-facts
2
www.lowyinstitute.org/the-interpreter/indo-pacific-new-asia
3
Las habilidades ectocurriculares son habilidades que se adquieren a través del proceso de aprendizaje o de la participación en un
programa de aprendizaje. Sin embargo, no son una parte directa del plan de estudios ni de los objetivos de aprendizaje. Estas
habilidades pueden ser conocidas coloquialmente por una serie de términos de uso común, como habilidades blandas, habilidades
básicas, habilidades de empleabilidad o habilidades del siglo XXI.
4
https://ako.ac.nz/knowledge-centre/graduate-outcomes/
5
https://www.careers.govt.nz/plan-your-career/get-ideas-for-your-career/skills-employers-are- looking-for/
6
https://curriculumredesign.org/framework/
7
www.acer.org/au/discover/article/defining-skills-for-the-future-whats-in-a-name
8
www.oecd.org/education/2030-project/teaching-and-learning/learning/
9
https://actuaries.asn.au/Library/Opinion/2020/GPGIGECONOMYWEBtest.pdf
ÿ 257
17 Conclusiones y perspectivas
Dirk Van Damme, OCDE (Francia)
Este capítulo final resume las principales conclusiones del informe y las lecciones
aprendidas de las experiencias de los países presentadas en los capítulos de países
individuales.
258 ÿ
Introducción
Este volumen reúne datos de evaluación y análisis de habilidades académicas como el pensamiento crítico de instituciones en
seis sistemas de educación superior diferentes, utilizando el Consejo para la Ayuda a la Educación (CAE)
Instrumento de evaluación CLA+ y sus variantes internacionales. Este es el primer esfuerzo comparativo internacional para evaluar
las habilidades académicas genéricas del siglo XXI entre instituciones y sistemas. El estudio de viabilidad AHELO de la OCDE
(2008-13) demostró que dicha evaluación comparativa es factible, pero no publicó los datos de evaluación del estudio y no se
transformó en un estudio principal. Durante los últimos 10 años desde la finalización del Estudio de viabilidad de AHELO, la
evaluación de los resultados del aprendizaje en la educación superior se ha convertido en una ambición importante para los
responsables políticos, los investigadores y los líderes de la educación superior.
Varios proyectos han visto la luz del día, a menudo a nivel nacional y utilizando enfoques e instrumentos de evaluación muy
diferentes. Esto no es necesariamente algo malo, sino más bien una señal del aprendizaje colectivo que se está produciendo en
los sistemas de educación superior.
Existe una gran demanda de evaluaciones comparativas internacionales válidas y confiables de las habilidades que son importantes
para el lugar de trabajo del siglo XXI. El mercado global claramente valora las habilidades genéricas como el pensamiento crítico
y la resolución de problemas. Los empleadores globales ya no confían automáticamente en que los títulos y calificaciones de
educación superior señalen de manera confiable estas habilidades y cada vez más recurren a sus propias prácticas de evaluación
(consulte el Capítulo 1 de este volumen). La falta casi total de métricas comparativas confiables de lo que aprenden los estudiantes
en las instituciones de educación superior podría, potencialmente, convertirse en un riesgo sistémico importante para el sector.
Las clasificaciones internacionales de instituciones de educación superior se utilizan como indicador de la calidad de las
instituciones y las credenciales que otorgan, pero contienen pocas medidas de la calidad de la enseñanza y el aprendizaje. Sin
embargo, en ausencia de una mejor métrica, el uso intensivo de tales clasificaciones indica la clara necesidad de datos confiables
sobre las habilidades que los graduados necesitan para competir en el mercado laboral.
Nadie ha desarrollado aún métricas comparativas confiables del aprendizaje y el desarrollo de habilidades en la educación
superior. Pero el presente volumen muestra que estamos progresando. En este último capítulo del libro, resumiremos los
principales resultados de nuestra empresa colaborativa, reflexionaremos sobre las lecciones aprendidas e indicaremos algunas
perspectivas.
Viabilidad de la evaluación de habilidades de pensamiento crítico en la educación superior
Quizás la primera conclusión sea la más importante: es factible una evaluación comparativa internacional de uno de los resultados
de aprendizaje más relevantes de la educación superior. Los capítulos de la primera parte de este volumen analizan en detalle los
problemas de validez de constructo, confiabilidad y validez transcultural asociados con una evaluación internacional de los
resultados del aprendizaje de la educación superior en el dominio de las habilidades genéricas. Su conclusión es clara: el
instrumento CLA+ International tiene potencial como instrumento de evaluación válido y fiable. Por supuesto, no es la única
herramienta de evaluación disponible en el mercado y solo cubre un segmento específico de habilidades y resultados de
aprendizaje relevantes, pero ha demostrado funcionar bien en diferentes contextos, en diferentes sistemas y para varios grupos
de estudiantes.
Además, como se muestra en el Capítulo 7, la evaluación CLA+ ha confirmado empíricamente la validez predictiva de los
resultados profesionales y del mercado laboral más adelante en la vida. El análisis de los datos de evaluación de EE. UU.
vinculados a encuestas administradas a empleadores y asesores profesionales demuestra que las habilidades de pensamiento
crítico evaluadas por el instrumento CLA+ predicen el futuro éxito educativo, el desarrollo profesional y los resultados del mercado
laboral. Las evaluaciones de las habilidades de empleabilidad relevantes, como el pensamiento crítico, proporcionan indicadores
más potentes del capital humano que las medidas de las habilidades básicas, como la alfabetización y la aritmética.
Que una evaluación internacional es factible ya fue la conclusión del Estudio de viabilidad de AHELO, completado en 2013. Pero
el CLA+ ha mejorado aún más al aprender de su implementación, la investigación analítica sobre los datos recopilados y la
colaboración internacional de la que este informe es el resultado. (ver el Capítulo 3 de este volumen). Se han logrado avances
significativos, entre otros, en el desarrollo de elementos y,
ÿ 259
más recientemente, pruebas basadas en computadora y puntuación asistida por computadora. Esto ha contribuido en gran medida
a la usabilidad y rentabilidad del instrumento de evaluación, el procesamiento de los datos y el informe del análisis.
Las experiencias en los sistemas que se informan en la Parte III de este volumen y la solidez metodológica del instrumento brindan
una prueba convincente de que es posible una implementación más amplia de la evaluación en más instituciones y sistemas. Una
mirada más cercana a los hallazgos sustantivos de la evaluación en seis sistemas en la siguiente sección sugerirá que también
vale la pena hacerlo.
¿Los estudiantes aprenden a pensar críticamente en la universidad?
La Parte II de este informe analiza los datos de la evaluación de más de 120 000 estudiantes incluidos en la base de datos agregada
en todas las instituciones y sistemas. De estos, cerca de 100 000 eran estudiantes en los Estados Unidos. Estos estudiantes,
divididos casi por igual entre los que ingresan y egresan de un programa de primer grado, fueron evaluados con versiones
equivalentes del instrumento CLA+ durante el período comprendido entre 2015 y 2020. Con la excepción de Italia, todos los
sistemas llevaron a cabo múltiples administraciones de la evaluación.
En toda la muestra, los estudiantes que ingresaron a un programa de educación superior en promedio se desempeñaron en un
nivel de dominio de la prueba "en desarrollo". Los estudiantes que salen en promedio se desempeñaron en un nivel de dominio
'competente'. El cambio es relativamente pequeño (d = .10) pero significativo. La distribución total permanece más o menos igual
en ambas submuestras, lo que sugiere que toda la distribución pasó a una puntuación más alta. La distribución es bastante grande,
con un promedio del 21% de los estudiantes (promedio de los promedios de los países) rindiendo en el nivel de desempeño
'emergente' más bajo. Por lo tanto, en todos los países, el 20 % de los estudiantes se desempeñaron en el nivel de dominio más
bajo, mientras que el 15 % de los estudiantes se desempeñaron en los niveles de dominio 'cumplido' y 'avanzado'.
Estos resultados generales en los seis sistemas se pueden interpretar de diferentes maneras. En general, es alentador ver que
durante su tiempo en un programa de educación superior, los estudiantes mejoraron sus habilidades de pensamiento crítico. Sin
embargo, dada la importancia que la mayoría de los programas de educación superior otorgan a la promoción de habilidades de
pensamiento crítico, la ganancia de aprendizaje es menor de lo que cabría esperar. Si las universidades realmente quieren fomentar
las habilidades del siglo XXI, como el pensamiento crítico, deben aumentar sus esfuerzos. Si bien las universidades producen
graduados que pueden considerarse, en promedio, competentes en pensamiento crítico, la distribución de logros es bastante
amplia, con una quinta parte de los estudiantes rindiendo en el nivel más bajo. Dado que la mitad de los estudiantes que salen se
desempeñan en los dos niveles más bajos, es difícil afirmar que una calificación universitaria indica de manera confiable un nivel de
habilidades de pensamiento crítico esperado por el mercado global.
El análisis no puede confirmar positivamente que la ganancia de aprendizaje sea causada por la experiencia de enseñanza y
aprendizaje dentro de los programas universitarios. Es posible que, por ejemplo, los efectos de selección (abandono selectivo), la
maduración general de la población estudiantil o los efectos del aprendizaje fuera de la universidad contribuyan a la ganancia de
aprendizaje promedio. Sin embargo, el hecho de que la distribución del rendimiento permanezca más o menos igual desde que
ingresan hasta que egresan muestra que toda la población estudiantil se mueve hacia arriba, lo que sugiere que la ganancia de
aprendizaje es causada por una experiencia de aprendizaje común y compartida.
¿Las variables de antecedentes influyen en el desarrollo de habilidades de pensamiento crítico?
Las evaluaciones internacionales a gran escala de los resultados del aprendizaje, como PISA, PIAAC, Trends in International
Mathematics and Science Study (TIMSS) y otras, muestran que las variaciones en los resultados del aprendizaje están fuertemente
influenciadas por los antecedentes de los estudiantes, como el género, el idioma, los antecedentes familiares, la migración. estado
y otros. Es interesante examinar si este también es el caso de la evaluación de los resultados del aprendizaje del pensamiento
crítico en la universidad.
El impacto del idioma (ya sea que el idioma principal de los estudiantes sea diferente del idioma de instrucción/prueba o no) muestra
ser estadísticamente significativo pero bastante pequeño. Tanto los estudiantes que ingresan como los que salen con un
260 ÿ
diferente lengua materna que el idioma de instrucción tienen un rendimiento ligeramente inferior al de otros estudiantes, excepto en
la muestra de estudiantes ingresantes de EE. UU. Pero, dada la importancia de la competencia lingüística para completar la prueba,
estos resultados son bastante positivos. Las barreras del idioma no obstaculizan significativamente el pensamiento crítico.
Este hallazgo analítico de toda la base de datos oculta hallazgos contradictorios en países individuales. Con respecto al idioma, es
interesante notar que en la muestra de los Estados Unidos, los estudiantes que ingresaron con un idioma nativo diferente al idioma
de instrucción se desempeñaron mejor que los estudiantes cuyo idioma nativo era el mismo que el idioma de instrucción, pero que
esta ventaja se invirtió. cuando salieron de la institución (ver Capítulo 6). En la muestra de Inglaterra, tanto los estudiantes que
ingresaron como los que egresaron cuyo idioma nativo era el inglés superaron a los estudiantes con un idioma nativo diferente
(consulte el Capítulo 13). También hay diferencias interesantes en el impacto del idioma en los dos componentes diferentes de la
prueba, la Prueba de rendimiento (PT) y las Preguntas de respuesta seleccionada (SRQ), que movilizan diferentes habilidades de
dominio del idioma.
El género no parece tener un gran impacto. Hay algunas diferencias menores, estadísticamente significativas pero, en general,
pequeñas, entre estudiantes masculinos y femeninos, pero no hay un patrón general claro. Sin embargo, como ilustran los capítulos
de países en la Parte III, a nivel nacional, el género puede desempeñar un papel. Este es el caso de Finlandia, donde se pueden
identificar patrones de género en las puntuaciones por campo de estudio (ver Capítulo 12).
El impacto de los antecedentes familiares se ha examinado a través de la variable nivel educativo de los padres.
En contraste con el idioma y el género, el nivel educativo de los padres mostró tener un impacto en el desempeño del pensamiento
crítico de los estudiantes, tanto entre los estudiantes que ingresan como los que salen, y tanto para la muestra internacional como
para la estadounidense. Esto apunta a un efecto persistente del estatus socioeconómico-cultural de los estudiantes en su rendimiento
educativo, incluso en esta etapa de su trayectoria educativa. Los estudiantes de entornos más desfavorecidos tienen más
desventajas en el pensamiento crítico.
La pregunta de si la educación de los padres también influye en la ganancia de aprendizaje entre el ingreso y egreso de un programa
universitario no pudo ser respondida de manera concluyente. Los datos sugieren que los estudiantes con un nivel educativo de los
padres más alto lograron una ganancia de aprendizaje ligeramente mayor que los estudiantes con un nivel educativo de los padres
más bajo. Sin embargo, el impacto relativo de la selección/deserción frente a la educación sigue sin estar claro.
Se necesitarían diseños de investigación más sofisticados, preferiblemente longitudinales, para responder a esa pregunta.
Algunos de los capítulos de países en la Parte III exploran otras variables de fondo relevantes y su relación con los datos de
evaluación de CLA+. Por ejemplo, en México (Capítulo 14) se notaron grandes diferencias entre los estudiantes en campus en áreas
metropolitanas y los estudiantes en campus en áreas rurales remotas. En un país como México, la geografía juega un papel
importante por su asociación con el desarrollo económico, la prosperidad social y los niveles de pobreza y exclusión.
¿Los estudiantes demuestran diferentes niveles de pensamiento crítico por campo de

estudio y tipo de instrucción?
Los análisis informados en el Capítulo 8 muestran que existen diferencias significativas en la evaluación de las habilidades de
pensamiento crítico entre estudiantes no estadounidenses en programas en diferentes campos de estudio. En promedio, en todos
los países con datos relevantes, se encontró que los estudiantes de negocios y agricultura obtuvieron puntajes relativamente bajos,
mientras que los estudiantes de humanidades, ciencias y ciencias sociales obtuvieron puntajes relativamente altos. Este patrón se
mantiene tanto para los estudiantes que ingresan como para los que egresan, lo que sugiere una combinación o interacción entre
los efectos de selección y educación. Sin embargo, la mayor ganancia de aprendizaje lograda entre el ingreso y egreso de la
universidad se encontró en los estudiantes de salud y bienestar.
Se encontró un patrón más o menos similar para los estudiantes estadounidenses pero con una clasificación ligeramente diferente.
Se encontró que los estudiantes de ciencias e ingeniería tenían los puntajes más altos, tanto al ingresar como al egresar, seguidos
por las ciencias sociales y las humanidades.
ÿ 261
El Capítulo 8 también informa sobre un interesante análisis de las diferencias en las puntuaciones de CLA+ para diferentes formatos
de instrucción para estudiantes que salen fuera de los EE. UU. Aunque las diferencias son relativamente pequeñas, los seminarios,
conferencias y laboratorios de ciencias se asocian con los puntajes más altos (con promedios en el nivel de dominio 'competente'),
mientras que el aprendizaje de servicio y el trabajo de campo se asocian con puntajes bajos. El resultado positivo para las
conferencias y el resultado negativo para el aprendizaje servicio y el trabajo de campo contradicen las opiniones populares sobre la
pedagogía de la educación superior, que favorecen la activación de formatos de instrucción. El pensamiento crítico parece florecer
en la instrucción que requiere un compromiso profundo con el contenido, como es el caso de conferencias, laboratorios y seminarios.
Diferencias entre países
Aunque el presente estudio no se basa en un muestreo representativo dentro de los países (excepto Finlandia, que administró una
evaluación de todo el sistema pero con algunas instituciones optando por no participar), es interesante ver si existen diferencias
significativas en los resultados de CLA+ entre países. El Capítulo 9 analiza las diferencias a nivel de país en las puntuaciones de
CLA+ para muestras en cinco países: Estados Unidos, Reino Unido, Finlandia, Chile y México. En el informe de los resultados, los
países se anonimizaron, según lo acordado con los directores de proyectos de los países en el estudio. Dadas las limitaciones en
el muestreo, la imposibilidad de considerar los datos nacionales como medidas confiables a nivel de país y el acuerdo con las
instituciones participantes de que tienen plena propiedad de los datos de evaluación, no fue posible ni deseable clasificar a los
países. Aún así, se pueden hacer algunas observaciones muy interesantes. La comparación entre países es útil para explorar la
importancia del nivel nacional como variable relevante.
Los datos reportados en el Capítulo 9 muestran claras variaciones en los niveles de dominio entre los cinco países. Ya, cuando los
estudiantes ingresan a la universidad, exhiben niveles de competencia muy diferentes en el pensamiento crítico. En los países A y
D, la mitad o más de los estudiantes que ingresan obtuvieron niveles de "competente", "cumplido" y "avanzado", mientras que en
otros países la mitad o más de los estudiantes que ingresan obtuvieron los dos niveles más bajos de dominio. También se mostró
una gran variación para los estudiantes que salen. En el país D, el 70 % de los estudiantes que egresaron obtuvo un nivel de
'competencia' o superior, mientras que en el país C solo el 45 % de los estudiantes que egresaron obtuvo esos niveles. La ganancia
de aprendizaje promedio lograda mientras los estudiantes estaban en la universidad no estaba relacionada con su nivel de dominio
cuando comenzaron. Los estudiantes del país C ganaron muy poco en competencia incluso si habían comenzado en un nivel bajo.
Los estudiantes del país D comenzaron en un nivel mucho más alto pero avanzaron mucho antes de salir, mientras que los
estudiantes del país E comenzaron en un nivel mucho más bajo pero ganaron casi tanto. Los resultados en el país C son claramente
decepcionantes. Otros sistemas muestran mayores niveles de progreso, pero el país D deja en claro que incluso con niveles ya
altos de pensamiento crítico entre los estudiantes que ingresan, hay muchas oportunidades de lograr un progreso significativo
durante la universidad.
La variabilidad de los puntajes de CLA+ entre las muestras de países sugiere que, de hecho, existen diferencias significativas entre
los países en la capacidad de sus sistemas educativos antes y dentro de la educación superior para desarrollar habilidades de
pensamiento crítico. Como se muestra en los capítulos específicos de cada país en la Parte III de este volumen, los sistemas
educativos difieren en las políticas, los objetivos educativos y las culturas dentro de las instituciones.
Aún así, en un contexto cada vez más global para las instituciones de educación superior y, especialmente, para la empleabilidad y
la participación social de los graduados, los sistemas de educación superior que estén mejor equipados para fomentar las habilidades
de pensamiento crítico se encontrarán en un lugar mejor en el entorno del siglo XXI. Dados los cambios en la demanda de
habilidades que están afectando a todos los países, aunque esto varía dependiendo de dónde se ubiquen los países en la cadena
de valor global, todos los países deberían permitir que las instituciones de educación superior se desempeñen mejor en el fomento
del pensamiento crítico.
Dicho esto, la variabilidad en los datos a nivel de país no es alta. Las clasificaciones internacionales han creado la percepción de
que las diferencias de calidad entre los sistemas de educación superior son enormes, pero los datos a nivel de país en este informe
lo contradicen. Hay diferencias interesantes a nivel de país en la evaluación de las habilidades genéricas del siglo XXI, pero son
pequeñas y ciertamente no reflejan la percepción jerárquica pronunciada sugerida por las clasificaciones internacionales. En
cualquier caso, con la excepción de Estados Unidos y Finlandia,
262 ÿ
se necesitan muestras más grandes y más representativas para otros países antes de que se pueda concluir algo significativo
sobre las diferencias de desempeño entre países.
Experiencias en países individuales
Los capítulos sobre países o sistemas individuales que participan en este proyecto en la Parte III indican claramente la amplia
variabilidad en los procesos de toma de decisiones, la implementación de la evaluación, sus resultados y su relevancia política.
No obstante, a pesar de las diferentes trayectorias, todos estos sistemas quieren comprender mejor el papel del desarrollo de
habilidades genéricas del siglo XXI en los programas de educación superior.
El instrumento de evaluación CLA+ se desarrolló en los Estados Unidos, donde se ha implementado en una amplia gama de
instituciones y se ha convertido en parte de la infraestructura de evaluación para la educación superior (Capítulo 10). Constituye
una respuesta a la demanda de la Comisión de Ortografía (2006) de una rendición de cuentas de las instituciones más basada en
la evidencia a través de la evaluación de las habilidades genéricas de los estudiantes.
La implementación de la evaluación durante los últimos 15 años ha generado una gran cantidad de datos, alimentando análisis
interesantes e inspirando debates de políticas dentro de las instituciones y a nivel estatal y federal.
Italia fue el primer país en implementar el CLA+ fuera de los Estados Unidos. Se llevó a cabo como parte de una iniciativa de la
agencia nacional de evaluación, ANVUR, para evaluar el aprendizaje de los estudiantes en las universidades italianas luego de la
participación del país en el Estudio de Viabilidad AHELO de la OCDE (Capítulo 11). En 2013, la evaluación CLA+ se administró a
muestras de estudiantes de 12 universidades italianas, seguida de una segunda administración en 2015 en otras 26 universidades.
La implementación en Italia no estuvo exenta de dificultades, especialmente con respecto a la selectividad y motivación de los
estudiantes, y la calificación. Sin embargo, las experiencias con la implementación italiana fueron muy instructivas para otros
sistemas en los años siguientes. Después de 2016, ANVUR se alejó de la evaluación de habilidades genéricas del siglo XXI a
pruebas más centradas en la disciplina.
Finlandia fue el país más reciente en implementar el instrumento CLA+ (Capítulo 12). Al igual que Italia, Finlandia participó en el
estudio de viabilidad de AHELO y había estado buscando oportunidades para desarrollar su propia implementación. Finlandia fue
el primer país en implementar el CLA+ a escala de todo el sistema con una muestra representativa de estudiantes en las
instituciones participantes. Por lo tanto, la experiencia finlandesa proporciona la experiencia más rica fuera de los Estados Unidos
en términos de administración del CLA+, análisis de datos y relevancia para el desarrollo de políticas. Hasta la fecha, el proyecto
finlandés proporciona los datos más extensos sobre la implementación de CLA+ fuera de los Estados Unidos.
En Inglaterra, el gobierno solicitó al Consejo de Financiamiento de la Educación Superior de Inglaterra (HEFCE) (2015) que
evaluara la ganancia de aprendizaje en las instituciones de educación superior. Sería una oportunidad para iniciar una iniciativa
de investigación en dos universidades más nuevas o posteriores a 1992 para evaluar el desarrollo de habilidades genéricas del
siglo XXI utilizando el instrumento CLA+ (Capítulo 13). El Marco de Excelencia Docente (TEF, por sus siglas en inglés) (2016-17)
proporcionó espacio y financiamiento para trabajar en la ganancia de aprendizaje. Curiosamente, el experimento en Inglaterra
incluyó un diseño longitudinal, que resultó ambicioso. El proyecto en Inglaterra también demostró el potencial de la evaluación
como una herramienta de diagnóstico para la mejora institucional, así como una medida centrada en la rendición de cuentas.
Al igual que Italia y Finlandia, México apoyó con entusiasmo el estudio de factibilidad AHELO de la OCDE.
Allí, una gran universidad pública fue pionera en el instrumento CLA+ en respuesta a las iniciativas gubernamentales para mejorar
la calidad de la enseñanza y el aprendizaje universitarios (Capítulo 14). Las pruebas basadas en el desempeño se consideraban
una herramienta poderosa para evaluar las habilidades genéricas necesarias para el éxito en el lugar de trabajo. En 2017-18 se
administraron tres sesiones de evaluación para más de 8 500 estudiantes. El proyecto no solo generó datos y análisis muy
interesantes, sino que estimuló el impulso institucional para mejorar la enseñanza y el aprendizaje y abordar las enormes
disparidades en el desempeño de los estudiantes.
Las actividades de divulgación en América Latina, a partir de 2017, proporcionaron las bases necesarias para la implementación
de CLA+ en algunos países del continente (Capítulo 15). Hasta 2020, cuatro universidades privadas de Chile iniciaron un proyecto
para utilizar el CLA+ con apoyo del gobierno. los estudios de casos
ÿ 263
no solo proporcionó datos muy interesantes sino una importante oportunidad de aprendizaje institucional. La implementación
de la evaluación también estimuló el interés por el pensamiento crítico como objetivo de aprendizaje en el currículo.
Finalmente, aunque no se han realizado pruebas reales en Australia y Nueva Zelanda (Capítulo 16), se han producido
desarrollos de políticas que eventualmente podrían conducir a la implementación de la evaluación CLA+.
Es notable que el interés proviene principalmente del sector postsecundario vocacional más que de las universidades. El
capítulo describe el creciente interés en las habilidades genéricas del siglo XXI, como el pensamiento crítico para la
empleabilidad y la ciudadanía, y cómo esto está impulsando los debates políticos sobre la implementación de CLA+ como
herramienta de medición.
En los últimos años, se han llevado a cabo conversaciones con muchos más países que los que se mencionan en este libro.
Muchos sistemas ven la relevancia de evaluar habilidades genéricas como el pensamiento crítico. Pero muchos enfrentan
barreras. Resistencia de instituciones, facultades y personal; implementación; y los problemas de financiamiento son solo
algunos de los temas que se deben enfrentar para dar los pasos necesarios.
Lecciones aprendidas en los países participantes
Las experiencias en países individuales ilustran que un interés compartido en la importancia de las habilidades genéricas del
siglo XXI para la empleabilidad y la ciudadanía impulsa las decisiones para implementar la evaluación CLA+.
En todos los países, un fuerte interés político, a menudo provocado por partes interesadas externas, como la comunidad
empresarial, ha sido una condición necesaria para avanzar. Cuando existe un claro consenso político a favor de las
habilidades genéricas y un contexto político de apoyo para las instituciones, las cosas comienzan a moverse.
Una segunda lección aprendida es el poder de la evaluación para impulsar la agenda de reformas en la educación superior.
El dicho de que solo importa lo que se evalúa, es cierto. Sin evaluación, los debates sobre la importancia de las habilidades
genéricas corren el riesgo de convertirse en partidistas y divisivos. Con una base de evidencia creíble, aunque sea imperfecta,
el debate se alimenta con datos y se vuelve realista.
Una tercera lección es sobre la importancia de un enfoque inclusivo. El contexto institucional en la educación superior es
extremadamente importante, lo que implica que ningún gobierno, y mucho menos una organización internacional, puede
imponer una evaluación a las instituciones. En todos los países, el consentimiento institucional ha demostrado ser una
condición críticamente importante para el éxito. El fracaso del proyecto AHELO para pasar a un Estudio Principal
probablemente se debió a que la toma de decisiones convencional a nivel gubernamental, sin procesos debidamente
organizados de discusión y negociación con las instituciones, está condenada al fracaso en un entorno de educación superior.
Varios informes de países en la Parte III de este volumen también señalan la importancia de motivar al personal para que
apoye positivamente la evaluación.
La cuarta lección aprendida es sobre los estudiantes. En un entorno de educación superior, es casi imposible obligar a los
estudiantes a realizar un examen si no ven el valor agregado por sí mismos. Varios capítulos de este volumen exploran el
tema de la motivación y el compromiso de los estudiantes. La motivación subóptima de los estudiantes no solo afecta
negativamente las tasas de participación, sino también la calidad de los resultados de la evaluación. Los estudiantes están
dispuestos a rendir el examen y hacerlo lo mejor posible si lo ven como una herramienta confiable para sus propios intereses.
Desde esta perspectiva, es interesante ver el desarrollo de la evaluación CLA+ para recompensar a los estudiantes exitosos
con insignias y credenciales digitales. Los posibles empleadores pueden acceder a estos para tener una idea de las
habilidades genéricas de la persona. Este es un desarrollo muy prometedor.
264 ÿ
perspectivas
Sería prematuro considerar que el presente volumen y las experiencias en los países participantes son una base
suficiente para pasar a una evaluación a gran escala de las habilidades genéricas del siglo XXI en la educación superior.
Sin embargo, este volumen ilustra el poder de la evaluación para impulsar el debate político sobre la importancia de
habilidades genéricas como el pensamiento crítico. Se abre una importante oportunidad para que gobiernos e instituciones
desarrollen iniciativas para evaluar el pensamiento crítico, utilizando el instrumento CLA+ u otros. Tales iniciativas serán
poderosas oportunidades de aprendizaje colectivo de las que toda la comunidad mundial de educación superior puede
beneficiarse.
¿La educación superior enseña a los estudiantes a

pensar críticamente?
Existe una brecha perceptible y creciente entre las calificaciones que certifica un título universitario y las habilidades
genéricas reales del siglo XXI con las que los estudiantes se gradúan de la educación superior. Por habilidades genéricas se
entiende la alfabetización y las habilidades de pensamiento crítico que abarcan la resolución de problemas, el razonamiento
analítico y la competencia comunicativa. A medida que la automatización se hace cargo de tareas no cognitivas y de bajo nivel
cognitivo en el lugar de trabajo actual, estas habilidades genéricas se valoran especialmente, pero un título terciario es un
indicador deficiente del nivel de habilidades. En los Estados Unidos, el Council for Aid for Education desarrolló una evaluación de
habilidades genéricas llamada CLA+ y realizó pruebas en seis países entre 2016 y 2021. Este libro proporciona los datos y el análisis
de esta “Iniciativa Internacional CLA+”.
IMPRENTA ISBN 978-92-64-86297-5

PDF ISBN 978-92-64-95496-0
9HSTCQE*igcjhf+

Libro Ocde

Cargado por

Copyright:

Formatos disponibles

Libro Ocde

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Libro Ocde

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

¿La educación superior enseña a

¿La educación superior

Cite esta publicación como: Van

ISBN 978-92-64-86297-5 (impreso)

Créditos de las fotos: Portada © Rudchenko Liliia/Shutterstock.com.

Los corrigenda de las publicaciones se pueden encontrar en línea en: www.oecd.org/about/publishing/corrigenda.htm.

Exdirector de Educación y Habilidades, OCDE (2006-2014)

Parte I Evaluación de los resultados de aprendizaje genéricos de los estudiantes 17

1 ¿Adquieren los estudiantes de educación superior las habilidades que importan? 18

Transparencia y asimetría de la información 23

Cambiando la demanda de habilidades 26

Evaluación de habilidades genéricas 29

Avances en la evaluación de los resultados del aprendizaje en la educación superior 30

2 La Evaluación del aprendizaje universitario: una evaluación basada en el desempeño de

Traducción y adaptación sesenta y cinco

4 Garantizar la fiabilidad y la validez transculturales 71

Antecedentes teóricos Tareas 72

de rendimiento y puntuación Desafíos 72

Parte II Base de datos internacional CLA+ 87

5 Resultados generales de CLA+ Internacional 88

6 CLA+ Variables demográficas internacionales 99

7 Validez predictiva de CLA+ 111

8 campos de estudio 121

9 países de referencia 133

Parte III La evaluación CLA+ en los países participantes 141

10 CLA+ en los Estados Unidos 142

Contexto de la política 163

El experimento italiano con el CLA+ (TECO 2013-2015) Pruebas de 2013 164

Pruebas de 2015 Problemas críticos de 2013 y 2015 164

Redefiniendo el TECO 166

TECO-T y TECO-D (2016-2019) 168

Entrega de TECO durante la pandemia de COVID-19 173

12 Evaluación de las habilidades genéricas de los estudiantes universitarios en Finlandia 179

El sistema de educación superior finlandés 180

El contexto político para la evaluación de habilidades genéricas 180

Implementación de CLA+ International en Finlandia 181

Objetivos y coordinación del proyecto 181

Muestreo de datos 182

13 Uso de CLA+ en un piloto en Inglaterra para medir la ganancia de aprendizaje 197

Contexto de política para CLA+ 199

Proceso de implementación CLA+ 200

entrega del proyecto 200

Adaptación de CLA+ a CLA+ Internacional 201

CLA+ como herramienta de diagnóstico 201

Reclutamiento y prueba de estudiantes 202

Números de prueba y reclutamiento de estudiantes. 203

Datos de rendimiento 204

Datos demográficos y rendimiento de CLA+ 204

Uso del CLA+ para mejorar el aprendizaje y la enseñanza 205

Implicaciones políticas y lecciones aprendidas 207

Próximos pasos y perspectivas 207

14 México: un enfoque innovador en la evaluación de resultados de aprendizaje 211

Educación superior mexicana: disparidades socioeconómicas y cognitivas 212

Las realidades digitales exacerban la disparidad 212

La educación superior en México: un sistema complejo 213

Construir el acceso y la calidad de la educación superior 213

Evaluación de los resultados del aprendizaje 214

Implementación de las pruebas CLA+ 215

Algunos resultados: disparidades desafiantes, una vez más 216