46375-Texto Del Artículo-98139-1-10-20160510
46375-Texto Del Artículo-98139-1-10-20160510
46375-Texto Del Artículo-98139-1-10-20160510
Resumen
La actual realidad educativa en la Educación Superior está caracterizada por la implementación
del proceso de convergencia europeo. Un factor clave es el protagonismo del estudiante en el
modelo de aprendizaje basado en competencias, donde el proceso de evaluación es un factor
importante a desarrollar. En el presente estudio, cinco profesores de la Universidad de Deusto
diseñaron una entrevista como herramienta de evaluación de cuatro competencias genéricas. La
entrevista se aplicó a 21 estudiantes de un curso de emprendizaje social. Para la evaluación, se
definieron lo que se considerarían evidencias de desempeño en las respuestas. Por último, se
validaron los resultados aplicando el coeficiente de similitud de Gower. Los resultados sugieren
una alta similitud en la evaluación de evidencias entre los cinco docentes, lo cual aporta
fiabilidad a la medición. En conclusión, existiendo un consenso sobre los criterios de
evaluación entre docentes, se puede mejorar la fiabilidad de las evaluaciones a los estudiantes y
se aporta una herramienta para su evaluación.
Palabras clave: competencias genéricas, entrevista, evaluación, evidencia, consenso, educación
superior.
Abstract
The current educational reality in the field of Higher Education is characterized by the
implementation of the European process of convergence. A key factor is the student’s leading
role in the model of competence based learning, in which the process of evaluation is a key
factor to be developed. In the current study, five university teachers from the University of
Deusto designed an interview as a tool for the assessment of four generic competences. This
interview was applied to 21 students in a social entrepreneurship course. In order to be
consistent in the assessment, evidence of performance was previously defined. Finally, the
Coefficient of Similarity of Gower was applied in the process of validation of results. These
suggest a high similarity in the evaluation of evidences among the five teachers, thus providing
Método
A partir de este enfoque sobre el proceso de evaluación de competencias y teniendo
en cuenta la importancia del consenso entre los docentes evaluadores del desempeño
del estudiante, se elaboró un instrumento de evaluación basado en la entrevista. Esta
herramienta fue aplicada en el estudio piloto que se describe a continuación. Con los
resultados de este estudio se pudo construir un análisis de evidencias inter-jueces
(docentes evaluadores) para mostrar la fiabilidad de las evaluaciones.
Estudio piloto de la utilización de la Entrevista de Evaluación del aprendizaje
focalizado en competencias.
Este trabajo se encuadra en el marco de un curso de postgrado de la Universidad de
Deusto, realizado en el curso 2010-2011, financiado por la Diputación de Guipúzcoa,
bajo el título de “Modelo de formación de emprendedores sociales basado en
Revista Complutense de Educación 461
Vol. 27 Núm. 2 (2016) 457-476
Manuel Poblete Ruiz et al. La entrevista como herramienta para la evaluación…
Con los datos de la aplicación de las entrevistas, así como con la definición de los
niveles de evidencia, se procedió al análisis de las respuestas obtenidas en las
entrevistas. La metodología y procedimiento de la aplicación experimental se describen
a continuación.
En la fase experimental de este estudio se utilizó como instrumento la entrevista
semiestructurada organizada en cuatro partes, una para cada competencia genérica a
evaluar (Comunicación, Comportamiento ético, Trabajo en equipo y Liderazgo). La
finalidad de esta entrevista era evaluar las competencias genéricas de una muestra de
estudiantes.
Participantes
Los participantes de este estudio fueron 21 estudiantes del curso “Modelo de
emprendedores sociales basado en competencias” impartido por la Universidad de
Deusto. En la programación del Curso se asignó una duración de 150 horas
administradas durante un semestre académico. Todos los estudiantes trabajaban en el
ámbito social y acudían al curso de manera voluntaria para especializarse en ciertas
Una vez realizadas, las entrevistas fueron transcritas por cada uno de los
evaluadores, que tenían como contraste la grabación correspondiente. Cada evaluador/a
(que cumplió el rol de entrevistador/a) eligió lo que él/ella consideraba que era una
evidencia de que el entrevistado/a desempeñaba o no una determinada competencia. La
evaluación de las evidencias se realizó de manera individual, para integrar después
estos datos en una base de datos común.
Resultados
Los resultados obtenidos para mostrar la utilidad de la herramienta desarrollada y
aplicada para evaluar las competencias genéricas mediante la entrevista, contando con
que se obtuvieron 144 evidencias seleccionadas para el estudio, en las cuales se
evaluaban cuatro competencias genéricas de 21 participantes, se presentan en la Tabla
4.
Evaluador 2 Evaluador 3 Evaluador 4 Evaluador 5
Evaluador 1 0,78 0,81 0,77 0,82
Evaluador 2 0,88 0,81 0,85
Evaluador 3 0,90 0,91
Evaluador 4 0,85
Tabla 4. Resultados del coeficiente de similitud de Gower de la evaluación inter-jueces.
Como se puede observar, todos los coeficientes (excepto dos) son superiores a .80.
Aparecen dos coeficientes (entre el evaluador 1 y evaluador 2, de .78 y, entre el
evaluador 1 y el evaluador 4, de .77, que son inferiores a .80, pero que indican aun así
un grado muy aceptable de acuerdo inter-jueces.
Asimismo, se realizó un análisis de este coeficiente según los siete indicadores de
evaluación de la entrevista, con el fin de observar a nivel más localizado si existe
acuerdo inter-jueces (ver tablas en el Anexo 1. Resultados del Coeficiente de Gower en
los 7 indicadores de las cuatro competencias evaluadas).
En lo que respecta a la competencia de Comunicación, encontramos una
confiabilidad alta entre los evaluadores 2, 3, 4 y 5. Sin embargo, podemos observar que
el evaluador 1 tiene valores bajos, incluso menores de .65 (de .61 a .63) con tres de los
otros evaluadores. Estas puntuaciones más bajas no se repiten en ningún otro indicador
y tanto el evaluador 1 como los otros cuatro, obtienen coeficientes considerados como
niveles aceptables de acuerdo, de hecho más altos de .70, así como de alto acuerdo
(mayores de .80). Los mayores acuerdos entre los evaluadores se han encontrado en los
indicadores de las competencias de trabajo en equipo y liderazgo (indicadores 5, 6 y 7),
Discusión
El objetivo de este estudio era analizar la utilidad de la entrevista como técnica para
la evaluación de competencias. Para ello, se diseñó un modelo de entrevista, así como
un procedimiento consensuado de medición de evidencias de las respuestas. Los
resultados más relevantes indicaron que se logró una clara similitud en las respuestas
de los evaluadores a la hora de valorar las evidencias sobre competencias genéricas.
Puede deducirse, por tanto, que los evaluadores, tras una formación sobre el
procedimiento para la medición de evidencias, han evaluado de manera similar. Por
ello, puede afirmarse que, a partir de esta entrevista de evaluación de competencias
genéricas, se evalúan las evidencias obtenidas y se valora el desempeño del estudiante
en estas competencias.
Por otro lado, cabe destacar la importancia de la formación de los docentes
evaluadores, así como de la construcción de consenso entre los mismos, como factor
que incide de manera clara en los resultados. Así, creemos que es importante esta
coordinación entre los docentes con el fin de alcanzar unos criterios comunes que
aporten transparencia, oportunidad y fiabilidad a la evaluación. Este trabajo va así en
concordancia con un enfoque de la docencia en el que “la práctica reflexiva es la base
de la profesionalidad efectiva” (Biggs, 2006) y esto incluye la enseñanza universitaria
(Brockbank y McGill, 1998). Esto supone un reto para las instituciones, donde los
tiempos para la docencia se ven sobrecargados.
Otra limitación que se puede encontrar en el presente estudio, es que se centra en
una evaluación final basada en una herramienta como es la entrevista. A pesar de que a
partir de los resultados se puede afirmar que este procedimiento aporta una manera
eficaz de evaluación de competencias, recordamos que la evaluación centrada en el
estudiante es más compleja. Se necesita evaluar distintos elementos y niveles del
aprendizaje, que deben ser medidos desde diferentes perspectivas y, por tanto, con
varios instrumentos. Por ello, se recomienda la triangulación de herramientas, así
como la evaluación enfocada en el proceso de aprendizaje como elementos básicos
para una evaluación basada en competencias. De hecho, la entrevista no debería ser el
único instrumento de evaluación, entre otras razones, por la posibilidad de sesgo en el
discurso del estudiante.
En resumen, este estudio aporta una herramienta para la evaluación de
competencias genéricas y una propuesta para la definición de niveles de evidencias que
ayuden al docente a ubicar los resultados de aprendizaje de sus estudiantes. Como
apuntan Asikainen, Parpala, Virtanen y Lindblom-Ylänne (2013, p. 215) “evaluar
distintos niveles de comprensión es más apropiado para la evaluación de resultados de
aprendizaje”.
Conclusiones
La entrevista como herramienta de evaluación de competencias se ha revelado en
este estudio como instrumento efectivo para evaluar competencias, uno de los retos del
nuevo enfoque en el proceso de aprendizaje propuesto por el Espacio Europeo de
Educación Superior (EEES). Los desafíos y los retos relacionados con la investigación
en evaluación de las competencias genéricas, están relacionados con una forma de
aprendizaje holístico, integral y equilibrado, entre el profesorado por una parte y el
estudiante por la otra, como participante activo en su proceso de formación.
Este trabajo demuestra que la variabilidad derivada de las diferentes formas de
comprender las competencias y las evidencias, así como de evaluar los niveles
competenciales, se ve reducida en buena medida al construir definiciones y niveles
consensuados entre el equipo de profesores que participan en dicha evaluación.
Conviene recordar que este es uno de los problemas más importantes a que se enfrenta
el profesorado al evaluar las competencias. Por lo que es esencial encontrar formas
para reducir la variabilidad y los sesgos naturales permitiendo evaluaciones más fiables
y objetivas.
Al mismo tiempo, esta interacción y diálogo pueden ser comprendidos como una
auténtica oportunidad de aprendizaje y formación continua no formal del profesorado,
vinculado a los propios procesos de trabajo. Esto beneficiaría, por un lado, el clima de
trabajo existente en el equipo de profesorado que imparte asignaturas afines o que sean
de un mismo departamento. Por otro lado, a nivel individual, aumentaría la confianza
del profesor en el sistema de evaluación utilizado y en el convencimiento de que el
estudiante comprenderá y aceptará este modelo de evaluación de competencias. No
cabe duda que todo ello tendería a fomentar prácticas de mayor calidad, aspecto central
para el aprendizaje del estudiante.
Por último, parece razonable afirmar que el proceso que los equipos de profesores
deberían llevar a cabo será paralelo al que se ha seguido por el equipo de esta
investigación. De cara al futuro, se sugiere que en sucesivas investigaciones se
continúe profundizando en este tema dado la escasez de publicaciones en este ámbito y
frente a la necesidad que tiene el docente de contar con técnicas e instrumentos fiables
y objetivos para la evaluación de competencias.
Referencias bibliográficas
ALCALÁ, M. A. (Ed.). (2001). La entrevista de selección. Manual para el
entrevistador y para el entrevistado. Madrid: CIE. Dossat 2000 Management.
ASIKAINEN, H., PARPALA, A., VIRTANEN, V. y LINDBLOM-YLÄNNE, S.
(2013). The relationship between student learning process, study success and the
nature of assessment: A qualitative study. Studies in Educational Evaluation, 39(4),
211–217. doi:10.1016/j.stueduc.2013.10.008
ANEXO 1
Resultados del Coeficiente de Gower en los 7 indicadores de las cuatro
competencias evaluadas