Entornos Virtuales
Entornos Virtuales
Entornos Virtuales
enseñanza aprendizaje
ISBN 978-959-16-0637-2
Editorial Universitaria
Calle 23 entre F y G, No. 564
El Vedado, Ciudad de La
Habana Cuba CP 10400
e-mail:
[email protected]
Sitio Web: http://revistas.mes.edu.cu/eduniv/
Nota a la Edición
El Editor
UNIVERSIDAD TERRITORIAL DE LAS TUNAS
MONOGRAFÍA
LAS TUNAS
2007
ÍNDICE
INTRODUCCIÓN................................................................................................................. 1
CAPÍTULO 1. LA UTILIZACIÓN DE NUEVAS TECNOLOGÍAS EN LA DOCENCIA NO
PRESENCIAL. .................................................................................................................... 5
1.1. LOS ENTORNOS VIRTUALES DE ENSEÑANZA - APRENDIZAJE.........8
1.2. CARACTERÍSTICAS DE LA PRODUCCIÓN DE CONOCIMIENTOS EN
ENTORNOS VIRTUALES DE APRENDIZAJE. .............................................20
1.3. DISEÑO DE MATERIALES DOCENTES MULTIMEDIA EN ENTORNOS
VIRTUALES DE ENSEÑANZA-APRENDIZAJE. ...........................................23
CAPÍTULO 2. CALIDAD DE LOS PROCESOS DE FORMACIÓN EN ENTORNOS
VIRTUALES. ..................................................................................................................... 26
2.1. LA EFECTIVIDAD DE UN PROGRAMA EDUCATIVO EN ENTORNOS
VIRTUALES. .................................................................................................. 28
CAPÍTULO 3. LA ACCIÓN DOCENTE EN ENTORNOS VIRTUALES.............................34
3.1. LA FORMACIÓN DOCENTE PARA LA EDUCACIÓN VIRTUAL.............36
3.2. METODOLOGÍA DIDÁCTICA EN ENTORNOS VIRTUALES DE
APRENDIZAJE. ............................................................................................. 45
CAPÍTULO 4. EVALUACIÓN DE LA CALIDAD DOCENTE EN ENTORNOS VIRTUALES
DE APRENDIZAJE. .......................................................................................................... 51
4.1. UN NUEVO MODELO DE EVALUACIÓN DE LA CALIDAD DOCENTE
EN ENTORNOS VIRTUALES. .......................................................................52
4.1.1. LA EVALUACIÓN INTERNA.................................................................57
BIBLIOGRAFÍA................................................................................................................. 67
Entornos virtuales de enseñanza aprendizaje
INTRODUCCIÓN.
A nivel conceptual cuando nos planteamos el diseño de un EVE-A lo hacemos desde dos
niveles diferentes:
1. Interfaz del Usuario: Teniendo en cuenta que los usuarios serán básicamente de tres
tipos: profesores, alumnos y administradores del sistema, considerándolos, si es posible,
de un modo independiente tanto a nivel de hardware como de software.
Por todo ello, es necesario revisar los roles clásicos del profesor y los alumnos. En el
primer caso, es necesario determinar cuáles son las estrategias que permitirán
desarrollar sus funciones en un entorno de estas características. Además, el profesor,
para poder desarrollar su función docente en un entorno tecnológico deberá contar
necesariamente con un buen dominio de la tecnología a nivel de usuario (como mínimo) y
será tanto más creativo e innovador cuanta más capacidad tenga para comprender
(aunque no tendrá que diseñar) todos los aspectos técnicos.
Del mismo modo, también cambia el rol de los alumnos. Los alumnos tendrán una parte
activa en el proceso de E-A y no sólo pasiva (de meros receptores) como suele ocurrir
con frecuencia en los entornos presenciales. Los feed-backs que ellos puedan generar
dentro del sistema serán fundamentales para que el sistema sea capaz de adaptarse a
las necesidades de los usuarios.
El hecho de diseñar unos materiales sin tener unos buenos referentes de los potenciales
usuarios, ni una concepción clara de los objetivos que se pretenden conseguir pueden
generar procesos de aprendizaje en los alumnos muy caóticos a la vez que disminuir y
restar efectividad al proceso de formación.
Como resumen final, decir que para que el diseño de un entorno de estas características
resulte operativo a nivel pedagógico es fundamental el conformar un equipo
interdisciplinar en el que tanto los componentes que provienen del campo tecnológico
como los que provienen del educativo intenten integrar y compartir unos objetivos
comunes con el correspondiente esfuerzo, teniendo en cuenta que a nivel conceptual se
generan muchas dudas y problemas derivados, a veces del desconocimiento y a veces
de la falta de dominio de los contenidos tanto tecnológicos como educativos, depende
desde donde se enfoque el tema.
tradicionales (Holmberg, 1995), esto es, mediante tecnologías clásicas (vídeo y audio
analógico, programas de radio y televisión) y materiales didácticos impresos. Al
incorporarlas a la enseñanza abierta y a distancia aumenta la flexibilidad del aprendizaje
en términos de espacio, tiempo, oferta de contenidos y recursos didácticos, y mejora el
acceso a los sistemas educativos desde la distancia (Comisión Europea, 1998).
Para realizar una comparación entre las tecnologías vinculadas a entornos hipermedia
asistidos por ordenador y otras formas alternativas para el intercambio de información y
transmisión de conocimientos, se ha partido de las variables consideradas por Hoffman y
Novak en su análisis de los medios de comunicación (1995):
universitaria destacan los recursos telemáticos con carácter asincrónico tales como el
correo electrónico, las newsletters, las listas de distribución, los grupos de noticias y la
World Wide Web, además de los servicios FTP (Protocolo de Transferencia de Ficheros)
para la transferencia de programas informáticos y archivos de toda clase.
Figura 1
Interacción Número
Recursos y Interacción Fuentes de Tipo de Interacción Sincronía
con equipo el de
medios interpersonal información formatos* bidireccional temporal
participantes
Materiales didácticos
Material
no no una uno-a-muchos T, I sí no
impreso
Material
no sí muchas uno-a-muchos T sí no
hipertexto
Material
no sí muchas uno-a-muchos T, I, A, V no no
hipermedia
CD-ROM no sí muchas uno-a-muchos T, I, A, V no no
DVD-ROM no sí muchas uno-a-muchos T, I, A, V no no
Programa de
software sí uno-a-muchos no no
no
Medios interpersonales
Correo no
convencional no una uno-a-uno sí
Medios impersonales
Radio no no pocas uno-a-muchos T, I no sí
Televisión
terrestre no no pocas uno-a-muchos T, A, V no sí
generalista
Televisión por
no no pocas uno-a-muchos T, A, V no sí
satélite
Medios interactivos
Televisión
no sí pocas uno-a-muchos T, I, A, V no sí
interactiva
Tabla Comparativa de los recursos y medios de comunicación en la enseñanza a
distancia (continuación).
Listas de
muchos-
distribución de sí sí muchas T sí no
amuchos
correo
Grupos de sí
muchos-
noticias sí muchas T sí no
amuchos
(newsgroups)
pocos-apocos
MUDs sí sí pocas T sí sí
WWW
muchos-
(entornos sí sí muchas T, I sí no
amuchos
abiertos)
Internet Relay muchos-
Chat (IRC) sí muchas amuchos T sí sí
sí
Dichos entornos cuentan con un grupo de herramientas que apoyan todo el trabajo en el
mismo, como son las listas de discusión, Chat, las herramientas propias de
administración y presentan diferentes ambientes, ¿qué quiere decir esto?, el
administrador tiene un ambiente completamente distintos a los otros que se muestran, él
va a presentar un grupo de herramientas las cuales ni los profesores ni los estudiantes
van a tener acceso, va a ser el encargado de incorporar un curso al gestor, es decir, al
programa que va a permitir la ejecución del curso y en algunos casos, él mismo es el que
realiza la matrícula del curso deseado.
El otro es el del profesor, al cual los estudiantes tampoco tienen acceso, aquí se van a
mostrar aspectos de cada uno de los educandos, que van a resultar de vital importancia
para el docente, va a contar con herramientas para la confección del curso, para
introducir o eliminar módulos del mismo, muchas veces puede realizar la matrícula, en
caso de que el administrador no la realice y por último el que va a ver el discente. Como
veremos es el más restringido, aquí él va a contar con los contenidos que tiene que
vencer para la culminación del curso y algunas herramientas, como son el foro de
discusión, el Chat, etc. Y otras que le permitirán la intercomunicación entre alumnos y
entre alumnos y tutores.
Queda claro que la utilización de los ambientes virtuales nos proporciona un grupo de
posibilidades que bien explotadas nos proporcionará un resultado altamente provechoso,
pero sucede que como todo lo nuevo, no es un producto acabado y aún tiene algunos
detalles por perfeccionar.
Con relación a estas deficiencias se han planteado como básicas las siguientes: (J. A.
Carrillo, 1995)
En los entornos virtuales de enseñanza tenemos que tener presentes todos los
componentes del sistema didáctico pues necesitamos tener la estructuración correcta del
contenido a mostrar en el mismo y que el alumno pueda, siguiendo el curso, apropiarse
de los contenidos plasmados en el mismo. Hasta el momento la mayoría de los cursos
creados en entornos virtuales existentes adolecen de este mal y lamentablemente
10
otorgan el mayor peso a la parte tecnológica dejando un poco más rezagado la parte
didáctica del mismo.
Una de las virtudes que caracterizan a los entornos virtuales, es que el usuario se siente
formando parte de un mundo generado por un ordenador, estableciendo contacto con los
diferentes objetos que componen estos mundos y estableciendo comunicación con otros
usuarios como él o usuarios artificiales que habitan sólo dentro del mundo virtual.
Por sus características esenciales donde el encuentro social es una de las principales
razones de ser de esta clase de entornos, como así también lo es tener un claro objetivo
y motivo para el cual fue creado, responde a las tecnologías en ambientes Computer
Supported Collaborative Learning (CSCL).
En los ambientes CSCL puede haber variados sistemas para aprendizajes apoyados en
tecnología: desde dos o más estudiantes trabajando en la solución a problemas en una
estación de trabajo, usando un sistema diseñado originalmente para uso individual, hasta
colaboración sobre sistemas especialmente diseñados para uso de múltiples aprendices
trabajando en redes virtuales, sea que estén en la misma estación de trabajo o a través
de máquinas en red. Estos últimos son los llamados sistemas CSCL, ya que son
diseñados para dar soporte y asistir a los estudiantes trabajando en redes virtuales. Esos
sistemas pueden proveer varios tipos de soporte informático, incluyendo utilidades para
comunicación de ideas y de información, facilidades para tener acceso a documentos y a
otro tipo de información, asistencia en actividades de solución de problemas, etc.
11
Evaluación del proceso de aprendizaje: El proceso que se vive al interior del grupo
debe estar sujeto a una evaluación constante personal y grupal, se debe tratar de
desarrollar un sistema dinámico en el cual se hagan constantemente los ajustes
necesarios para asegurar el buen desempeño del grupo, y de sus integrantes.
12
13
significante para cada uno de los miembros del grupo. Por lo tanto se maneja un tipo de
motivación intrínseca antes que extrínseca.
Por otra parte, permiten la resolución de problemas en forma colaborativa, pudiendo ser
aplicados en una diversidad de áreas temáticas.
14
La necesidad de articular y explicar al grupo las ideas propias lleva a que las ideas sean
más concretas y precisas. "De igual forma, el ambiente social pone a los estudiantes en
situaciones donde ellos pueden escuchar diferentes inquietudes, explicaciones y puntos
de vista. Aprenden así la habilidad de escucha, que es vital en la vida" (Galvis, 1992)
15
para escoger el momento más adecuado. Una conexión telefónica permite desde la casa
acceder al MOO
Con el aprendizaje colaborativo el docente pasa a ser un ingeniero que organiza y facilita
el aprendizaje en equipo, en lugar de limitarse a llenar de conocimiento las mentes de los
alumnos.
De este modo, el rol docente es multifacético. Deberá tomar una serie de decisiones
antes de abordar la enseñanza, explicarles a los alumnos la tarea de aprendizaje y los
procedimientos de colaboración, supervisar el trabajo el trabajo de los equipos, evaluar el
nivel de aprendizaje y alentarlos a determinar con qué eficacia están funcionando sus
grupos de aprendizaje.
Obviamente deberá tener en cuenta los elementos básicos para propiciar el aprendizaje
colaborativo (Enlaces, 1996)
Interacción: Las formas de interacción y de intercambio verbal entre las personas del
grupo, movidas por la interdependencia positiva. Son las que afectan los resultados de
aprendizaje. El contacto permite realizar el seguimiento y el intercambio entre los
diferentes miembros del grupo; el alumno aprende de ese compañero con el que
interactúa día a día, o él mismo le puede enseñar, cabe apoyarse y apoyar. En la medida
en que se posean diferentes medios de interacción, el grupo podrá enriquecerse,
aumentar sus refuerzos y retroalimentarse.
Contribución individual: Cada miembro del grupo debe asumir íntegramente su tarea y,
además, tener los espacios para compartirla con el grupo y recibir sus contribuciones.
16
Al docente le compete poner en funcionamiento los elementos básicos que hacen que los
equipos de trabajo sean realmente colaborativos: la interdependencia positiva, la
responsabilidad individual, la interacción personal, la integración social y la evaluación
grupal.
17
Hace tiempo ya que las limitaciones ergonómicas del ordenador se resuelven, por una u
otra vía, de manera satisfactoria. No necesitamos más que conocer superficialmente la
experiencia de la propia UOC, que en estos momentos tiene más de 12.000 estudiantes
activos, para ponerlo en evidencia. Nadie piensa hoy en pedir a los estudiantes la lectura
de documentos largos en la pantalla del ordenador. Se utilizan, cuando son necesarios,
los textos impresos complementarios en forma de libros, notas técnicas o el medio que
resulte oportuno.
Lo realmente significativo es, por un lado, que los materiales diseñados para su
utilización en entornos virtuales se orientan a un aprendizaje muy activo, en el que la
exposición de núcleos de conocimiento se intercala con la realización de actividades y en
el que el concepto de lectura de documentos queda con frecuencia superado por la
realización de debates u otras formas activas de estudio. Se produce una situación que
tiene alguna similitud con el debate de casos que utilizan las escuelas de negocios: el
18
Creo que conviene, por último, destacar las aportaciones que los entornos virtuales
pueden realizar para mejorar la calidad del aprendizaje. El propio hecho de que, como en
cualquier otra experiencia de aprendizaje a distancia, se desarrolle un esfuerzo
importante y profesional en la preparación de materiales didácticos supone una primera
contribución, no despreciable, en cuanto a asegurar una calidad homogénea de los
contenidos, que el profesor debe complementar y mejorar con sus aportaciones
personales.
Por otro lado, las facilidades de feedback que el entorno ofrece, basándose en las
herramientas telemáticas y en los resultados de la evaluación continua, permite la
identificación de aspectos mejorables en los materiales y en la acción docente, y facilita,
por tanto, un proceso de mejora continua. Así es como los entornos virtuales permiten
avanzar en la calidad, facilidad y productividad del proceso de aprendizaje y contribuir, en
definitiva, a iniciar la revolución que todos esperamos de la aplicación de las nuevas
tecnologías al mundo de la formación.
19
Por otra parte, la interactividad del medio se pone de manifiesto de tres formas distintas:
20
21
La decisión sobre los medios más adecuados a utilizar suele ser compleja, pues como
afirma McNabb (1994) no existen todavía los suficientes estudios experimentales para la
comparación objetiva de medios y formatos, y se corre el riesgo de que la decisión esté
condicionada en exceso por los recursos disponibles.
22
23
- Las geográficas: cada participante toma el curso desde el lugar donde resida, sin hacer
necesario el traslado del docente o de los participantes. Esto es de gran importancia en
un país de una gran extensión territorial, gran dispersión de los gobiernos locales y fuerte
concentración de los centros de formación y capacitación en un escaso número de
ciudades;
- Las temporales: permite que el participante tome el curso en sus horas muertas de
trabajo, en su hogar o, como se ha verificado frecuentemente, en centros tecnológicos
comunitarios;
24
Muchos investigadores han puesto de manifiesto los diversos factores que afectan a la
calidad del e-learning (Hanna, D.E. et al, 2000); entre otros, las condiciones técnicas del
entorno virtual, las características personales de los estudiantes y de los profesores, sus
habilidades para el uso de las nuevas tecnologías de la información y la comunicación, su
capacidad de adaptación a los nuevos entornos de aprendizaje (Martínez, R.A., 2002),
los objetos de aprendizaje y contenidos que han de ser aprendidos, las metodologías de
enseñanza-aprendizaje, los recursos multimedia, las interacciones entre profesores y
estudiantes (Salmon, G.K., 2000) (Salmon, G.K., 2002) y, por supuesto, la calidad de los
diseños pedagógicos utilizados.
En la actualidad, uno de los aspectos que ocupa y preocupa a los expertos en elearning
es la definición, elaboración y utilización de los denominados “objetos de aprendizaje
compartidos o reutilizables” (sharable content objects, o reusable learning objects), que
permiten configurar bases de contenidos didácticos (learning objects repositories) que
pueden ser utilizados en distintos contextos educativos y para diferentes destinatarios [6[,
con el consiguiente ahorro económico y de esfuerzo, y con la ventaja añadida de poder
ser reutilizados por muchos usuarios del e-learning (Anido, L.E. et al., 2002).
Los expertos en el tema, no obstante, no han llegado a emitir aún una definición clara
sobre estos objetos de aprendizaje u objetos didácticos, sobre los que se intenta llegar a
establecer unos criterios de estandarización y especificación que permitan su uso
correcto en la web. Así, por ejemplo, la IEEE (2002) entiende por objeto de aprendizaje
todo aquello que puede ser útil al aprendizaje, la educación y la formación. Por su parte,
Sicilia y García (Sicilia, M.A., García, E., 2003) matizan que se trata de unidades digitales
de contenidos didácticos independientes, que pueden utilizarse en múltiples contextos
educativos y que llevan asociadas descripciones (metadatos) acerca de cómo emplearlos
en estos contextos. Más en concreto, L’Allier (1997) habla de pequeñas estructuras
independientes de aprendizaje que incluyen un objetivo, una actividad y un procedimiento
de evaluación; y Wiley (2002) extiende aún más las posibles entidades susceptibles de
ser objeto de aprendizaje al mencionar objetivos de aprendizaje, personas,
25
En definitiva, entre las características fundamentales que estos objetos didácticos han de
tener, se han establecido las siguientes:
1) durabilidad,
2) interoperabilidad,
3) accesibilidad, y
Sicilia y García (2003), entienden que las tres primeras características pertenecen al
ámbito tecnológico, y, por ello, son potencialmente controlables. La reutilización, sin
embargo, se vincula al ámbito formativo y, consecuentemente, está condicionada por las
características del diseño de instrucción y de los destinatarios de la formación, así como
por la metodología y las circunstancias, no siempre previsibles, que afectan al desarrollo
de esta formación en un determinado contexto (Polsani, P.R. , 2003).
26
De ahí la necesidad de analizar, hasta donde sea posible, los factores que afectan al
adecuado desarrollo de los procesos de formación en los que se utilizan estos objetos
didácticos. Entre estos factores se encuentran la planificación y estructura del contenido
de aprendizaje, su coherencia con las características y necesidades de formación de los
destinatarios y el modo en que se lleva a cabo la interacción entre educadores y
educandos en el proceso de enseñanza - aprendizaje. Un análisis previo del modo en
que pueden afectar estos factores a la calidad del aprendizaje que utiliza contenidos
reutilizables lo proporciona la evaluación inicial que se realiza como fase previa a un
proceso de formación.
27
No podemos pensar que todo lo vamos a resolver usando una sola estrategia o una sola
tecnología. El diagnóstico de la situación nos va a ayudar a tomar la decisión pertinente.
El proyecto tiene que mostrar claramente las líneas de acción, tiene que mostrar cuáles
son las tecnologías y justificarlas, tiene que hablarnos de cómo va a hacerse el apoyo a
los estudiantes que van a estudiar a distancia, cuál va a ser el soporte tutorial claramente
explicitado y la justificación de la elección de ese modelo de diseño tutorial, el tipo de
materiales que se utilizarán. Y en esto de los materiales vamos a tener que diferenciar
con las nuevas tendencias, dos cosas: si vamos a ofrecer los materiales como producto o
si vamos a ofrecerles servicios a los alumnos.
Muchas veces los programas a distancia según sea el diagnóstico que tienen ofrecen a
los alumnos materiales que están dados como productos: materiales impresos, CDs,
videos, etc., esos son materiales que se entregan a los alumnos para que trabajen con
ellos pero paralelamente el sistema a distancia además puede ofrecer servicios que
implica, por ejemplo, un entorno virtual de formación y comunicación, en el que puede
ofrecerse materiales pero fundamentalmente ofrecer servicios. Allí se va a atender a los
alumnos, allí se va a orientar, allí va a haber información extra, etc. Estas dos cuestiones
tienen que estar muy definidas claramente si nos vamos a inclinar por entregar productos
y a esto adosarle un buen soporte tutorial o si vamos a brindar básicamente servicios a
través de un entorno virtual y esos servicios incluirán el soporte tutorial también.
28
permanente que permita hacer los ajustes que necesita para adecuarse no sólo a lo que
se diseñó sino a las necesidades de los estudiantes. Todo esto puede asegurar la calidad
de un programa a distancia.
Entre los criterios de calidad de un programa a distancia están los criterios para
seleccionar los medios. Se seleccionan los medios en función del destinatario, de los
objetivos, de las características del contenido, etc. Cuando uno elige un medio tiene que
tener en cuenta todo esto. Además tiene que prestar atención a las características del
medio en sí y saber que un medio tiene un lenguaje que le es propio y al diseñar ese
medio uno tiene que hacerlo según las características y lenguaje que posee.
Algunas veces por diseñar un material en un determinado medio y lograr una interfase
técnicamente perfecta, puede olvidarse que además tenemos la obligación de
problematizar al alumno para ayudarlo a aprender.
Además deberíamos tener claro que un material para Internet no es un material impreso
colgado en la web sino que tiene que tener unas características que le son propias, así
como cuando uno elabora un video tiene que saber perfectamente que un video
educativo no debe ser un videoclip pero tampoco una clase presencial grabada con un
busto parlante. Ese medio tiene un lenguaje propio, el lenguaje televisivo y a él debe
adecuarse. De la misma forma que se hace con los videos debe hacerse con Internet que
tiene un lenguaje y exigencias propias.
Muchas veces esto se olvida y simplemente se usan las posibilidades informáticas como
posibilidades de transmisión electrónica, es decir, se cuelgan materiales impresos.
Aunque esto también es una posibilidad y hoy en día se está usando mucho la
transmisión electrónica de materiales impresos por el costo que tiene no sólo el papel
sino el traslado, no debe pensarse que al hacerlo hemos diseñado materiales
multimediales. Cuando se tiene un programa muy disperso geográficamente muchas
veces se necesita hacer llegar un soporte impreso.
De esta manera se abaratan los costos haciendo transmisión electrónica de ese material
pero no creamos que eso tenga toda la interactividad que tiene que tener un material en
la web, en un entorno virtual. Hay conceptos claves en educación a distancia, que son el
29
Por otro lado está la interacción que es la relación existente entre los actores del proceso,
entre el tutor y todos los alumnos, interacción entre los alumnos entre sí, cuanto más
interacción haya cuanto más intercambio pueda haber, por un lado construcción de
hipótesis, por el otro resignificación de hipótesis a través de la discusión y del
intercambio, más calidad tendrá en los aprendizajes y más calidad entonces en el
programa a distancia. Son dos conceptos claves: interactividad e interacción que no
habría que olvidar y habría que tener una vigilancia sobre el proyecto para asegurarnos
que lo estamos ofreciendo.
Estos conceptos hay que tenerlos en cuenta, por eso luchamos tanto contra los
improvisados, contra la improvisación en estas cuestiones. Un proyecto a distancia
implica manejar una serie de conceptos y en vigilar con relación a esos conceptos muy
bien los procesos que se desarrollan. Si uno no es capaz de desarrollar un buen
proyecto, si uno no es capaz de hacer un seguimiento de esos procesos, si uno no es
capaz de tener un firme encuadre teórico que guíe todas las acciones, es muy difícil que
se pueda asegurar una cierta calidad tanto en los procesos como en los resultados.
Porque si uno no sabe qué cosas se están poniendo en juego cuando pone en marcha
uno de estos sistemas es difícil que pueda controlarlo. No es lo mismo ser un buen
profesor presencial que diseñar, desarrollar y dirigir esa misma actividad a distancia. Esto
30
Si uno no se da cuenta de la diferencia cualitativa que existe entre las dos modalidades
se corre el riesgo de pensar que es lo mismo y se corre el riesgo de poner en marcha
procesos a distancia sin calidad.
¿Es por eso que a veces se menciona demasiado las limitaciones de infraestructura y no
se habla de otras limitaciones que tienen que ver con limitaciones lógicas, con esto que
dice de la diferencia cualitativa entre lo presencial y lo virtual?
Yo puedo tener un perfecto equipamiento con las últimas tecnologías pero pude haber
olvidado ciertos criterios en la elección de esa tecnología, pude haber olvidado la
necesidad de capacitación de los RRHH, pude haber olvidado la pertinencia del uso de
ciertas estrategias, de cierta tecnología y entonces de todos modos el programa no va a
tener calidad.
Es decir, la calidad es resultante no sólo los insumos que incorpore sino que es la
resultante de los insumos de los procesos y los productos. En esto hay distintas posturas
que uno las ve en algunos programas.
Hay quienes dicen “tengo el mejor programa a distancia porque tengo el mejor
equipamiento o porque busqué a los mejores profesionales”, este es un concepto de
calidad sintetizada en los insumos. Hay otros que dicen, “tengo el mejor programa de
educación a distancia porque de mi programa a distancia salieron los mejores
profesionales que hoy están trabajando en las mejores empresas”, esto es un concepto
de calidad de producto, sintetizando, resumiendo la calidad en el producto. Y hay otros
que dicen “tengo el mejor programa a distancia porque controlo todos los procesos, tengo
el mejor seguimiento tutorial, la mejor evaluación, aseguro un clima, un entorno, etc., etc”.
Esto es resumir la calidad en los procesos. A mí me parece que es por lo menos
peligroso tratar de reducirlo a una sola de estas cuestiones.
31
Un programa tiene calidad cuando tiene: buen equipamiento, cuando tiene un buen
diseño de los procesos, seguimiento y vigilancia de los procesos y cuando tiene buenos
resultados. Evidentemente la calidad es un concepto complejo que no se deja sintetizar ni
es tan lineal ni es tan simple como algunos lo quieren ver.
32
33
La acción docente en los modelos educativos que usan de forma intensiva las
tecnologías de la información y de la comunicación no es tarea de una persona, sino que
es, esencialmente, tarea de la institución. La organización educativa debe decidir y definir
los programas formativos, sus objetivos, su estructura, los materiales que los
desarrollarán y el sistema de evaluación. Para ello, debe dotarse de un colectivo
académico que por ámbitos temáticos de conocimiento coordine el proceso de creación
de contenidos así como la actividad docente desarrollada por el mismo equipo o por un
grupo de profesionales externos. En definitiva, estamos hablando de las siguientes
figuras:
Cada uno de los perfiles citados participa en diferentes fases del proceso de creación de
un programa formativo para entornos virtuales de aprendizaje. Todos y cada uno de ellos
influye de forma directa en la calidad de la docencia, pero sólo una figura tiene contacto
directo con el destinatario de los programas académicos: el docente. Es habitual que en
las instituciones educativas que imparten programas en EVA la figura del docente sea la
34
de una persona externa que trabaja a tiempo parcial como docente y que aporta a los
procesos formativos tanto sus conocimientos teóricos como su propia experiencia
profesional.
Las funciones del docente cambian cuando debe desarrollar sus actividades en un
entorno virtual de E-A, y por ello creemos que podemos realizar una serie de precisiones
a su tarea.
En primer lugar, hemos de tener en cuenta que el docente tenga una actitud positiva o
negativa frente al hecho de desarrollar su tarea en entornos tecnológicos estará
fuertemente condicionada por:
En segundo lugar, debe ser capaz de cambiar sus estrategias de comunicación, pues es
distinto hablar a un auditorio presencial que hacerlo a un auditorio virtual. La
comunicación verbal dependerá de la calidad de las comunicaciones, en muchas
ocasiones más que de la fluidez del orador. En cuanto a la comunicación no verbal, y aún
en el caso de poder transmitir imagen a tiempo real, ésta carece de mucho sentido.
En tercer lugar, el docente debe estar preparado para hablar delante de una cámara, y
delante de una cámara y unos alumnos presenciales si la sesión se diseña para alumnos
presenciales y alumnos virtuales.
35
Los ejes espacio-temporales y los espacios tangibles que han constituido, hasta ahora,
los elementos fundamentales en la organización de los procesos educativos cambian
totalmente de sentido. El tiempo es relativo y el espacio intangible.
36
Las formas desde las que abordar la formación y el perfeccionamiento del profesorado en
medios y materiales de enseñanza, han sido tratados por diferentes autores en nuestro
contexto. Por presentar algunas de ellas podemos decir que la formación del profesorado
en los Entornos Virtuales, hacemos hincapié en que esta debería realizarse
contemplando nueve grandes dimensiones: curricular, psicológica, semiológica,
tecnológico-didáctica, instrumental, investigadora, crítica, organizativa y actitudinal.
En esta línea de aportaciones debemos decir que quienes plantean que los docentes de
nuestros días deben de desempeñar quince funciones básicas, de las cuales, como a
37
5) integrar los medios tecnológicos como un elemento más del diseño curricular,
Por su parte sugerimos que esta formación debe de perseguir cinco objetivos básicos:
38
39
la posibilidad de dimensiones más amplias. Por ello hemos presentado algunas de las
dimensiones que deben de contemplarse de cara a una formación y perfeccionamiento
del profesorado, para la utilización técnica, sémica, didáctica e investigadora de los
Entornos Virtuales de enseñanza-aprendizaje.
Desde nuestra perspectiva los profesores no pueden ser sólo consumidores de medios
elaborados por otros, sino que deben también producir y diseñar planes de actividades
escolares con medios adaptados a su contexto de enseñanza y a las características y
necesidades de sus estudiantes. Estos medios informáticos, además de la ventaja
apuntada, presentan otras, como son el hecho de tender a la homogeneidad, y poder
responder a las necesidades de colectivos concretos, así como tender a ofrecer cierta
calidad educativa frente a la calidad técnica que puedan tener los medios elaborados por
los profesionales de la producción.
A la hora del diseño de hacer un plan de clase en una asignatura específica, donde se
requiera la utilización del medio informático (Internet), se debe tener en cuenta las
peculiaridades que cada uno aporta, debemos tener presente una serie de principios
básicos, entre los cuales podemos destacar los siguientes:
2) deben de asegurar la fijación de cada elemento aprendido para que puedan ser base
de otros nuevos aprendizajes,
3) deberían tener en cuenta que la eficacia del mensaje depende tanto del contenido
como de la presentación de esos contenidos,
40
Por otra parte, no debemos olvidar el Link educativo elegido por el profesor no debe serlo
de forma arbitraria sino en función de una serie de variables como son: la capacidad que
tengan los receptores para decodificar y en consecuencia extraer información por los
sistemas simbólicos movilizados por el medio, su relación con los objetivos propuestos, la
41
La utilización de los medios multimediales de enseñanza por parte del profesorado exige
que estos lleguen a comprenderlos desde una perspectiva que podríamos denominar
como realística, es decir desde una perspectiva que relativice el poder que se le han
asignado desde ciertos sectores. Es cierto, que los medios, sobre todo los de
comunicación social influyen en el desarrollo y potenciación de actitudes en las personas,
pero tal influencia posiblemente no sea tan directa como se nos ha hecho creer, al asumir
que los sujetos son receptores pasivos que responden de forma preconfigurada ante los
estímulos mediáticos presentados.
Cada vez se está poniendo más de manifiesto que los resultados que se consigan con los
medios, no dependen muchas veces de los mismos, es decir de sus potencialidades
técnicas, estéticas y didácticas, sino del contexto organizativo en el que son insertados.
Así por ejemplo, en los centros educativos que poseen una organización de corte
tradicional a los medios se les tiende a asignar funciones de información y motivación de
los estudiantes, se presentan una cierta uniformidad de medios puestos a disposición de
los estudiantes, la función del profesor es exclusivamente la de selección del material, y
se tiende a presentar a los medios de forma aislada al resto de elementos curriculares.
Mientras que por el contrario en los modelos de centro educativo de tipo versátil, se les
42
tiende asignar una diversidad de funciones, son puestos a disposición de los profesores y
los estudiantes una diversidad de medios, se facilita la interacción entre los mismos, y se
propicia que el profesor no sólo desempeñe funciones de selección, sino también de
diseño y producción.
43
Creemos que estamos indicando con toda claridad que lo importante no es sólo tomar la
decisión de formar a los profesores para inserción curricular de la mediática, sino también
reflexionar cómo debe de abordarse la misma, y al respecto posiblemente deban de
hacerse unos cambios radicales en cuanto a la forma en la que tradicionalmente se ha
abordado.
El marco teórico seguido en la publicación de los cursos en línea debe constituir una base
firme que garantice la calidad psicopedagógica de los recursos y del proceso de
enseñanza-aprendizaje. El constructivismo se ha considerado una nueva cultura
educativa que engloba un conjunto integrado de principios que sirven de guía al proceso
educativo.
44
45
Un aula virtual de aprendizaje eficaz y eficiente debe diseñarse con el objetivo prioritario
de facilitar la docencia y el e-learning por medio de la interacción con los materiales
didácticos y con los distintos miembros implicados en el proceso de
enseñanzaaprendizaje. Con relación al aprendizaje, se facilitará al alumno: el acceso a
material didáctico dinámico e interactivo; el contacto con el resto de los compañeros del
curso – profesores, tutores y estudiantes–; la realización de tareas de trabajo individual y
en grupo que favorezcan el aprendizaje; la organización y la planificación del estudio y, la
consulta de dudas y el intercambio de información. Por último, señalar que este medio
deberá proporcionar a la práctica docente apoyo para: la adaptación de materiales
didácticos a la Red, la dinamización del aula virtual, y el seguimiento de los alumnos y la
intercomunicación.
46
Como complemento a los contenidos del curso es conveniente poner a disposición del
alumno distintas herramientas que faciliten el proceso de proceso de aprendizaje:
47
Los alumnos se enfrentan no sólo a una nueva materia sino que también tendrán que
adaptarse al ritmo del curso virtual y, por supuesto a la herramienta. Además, para la
prevención de conflictos es conveniente tener el curso preparado para cuando los
alumnos accedan. Durante la primera semana se pueden llevar a cabo distintas
actividades, como son: dar la bienvenida al alumno, incluir los primeros consejos en el
curso e informar sobre el calendario y organización de los primeros foros. No hay que
esperar a que sea el alumno el que descubra las posibilidades del curso virtual: si le
introducimos al curso de una forma entusiasta, a la vez que transparente y práctica, él
mismo continuará la experiencia con mayor facilidad.
La charla admite la comunicación síncrona entre los usuarios del curso. La utilización de
esta herramienta está mediatizada –en mayor medida que el resto de las herramientas de
comunicación– por el tipo de enseñanza. Se recomienda realizar una secuenciación
ordenada y organizada con la suficiente antelación para que el discente pueda acudir a la
cita.
48
sólo busquen informar al alumno sobre el progreso, sino que también beneficien el
aprendizaje.
La evaluación on-line puede llevarse a cabo a través de: exámenes que deberán cubrir
diferentes aspectos y, por lo tanto, se recomienda incluir preguntas abiertas y de elección
múltiple; los trabajos en grupo, que permiten valorar la capacidad de resolución de
problemas, la coordinación y la colaboración, además del resultado; y las aportaciones a
los foros de debate y charlas, que aportan información relevante sobre el talante y los
conocimientos del alumno.
49
laboral del docente en entornos virtuales. Para que tenga operatividad es preciso que se
trate de un proceso:
Flexible: se trata de un sistema, no de una técnica. Ello significa que debe elegirse el
método de evaluación en función de las características de la organización.
La evaluación del rendimiento sólo tiene sentido en el marco de una organización que
aplique la filosofía de la gestión de la calidad en todas sus áreas y actividades y en el
contexto de un sistema de gestión de personal en el que se intente involucrar al personal
en la definición de los objetivos organizativos.
Hemos definido la evaluación del rendimiento como un proceso sistemático cuya finalidad
es medir de forma objetiva el rendimiento de un empleado en su puesto de trabajo. Pero,
¿quién es el encargado de medir ese rendimiento? ¿Quién puede, en nuestro caso,
validar la eficacia de la acción docente?
50
opinión de otros agentes, como los clientes o los propios compañeros del evaluado. En el
ámbito universitario ha sido el estudiante quien de forma casi exclusiva ha evaluado,
mediante encuestas o cuestionarios, la calidad de la acción docente. Este esquema
resulta, a nuestro juicio, incompleto, siendo preferible un modelo de evaluación de la
calidad docente articulado sobre tres inputs informativos diferentes:
Evaluación interna. En el mundo laboral que nace con la revolución industrial la opinión
de cada trabajador acerca de sus compañeros es irrelevante, siempre y cuando todos
ellos realicen el trabajo que les ha sido asignado. En un entorno basado en la
cooperación y la interacción la situación es bien distinta. La forma en la que trabajamos,
aprendemos y nos comunicamos con nuestros compañeros afecta a la productividad, a
nuestro ánimo y a la calidad de nuestro trabajo. La acción docente en entornos virtuales
no se desarrolla en régimen de aislamiento sino en el marco de un modelo pedagógico y
en un contexto en el que una pluralidad de agentes coopera de forma activa en el diseño
de los programas formativos. De ahí que resulte imprescindible conocer la opinión de los
demás miembros del equipo académico sobre el trabajo desempeñado por el docente.
Los responsables académicos y los coordinadores de programa, por su contacto
51
Para realizar una evaluación de este tipo es imprescindible que antes se hayan definido
con claridad, y que sean conocidas por el docente, las competencias -aptitudes,
conocimientos, valores, actitudes- que debe reunir en relación con las funciones que le
han sido asignadas. La definición de esas competencias no se realizará de forma
abstracta, sino teniendo presente el entorno -el campus virtual en el caso que nos ocupa-
y el modelo pedagógico de la institución.
52
Creíble, puesto que resulta más difícil rechazar una sugerencia de mejora si ésta viene
avalada por las opiniones y sugerencias de diferentes personas.
53
54
puntuación del modelo- queda relegada, por las razones que acabamos de ver, a un
segundo plano. Lo mismo ocurre con los resultados académicos, a los que se atribuye un
15% de la puntuación total. En este caso la explicación de su reducido peso en el
conjunto del modelo guarda relación, como ya se apuntó, con el hecho de que se trata de
un indicador fácilmente desvirtuable mediante comportamientos estratégicos por parte de
los docentes.
La valoración otorgada en el modelo a cada uno de los tres inputs del proceso de
evaluación, en una escala de 0 a 100 puntos, es la que puede observarse en la Figura
2.
Cada input debe ser desagregado, para su análisis en unidades menores, que reflejen
diferentes dimensiones de la acción docente. Así, por ejemplo, la evaluación externa,
realizada por los estudiantes, incluirá subcategorías que reflejarán su opinión sobre
aspectos tales como la rapidez a la hora de responder a sus consultas o la capacidad del
docente para estimular su aprendizaje. En el anexo I se incluye un cuadro-resumen en el
que se propone un catálogo de subcategorías y la ponderación que corresponde a cada
una de ellas en el modelo.
55
A continuación se examinan en detalle los aspectos que deben ser objeto de análisis en
cada una de las tres dimensiones del proceso de evaluación.
• Establecer los objetivos de aprendizaje que los estudiantes deben lograr, así como
la metodología adecuada para alcanzarlos.
56
57
•
Diseñar y establecer actividades, debates y prácticas que contribuyan a consolidar
los contenidos de la asignatura.
Establecen contacto con los tutores siempre que resulte oportuno a fin de realizar un
adecuado seguimiento de los estudiantes.
58
•
• Realizan pruebas de evaluación continua que permitan valorar de forma continua
y coherente el aprendizaje progresivo del estudiante.
• Velan para que exista un alto grado de coherencia entre las pruebas de
evaluación continua y los exámenes finales de la asignatura, así como con el
trabajo desarrollado durante el curso.
• Son capaces de definir con claridad lo que debe hacerse en cada ejercicio de
evaluación y los criterios de valoración a emplear.
• Mantiene una relación fluida y regular con el resto del equipo docente.
59
•
• Coordina su actividad con la de los demás profesores de la asignatura.
La evaluación externa se realiza de forma periódica por los estudiantes, mediante tests o
encuestas, en los que se analizarán los siguientes aspectos:
60
•
Orienta, a través de sus documentos y mensajes, de manera efectiva el proceso de
aprendizaje.
61
Motivación
• Estimula al estudiante para que realice las actividades y pruebas necesarias para
alcanzar los objetivos marcados.
Proceso de evaluación
• Los exámenes finales son coherentes con las pruebas de evaluación continua y
con el trabajo desarrollado durante el curso.
62
Las respuestas proporcionadas en los mensajes son coherentes con las preguntas
planteadas.
Aprovechamiento
63
Una memoria descriptiva del propósito de la evaluación y del modelo académico que la
inspira.
Una definición exacta del alcance subjetivo -a quién afecta- y objetivo -qué se va a
evaluar- del proceso.
Una definición del esquema de evaluación -quién o quienes van a realizarla-, de los
procedimientos de obtención de información -encuestas, informes, estudios- y de los
criterios empleados.
Un manual de evaluación, documento que servirá de base y de guía para llevar a cabo la
evaluación.
Los objetivos de la evaluación y los criterios con arreglo a los cuales ésta va a realizarse
deben establecerse de forma consensuada en el seno de la organización, con
participación de los propios evaluados. Al hacerlo de esta forma los objetivos del
programa de evaluación serán más realistas y se incrementará la motivación del docente.
De lo contrario, si éste no tiene una idea clara de qué es lo que la organización le pide y
de cómo va a ser valorado su trabajo, resultará más difícil que pueda mejorar su
rendimiento. De ahí la importancia de que el docente, además de recibir una formación
inicial que garantice su conocimiento del entorno -el EVA- y del modelo pedagógico
adoptado por la institución, sea informado de los objetivos del programa de evaluación y
de su papel en el mismo. Es imprescindible, asimismo, que:
Reciba un feedback adecuado de los resultados de la evaluación para hacer posible una
mejora continua de su desempeño.
64
Disponga de cauces para transmitir sus propias experiencias e ideas en relación con la
evaluación y con la actividad docente que le ha sido asignada.
65
Un sistema de evaluación del desempeño docente que considere esta actividad desde
una perspectiva holística y multidimensional, que la evalúe con arreglo a criterios
consensuados, bien definidos y conocidos por los evaluados cumple una doble función.
Para empezar, permite a cada agente, y a la organización en su conjunto, conocer en
qué medida la docencia cumple con los estándares de calidad que resultan exigibles.
Además, facilita, a través de sucesivos refinamientos, el inicio de un proceso de mejora
continua de la docencia y, en última instancia, de la propia universidad en su conjunto.
66
BIBLIOGRAFÍA.
67
68
27. Martínez, R.A. et al. Calidad de los procesos de formación en entornos virtuales y
su repercusión en la reutilización de objetos de aprendizaje. necesidad de la
evaluación inicial. Universidad de Oviedo.
http://spdece.uah.es/papers/Martinez_Final.pdf Revisado el 30/05/2005
28. Martínez, R.A., Milans, M., Pérez, H. y Sampedro, A. Interaction and
communication in e-learning environments. Are facilitators ready to promote it? A
case study on an unsuccessful course. Comunicación presentada en la 8 th
International Conference on Technology Supported Learning & Training. Online
Educa Berlin. Berlin, November 27-29, 2002.
29. McNabb, J. (1994): «Telecourse effectiveness: findings in the current literature»,
en Tech trends, octubre 1994, pp. 39-44.
30. Mena, M. Calidad educativa en los entornos virtuales.
www.mujeresdeempresa.com/capacitacion/capacitacion020702.shtml. Revisado
29 May 2005
31. Molina, E., Villena, J.L., Prado, R.C. Mejora de los entornos virtuales de formación
a través de la elaboración de mapas conceptuales. Primer Congreso
Virtual de Educación a Distancia. marzo-abril 2004.
www.ateneonline.net/datos/89_03_Villena%20Higueras.pdf
32. Moore, M. G. (1991): «Editorial: distance education theory», en American Journal
of Distance Education, vol. 5 (3), pp. 1-6.
33. Morris, M. I., y Ogan, C. (1996): «The Internet as a mass medium», en Journal of
Communication [On-line], vol. 46 (1), pp. 39-50. http://jcmc.huji.ac.il/
34. Pedraza, M.A. Los entornos virtuales de enseñanza-aprendizaje. Propuesta
pedagógica.
http://www.monografias.com/trabajos14/entornosvirt/entornosvirt.shtml Revisado el
30/05/2005
35. Polsani, P.R. Use and abuse of reusable learning objects. Journal of Digital
Information, Vol. 3 (4) (2003). http://jodi.ecs.soton.ac.uk/Articles/v03/i04/Polsani/
Consultado el 4 de Octubre, 2004
36. Preece, J. et al. Human-computer interaction Addison-Wesley 1994
37. Richards, G., McGreal, R., and Friesen, N. Learning object repository technologies
for telelearning: The Evolution of POOL and CanCore. Proceedings of the
Informing Science + IT Education Conference, 1333–1341 (2002).
38. Riel, M. (1998). "Learning communities through computer networking". En:
Greeno, J.G.; Goldman, S.V. (ed.). Thinking practices in Mathematics and Science
Learning (Pág. 341-367). Hillsdale, N.J.: L. Erlbaum.
39. Rodríguez, I., Ryan, G. Integración de materiales didácticos hipermedia en
entornos virtuales de aprendizaje: retos y oportunidades. Revista Iberoamericana
de Educación - número 25 enero - abril 2001 http://www.campus-
oei.org/revista/rie25a07.htm Revisado el 30/05/2005
40. Salmon, G.K. E-moderating The key to teaching and learning online. Kogan Page,
London (2000).
69
41. Salmon, G.K. E-tivities: The Key to Active Online Learning. Kogan Page, London
(2002).
42. Sangrà, A. La calidad en las experiencias virtuales de educación superior. UOC.
http://www.uoc.es/web/esp/art/uoc/0106024/sangra.html. Revisado 31/05/2005
43. Santoveña, S.M. Metodología didáctica en entornos virtuales de aprendizaje.
Etic@net. Publicación en línea. Granada, España. año II número 3. julio de 2004.
ISNN: 1695-324x. Unidad de Virtualización Académica (UVA). UNED.
http://www.ugr.es/~sevimeco/revistaeticanet/numero3/articulos/metodologia%20d
idactica.pdf Revisado el 30/05/2005
44. Scardamalia, M.; Bereiter, C.; Lamon, M. (1994). "The CSILE Project: Trying to
bring the classroom into World 3". En: McGILLY, K. (ed.). Classroom lessons.
Integrating theory and classroom practice (pág. 221-228). Cambridge, MA: MIT
Press.
45. Sicilia, M.A. y García, E. On the concepts of usability ans reusability of learning
objects. International Review of Research in Open and Distance Learning. (2003).
http://www.irrodl.org/content/v4.2/sicilia-garcia.html. Consultado el 30 de
Septiembre, 2004
46. Sigalés, C. El potencial interactivo de los entornos virtuales de enseñanza y
aprendizaje en la educación a distancia.
http://www.uoc.edu/web/esp/art/uoc/sigales0102/sigales0102.html Revisado el
30/05/2005
47. Sigüenza, J.A. Diseño de materiales docentes multimedia en entornos virtuales de
enseñanza-aprendizaje.
48. Steuer, J. (1992): «Defining virtual reality: dimensions determining telepresence»,
en Journal of Communication, vol. 42 (4), pp. 73-93.
49. Suthers, D.D. Computer Aided Education and Training Initiative 1998.
http://advlearn.lrdc.pitt.edu/advlearn/papers/FINALREP.html.
50. UNESCO (1996). Learning: The treasure within. Report to UNESCO of the
International Commission on Education for the Twenty-first Century. París:
Publicaciones de la UNESCO.
51. Webster, J., Trevino, L. K. y Ryan, L. (1993): «The dimensionality and correlates of
flow in human computer interactions», en Computers in Human Behavior, vol. 9
(4), Winter, pp. 411-426.
52. Weiland, W. J., y Shneiderman, B. (1989): «Interactive graphics in hypertexts
systems», en 28th Annual ACM DC Technical Symposium. Maryland, University of
Maryland http://www.cs.umd.edu/projects/hcil
53. Wheler, S., Vranch, A., y Reid, F. (1999): «Bridging the ‘psychological gap’ in
distance learning through telematics», en 19th World Conference on Open
Learning and Distance Education. Viena, 20-24 junio.
54. Wiley, D.A. Connecting Learning Objects to Instructional Design Theory: A
Definition, a Metaphor, and a Taxonomy. The Instructional Use of Learning
Objects. Agency for Instructional Technology, Bloomington, IN (2002).
70
71