Vol. 19, Núm.

3, 2017

Modelo por capas para evaluación de la calidad de Objetos

de Aprendizaje en repositorios
A Layered Model for Quality Evaluation of Learning Objects
In Repositories

Valentina Tabares Morales (*) [email protected]

Néstor Darío Duque Méndez (*) [email protected]
Demetrio Arturo Ovalle Carranza (*) [email protected]

(*) Universidad Nacional de Colombia

(Recibido: 28 de marzo de 2015; Aceptado para su publicación: 15 de febrero de 2016)

Cómo citar: Tabares, V., Duque, N. D. y Ovalle, D. U. (2017). Modelo por capas para evaluación de la calidad de Objetos de
Aprendizaje en repositorios. Revista Electrónica de Investigación Educativa, 19(3), 33-50.
https://doi.org/10.24320/redie.2017.19.3.1128

Resumen

Los Objetos de Aprendizaje (OAs) son recursos digitales utilizados para apoyar los procesos de enseñanza
y aprendizaje almacenados en Repositorios de OAs (ROAs), facilitando su búsqueda y recuperación. Sin
embargo, en la mayoría de los casos es difícil determinar la calidad de estos recursos, por ello en este
trabajo se presenta un modelo por capas para la evaluación de la calidad de OAs que identifica las
principales características que deben cumplir estos recursos y la forma de determinar su cumplimiento a
través de la especificación de diferentes métricas. Los resultados de la aplicación de la propuesta en la
evaluación de los OAs de la Federación de Repositorios de Objetos de Aprendizaje (FROAC) demostraron la
existencia de problemas en la calidad de estos recursos educativos, la importancia de la aplicación del
modelo para apoyar el proceso de entrega de mejores objetos a partir de las búsquedas y su utilidad
como herramienta de gestión en los ROAs.

Palabras clave: Objetos de Aprendizaje, Repositorios de Objetos de Aprendizaje, Evaluación de Objetos de Aprendizaje, Tecnología
educativa.

Abstract

Learning objects (LOs) are digital resources used to support teaching and learning processes and stored
in learning object repositories (LORs), making them easier to search for and retrieve. However, in most
cases it is difficult to determine the quality of these resources, and as a result this study presents a
layered model for quality assessment of LOs that identifies the main conditions these resources must
fulfill and a way to determine fulfillment by specifying various metrics. The results obtained from
applying the proposal to the assessment of LOs in the Federation of Learning Object Repositories
(FROAC) revealed problems in the quality of these educational resources, the importance of applying the
model to support the delivery of better objects from searches and its usefulness as a management tool in
LORs.
 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Keywords: Learning Objects, Learning Objects Repositories, Learning Object Evaluation, Educational Technology

I. Introducción

El e-learning se ha posicionado como uno de los principales esquemas de educación; ha cambiado los
procesos tradicionales de enseñanza y aprendizaje, y proporcionado numerosas ventajas de carácter
pedagógico y de acceso. Este esquema genera nuevas necesidades, tales como el desarrollo y mejora de
materiales educativos, de donde surgen los Objetos de Aprendizaje ( OAs) definidos como entidades
digitales que pueden ser utilizadas es procesos de aprendizaje, generalmente entregados a través de
Internet y diseñados con el fin de que sean utilizados y reutilizados en múltiples contextos educativos
(Learning Technology Standards Committe, 2002; Wiley, 2001). Para facilitar su reutilización, los OAs
deben ser unidades independientes con un objetivo de aprendizaje claro y un contenido autónomo que
no dependa de otros objetos (Chiappe, 2006; Morales, García, Barrón, Berlanga y López, 2005).

Una característica distintiva de los OAs es que contienen metadatos que los describen, facilitando su
búsqueda, evaluación, recuperación y uso, cubriendo necesidades de los alumnos para los que fueron
diseñados y permitiendo su reutilización como uno de sus mayores retos (Duque, 2009; Morales et al.,
2005; Vicari et al., 2010). Con el fin de facilitar la interoperabilidad entre diferentes sistemas que
contengan OAs, se han propuesto estándares que definen un conjunto de campos que permiten el
intercambio de información sobre los recursos que se almacenan (Ochoa, 2008). Algunos de los
estándares más conocidos son IEEE-LOM, Dublin Core y OBAA.

Miles de OAs son almacenados y administrados a través de Repositorios de OAs (ROAs), bibliotecas
especializadas que se espera ofrezcan facilidades para la creación, mantenimiento y búsqueda de estos
recursos (Rosanigo et al., 2007; Sicilia, García, Salvador y Soto, 2005); además, deben seguir estándares
con el fin de incrementar su efectividad e interoperabilidad. Se cuenta también con Federaciones de
Repositorios que permiten un punto único de acceso a los recursos almacenados en diferentes
repositorios y se están convirtiendo en un espacio donde convergen muchas investigaciones que buscan
entregar a profesores y estudiantes los mejores contenidos orientados a sus requerimientos (Academic
ADL, 2013; van de Sompel y Chute, 2008).

Es común que al realizar búsquedas los usuarios de un OAs encuentren largas listas de resultados, que
deben revisar uno por uno para identificar los acordes a sus necesidades. Este proceso es largo y
dispendioso, y en ocasiones se encuentran OAs con problemas o incluso inaccesibles. Ello puede afectar
actividades en el proceso educativo, generar desinterés y que en el futuro no se vuelvan a consultar estos
recursos (Ochoa, 2008; Tabares, Duque y Moreno, 2011). Esto muestra que no es suficiente con que los
materiales educativos estén disponibles, se requiere que cumplan con un alto nivel de calidad, de modo
que permitan mayores posibilidades de lograr los objetivos de aprendizaje esperados (McGreal, 2008).

En el dominio de los OAs la calidad es entendida como un conjunto de criterios que permite establecer su
nivel de pertinencia tanto en términos pedagógicos como técnicos (Morales, Gil y García, 2007; Ruiz,
Muñoz y Álvarez, 2007). Hay diversas estrategias para evaluar la calidad del OA, algunas centradas en el
producto final y otras en el proceso de construcción (Vidal, Segura y Prieto, 2008). Sin embargo, a pesar
de su reconocida importancia, no se ha llegado a un consenso de todos los elementos que intervienen,
haciendo necesario que se generen iniciativas que permitan evaluar los OA de forma integral y dinámica,
involucrando a los usuarios para garantizar mayor confianza en el ROA (Kay, Knaack y Vaidehi, 2008).

La revisión de literatura evidencia la existencia de algunas propuestas para la evaluación de los OAs
siguiendo diferentes enfoques, pero la mayoría de ellos considera sólo algunas características, lo que no
permite lograr una evaluación integral y genera la posibilidad de una inadecuada selección y uso de los
recursos (Sanz, 2010).

En este artículo se propone un modelo para evaluación de la calidad de OAs, definiendo un conjunto de
características que debería cumplir el objeto –asociadas a diferentes visiones y actores que intervienen en
el proceso de análisis y evaluación. También se determina la información requerida de acuerdo a cada
criterio a evaluar y la forma de realizar los respectivos cálculos. El modelo presenta un enfoque por capas,

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 34

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

que permite su crecimiento y fácil modificación, a la vez que es posible el ajuste a los intereses y
necesidades específicos de los administradores del ROA.

Para la validación de la propuesta se han evaluados OAs de la Federación de Repositorios de Objetos de

Aprendizaje (FROAC), demostrando la existencia de problemas en la calidad de estos recursos y la
importancia de la aplicación del modelo de evaluación no sólo como apoyo al proceso de entrega de
mejores objetos, sino como herramienta de gestión de los repositorios.

II. Trabajos relacionados

La evaluación de OAs es un importante aporte para la resolución de problemas generados con el

crecimiento de los ROAs y que busca asegurar la efectividad en el uso de estos recursos. A continuación se
presentan algunas propuestas desarrolladas para establecer la calidad de OAs desde diferentes enfoques:

 Massa (2012) plantea una metodología para evaluación de OAs desde el punto de vista
pedagógico y técnico, inspirada en los métodos para valoración de la usabilidad, incluye
elementos que permiten un mayor aseguramiento de la calidad de los recursos. Sin embargo, no
tiene en cuenta los metadatos, de los que depende en gran medida la posibilidad de encontrar
los recursos en los repositorios.

 En Cechinel, Sánchez-Alonso y Sicilia (2012) se presenta una propuesta para evaluación

automática de OAs, tomando como caso de estudio objetos evaluados por expertos en el
repositorio Merlot. Utiliza posibles combinaciones entre las categorías y los tipos de materiales,
definiendo modelos a través de Análisis Discriminante Lineal ( LDA) y algoritmos de minería de
datos para la clasificación, resaltando como interesante su utilización en la evaluación de OAs.

 Sanz (2010) propone un modelo que permite estimar, a través de los metadatos, la capacidad de
reutilización de los OAs. Utiliza un conjunto de métricas que se calculan de forma semiautomática
y están basadas en la reusabilidad de software, por lo que podrían aplicarse a una mayor cantidad
de OAs, pero su limitante es que sólo se basa en los metadatos y no toma en cuenta otros factores
importantes.

 Yen, Shih, Member, Chao y Jin (2010) proponen el cálculo de métricas usando el impacto de
citaciones, consideradas como las descargas realizadas de un recurso. Permite la clasificación de
todos los OAs para mejorar la visualización de resultados, pero no son evaluados otros aspectos
que intervienen en la calidad de los OAs.

 Ochoa (2008) propone un conjunto de métricas para determinar la calidad de los metadatos,
basadas en parámetros para revisiones humanas que pueden ser calculadas automáticamente, lo
que es una de las principales fortalezas, ya que se garantiza su aplicación a grandes cantidades de
OAs; sin embargo, la percepción de usuarios y expertos no es tenida en cuenta de forma directa.

 Kay et al. (2008) proponen el modelo de evaluación Learning Object Evaluation Metric (LOEM)
enfocado principalmente a la revisión por parte de usuarios, y en Nesbit, Belfer y Leacock (2003)
se presenta un instrumento denominado Learning Object Review Instrument (LORI) para la
valoración de OAs por parte de expertos, de forma individual o colaborativa. Ambas propuestas
requieren de un trabajo manual por parte de usuarios y expertos, pero evalúan los OAs en varias
dimensiones.

Existen varios enfoques para evaluación de OAs, su clasificación se muestra en la tabla I. Resalta, según la
revisión realizada, que los más empleados son los orientados a la Evaluación por Expertos, Evaluación por
Usuarios y Evaluación de Metadatos; sin embargo, no se identificó su integración en un solo trabajo, lo
que es una limitación para obtener una percepción desde diferentes visiones, además no se cuenta con
modelos de evaluación generalizados que permitan identificar el nivel de calidad de los OAs integrando
diferentes dimensiones. A partir de las conclusiones de esta revisión se propone en la sección siguiente
un modelo integrado, que aprovecha los espacios encontrados y concreta en métricas la posibilidad de

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 35

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

calificar la calidad de OAs en repositorios.

Tabla I. Trabajos revisados y tipo de evaluación de OAs que realizan

Ranking Métricas
Evaluación Evaluación Evaluación
Trabajos Revisados según Ing. de
de Expertos de Usuarios Metadatos
el Uso Software
Massa (2012) X X
Cechinel, Sánchez-Alonso y Sicilia (2012) X
Sanz (2010) X
Yen, Shih, Member, Chao y Jin (2010) X
Ochoa (2008) X X
Kay et al. (2008) X
Nesbit, Belfer y Leacock (2003) X

III. Modelo propuesto

El modelo de evaluación propuesto está orientado hacia el producto y es entendido como un conjunto de
características que se analizan del OA y pueden estar asociadas a diferentes visiones y desde diferentes
actores o usuarios, estableciendo cómo realizar el proceso, qué tipo de información se requiere y la forma
en que se realizarán los cálculos. Tiene un enfoque de capas, las cuales son definidas de acuerdo a los
actores o fuentes de información que intervienen, y pueden agregarse o eliminarse de acuerdo a las
posibilidades e intereses de quien realice el proceso de evaluación. Las dimensiones son otro
componente, el cual define las características generales que pueden ser evaluadas para cada OA, son
transversales a las capas y están compuestas por una serie de métricas que permiten establecer un valor
cuantitativo para cada variable.

En la figura 1 se muestra el Modelo Genérico, el cual no está sujeto a un estándar de metadatos o tipo de
repositorio, ni predefine ponderaciones. Su enfoque por capas hace que pueda seguir creciendo o
modificar algunos cálculos sin afectar los demás.

Figura 1. Modelo Genérico propuesto

La Administración del ROA donde se realizará la evaluación puede establecer las capas, dimensiones y
métricas que se incluirán. Dependiendo de esta selección se indican las ponderaciones y pesos
correspondientes, además de la mecánica utilizada para suministrar la información para realizar los
cálculos y su estructura. Un elemento importante es la integración y visualización de los resultados, que
deben estar organizados para que sean un insumo fundamental para la toma de decisiones
administrativas en el marco de los repositorios y federaciones de OAs. Como se mencionó, el modelo
genérico puede adaptarse de acuerdo a intereses particulares, pero a partir de la revisión hecha y de la
experiencia en trabajos previos, en la figura 2 se muestra un modelo concreto en el que se proponen tres
capas en las que se evalúan variables asociadas a las siguientes seis dimensiones:

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 36

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

 La dimensión Educativa evalúa aspectos relacionados con el proceso de enseñanza y aprendizaje,

analizando si el material es de interés para los posibles estudiantes, si tiene clara orientación
educativa y si pedagógicamente está bien construido.

 Se propone una dimensión de Contenido, en la que se analizan aspectos temáticos y disciplinares

con el fin de identificar la claridad y rigurosidad de los contenidos.

 Con la dimensión Estética se evalúan aspectos relacionados con la parte visual del contenido de
los OAs, con el fin de establecer si la forma en que son mostrados los diferentes elementos es
adecuada y no interfiere en el proceso de aprendizaje.

 Aspectos como la disponibilidad y acceso a los contenidos, la forma en que los usuarios pueden
interactuar con los recursos, y la posibilidad de que los OAs puedan ser utilizados en diferentes
contextos son evaluados con la dimensión Funcional.

 Estos recursos educativos requieren de datos que los describan correctamente, lo cual es
evaluado en la dimensión de Metadatos. Se analiza qué tan completos y bien estructurados están
los metadatos, ya que de esto depende en gran medida la calidad y posibilidad de que los OAs
puedan ser recuperados en repositorios.

 En la dimensión Contextual se analizan los OAs respecto a los demás objetos en el repositorio de
acuerdo a diferentes métricas, identificando los que tienen mejores características frente a este
contexto.

Figura 2. Modelo de Concreto propuesto

A continuación se presentan las capas con las respectivas métricas que al final arrojarán un valor entre 0 y
1 para cada OA evaluado, que corresponderá al porcentaje de cumplimiento de ese criterio. Para todas las

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 37

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

métricas debe hacerse un proceso de parametrización inicial y deberían calcularse con cierta periodicidad,
ya que los ROAs son dinámicos y se espera tener siempre resultados actualizados. En cada métrica se
indica la dimensión a la que pertenece.

3.1 Capa de Gestión

Trabaja con información suministrada por el Administrador del ROA, que se encarga de la gestión de los
OAs, de la definición de políticas asociadas y hace un seguimiento al uso que se les da. Las métricas de esta
capa están orientadas al cálculo automático.

Métrica Reusabilidad (Dimensión Funcional): Este criterio es entendido como la posibilidad que tiene el
OA de ser utilizado de forma efectiva en diferentes entornos, por lo que debería ser autocontenido, poder
combinarse con otros OAs y tener un nivel de granularidad bajo (Sanz, 2010). Se definen reglas que
permiten evaluar los valores que tienen algunos metadatos y su nivel de influencia en la reusabilidad. A
continuación se presenta una corta descripción de cada uno de ellos y un ejemplo específico para el
estándar IEEE-LOM. Se resalta que es el administrador del ROA quien debe definir cuáles metadatos tener
en cuenta, los posibles valores y el peso para cada valor.

 Densidad Semántica: Indica qué tan conciso es el OA y puede estimarse de acuerdo al tamaño,
ámbito y duración, independiente de la dificultad del recurso. (If Educational.SemanticDensity is
very_low=1, low=0.8, medium=0.6, high=0.4, very_high=0.2).

 Nivel de Agregación o Granularidad: Indica el tamaño del OA y la forma en que los elementos se
unen. Así, los OAs con menor granularidad son los que tienen mayor posibilidad de reutilización. (If
General.AggregationLevel is 1=1, 2=0.75, 3=0.5, 4=0.25).

 Estructura: Establece cómo se organizan los elementos que contiene el OA, indicando el tipo de
relación, si tienen alguna jerarquía o si tienen igual importancia. (If General.Structure is atomic=1,
collection=0.25, networked= 0.25, hierarchical=0.25, linear=0.25).

 Contexto: Se indican los posibles contextos educativos en los que puede ser utilizado, ya que
entre más contextos, mayor es la posibilidad de su reutilización. (If Educational.Contexto is ‘3 o
más instancias’=1, ‘2 instancias’= 0.6, ‘1 instancia’=0.2).

Se evalúa cada regla determinando si el metadato tiene alguno de los valores permitidos y se asigna el
peso correspondiente. En caso de que no presente valores válidos se establece que la regla no aplica y no
se tiene en cuenta para el cálculo final. Si ninguna regla se pudo evaluar (R=0), entonces se define que no
es posible calcular la métrica. La ecuación (1) muestra el cálculo respectivo, donde Mi es el peso
correspondiente dentro de la regla evaluada, y R es el número de reglas analizadas.

(1)

Métrica Disponibilidad del OA (Dimensión Funcional): Se refiere a la posibilidad que tiene un OA de ser
usado en cualquier momento. Esta métrica se centra en el metadato donde se indica la ubicación del
objeto. Por ejemplo, para el estándar IEEE-LOM es el metadato ‚Localización‛ que hace parte de la
categoría ‚Técnica‛. Para su cálculo, se asigna un valor de 1 a los enlaces asociados activos. Debido a que
el OA podría tener varias instancias de este metadato, se divide por la cantidad de enlaces encontrados. Si
no se tiene el metadato de localización (L=0), la métrica toma valor de 0. La ecuación (2) presenta su
cálculo, donde Mi es el valor binario que indica si el metadato i está disponible y L es el número de campos
de localización encontrados.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 38

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

(2)

Métrica Completitud (Dimensión Metadatos): Esta variable permite determinar si los metadatos
describen un OA tanto como sea posible, lo cual es directamente proporcional a la posibilidad de que sea
encontrado en un ROA (Park y Tosaka, 2010). Los estándares definen cuáles son los metadatos a ser
llenados y su obligatoriedad, pero es necesario verificar si efectivamente se cumplen esas condiciones,
revisando la existencia de cada uno y si contiene valor válido (Menéndez, Castellanos, Vidal y Segura,
2012). Dado que no todos los metadatos tienen la misma importancia, en la parametrización inicial se
indican los metadatos a analizar y su respectivo peso, que debe ser un valor entre 0 y 1, y la suma final de
estos pesos debe ser igual a 1. Para el cálculo de esta métrica se revisa metadato por metadato, dando un
valor de 1 si tiene algún valor o instancia. Estos valores se multiplican por el peso correspondiente y el
resultado final corresponde a su sumatoria. Esto es presentado en la ecuación (3), donde es el peso del
metadato , y Mi es el valor binario que indica si el metadato tiene algún valor o instancia.

(3)

Con el fin de que se tenga una guía para establecer los metadatos y pesos a ser utilizados, se hizo un
análisis en 12 repositorios o federaciones para ver cuáles metadatos son usados en las búsquedas
avanzadas y cuáles exhibidos a los usuarios en los resultados obtenidos, con lo que se calcularon los pesos
presentados en la tabla II.

Tabla II. Metadatos más usados y sus respectivos pesos

Metadato Pesos Metadato Pesos

Título 0.15 Tipo de Interactividad 0.04
Palabras Clave 0.14 Rango de Edad Típico 0.03
Descripción 0.12 Nivel de Agregación 0.03
Autor 0.11 Localización 0.03
Tipo de Recurso Educativo 0.09 Costo 0.03
Formato 0.08 Estado 0.02
Contexto 0.06 Copyright y otras restricciones 0.02
Copyright y otras restricciones 0.02 Total 1

Métrica Consistencia (Dimensión Metadatos): Permite determinar el nivel de cumplimiento que tienen
los metadatos respecto al estándar, asegurando que todos los recursos estén descritos bajo el mismo
dominio (Ochoa, 2008; Park y Tosaka, 2010), a partir de la especificación de reglas para los campos con
lista de valores posibles. Se revisa su cumplimiento asignando un 1 y la sumatoria de estos valores es
dividida por la cantidad de reglas, que en caso de no poderse evaluar ninguna (R=0) toma un valor de ‚No
Aplica‛. En la ecuación (4) se formaliza este cálculo donde: Mi es el valor binario que indica si el metadato
cumple con la regla, y R es el número de reglas analizadas.

(4)

Métrica Coherencia (Dimensión Metadatos): Un OA es coherente si todos sus metadatos describen el

mismo recurso (Ochoa, 2008). Tanto desde el punto de vista conceptual como de la definición de los
estándares, existen metadatos que tienen una alta correlación y este hecho determina su coherencia. El

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 39

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

cálculo se realiza en dos partes. En primer lugar se contemplan los metadatos que tienen valores posibles
y su relación, definiendo reglas del tipo ‚Sí… Entonces‛. Se indica si un campo tiene determinado valor,
cuáles valores debería tener otro campo relacionado, dando una ponderación a cada combinación. La
sumatoria de los resultados de las reglas es dividida por la cantidad de reglas aplicadas. Si no es posible
evaluar ninguna regla (R=0), la coherencia toma un valor de ‚No Aplica‛. La ecuación (5) muestra el
cálculo, donde Mi es el valor asignado a la combinación según la regla aplicada, R es el número de reglas
analizadas.

(5)

La segunda parte se analiza sobre metadatos de texto libre, estimando su distancia semántica a través de
la Medida del Coseno. Este proceso se presenta en la ecuación (6), donde k es la cantidad de metadatos
analizados, Pi es la frecuencia del término i en el campo 1, y Qi es la frecuencia del término i en el campo
2. Dado que el resultado sólo podría ser igual a 1 si todos los campos son iguales, lo que no debería
ocurrir, un valor igual o mayor a 0.7 se toma como 1 y los otros se calculan proporcionalmente.

(6)

Finalmente para realizar el cálculo completo de la métrica de coherencia, se aplica la ecuación (7) donde
se combinan los dos valores para arrojar un resultado entre 0 y 1.

(7)

Al igual que en las métricas anteriores, en la tabla III se presenta una guía que puede ser utilizada en caso
de trabajar con el estándar IEEE LOM, sobre cuáles podrían ser las comparaciones a analizar en la primera
parte del cálculo de la coherencia.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 40

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Tabla III. Comparaciones para evaluar la coherencia

# Metadatos y Valores Valor

General.Structure General.AgregationLevel
atomic 1 1
atomic 2 0.5
1 atomic 3 0.25
atomic 4 0.125
collection, networked, hierarchical, linear 1 0.5
collection, networked, hierarchical, linear 2, 3, 4 1
Educational.InteractivityType Educational.InteractivityLevel
active, mixed very high, high, medium, low, very low 1
2 expositive very high, high 0
expositive medium 0.5
expositive low, very low 1
Educational.InteractivityType Educational.Learning Resource Type
exercise, simulation, questionnaire, exam,
active 1
experiment, problem statement, self assessment.
diagram, figure, graph, index, slide, table,
active 0
narrative text, lecture.
exercise, simulation, questionnaire, exam,
expositive 0
3 experiment, problem statement, self assessment.
diagram, figure, graph, index, slide, table,
expositive 1
narrative text, lecture.
exercise, simulation, questionnaire, exam,
experiment, problem statement, self assessment,
mixed 1
diagram, figure, graph, index, slide, table,
narrative text, lecture.

Métrica de Visibilidad del OA (Dimensión Contextual): Esta característica está asociada con la relación
entre las visitas del OA y el total de visitas a todos los objetos en el ROA. Permite identificar si el OA
presenta mejores características, asumiéndose que al ser más usado es más relevante para el usuario. Se
toma para cada OA la cantidad de visitas y/o descargas, y se comparan respecto a los totales. El cálculo se
presenta en la ecuación (8), donde V es la cantidad de visitas del OA, D es la cantidad de descargas del OA,
y T es la cantidad total de descargas y visitas en el ROA.

(8)

3.2 Capa de Revisión de Expertos

En esta capa quienes suministran la información son expertos, que con su experiencia, capacidad y
competencia pueden realizar un análisis frente a los criterios planteados y emitir una valoración. Es la
institución propietaria del ROA quien debe definir el perfil de los expertos y el momento de la evaluación.
En la tabla IV se presenta el instrumento propuesto con las variables evaluadas, las preguntas y su
respectiva codificación, que servirá para entender el cálculo de las métricas, el cual se basa en propuestas
de diferentes autores (Bruce y Hillmann, 2004; Massa, 2012; Morales et al., 2007; Nesbit et al., 2003;
Vidal, Segura, Campos y Sánchez-Alonso, 2010).

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 41

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Tabla IV. Instrumento para Revisión de Expertos

Dimensión Métrica Cód. Pregunta

E11 En qué nivel se logran identificar los objetivos educativos que pretende
Educativa Efectividad
cubrir el OA.
(NE1) Potencial
E12 En qué nivel la estructura y contenido apoyan el aprendizaje del tema.
E21 En qué nivel el contenido presentado es claro, coherente, no
Contenido Pertinencia discriminatorio, respeta derechos de autor y se presenta sin sesgos u
(NE2) y Rigurosidad omisiones.
E22 En qué nivel el OA se encuentra libre de errores ortográficos y gramaticales.
E31 La distribución y tamaño de elementos, la jerarquía visual, el diseño
Estética tipográfico y contraste de los colores es adecuado.
Diseño Visual
(NE3) E32 La elección de los textos, imágenes, sonidos u otros elementos multimedia
aportan a los objetivos de aprendizaje.
E41 Cuál es la posibilidad que ofrece el OA para que sea utilizado en varios
Reusabilidad escenarios educativos.
E42 En qué grado el OA es auto contenido y no presenta dependencias.
E51 Cuál es el nivel de claridad respecto a lo que debe hacer el usuario para
Facilidad
Funcional utilizar el OA.
de Uso
(NE4) E52 Califique la relación entre la necesidad y la ayuda provista.
E61 En qué nivel no se requiere de software o dispositivos adicionales al
Facilidad momento de acceder al OA.
de Acceso E62 En qué medida el recurso funciona correctamente y es fácil para el usuario
visualizarlo desde diferentes plataformas.
Metadatos Completitud E71 Qué tanto los metadatos que tiene el OA lo describen completamente.
(NE5) Precisión E81 En qué nivel los metadatos describen realmente el contenido encontrado.

La calificación dada por el experto a cada pregunta debe ser entre 0 y 5, donde 0 es el nivel más bajo y 5
el más alto. Retomando enfoques de evaluación de productos académicos y dado que no todos los
expertos tienen el mismo perfil, se pide que se indique para cada dimensión el nivel de experticia que
considera el experto tiene frente a esos criterios (entre 1 y 5). En caso de no especificarse, todas las
respuestas tendrían el mismo nivel de importancia. Para calcular las métricas de esta capa se usa la
ecuación (9), donde n es la cantidad de preguntas asociadas con la métrica, k es la cantidad de respuestas
que tiene la pregunta , es la respuesta a la pregunta dada por el experto , y es el nivel de
experticia de la dimensión asociada dada por el experto .

(9)

Métrica Efectividad Potencial del OA (Dimensión Educativa): Se evalúa pa

ra determinar el nivel de validez que puede llegar a tener el OA como herramienta educativa, analizando si
es claro su objetivo y si está orientado a su cumplimiento.

Métrica Pertinencia y Rigurosidad (Dimensión Contenido): Se evalúa si se identifican elementos que

puedan confundir al estudiante o algún tipo de información discriminatoria. También su exactitud, nivel
de detalle, rigurosidad y coherencia.

Métrica Diseño Visual (Dimensión Estética): Se deben revisar elementos como gráficos, tablas y recursos
multimedia, analizando su distribución, jerarquía, tamaño y que no interfieran con los objetivos de
aprendizaje.

Métrica Reusabilidad (Dimensión Funcional): Se analiza que el OA pueda ser utilizado en diferentes

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 42

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

contextos, determinando en qué nivel es independiente y puede ser fácilmente reutilizado sin
modificaciones.

Métrica Facilidad de Uso (Dimensión Funcional): Está relacionada con el nivel de complejidad del recurso
evaluando que la navegación a través del objeto sea fácil, intuitiva, predecible y sin excesiva demora.

Métrica Facilidad de Acceso (Dimensión Funcional): Se evalúa si para usar el OA se requiere de algún tipo
de software especializado de difícil acceso, lo que impediría una buena experiencia para el usuario.

Métrica Completitud de los Metadatos (Dimensión Metadatos): Se revisa si los metadatos tienen valores
válidos, si la información que presentan es suficiente para entender el contenido del OA y para que sea
encontrado en las búsquedas.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Se determina si los metadatos realmente
describen el contenido asociado, ya que este es su principal objetivo y una diferencia sería un problema
que afectaría la calidad de los recursos.

3.3 Capa de Percepción de Usuarios

A través de esta capa se evalúan los OAs tomando en cuenta el punto de vista de los usuarios, que
perciben la calidad por la utilidad y pertinencia del OA en su proceso de aprendizaje. La propuesta está
orientada a que sea evaluado cada recurso después de la interacción con el usuario, solicitándole
responder una corta encuesta que debería ser opcional, evaluando los OAs en sí y no los algoritmos de
búsqueda y recuperación de los repositorios donde se encuentran almacenados los recursos. Se propone
un instrumento, que se presenta en la tabla V, donde se plantean las preguntas que podrían hacerse al
usuario y que están asociadas con una dimensión. Las respuestas deben darse en escala de 0 a 5, donde 0
es el nivel más bajo y 5 el más alto.

Tabla V. Instrumento para captura de la percepción de los usuarios

Dimensión Métrica Cód. Pregunta

Motivación U11 En qué nivel el OA lo motivó a seguir consultando sobre el tema.
Educativa En qué nivel el contenido encontrado le permitió aprender sobre el
Efectividad U21
tema.
En qué nivel el tamaño, color y distribución de los elementos que
U31
contiene el OA le parece adecuado.
Estética Diseño Visual
En qué nivel los textos, imágenes, sonidos y otros elementos
U32
multimedia del OA le aportaron en el aprendizaje del tema.
Disponibilidad U41 Pudo acceder al contenido del OA (No=0; Sí=5).
Funcional
Facilidad de Uso U51 Califique la facilidad y claridad a la hora de interactuar con el OA.
En qué grado los metadatos describen el contenido que realmente
Metadatos Precisión U61
encontró.
En qué nivel este OA fue importante para usted y estaba relacionado
Contextual Relevancia U71
con lo que esperaba encontrar.

Las métricas que se describen a continuación se calculan con la ecuación (10), donde, n es la cantidad de
preguntas asociadas con la métrica, k es la cantidad de respuestas que tiene la pregunta , y es la
respuesta a la pregunta , dada por el usuario .

(10)

Métrica Motivación (Dimensión Educativa): Pregunta sobre el nivel de motivación que produce y la
posibilidad de cumplir su objetivo de apoyar procesos educativos.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 43

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Métrica Efectividad del OA (Dimensión Educativa): Se busca determinar si el OA cumple su principal

objetivo que es aportar en el proceso educativo, y para esto se le pregunta al usuario cuál es su opinión al
respecto.

Métrica Diseño Visual (Dimensión Estética): El diseño visual está orientado a mejorar la experiencia del
usuario a través del uso, distribución y tamaño adecuado de los elementos, haciendo que el usuario se
sienta cómodo al interactuando con el OA.

Métrica Disponibilidad del OA (Dimensión Funcional): Se evalúa este criterio para determinar si
efectivamente el usuario pudo acceder al recurso.

Métrica Facilidad de Uso (Dimensión Funcional): Determina qué tan complejo le pareció al usuario
interactuar con el recurso y si en caso de requerir algún tipo de explicación la encontró sin problema.

Métrica Precisión de los Metadatos (Dimensión Metadatos): Pregunta al usuario si encontró relación
entre los metadatos y el contenido presentado, ya que la falta de coherencia entre estos dos elementos
genera problemas que afectan la calidad del OA.

Métrica Relevancia (Dimensión Contextual): Se pregunta si el OA fue importante dentro del contexto de
búsqueda, identificando la capacidad que tiene para que sea recuperado de acuerdo a los temas para los
que fue creado.

3.4 Integración de Resultados

La estructura del modelo propuesto permite realizar diferentes integraciones con el fin de apoyar la
gestión de la calidad de los OAs. Se propone generar un indicador por cada capa, asignando una
ponderación a las dimensiones que tienen métricas calculadas. En la ecuación (11) se muestra cómo se
calcularía, donde es la cantidad de dimensiones que se tiene en la capa, es la cantidad de métricas
para la dimensión , es el valor de la métrica en la dimensión , y es el peso asignado a la dimensión
. Finalmente, se podrá realizar una integración total de las capas definiendo un índice para cada OA. En
este caso también se define el nivel de importancia de cada capa, lo que se muestra en la ecuación (12),
donde: es la cantidad de capas, es el índice calculado para la capa , y es el peso asignado a la capa
. Análogamente se podría generar índices por dimensiones asignando pesos a cada capa y un índice total
indicando una ponderación para cada dimensión.

(11) (12)

Estos índices podrían servir como criterio de ordenamiento en los resultados de las búsquedas, para
definir una estrategia de visualización de los resultados (por ejemplo, según los colores del semáforo) o
para disparar alarmar que reporten condiciones desfavorables de los recursos almacenados de acuerdo a
ciertos umbrales.

IV. Validación

Con el fin de validar el modelo propuesto se realizó la evaluación de OAs de la FROAC configurando las tres
capas, con todas las métricas disponibles. Ya que el estándar de metadatos utilizado es LOM, para la Capa
de Gestión se utilizaron las reglas y pesos planteados como ejemplos en la explicación de las métricas.
Para las Capas de Revisión de Expertos y Percepción de Usuarios se utilizaron los instrumentos
presentados en las tablas IV y V, con un grupo de profesores y estudiantes de posgrado de la Universidad
Nacional de Colombia (Sede Manizales) como expertos en diferentes áreas, y con un grupo de 27

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 44

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

estudiantes de pregrado de la misma universidad. Se les pidió que realizaran la evaluación de los primeros
10 OAs que aparecían en la FROAC como resultado de los términos de búsqueda: software, algoritmo,
auditoría y sistemas. Se obtuvieron las respuestas para 46 OAs, por lo que el cálculo de las métricas
asociadas a la Capa de Gestión se hizo para estos objetos. Los resultados para la Capa de Gestión se
muestran en la figura 3.

Figura 3. Resultados obtenidos para la Capa de Gestión

Para los resultados de la Capa de Gestión se resalta que la Dimensión Contextual mantiene valores
similares para todos los OAs, mientras que se notan bajos niveles de calificación para la Dimensión
Funcional, donde se requieren algunas alternativas de mejora porque es un aspecto fundamental
asociado a su calidad.

Los resultados de la Capa de Revisión de Expertos se presentan en la figura 4, donde se resalta que la
Dimensión Estética es la que presenta los menores valores, contrario a esto la Dimensión Educativa es la
que presenta los valores más altos.

Figura 4. Resultados obtenidos para la Capa Revisión de Expertos

La Percepción de Usuarios se muestra en la figura 5 y en términos generales demuestra que es necesario

mejorar principalmente aspectos relacionados con la Dimensión Educativa y con la Dimensión de
Metadatos.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 45

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Figura 5. Resultados obtenidos para la Capa Percepción de Usuarios

En las figuras 3, 4 y 5 se resalta un caso concreto que llama la atención: Uno de los OAs presenta buenos
resultados para las métricas evaluadas en la Capa de Gestión, lo que llevaría a pensar que es un recurso de
calidad. Sin embargo, para la Capa de Revisión de Expertos y la Capa de Percepción de Usuarios los
resultados son muy bajos para todas las dimensiones. Esta situación refleja la importancia de evaluar los
OAs desde diferentes visiones, ya que podría concluirse que este objeto tiene un conjunto de metadatos
adecuado, pero un contenido que no está ocorde con las expectativas ni de los expertos, ni de los
usuarios.

V. Conclusiones

El modelo propuesto atiende varios de los vacíos encontrados en la revisión del estado del arte, su
enfoque permite su implementación en situaciones reales y se perfila como una herramienta de gestión
de la calidad de OAs en repositorios y federaciones, ya que está orientado a que sea el administrador del
ROA, quien defina cuáles métricas calcular y las ponderaciones necesarias para la integración de los
resultados.

Tanto en el proceso de construcción del modelo como en su validación, se corroboraron los problemas de
calidad de los OAs, lo que demuestra que es necesario realizar procesos de evaluación. Además, una
evaluación por capas como la propuesta permitió aprovechar las valoraciones manuales y cálculos
automáticos, definiendo métricas a partir de las cuales se pueden obtener diferentes índices.

Como trabajo futuro se plantea el crecimiento del modelo con capas que evalúe desde otros enfoques y
ampliar la cantidad de métricas. Además, se está creando un mecanismo para que en la práctica cualquier
repositorio pueda usarlo como servicio.

Agradecimientos

El trabajo de investigación presentado en este artículo se enmarca en el proyecto ‚ RAIM: Implementación

de un framework apoyado en tecnologías móviles y de realidad aumentada para entornos educativos
ubicuos, adaptativos, accesibles e interactivos para todos‛, financiado por Colciencias y el Ministerio de
Educación con código 111956934172.

Referencias

Academic ADL Colab. (2013). Finding and sharing elearning objects. Standards based interoperability and
federated repositories. Recuperado de http://www.academiccolab.org/?page_id=22

Bruce, T. R. y Hillmann, D. I. (2004). The continuum of metadata quality: defining, expressing, exploiting. In
metadata in practice. Recuperado de https://ecommons.cornell.edu/handle/1813/7895

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 46

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Cechinel, C., Sánchez-Alonso, S., y Sicilia, M.-Á. (2012). Avaliação automática da qualidade de objetos de
aprendizagem dentro de repositórios [Evaluación automática de la calidad de los objetos de aprendizaje
dentro de los repositorios]. Revista Brasileira de Informática na Educação, 20(03), 43-59.

Chiappe, A. (2006). Modelo de diseño instruccional basado en Objetos de Aprendizaje: aspectos relevantes.
Colombia: Universidad de La Sabana.

Duque M. N. (2009). Modelo adaptativo multi-agente para la planificación y ejecución de cursos virtuales
personalizados. Universidad Nacional de Colombia-Sede Medellín.

Kay, R. H., Knaack, L. y Vaidehi, V. (2008). A multi-component Model for Assessing Learning Objects: LOEM.
Australasian Journal of Educational Technology, 24(5), 574-591.

Learning Technology Standards Committee. (2002). IEEE standard for learning object metadata. Nueva York:
Institute of Electrical and Electronics Engineers.

Massa, S. M. (2012). Objetos de aprendizaje: metodología de desarrollo y evaluación de la calidad. Argentina:

Universidad Nacional de La Plata.

McGreal, R. (2008). A Typology of learning object repositories. In Handbook on Information Technologies

for Education and Training (pp. 5-28). Recuperado de https://link.springer.com/chapter/10.1007%2F978-3-
540-74155-8_1

Menéndez, V. H., Castellanos, M. E., Vidal, C. y Segura, A. (2012). Un modelo de calidad de Objetos de
Aprendizaje basado en la semántica de sus metadatos. Séptima Conferencia Latinoamericana de Objetos y
Tecnologías de Aprendizaje. Recuperado de
http://laclo.org/papers/index.php/laclo/article/viewFile/51/46

Morales, E., García, F. J., Barrón, Á., Berlanga, A. J. y López, C. (2005). Propuesta de evaluación de Objetos de
Aprendizaje. Documento presentado en el II Simposio Pluridisciplinar sobre Diseño, Evaluación y
Descripción de Contenidos Educativos (SPDECE). Barcelona.

Morales, E., Gil, A. y García, F. (2007). Arquitectura para la recuperación de Objetos de Aprendizaje de calidad
en repositorios distribuidos. SCHA: Sistemas Hipermedia Colaborativos Y Adaptativos. II Congreso Español de
Informática CEDI.

Nesbit, J., Belfer, K. y Leacock, T. (2003). Learning Object Review Instrument (LORI). Recuperado de
http://www.transplantedgoose.net/gradstudies/educ892/LORI1.5.pdf

Ochoa, X. (2008). Learnometrics: Metrics for Learning Objects. Bélgica: Katholieke Universiteit Leuven.

Park, J. R. y Tosaka, Y. (2010). Metadata quality control in digital repositories and collections: criteria,
semantics, and mechanisms. Cataloging y Classification Quarterly, 48(8), 696-715.

Rosanigo, Z., Bianchi, G., Bramati, P., Paur, A., Living, E. y Saenz, M. (2007). Hacia un repositorio de objetos
de aprendizaje. In Memorias IX WICC, Trelew, Chubut, Argentina.

Ruiz G, R. E., Muñoz A, J., y Álvarez R, F. J. (2007). Evaluación de Objetos de Aprendizaje a través del
aseguramiento de competencias educativas. Recuperado de
http://e-spacio.uned.es/fez/eserv/bibliuned:19233/n03ruizgonz07.pdf

Sanz, J. (2010). Evaluación apriorística de la reusabilidad de los Objetos de Aprendizaje. España: Universidad
de Alcalá de Henares.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 47

 Modelo por capas para evaluación de la calidad de objetos de aprendizaje en repositorios
Tabares et al.

Sicilia, M. A., García, E., Salvador, A. y Soto, J. (2005). A semantic lifecycle approach to Learning Object
Repositories. Recuperado de
https://pdfs.semanticscholar.org/5b6a/cf40b27283f0c490c0ec9e7376783efdf82a.pdf

Tabares, V., Duque, N. y Moreno, J. (2011). Análisis experimental de la utilidad en la recuperación de objetos
de aprendizaje desde repositorios remotos. In Congreso Internacional en Ambientes Virtuales de
Aprendizajes Accesibles y Adaptativos-CAVA. Universidad Nacional de Tucumán, Argentina.

Van de Sompel, H. y Chute, R. (2008). The aDORe federation architecture : digital repositories at scale.
International Journal of Digital Libraries, 9(2), 83-100. doi:10.1007/s00799-008-0048-7

Vicari, R. M., Bez, M., Marques, J., da Silva, C., Ribeiro, A., Gluz, J. C., Passerino, L., Santos, E. et al. (2010).
Proposta Brasileira de Metadados para Objetos de Aprendizagem Baseados em Agentes ( OBAA). Novas
Tecnologias Na Educação, 8(2). Recuperado de
http://obaa.unisinos.br/drupal7/sites/default/files/doc_files/publicacoes/15257-53544-1-PB.pdf

Vidal, C., Segura, A., Campos, P., y Sánchez-Alonso, S. (2010). Quality in Learning Objects: evaluating
compliance with metadata standards. Metadata and semantic research. Communications in Computer and
Information Science, 108, 342-353.

Vidal, C., Segura, A., y Prieto, M. (2008). Calidad en Objetos de Aprendizaje. V Simposio Pluridisciplinar
Sobre Diseño y Evaluación de Contenidos Educativos Reutilizables (SPEDECE08), Salamanca, España.

Wiley, D. A. (2001). Connecting learning objects to instructional design theory: A definition, a metaphor, and a
taxonomy. Recuperado de http://wesrac.usc.edu/wired/bldg-7_file/wiley.pdf

Yen, N., Shih, T., Member, S., Chao, L. y Jin, Q. (2010). Ranking metrics and search guidance for learning
object repository. IEEE Transactions on Learning Technologies, 3(3), 250-264.

Revista Electrónica de Investigación Educativa, Vol. 19, Núm. 3 / IIDE-UABC 48