REALIDAD AUMENTADA APLICADA

A HERRAMIENTAS DIDÁCTICAS
MUSICALES
J. M. Peula (1), J. A. Zumaquero (1), C. Urdiales(1), A. M. Barbancho(2) y F. Sandoval (1).
[email protected], [email protected], [email protected], [email protected], [email protected]
(1)
Grupo Isis, Dpto. de Tecnologia Electrónica, Universidad de Málaga, ETSI Telecomunicación,
Campus de Teatinos s/n, 29071 – Málaga (España)
(2)
Dpto. de Ingeniería de Comunicaciones, Universidad de Málaga, ETSI Telecomunicación,
Campus de Teatinos s/n, 29071 – Málaga (España)

Abstract- This paper presents two educational applications virtual, empezando por la librería de realidad aumentada que
based on Augmented Reality to introduce young people to utiliza, ARToolkit. A continuación, en este apartado se
music in an easy and intuitive way: a virtual piano and a virtual
explican los principios de funcionamiento de la partitura
score. The main novelty of this paper is how new technologies
like Augmented Reality can be used in educational virtual, la librería de sonidos que utiliza, OpenAL y la
environments using simple low cost tools. The proposed tools utilización de la partitura virtual. En el apartado 4 se
have been used during La Semana de la Ciencia 2006 muestran las pruebas realizadas a ambas aplicaciones.
(Andalucía) and results have been quite satisfactory from the Finalmente, en el apartado 5, se presentan las conclusiones
user point of view. obtenidas de la realización de este trabajo.

I. INTRODUCCIÓN II. PIANO VIRTUAL

La Realidad Aumentada, a pesar de ser menos conocida El piano virtual es una herramienta que simula el teclado
que la Realidad Virtual por el público en general, presenta la de un piano y su sonido mediante un PC conectado a unos
ventaja de insertarse en el mundo real, permitiendo al usuario altavoces y una cámara web (que permite la detección de las
interactuar con éste y con elementos generados por teclas pulsadas).
ordenador al mismo tiempo. Dada su flexibilidad, ya existen Esta herramienta tiene la ventaja de poder ser utilizada
interesantes aplicaciones basadas en Realidad Aumentada en por niños, sin miedo a que se hagan daño o lo rompan, como
ámbitos tales como la arquitectura [1], la educación [2] o la ocurriría en el caso de utilizar un teclado electrónico, pues el
reconstrucción de piezas en museos [3]. piano no existe físicamente y el equipo no necesita ser
En la actualidad existen muchos programas de ordenador accesible por el usuario. Es necesario, sin embargo, resaltar
que sirven de ayuda en la educación musical, pero muy que esta herramienta no pretende en ningún momento
pocos utilizan la Realidad Aumentada para conseguir un sustituir a un piano tradicional, sino simplemente ofrecer un
acercamiento a la música, de niños y jóvenes de forma primer acceso sencillo a éstos.
rigurosa y amena. En general, la didáctica musical está En este apartado se expone, en primer lugar el sistema de
centrada en los sistemas tradicionales de enseñanza, lo que detección de movimiento para reconocimiento de la tecla
hace que se encuentre muy alejada de las nuevas tecnologías. pulsada, el funcionamiento y el montaje del sistema y
Disponer de herramientas didácticas musicales basadas en finalmente utilización del piano desarrollado.
Realidad Aumentada, permitiría una gran evolución en estos
sistemas de enseñanza, haciendo que se adapten a los nuevos A. Detección de Movimiento
tiempos. De esta forma, se podría conseguir un mejor Para simular el comportamiento de un piano en primer
aprendizaje y una mayor difusión de los conocimientos lugar es importante saber que tecla se ha pulsado, para así
musicales en todos los niveles de educación sin pérdida de reproducir el sonido oportuno. Sin embargo, dada la gran
rigor ni seriedad. cantidad de técnicas para detección de movimiento, hay que
Por ello, resultan interesantes las dos aplicaciones saber cual es la más oportuna para esta aplicación.
presentadas en esta comunicación: el piano virtual y la En la aplicación presentada, la estructura del sistema
partitura virtual. Estas dos aplicaciones basan su (Fig. 1) es la más simple y más estudiada comúnmente: una
funcionamiento en sistemas de realidad aumentada de bajo cámara fija sobre la zona de detección de movimiento donde
coste, lo que hace que, además de introducir al usuario en el esta virtualmente el piano (proyectado o impreso) y el objeto
mundo de la música de forma amena, sean accesibles al en movimiento (una mano).
público en general. En este tipo de situación con cámara estática, se pueden
La estructura de esta comunicación es la siguiente: en el aplicar técnicas basadas en estructuras biológicas como la de
apartado 2 se realiza una descripción del piano virtual visión foveal [4], técnicas basadas en estimación paramétrica
explicando, por un lado el sistema de detección de [5], etc. Sin embargo, dado que para la aplicación realizada
movimiento utilizado y, por otro, el montaje y utilización del no era necesaria una gran precisión en la detección de los
piano virtual. En el apartado 3 se describe la partitura objetos, ni predicción de posición futura, se optó por un
esquema de detección de movimiento rápido y sencillo C. Montaje y Uso del Piano Virtual
(Fig.2), basado en la sustracción de fotogramas consecutivos Este sistema ha sido probado sobre un ordenador Pentium
en escala de grises, umbralización, detección de bordes y III a 1GHz con 500 MB de RAM conectado a una cámara
finalmente detección de los objetos y determinación de la web estándar y unos altavoces convencionales funcionando
región del piano sobre la que se encuentra el objeto mayor sin ningún problema.
para reproducir la nota oportuna, si corresponde. Como se ha comentado antes, el montaje ideal del
sistema (Fig.1) sería con una cámara que tenga una vista
axial de la zona sensible al movimiento. La zona sensible al
movimiento se configura mediante el programa configurador
(Fig. 3). Éste configura de forma estática las zonas que
determinan las teclas del piano. Es deseable que el usuario
sepa donde está “físicamente” el teclado virtual mediante un
proyector que proyecte un piano o una hoja impresa, como se
hizo en el laboratorio por comodidad. De esta forma el
usuario no necesita mirar al monitor, se abstrae de la
aplicación y se siente más inmerso en el sistema.

Fig. 1. Montaje ideal del piano virtual.

En la versión actual no se permite la reproducción de
sonidos simultáneos, dado que lo que se quiere es un primer
acercamiento al funcionamiento de un piano. Por ello, el
sonido de las distintas teclas se almacena en ficheros y se
reproduce utilizando la librería API de Windows.
Fig. 3. Configurador de la zona de detección de movimiento.

Concretamente, la configuración de la zona sensible se

hace mediante el ratón, pinchando y arrastrando para marcar
la región que, automáticamente, se dividirá en tantas
regiones como teclas se hayan indicado en el fichero de
configuración.
Tras montar el sistema y configurar la región del teclado
se ejecuta la aplicación principal (Fig. 4) en la que se detecta
el movimiento de los objetos y se reproducen los sonidos
apropiados del teclado. Esta aplicación consta de dos
ventanas:
i) La ventana principal (Fig. 4a): Muestra un piano
que puede utilizarse para ser proyectado en caso de
utilizar proyector.
ii) La ventana de captura de la cámara (Fig. 4b):
Muestra la imagen capturada por la cámara, y ayuda
al usuario ajeno a la materia a poder entender un
poco el funcionamiento del programa.
La configuración de los parámetros del sistema (número
de teclas del piano, los sonidos a reproducir en cada zona,
etc.) se configuran mediante los ficheros de configuración.

Fig. 2. Diagrama de bloques del sistema.

B. Principio de funcionamiento del programa

Al mover la mano sobre el teclado virtual se reconoce si
ésta está sobre alguna tecla del piano. Si es así, se reproduce
el sonido correspondiente. Si se están ocluyendo varias
teclas, se determinará cual tiene una mayor área oculta por el
objeto y ésta será la que sea reproducida. Fig. 4. Panel de la aplicación principal.
 III. PARTITURA VIRTUAL v) Para aquellas marcas donde se encuentren patrones
La partitura virtual es una herramienta que permite la conocidos se obtienen los datos de posición e
creación sencilla de melodías utilizando como base la inclinación relativa a la cámara, que se guardarán en
notación musical basada en pentagramas y figuras de notas. una matriz de transformación geométrica
El pentagrama incluye la clave de sol y las notas que se homogénea.
pueden escribir en él mediante marcas pueden ser tanto vi) A partir de dicha matriz de transformación se
blancas como negras e incluir bemoles o sostenidos. aplican las transformaciones geométricas a los
La partitura musical podría realizarse utilizando elementos 3D que se van a pintar con OpenGL.
complicados algoritmos de visión que reconociesen una vii) Por último, se superponen los objetos 3D generados
partitura escrita y posteriormente la reprodujese, pero seria en OpenGL a la imagen de video capturada.
demasiado complejo, costoso y poco didáctico. En su lugar, B. Principios de funcionamiento de la partitura virtual
y haciendo uso de la Realidad Aumentada, es posible la
La partitura virtual aprovecha las características de
realización de partituras en tiempo real y de forma divertida.
ARToolkit para realizar la detección y posicionamiento
En este apartado se expone, en primer lugar, la librería de
relativo de las marcas. Esto permite obtener la posición y
Realidad Aumentada que se utiliza, ARToolkit. A
orientación relativa de la partitura respecto a la cámara, y a
continuación, se explican los principios de funcionamiento
partir de ésta se detecta la posición de las notas respecto a la
de la partitura virtual, la librería de sonidos que se utiliza,
marca que referencia a la partitura, conociendo a que tono
OpenAL y, por último, la utilización de la partitura virtual.
corresponde la nota.
A. ARToolkit Una vez detectada la ubicación de las notas en la partitura
ARToolkit [6][7] es un conjunto de librerías en ANSI-C presentada, se almacena en memoria la lista de notas que
utilizadas para el desarrollo de aplicaciones de Realidad habrá que reproducir. Para escuchar la partitura cuando se
Aumentada como pueden ser los juegos [8][9]. Para ello realice la indicación de ello, se carga en memoria los ficheros
provee de una serie de funciones para la captura de imágenes de audio que contienen las notas en el orden indicado por la
de video en las que se buscan patrones conocidos aplicando lista, y se reproducen posteriormente.
técnicas de visión por computador. C. OpenAL
Para conseguir su función, ARToolkit usa marcas planas
Para cargar y reproducir sonidos se ha usado la librería de
impresas formadas por un marco de color negro que contiene
C/C++ OpenAL [10] que permite manejar archivos de sonido
en su interior un patrón (Fig.5) previamente aprendido. Para
con gran facilidad, así como la creación de entornos sonoros
que los datos de posición e inclinación relativa que se
donde se pueden configurar tanto la posición del oyente
calculen sean los correctos, las dimensiones de la marca
como las posibles fuentes sonoras, entre otras ventajas que
(ancho y alto) serán establecidas a priori.
hacen que sea ampliamente usada en programación de
entornos virtuales [11].
D. Uso de la partitura virtual
Para usar la partitura virtual se necesitan realizar una
serie de tareas que van a permitir visualizar la partitura con
un tamaño deseado y detectar las notas colocadas en ella. Los
pasos son los siguientes:
i) Usar la marca de referencia que dará la posición y
orientación de la partitura en cualquier momento de
la aplicación (Fig.6).
Fig. 5. Tipo de marcas usadas por ARTOOLKIT. ii) Usar la marca auxiliar de tamaño que permitirá
El funcionamiento de cualquier programa de Realidad redimensionar la partitura, de manera que la zona
Aumentada basado en ARToolkit es el siguiente: donde se puede escribir en la partitura irá desde la
i) Se captura un fotograma de la fuente de video. marca de referencia a la marca auxiliar de tamaño
ii) La imagen se transforma en binaria a partir de un (Fig. 7).
umbral predeterminado. Todos los píxeles cuya iii) Una vez colocada la partitura donde se quiere y con
intensidad supere el umbral pasan a ser negros, el el tamaño que se desea, se pueden colocar nuevas
resto pasan a ser blancos, dando una imagen en marcas que corresponden a notas blancas o negras
blanco y negro donde las zonas oscuras pasan a ser (Fig. 8).
blancas y viceversa iv) Se colocan las notas en el tono deseado. Para
iii) En la imagen binaria, se buscan todos los marcos cambiar de un tono natural a bemol o sostenido
blancos que pudiesen ser candidatos de contener basta con girar la marca sobre si misma (Fig. 8).
marcas conocidas v) Una vez colocadas todas la notas y compuesta la
iv) Una vez obtenidos los candidatos se comprueba que partitura se puede escuchar bien pulsando una tecla,
contienen un patrón conocido de entre los bien usando una marca auxiliar de reproducción
almacenados en memoria, de modo que se eliminan (Fig. 9).
falsos positivos en la detección. vi) Para cambiar la partitura, basta con mover de
posición las marcas de las notas.
 V. CONCLUSIONES
Se han presentado dos aplicaciones simples pero a la vez
amenas, educativas y divertidas, con las cuales poder ayudar
a los más jóvenes, e incluso a los no tan jóvenes, a
introducirse en el mundo de la música mediante el uso de
nuevas tecnologías: el piano virtual y la partitura virtual.
Se ha mostrado la conveniencia de la técnica de
procesamiento de vídeo más o menos avanzada según la
Fig. 6. Desplazamiento de la partitura usando la marca de referencia.
aplicación. En el caso del piano virtual, una simple detección
de movimiento por sustracción de fotogramas consecutivos,
pues no es necesaria más información; y en el caso de la
partitura virtual la potencia de ARToolKit para determinar la
posición de las marcas y poder diferenciar unas de otras.
Además estas aplicaciones permiten una gran
versatilidad, pues con pequeñas variaciones podrían crearse
otras aplicaciones como una batería virtual o juegos como el
conocido Simón. Y todo esto con un equipo básico y
prácticamente al alcance de cualquier usuario e institución,
como pueden ser un PC compatible y una cámara web.
Fig. 7. Redimensionamiento de la partitura usando las marcas de referencia
y auxiliar de tamaño. Su funcionamiento y aceptación por parte de personas no
versadas en la materia ha quedado patente tras las
demostraciones en la VII Semana de la Ciencia y la
Tecnología realizada.

AGRADECIMIENTOS
Este trabajo ha sido parcialmente subvencionado por el
Ministerio de Educación y Ciencia (MEC), Proyectos nº
TIN2005-01359 y TEC2006 11689 y por la Junta de
Andalucía, Proyecto TIC 249.
Fig. 8. Colocación las notas en una partitura.
REFERENCIAS
[1] A. Aguilar, C. Urdiales, J.A. Fernández-Ruiz, F. Sandoval, “Sistema
CAD avanzado mediante realidad aumentada”, XIV Jornadas Telecom
I+D 2004, Madrid, Noviembre 2004.
[2] H. Kaufmann., “Collaborative Augmented Reality in Education”..
Keynote Speech at Imagina Conference, 2003.
[3] M. Abad, L. Arretxea, A. Alzua-Sorzabal, “Evaluación del impacto de
las Nuevas Tecnologías en el visitante del museo: el caso de la Virtual
Showcase”, I International Workshop on ICTs, Arts and Cultural
Heritage, 2003.
[4] J. A. Rodríguez, C. Urdiales, P. Camacho y F. Sandoval, "Detección
jerárquica de móviles sobre geometrías de fóvea adaptativa. Revista
Fig. 9. Reproducción de la partitura usando la marca auxiliar de Electrónica de Visión por Computador (REVC), Nº. 3, Julio 2000.
reproducción. [5] S. M. Smith, J. M. Brady, "SUSAN-A New Approach to Low Level
Image Processing", in Proceedings of the International Journal of
Computer Vision, 23:1, pp. 45-78, 1997.
IV. PRUEBAS DE LAS HERRAMIENTAS DISEÑADAS [6] H. Kato et. al., “Augmented Reality Toolkit”.
http://artoolkit.sourceforge.net, Nov 2004. Última consulta 20 de
El testeo de la herramienta piano virtual se realizó en el Febrero del 2.007.
laboratorio de investigación con personal técnico [7] D. Wagner and D. Schmalstieg, “First step towards Handled
Augmented Reality”. In Proceedings of the 7th International
conocedores de este tipo de aplicaciones con comentarios Conference of Wearable Computers White Plains, NY, USA, Oct 21-
favorables. 23, 2003.
Las pruebas de la partitura virtual, se realizaron en el [8] B. H. Thomas, “Challenges of Making Outdoor Augmented Reality
laboratorio usando un conjunto de marcas impresas de 40 Games Playable”. The university of South Australia, 2001
[9] T. Nilsen, S. Linton and J. Looser, “Motivations for AR Gamming”. In
mm. de lado para las marcas de referencia, auxiliar de
Proceeding of the First International Workshop on Foundation of
tamaño y auxiliar de reproducción, y de 25mm para las Unanticipated Software Evolution, New Zealand Game Developers
marcas de notas blancas y negras, obteniéndose resultados Conference, Dunedin, New Zealand, 26-29 June 2004, 86-93.
satisfactorios. [10] Loki Entertainment Software, “Open Audio Library”,
Ambas aplicaciones fueron presentadas en la VII Semana http://www.openal.org/ 2003. Última consulta 20 de Febrero del 2.007.
[11] N. Raghuvanshi and M. C. Lin, “Interactive Sound Synthesis for Large
de la Ciencia y la Tecnología celebrada en Málaga, Scale Environments”. In SI3D ’06: Proceedings of the 2006 symposium
utilizando un proyector en lugar de un monitor. Los usuarios on Interactive 3D graphics and games, ACM Press, New York, NY,
técnicos y no técnicos que probaron las aplicaciones USA, 101–108, 2006 .
quedaron muy asombrados y satisfechos del resultado.