Esfuerzo de Usabilidad: un nuevo concepto para medir la

usabilidad de un sistema interactivo basada en el Diseño

Centrado en el Usuario
Granollers, T. Lorés, J.
University of Lleida University of Lleida
GRIHO: HCI research group GRIHO: HCI research group
Avda. Jaume II, 69 Avda. Jaume II, 69
+34 973 702720 +34 973 702720
[email protected] [email protected]

RESUMEN sea “fácil de utilizar y de aprender”, es definido por la

La Usabilidad –término ambiguo y en ciertos aspectos subjetivo– Organización Internacional para la Estandarización en la norma
es una característica relacionada con la calidad de los sistemas ISO 9241-11 como “la medida en la que un producto se puede
interactivos que las más prestigiosas sociedades internacionales usar por determinados usuarios para conseguir objetivos
de estándares de calidad como ISO o IEEE vienen considerando específicos con efectividad, eficiencia y satisfacción en un
desde hace mucho tiempo. contexto de uso especificado” [16].
En la misma línea la norma ISO/IEC 9126-1 destaca la
En el aspecto metodológico las propuestas de la Ingeniería de la
importancia de la usabilidad como un parámetro de calidad del
Usabilidad que ofrecen modelos de Diseño Centrado en el
software al incluirla entre las seis características de primer orden
Usuario, DCU, constituyen la alternativa de desarrollo
para el modelo de calidad externa e interna del software [18].
mayormente aceptada, pues facilitan la incorporación de usuarios
Funcionalidad, fiabilidad, eficiencia, mantenibilidad y
representativos a los equipos de desarrollo con la finalidad de
portabilidad son las otras cinco.
conseguir sistemas usables.
No obstante, como desarrollar un sistema interactivo altamente
Existe sin embargo, una enorme separación entre tales modelos de usable no es una tarea evidente ni fácil de conseguir, los equipos
DCU y las técnicas utilizadas para medir el grado de usabilidad de de desarrollo disponen de metodologías (del ámbito de la
los sistemas software (métricas de usabilidad). Actualmente las Ingeniería de la Usabilidad [10] basadas en las aproximaciones de
mediciones se realizan sobre el producto finalizado sin tener en Diseño Centrado en los Usuarios, DCU, [17], de Diseño
cuenta la metodología con la que se ha realizado. Participativo [8] o de Diseño Contextual [5]) como las descritas
En este artículo se propone un nuevo método de medición que en [6][9][21][25] o [28] que detallan procesos y técnicas que les
tiene un enfoque totalmente distinto a los actuales. El método que guiarán a implementar sistemas usables.
se presenta valora la usabilidad con datos obtenidos a partir del Además J. Nielsen, uno de los autores más destacados en el
esfuerzo que el equipo de desarrollo ha realizado durante la terreno de la usabilidad de los sistemas interactivos, asegura en un
implementación del sistema y siguiendo un modelo de proceso reciente estudio sobre el incremento de la usabilidad (AlertBox de
DCU. Con ello se consigue unir la metodología utilizada con el marzo 2003) [23] que no existe la interfaz de usuario perfecta y,
resultado que de ella se espera conseguir. por tanto, el trabajo relacionado con su usabilidad nunca será
completo. Argumenta que cualquier diseño siempre puede
Keywords mejorarse y aunque llegásemos a disponer de una interfaz que
Usabilidad, Ingeniería de la Usabilidad, Diseño Centrado en el cumpliese el 100% de las recomendaciones de alguna lista de
Usuario, Métricas de Usabilidad. guías de estilo (como las del propio autor) nunca alcanzaríamos la
interfaz perfecta, pues, seguro que encontraríamos nuevas
recomendaciones a añadir a dicha lista que ayudasen a mejorar la
1. Introducción experiencia del usuario.
El término usabilidad, que coloquialmente suele asociarse a la
propiedad que tiene un determinado sistema interactivo para que Aun así, una vez disponemos de un nuevo sistema no nos
conformaremos con decir que este es muy, poco o nada usable;
desearemos conocer algún tipo de medida numérica que refleje
Se concede el permiso para la reproducción digital o impreso total o parcial de este cuantitativamente el nivel de usabilidad del sistema
trabajo sin contraprestación económica únicamente para la utilización personal o implementado.
en clase. En ningún caso se podrán hacer o distribuir copias para su explotación
comercial. Todas las copias deben de llevar esta nota y la información completa de No obstante la usabilidad es en sí misma un atributo altamente
la primera página. Para cualquier otro uso, publicación, publicación en servidores, subjetivo, relativo y, como consecuencia, es tan difícilmente
o listas de distribución de esta información necesitara de un permiso específico y/o medible que aventurarse a cuantificarla supone un reto
el pago correspondiente.
verdaderamente difícil e interesante.
Interacción '04 – 3-7 Mayo, 2004, Lleida, España.
En el resto del artículo veremos como se aborda actualmente la ƒ WAMMI (Web site Analysis and MeasureMent Inventory)
problemática de medir la usabilidad para presentar nuestra [31]:
alternativa desde un punto de vista totalmente diferente a los Este cuestionario surge como extensión de SUMI al intentar
existentes. orientarlo hacia la medición de la usabilidad en la Web.
WAMMI es un cuestionario basado en escenarios que trata de
2. Medición actual de la usabilidad descubrir información acerca de lo que piensan los visitantes
Desde hace varios años existen diversas alternativas que permiten de los sitios Web en cuanto a su calidad de uso. Igual que el
medir el atributo usabilidad de los sistemas software las cuales, anterior está disponible en varios idiomas y es un cuestionario
básicamente, se engloban en dos categorías diferenciadas por el de pago.
tipo de procedimiento utilizado: mientras unas utilizan
ƒ MUMMS (Measuring the Usability of Multi-Media Systems)
únicamente cuestionarios orientados a conocer el nivel de
[22]:
satisfacción de los usuarios respecto a su experiencia con el uso
sistema del cual queremos conocer su grado de usabilidad, otras MUMMS es otro cuestionario que surge también como una
utilizan herramientas software especializadas que facilitan una extensión de SUMI, concretamente trata de evaluar la
medición más precisa y automatizada. usabilidad de los productos multimedia en general y es
realizado por usuarios finales. Está enfocado a obtener el
2.1 Cuestionarios conocimiento adquirido por los usuarios, lo cual es
La utilización de cuestionarios con preguntas especialmente consecuencia lógica de que el cuestionario esté desarrollado
diseñadas para conocer el uso que hacen los usuarios de un un grupo de investigación en Factores Humanos de la
sistema determinado y, particularmente, cual es su grado de Universidad de Cork, Irlanda.
satisfacción es una de las técnicas que más éxitos ha logrado en el La principal ventaja de utilizar cuestionarios es que se consigue
terreno de las métricas de la usabilidad. La idea es simple, se recoger respuestas concretas que aportan datos discretos
diseña un cuestionario donde es necesario contestar una serie de comprobables mediante, por ejemplo, técnicas estadísticas.
preguntas “tipo test” cada una de las cuales debe responderse
escogiendo una opción única entre un rango de respuestas 2.2 Herramientas
preestablecidas. El terreno de las herramientas software desarrolladas
Los cuestionarios más relevantes en este ámbito son: específicamente para medir la usabilidad de los sistemas
interactivos destacan:
ƒ QUIS (Questionnaire for User Interface Satisfaction)
[27][7][29]: ƒ PROKUS (PROgram system zur Kommunikations
ergonomischen UnterSuchung rechnerunterstützer Verfahren
Es una técnica de valoración subjetiva enfocada a medir el
–Program system to communication ergonomic examination
grado de satisfacción de los usuarios mientras interactúan con
of computer-aided procedures–) [32]:
la interfaz. El cuestionario fue desarrollado a finales de los
años 80 pero está sujeto a una constante renovación para PROKUS es un software desarrollado por el Laboratorio del
adaptarlo a los tiempos actuales tan cambiantes. El Instituto de Ingeniería Humana e Industrial de la Universidad
cuestionario, orientado por los aspectos de la interfaz del de Karlsruhe (Alemania) que mide la usabilidad de un sistema
usuario, consta de 5 secciones, la primera de las cuales valora basándose en la ergonomía cómo criterio de calidad principal.
las reacciones del usuario mientras utiliza el sistema. Las Concretamente se basa en el estándar ISO 9241-10 que
secciones restantes valoran la pantalla, la terminología, y el especifica los principios de diálogo de los terminales visuales
sistema de información, de aprendizaje y las capacidades del en términos ergonómicos.
sistema. A pesar de que no se trata de un cuestionario una parte
ƒ SUMI (Software Usability Measurement Inventory) [30][4]: importante del método también está basado en un catálogo de
preguntas que son rellenadas por el experto evaluador durante
Más que un simple cuestionario SUMI es un inventario de
el procedimiento.
medidas de usabilidad que forma parte del proyecto global
MUSiC1 [19]. El espíritu de este cuestionario es valorar la Finalmente los datos medidos pueden ser comparados con la
calidad de uso de un sistema o de un prototipo. Este definición de los requisitos del propio sistema o incluso
cuestionario está referenciado en estándares de calidad ISO compararlos con los requisitos de otros sistemas, por ejemplo
como el ISO 9241-10 (principios de dialogo) y en el ISO los la competencia.
6126-2 (métricas y características de la calidad del software). ƒ DRUM (Diagnostic Recorder for Usability Measurement)
Se trata de un cuestionario, no gratuito, que se encuentra [15]
disponible en varios lenguajes (español entre ellos).
Esta herramienta software que realiza el análisis de la
usabilidad a partir de grabaciones en vídeo de sesiones de
evaluación de la usabilidad. El programa se conecta a una
videocámara y permite que el evaluador establezca una unión
1
MUSiC, Metrics for Usability Standard in Computing, es un entre puntos interesantes de la evaluación con dicha
proyecto europeo cuyo principal objetivo era desarrollar grabación. La gran ventaja de este método está en que al tener
métodos para medir el rendimiento a partir de la medición de la marcados los tramos en la propia grabación permite reducir
calidad de uso y con ello dar soporte a los métodos de la enormemente el tiempo de análisis de las sesiones de
Ingeniería de la Usabilidad [4][20]. usabilidad grabadas.
 Esta herramienta fue desarrollada cómo parte integrante del Concretamente la propuesta está basada en el Modelo de Proceso
proyecto MUSiC [3]. de la Ingeniería de la Usabilidad y de la Accesibilidad, MPIu+a
[11][12] y su aplicación durante el desarrollo de un elevado
2.3 Problemas de las actuales métricas de número de casos experimentales.
usabilidad El MPIu+a (ver figura 1), que tiene sus cimientos, por una parte,
A pesar de que los dos grupos de técnicas presentadas en el punto en la Ingeniería del Software y, por otra, en la disciplina de la
anterior han demostrado ser bastante eficientes evidencian los Interacción Persona-Ordenador y en la Ingeniería de la
siguientes inconvenientes: Usabilidad, proporciona las bases y la metodología que permiten
conocer cómo debe proceder un equipo de desarrollo para diseñar
1. Las medidas que tanto cuestionarios como herramientas aplicaciones interactivas usables y accesibles siguiendo enfoques
proporcionan se obtienen principalmente midiendo tan solo la de DCU claramente marcados.
satisfacción del usuario con el sistema2 [1], y no podemos
olvidar que según la definición del estándar ISO 9241-11 [16]
la satisfacción solo es uno de los parámetros que definen la
usabilidad.
2. Los cuestionarios son excelentes para medir cuantitativamente
los aspectos reflejados en los mismos pero no dejan lugar
para aspectos no enumerados en los mismos que pueden ser
importantes desde el punto de vista de los usuarios,
propiciando que estos no encuentren su mejor respuesta entre
las que el test les ofrece.
3. Existe una fuerte dependencia entre los resultados obtenidos
y la muestra de usuarios escogidos (cantidad,
representatividad y motivación).
4. Se ha observado que los usuarios cuando contestan preguntas
relacionadas con la usabilidad suelen confundir esta con la
utilidad [14]. Fácilmente otorgan el sentido de usabilidad a
alguna capacidad del sistema que les ha sido útil (olvidando si
esta utilidad ha sido difícil de encontrar o suficientemente
satisfactoria) y viceversa.
Y a esta lista de inconvenientes debemos añadirle el siguiente: Figura1. Modelo de proceso MPIu+a.

5. Aunque en la introducción se ha mencionado la conveniencia Resumidamente las principales características que definen el
de utilizar metodologías procedentes del ámbito de la MPIu+a son:
Ingeniería de la Usabilidad para desarrollar sistemas ƒ es tecnológicamente independiente (se adecua a cualquier
verdaderamente usables, ninguna de las métricas de la cambio tanto tecnológico como de paradigma de interacción),
usabilidad existentes consideran para su evaluación dichas ƒ es aplicable a todo tipo de proyectos, independientemente de
metodologías: las métricas presentadas pueden aplicarse su clase y envergadura,
indistintamente del procedimiento seguido. ƒ se adapta a los diferentes modelos mentales de los integrantes
Consecuentemente, no disponemos de datos que aseguren que de los equipos multidisciplinares,
los resultados obtenidos desarrollando sistemas siguiendo ƒ es muy simple,
estas metodologías sean mejores que los realizados siguiendo ƒ sigue los principios del Diseño Centrado en el Usuario,
los procedimientos habituales de la Ingeniería del Software. ƒ fomenta el desarrollo de sistemas evolutivo: iterativo e
Existe, por tanto, un vacío difícil de resolver que vamos a tratar incremental,
de enmendar. ƒ integra la metodología y los formalismos necesarios de la
Ingeniería del Software con la de la Usabilidad,
ƒ integra, a su vez, la accesibilidad cómo componente
3. Base metodológica para una nueva fundamental de todo el proceso, y
propuesta para medir la usabilidad ƒ es consistente con los estándares de calidad relacionados.
El principal objetivo del trabajo presentado en este artículo radica
en explicar nuestra propuesta sobre un nuevo concepto para medir El modelo está organizado en una serie de fases (cada uno de los
la usabilidad de un sistema interactivo a partir las actividades bloques de la figura 1) que repetidamente se van realizando,
realizadas durante el desarrollo del mismo siguiendo un modelo siendo el prototipado y la evaluación dos fases claves para la
DCU; enfoque radicalmente diferente a los existentes hoy en día. usabilidad y la accesibilidad que se aplican desde el mismo
instante que comienza cada nuevo desarrollo.
Además, en el modelo se utilizan algunos mecanismos de
2
SUMI si que tiene en cuenta otros factores como la eficacia, la protección de la Ingeniería del Software [2] con la finalidad de
ayuda, el aprendizaje, el control y el propio dispositivo. garantizar la consistencia de las actividades, de asegurar el
impacto del cambio y de minimizar el riesgo de errores. 4. Nueva métrica para la usabilidad: el
Entre estos mecanismos destaca (por su relación con este artículo) Esfuerzo de Usabilidad (EU)
una particularización de la Gestión de la Configuración, La idea de partida es bien simple: deseamos encontrar la manera
denominada en el MPIu+a Hoja de Trabajo de la Gestión de la de valorar (con un número comprendido entre un rango de
Configuración, HT-GC, [12] en la que una tabla bidimensional valores como por ejemplo entre 0 y 10) el grado de su usabilidad
refleja cronológicamente todas las actividades realizadas durante de un sistema interactivo cualquiera.
el desarrollo del sistema a la vez que permite relacionar dichas
actividades entre sí. No obstante factores como la subjetividad de la propia usabilidad
o de los usuarios y/o evaluadores de cada sistema, la dificultad de
La estructura de esta HT-GC es la siguiente: cuantificar numéricamente cuál es su usabilidad o relativizar
dicho valor entre unos límites recondujeron el enfoque de la idea
ƒ Existe una columna para cada fase del MPIu+a y en cada una
inicial para intentar valorar la dedicación o el esfuerzo realizado
de ellas se emplazan las actividades realizadas
durante el desarrollo de una determinada aplicación en conseguir
correspondientes a la fase del encabezado. Las columnas son:
que una esta sea usable. Surge así el concepto del “Esfuerzo de
(1) Análisis de Requisitos, (2) Diseño, (3) Implementación,
Usabilidad”.
(4) Lanzamiento, (5) Prototipado y (6) Evaluación.
ƒ El número de filas es variable: a medida que avanza cada
proyecto en concreto se van disponiendo, en la columna
4.1 Definición
correspondiente, todas las actividades realizadas. Ello aporta El diccionario de la lengua española define esfuerzo cómo el
información rápida y visual sobre la secuencialidad temporal “empleo de elementos costosos en la consecución de algún fin”.
del proyecto, desde el inicio hasta su finalización. Contextualizando este enunciado a nuestro propósito definimos el
ƒ Opcionalmente, la representación gráfica puede mejorarse término Esfuerzo de Usabilidad como la medida que indica los
uniendo con flechas cada actividad con su antecesora y su recursos empleados y las actividades realizadas durante el
predecesora. desarrollo de una aplicación interactiva con la finalidad de
La figura 2 muestra la HT-GC de una determinada aplicación [13] conseguir un determinado nivel de usabilidad.
en la que podemos seguir todas las actividades del MPUu+a Veamos, por tanto, como procedemos para calcular dicha medida.
realizadas.
4.2 Obtención
Somos conscientes que para cualquier desarrollo software los
resultados que se obtienen nunca son directamente proporcionales
al esfuerzo dedicado durante su realización: puede obtenerse, en
el mejor de los casos, un resultado óptimo con un esfuerzo
mínimo o por el contrario el resultado de un enorme esfuerzo
puede ser catastrófico. No obstante la experiencia indica que
habitualmente, y en cualquier ámbito de la vida de las personas,
un mayor esfuerzo se ve recompensado con la obtención de
mejores resultados.
Con esta reflexión queremos remarcar que aunque las
probabilidades de mayor usabilidad serán mayores para aquella
aplicación con un EU elevado nunca estaremos completamente
seguros de esta afirmación.

4.2.1 El EU intuitivamente
Hemos visto que disponemos por una parte de una metodología de
desarrollo de sistemas software basada en el DCU y por otra de
un valor que pretendemos calcular a partir de la las actividades
realizadas al aplicar dicha metodología; concretamente,
calcularemos el valor utilizando la HT-GC anteriormente
explicada.
No obstante antes de ver el cálculo numérico del EU
observaremos algunos aspectos relacionados con la HT-GC del
método que nos serán útiles para comprender el origen del estudio
y el resultado esperado.
Figura 2: HT-GC correspondiente a un determinado proyecto.
El conjunto de actividades realizadas tras la finalización de un
Presentamos a continuación la propuesta partiendo de la idea sistema dibuja una determinada zona sobre la HT-GC que
inicial, la idea intuitiva y finalmente su resolución matemática intuitivamente nos revela información relacionada con la posible
con las conclusiones obtenidas. usabilidad del sistema.
Concretamente en el ejemplo de la figura 3, a juzgar por la
elevada y uniformemente repartida cantidad de actividades de empresas que desarrollan de software conocen la teoría y
prototipado y evaluación realizadas podemos intuir que el maquillan el resultado final de sus productos realizando una
esfuerzo realizado para conseguir la usabilidad de este sistema evaluación en la fase final del proyecto, tras la cual mejoran
ha sido considerablemente elevado, siendo además muy regular un poco la usabilidad del producto implementando aquellos
desde su inicio, lo cual nos hace pensar que el sistema tendrá un cambios sugeridos por la evaluación que no afectan a la
alto grado de usabilidad, o cómo mínimo el valor del EU será estructura interna del sistema.
alto.
Es más, en la mayoría de casos esta evaluación final suele ser
una evaluación heurística [26], que si bien es cierto que es una
de las técnicas que aportan mejores resultados, no podemos
olvidar que en ella no interviene ningún usuario y, si además
se realiza como procedimiento único al final del desarrollo
poco podremos cambiar para mejorar la usabilidad del
sistema.
Cierto es que esta situación es mejor que la comentada en el
caso anterior pero no deja de ser un puro maquillaje de la
realidad que responde más a estrategias de marketing
comercial que al beneficio real que la usabilidad aporta a la
solución final. En la figura 4 (c) podemos ver el esquema
correspondiente a esta situación.

(a) EU mínimo (b) EU máximo (c) EU maquillado

Figura 4: Visiones gráficas del Esfuerzo de Usabilidad.
Analizando de nuevo el ejemplo de las figuras 2 y 3 parece claro
que el EU de la aplicación está muy cerca del máximo posible, lo
Figura 3: Área determinada por las actividades realizadas durante cual es sinónimo de un gran esfuerzo para mejorar la usabilidad y,
el desarrollo del sistema interactivo. presumiblemente, la aplicación será fácilmente utilizable.

Siguiendo en esta línea en los gráficos de la figura 4 veremos 4.2.2 Análisis del cálculo matemático
cuáles serian las situaciones extremas del EU analizando tan solo Para el cálculo matemático del valor del EU utilizamos la
el área dibujada por cada desarrollo en la HT-GC: siguiente simplificación: buscaremos una función matemática
a) Esfuerzo de usabilidad mínimo: Correspondería a aquella para ponderar tan solo las actividades de la columna de la
aplicación para la cual no se ha realizado ninguna acción evaluación y, a partir de los resultados parciales de estas
meritoria para mejorar la usabilidad de la misma. La gráfica ponderaciones, obtener el EU del sistema completo.
correspondiente a esta situación es la de la figura 4 (a), y Los motivos de esta consideración son:
desafortunadamente, es la situación más frecuente del
desarrollo del software actual. Este apartado incluye todas ƒ A pesar de ser cierto que la base de la consecución de la
aquellas aplicaciones cuyos autores etiquetan como “user- usabilidad del sistema es fruto de repetidas actividades de
friendly” sin que hayan sido evaluadas por tan solo un prototipado y de evaluación realizadas durante el desarrollo,
usuario. también es cierto que de poco sirve un prototipo no es
evaluado. O sea, el resultado de la función de ponderación
b) Esfuerzo de usabilidad máximo: Sería el caso contrario del para un prototipo que no es evaluado es cero.
anterior, y evidentemente sería el caso para una situación ƒ Por otra parte, algunos métodos de evaluación no precisan de
ideal. En la figura 4 (b) se observa que la superficie tanto en prototipos para realizarse, y para aquellos que si lo necesitan
la parte de prototipado y evaluación como también en el puede incluirse el “factor prototipo” en la ponderación de
análisis de requisitos y el diseño está ocupada por actividades cada método de evaluación, con lo cual se valora también la
que responden a la aplicación sistemática, constante y relación que existe entre ambos.
repetitiva del MPIu+a.
c) Esfuerzo de usabilidad “maquillado”. Actualmente el tema
4.2.2.1 Función de ponderación de cada método de
de la usabilidad de los sistemas interactivos está, por decirlo evaluación.
de alguna manera, de moda. Los responsables de muchas Cada método o técnica de evaluación de la usabilidad tiene
condicionantes propios que les diferencian entre sí y,
consecuentemente, condicionan directamente el valor de su medir exactamente lo mismo” de cada método.
correspondiente función de peso. No obstante tras realizar un
- Acotación idéntica: el rango de valores posibles para un
minucioso análisis de dichos condicionantes hemos encontrado un
mismo parámetro es el mismo para todos los métodos (por
conjunto único de parámetros comunes que son suficientes para
ejemplo entre 0 y 100).
definir las características particulares de cada uno de ellos.
Utilizaremos, por tanto, este conjunto de parámetros para definir La tabla 1 muestra la asignación de valores para los diferentes
el valor resultante. parámetros (columna Resultado Función) realizada para el
método de evaluación Focus Group [25].
Este conjunto único de parámetros es el siguiente:
Tabla 1. Asignación de valores para los parámetros
- La fase del MPIu+a en la que se aplica. Las propias
correspondiente a una evaluación del tipo “Focus Group”.
características de cada técnica indican que su aplicación es
más apropiada en unas fases del proyecto que en otras y este F(Focus Group)
parámetro refleja esta peculiaridad, el valor del cual será Nombre Valor Resultado
mayor en la o las fases más apropiadas y menor en las demás. parámetro parámetro Función
R 80
- El número de usuarios que intervienen en la prueba. Igual D 80
A1: Fase
que antes, las características individuales de cada técnica I 80
definen el número óptimo de usuarios necesarios para obtener L 100
los mejores resultados. Por tanto con este parámetro se 1a5 80
pretende valorar la optimización de los recursos humanos. A2 # usuarios 6a9 100
>9 80
- El número de implicados que participan de la evaluación. 1a3 40
Los implicados en un sistema interactivo [20] tienen un papel 4a6 65
A3: #implicados
vital en algunas de las evaluaciones, importancia que es 7 a 10 70
reflejada por este parámetro. > 10 70
1a3 40
- El número de evaluadores que realizan la prueba. Como 4a6 65
A4: #evaluadores
pasa con los usuarios, el resultado de cada método está 7 a 10 70
directamente relacionado con el número de evaluadores que > 10 70
han intervenido. No por poner más evaluadores obtenemos C: completitud %
Papel 75
mejores resultados, sino que cada método tiene su óptimo y
StoryBoard 50
este parámetro refleja este factor. Maqueta 75
- El prototipo utilizado. Considerando que una misma prueba Escenario 75
A5: Prototipo
Vídeo 100
de evaluación consigue obtener mejores o peores resultados
S/W horiz. 100
en función del prototipo utilizado, o incluso que alguna no S/W vert. 100
requiere de prototipo alguno, con este parámetro se pretende S/W 100
reflejar la adecuación del prototipo utilizado.
- La completitud es un parámetro porcentual que pondera la Una vez asignados los valores de los parámetros para todos los
cantidad de las características interactivas (relacionadas con la métodos de evaluación de la usabilidad disponemos de
usabilidad de la parte del sistema evaluado) que se han información suficiente para calcular el peso para cada una de las
probado. El sentido de este parámetro es distinto a los actividades de la columna evaluación de la HT-GC. Para ponderar
anteriores pues con él se pretende medir si se han comprobado el EU de cada actividad de evaluación hemos escogido la
todos los objetivos determinados o solo una parte de los siguiente función real que toma valores sobre el espacio de
mismos. parámetros:
Este mismo parámetro refleja, para aquellos casos que
1 ⎛ mj n ⎞
precisan de prototipo, si éste implementa todos los requisitos fj = ⎜ ∑ Ck ·∑ Ai ,k ⎟
determinados que son necesarios para la evaluación o solo los mj ⎜ k =1 ⎟
implementa parcialmente.
⎝ i =1 ⎠
Una vez determinados los parámetros es necesario asignarles donde, j es la evaluación que se está ponderando, mj es cada una
valores concretos para caracterizar los distintos métodos de de las subevaluaciones que pueden componer una misma
evaluación de manera que los resultados sean comparables. Con evaluación3, Ck es el parámetro completitud para la subevaluación
tal propósito la asignación de valores en cada método de k-ésima y Ai,k es el parámetro i de la subevaluación k.
evaluación se ha otorgado a partir de la propia experiencia y
siguiendo los siguientes principios: 4.2.2.2 Cálculo del EU del sistema desarrollado.
Con la fórmula anterior seremos capaces de calcular los valores
- Uniformidad y coherencia: cada parámetro, para ser válido de todas las evaluaciones reflejadas en la HT-GC. Ahora tan solo
para todos los métodos, debe ponderarse siguiendo nos queda sumar estos valores parciales para obtener el Esfuerzo
exactamente los mismos criterios. de Usabilidad de la aplicación de la siguiente forma:
- Equitatividad: el valor de cada parámetro será asignado de
manera totalmente imparcial. El mismo parámetro “debe 3
Normalmente mj es 1 y la fórmula se reduce considerablemente
 N son equivalentes aunque la complejidad de ambos proyectos
EU = ∑ f j es muy distinta.
j =1
- Los proyectos con un ratio bajo corresponden a los que tienen
donde, fj son las funciones de ponderación de cada evaluación j, N más horas de codificación, o sea, mayor complejidad. Lo cual
es el número total de evaluaciones y, evidentemente, EU es el es debido a que no existe una relación directamente
Esfuerzo de Usabilidad total. proporcional entre la complejidad del proyecto y el EU
invertido en el mismo. Consecuentemente es en estos
4.2.2.3 Significado. proyectos en los que la repercusión de la inversión realizada
Llegados a este punto se abre un interesante debate. Disponemos en el esfuerzo es menor.
de una manera sistemática y precisa que permite cuantificar
- El parámetro de la completitud es altamente determinante
uniformemente el esfuerzo realizado para procurar que el sistema
pues si no se aplica correctamente puede distorsionar mucho
disponga de la dosis de usabilidad lo más elevada posible. Este
los resultados obtenidos.
cálculo, que como hemos visto se obtiene de valorar una forma de
proceder altamente recomendada como es el DCU, supone la - Como resultado de todo el estudio realizado hemos podido
primera aproximación conocida de valorar la usabilidad de un determinar un número mínimo de iteraciones en el modelo de
sistema a partir de ligar el procedimiento con el resultado. proceso con actividades perfectamente definidas que definen
un EU mínimo. Éste, aunque no garantiza la usabilidad total
Conceptualmente estaremos de acuerdo en que el valor del EU de
del sistema, permite afirmar que si no se llega a este valor la
un determinado proyecto no es más que un número indicativo de
usabilidad del sistema queda de la mano de la particular
un cierto esfuerzo para la consecución de un determinado
inspiración del equipo de desarrollo y no es fruto de la
objetivo; en nuestro caso la usabilidad.
aplicación de un proceso metodológico de ingeniería.
De todas formas se ha aplicado el concepto un gran número de
Este EU mínimo es un valor comprendido en el rango [1200,
desarrollos reales de características muy diversas (desarrollados
1600] aunque los valores comprendidos entre [2200, 2500]
todos ellos siguiendo el MPIu+a) con la intención de obtener
son los que mejor recogen la experiencia del usuario y
datos empíricos procedentes de la experimentación que permitan
contribuyen a optimizar la usabilidad del sistema.
extraer conclusiones sobre la verdadera utilidad de este nuevo
planteamiento. - Los datos de la tabla revelan que el EU de algunos proyectos
es muy alto mientras que su coste sin usabilidad es muy bajo.
La tabla 2 refleja el EU junto a otros datos adicionales
Ello puede hacer pensar que para este tipo de proyectos no
correspondientes a nueve de los casos estudiados más relevantes.
compensa invertir ni tan solo el EU mínimo. No obstante los
Los parámetros adicionales considerados han sido los costes
estudios relacionados con el Retorno en la Inversión [24]
económicos del proyecto (con las actividades de usabilidad y sin
demuestran que la inversión en usabilidad siempre está
ellas) y la relación o ratio entre este coste y el EU.
justificada y recompensada.
Tabla 2. Esfuerzo de Usabilidad y otros valores comparativos
- Contrariamente a lo que podíamos esperar, tomar el EU como
calculados en varios proyectos de sistemas implementados.
parámetro para comparar dos proyectos distintos aporta muy
Coste poca información. Únicamente podremos indicar que el
Ratio
EU CON usabilidad SIN usabilidad* equipo de desarrollo ha puesto más o menos énfasis en
(EU/CU)
(CU) (SU) intentar conseguir la usabilidad de un sistema respecto al otro.
P1 1.320 5.220 € 660 € 0,253
P2 2.194 20.540 € 17.440 € 0,107 - El valor del EU no es equivalente al dinero invertido en la
P3 1.460 15.460 € 240 € 0,094 usabilidad del sistema. Esto es debido a que la metodología
P4 1.800 14.700 € 13.440 € 0,122 seguida para conseguir este valor puntúa la realización de las
P5 3.453 17.980 € 12.380 € 0,192 actividades y no el precio que cuesta realizarlas. Lo
P6 2.600 34.360 € 33.860 € 0,076 importante son las actividades bien realizadas, pues su coste
P7 2.600 17.880 € 14.140 € 0,145 económico puede variar mucho en función de parámetros
P8 2.491 23.640 € 15.860 € 0,105 como la aptitud del evaluador, su experiencia o su “caché”
P9 2.595 26.020 € 17.800 € 0,100 personal.
* El coste “sin usabilidad” se ha estimado eliminando aquellas actividades
que no se hubiesen realizado si se hubiese seguido un modelo de la
Ingeniería del Software y añadiendo un porcentaje a las horas de 5. Conclusiones
codificación extraído de estudios como los que aparecen en [24]. Partiendo de la propia definición del concepto usabilidad de un
sistema interactivo, de sus principales características y del estado
Siendo las siguientes las principales conclusiones extraídas del
del arte actual sobre las técnicas que actualmente prevalecen en el
trabajo experimental resumido en la tabla anterior:
campo de las métricas de la usabilidad de los sistemas software,
- El EU es tan solo un valor indicativo de la realización de una en el artículo se presenta una idea novedosa en este ámbito que
serie de actividades orientadas a la consecución de la propone cuantificar del esfuerzo que el equipo de desarrollo
usabilidad que, si no se compara con el ratio puede conducir a realiza durante la implementación de un determinado sistema
conclusiones erróneas. Por ejemplo los proyectos P6 y P7 interactivo con la intención de obtener información acerca del
tienen el mismo EU mientras que el ratio de P6 es la mitad que grado de usabilidad del mismo.
el de P7, lo cual es debido a que las actividades de evaluación Esta cuantificación, denominada Esfuerzo de usabilidad (EU), se
plantea desde la óptica de la disciplina Interacción Persona- [15] Hammontree, M.; Hendrickson, J. J.; Hensley, B. W. (1992).
Ordenador y utilizando una metodología concreta de Diseño de Integrated data capture and analysis tools for research and
sistemas interactivos Centrado en el Usuario. testing on graphical user interfaces. CHI’92, ACM Press,
En el artículo se explica y se razona el proceso seguido para llegar pág. 431-432.
a la formulación que permite calcular el EU de un determinado [16] International Standard (1998) ISO 9241-11:1998. Ergonomic
proyecto software. requirements for office work with visual display terminals
Finalmente se exponen las conclusiones obtenidas tras realizar un (VDTs) -- Part 11: Guidance on usability.
extenso trabajo experimental donde se aplica el concepto [17] International Standard (1999). ISO 13407. Human-centred
especificado a un número considerable de casos reales design processes for interactive systems.
desarrollados siguiendo la metodología mencionada.
[18] International Standard (2001). ISO/IEC 9126-1. Software
engineering —Product quality— Part 1: Quality model.
6. REFERENCIAS
[1] Alva, M.E.; Martinez, A.B.; Cueva, J.M. (2003). Usabilidad: [19] Kirakowski, J.; Porteous, M.; Corbett, M. (1992). How to use
Medición a través de métodos y Herramientas. Interacción the software usability measurement inventory: the user’s
2003, Vigo. AIPO. view of software quality. Proceedings of European
Conference on Software Quality, November 1992, Madrid.
[2] Babich, W. (1986). Software Configuration Management.
Addison-Wesley. [20] Macleod, M. (1994). Usability in Context: Improving Quality
of Use. Proceedings of the International Ergonomics
[3] Bevan, N.; Macleod, M. (1994). Usability measurement in Association 4th International Symposium on Human Factors
context. National Physical Laboratory, Teddington, in Organizational Design and Management, Stockholm.
Middlesex, UK. Behaviour and Information Technology, 13,
132-145. [21] Mayhew, D.J. (1999). The Usability Engineering Lifecycle:
A practitioner’r Handbook for User Interface Design.
[4] Bevan, N. (1995). Measuring Usability as Quality of Use. Morgan Kaufman.
Software Quality Journal, 4, 115-150.
[22] MUMMS: Measuring the Usability of Multi-Media Systems,
[5] Beyer, H.; Holtzblatt, K. (1998). Contextual Design. web page at:
Defining Customer-Centered Systems. Morgan Kaufmann. http://www.ucc.ie/hfrg/questionnaires/mumms/index.html.
[6] Brink, T.; Gergle, D.; Wood, S.D. (2002). Design web sites [23] Nielsen J. (2003). PR on Websites: Increasing Usability.
that work: Usability for the Web. Morgan-Kaufmann. March, 2003 Jakob Nielsen's Alertbox. Disponible en:
[7] Chin, J.P.; Diehl, V.A.; Norman, K. (1987). Development of http://www.useit.com/alertbox/20030310.html.
an instrument measuring user satisfaction of the human- [24] Nielsen, J.; Gilutz, S. (2003) Usability Return on Investment.
computer interface. Proc. ACM CHI '88, pp. 213-218. Nielsen Norman Group Report.
[8] Gaffney, G. (1999). Usability Techniques series: [25] Nielsen, J. (1993). Usability Engineering. Academic Press
Participatory design workshops. Information & Design. Professional, Boston, MA
[9] Gerrit, C. van der Veer; Lenting, B.F.; Bergevoet, B.A.J. [26] Nielsen, J.; Mack, R.L. (1994). Usability Inspection
(1996). GTA:Groupware Task Analysis - Modeling Methods. John Wiley & Sons, New York, NY.
Complexit.y Acta Psychologica. 91, pp. 297-322.
[27] QUIS: Questionnaire for User Interface Satisfaction. Human
[10] Good, M.; Spine, T.M.; Whiteside, J.; George, P. (1986). Computer Interaction Lab, University of Maryland.
User-derived impact analysis as a tool for usability Disponible en: http://www.lap.umd.edu/QUIS/index.html.
engineering. Proceedings of Human Factors in Computing
Systems. CHI’86. NY: ACM [28] Rosson, M.B.; Carroll, J.M. (2002). Usability Engineering:
scenario-based developement of HCI. Morgan Kaufmann.
[11] Granollers, T. (2003). User Centred Design Process Model.
Integration of Usability Engineering and Software [29] Shneiderman, B. (1992). Designing the user interface:
Engineering. Proceedings of INTERACT 2003 (Doctoral Strategies for effective human-computer interaction. 2nd
Consortium), Zurich (Suiza). edn, Reading, MA: Addison-Wesley.
[12] Granollers, T.; Lorés, J. Perdrix F. (2003). Usability [30] SUMI: Software Usability Measurement Inventory, web page
Engineering Process Model. Integration with Software at: http://www.ucc.ie/hfrg/questionnaires/sumi/index.html.
Engineering. Proceedings of HCI Intl. 2003. Crete (Greece). [31] WAMMI: Web site Analysis and MeasureMent Inventory,
[13] Granollers, T.; Lorés, J.; Solà, J., Rubió, X. (2003). web page at: http://www.wammi.com.
Developing a Ubiquitous reception-hall using the User- [32] Zülch, G.; Stowasser, S. (2000). Usability Evaluation of
Centred design Usability Engineering Process Model. User Interfaces with the Computer-aided Evluation Tool
Proceedings of HCI International 2003. Crete (Greece). PROKUS. MMI-Interaktiv, Nr. 3, Juni/00, ISSN 1439-7854
[14] Grudin, J. (1991). Interactive systems: Bridging the gaps
between developers and users. Computer, vol. 24 n.4, 59-69.