Ao del Centenario de Machu Picchu para el Mundo

U N I V E R S I D A D J O R G E B A S A D R E

N A C I O N A L G R O H M A N N

F A C U L T A D DE C I E N C I A S
Escuela Acadmico Profesional Ingeniera en Informtica y Sistemas

KEMIS
Docente: Integrante: 08-32461 Daniel Romero Alanoca Ing. Jorge Alay Bellido

Tacna - Per 2011

INDICE
INTRODUCCIN ........................................................................................................................ 2 HERRAMIENTAS DE MEDICIN ........................................................................................... 3 CALIDAD DEL PRODUCTO SOFTWARE Y LA NORMA ISO/IEC 25000 ....................... 5 EL PROYECTO KEMIS ............................................................................................................. 6 KEMIS ...................................................................................................................................... 6 INDICADORES ....................................................................................................................... 7 ARQUITECTURA DEL PROYECTO KEMIS ..................................................................... 8 KEMIS Y LA CALIDAD DEL PRODUCTO ......................................................................... 9 VENTAJAS DE KEMIS ........................................................................................................ 11 CASO DE EXITO .................................................................................................................. 12 CONCLUSIONES ..................................................................................................................... 15 REFERENCIAS ........................................................................................................................ 16

INTRODUCCIN

Hoy en da las organizaciones, en la bsqueda de mayores ventajas competitivas, estn invirtiendo cada vez ms en automatizar sus procesos de negocio y en desarrollar nuevos servicios basados en tecnologa software, lo que requiere una confianza creciente en los productos de desarrollo software, considerando el rol estratgico que estos tienen en las organizaciones. Por todo ello, el incremento y el control de la calidad de los productos software se ha convertido en una necesidad vital. A la vez los productos software son cada vez de mayor tamao, ms sofisticados y complejos (Wong, Boehm et al. 2004)(Wong, Verner et al. 2005), creando el reto de desarrollar dichos productos dentro de las restricciones de tiempo sin sacrificar la calidad. Para poder asegurar que un proceso o sus productos resultantes son de calidad es necesario asignar valores, descriptores, indicadores o algn otro mecanismo mediante el cual se pueda llevar a cabo dicha evaluacin. Para ello es necesario implantar un proceso de medicin del software, que en general, persigue tres objetivos fundamentales: ayudarnos a entender qu ocurre durante el desarrollo y el mantenimiento, permitirnos controlar qu es lo que ocurre en los proyectos y poder mejorar los procesos y productos (Fenton and Pfleeger 1997). Las mtricas son un buen medio para entender, monitorizar, controlar, predecir y probar el desarrollo de software y los proyectos de mantenimiento (Briand, Morasca et al. 1999) y pueden ser utilizadas por profesionales e investigadores para tomar mejores decisiones (Kitchenham, Pfleeger et al. 2002). La construccin de un entorno que permita llevar a cabo la medicin, requiere tanto de un soporte metodolgico como de un soporte tecnolgico (Lavazza 2000). Por tanto, para que las mtricas puedan ser utilizadas para evaluar los productos software de un modo prctico, eficiente y exacto, es necesario contar con herramientas que permitan automatizar la adquisicin, la presentacin y el anlisis de los valores obtenidos para dichas mtricas (Giles and Daich 1995).

KEMIS
HERRAMIENTAS DE MEDICIN

El hecho de contar con herramientas que permitan automatizar tanto la adquisicin como la presentacin de los valores de las mtricas supone importantes ventajas entre las que destacan:

Permitir la obtencin de valores para las mtricas analizadas realizando el mnimo esfuerzo posible. El mayor trabajo habr que realizarlo al principio y supondr un esfuerzo de configuracin de la herramienta utilizada para obtener las mtricas. Minimizar los errores de clculo en el resultado de las mtricas, logrando una mayor exactitud en sus valores. Permitir centrarnos en el anlisis de los resultados de la medicin y no en la etapa de adquisicin de resultados. Definir unos umbrales mximos y mnimos, fuera de los cuales los valores para ciertas mtricas sean directamente presentados como un aviso o error.

De acuerdo con Giles y Daich (1995), las tres principales tareas que deben realizar las herramientas de mtricas son:

Adquisicin de datos: conjunto de mtodos y tcnicas que permiten la obtencin de datos necesarios para realizar la medicin. Esta tarea presenta las siguientes posibilidades: o Manual. o Semiautomtica. o Automtica. o Programable. Anlisis de las mediciones: incluye la habilidad para almacenar, recuperar, manipular y llevar a cabo el anlisis de los datos. Esta tarea supone realizar las siguientes actividades: o Almacenamiento de los datos de la medicin. o Recuperacin de los datos de la medicin. o Anlisis aritmtico de resultados. o Anlisis estadstico de resultados. Presentacin de los datos: formatos que facilita la herramienta de medicin para generar la documentacin obtenida. Destacan las siguientes posibilidades de representacin: o Tablas. o Grficos. o Exportacin de archivos a otras aplicaciones.

Clasificacin de herramientas de medicin de calidad Englobamos en esta seccin las herramientas de anlisis del cdigo fuente y las herramientas de seguimiento de cambios y defectos. Una primera divisin de esta nueva categora diferencia estas herramientas en funcin de la tcnica que utilizan para realizar la evaluacin del producto:

Herramientas de Anlisis Dinmico: aquellas herramientas que utilizan el anlisis del software ejecutando el cdigo fuente de dicho software. Estas herramientas suelen requerir el uso de libreras especiales e incluso pueden necesitar recompilar el cdigo del programa. Herramientas de Anlisis Esttico: aquellas herramientas que llevan a cabo el anlisis sin necesidad de ejecutar el software bajo estudio. Este tipo de anlisis puede ser realizado sobre el cdigo fuente o sobre el bytecode.

Las herramientas de anlisis esttico permiten realizar una evaluacin desde las primeras etapas, garantizando la calidad del software antes de su ejecucin. A continuacin nos centraremos en las herramientas que pertenecen a la categora Herramientas de Anlisis Esttico por ser las ms extendidas en el mundo de la medicin de la calidad del producto software. El anlisis esttico del cdigo se podra definir como un conjunto de tcnicas de anlisis donde el programa bajo estudio no es ejecutado (al contrario que con el anlisis dinmico), sino que es analizado. El trmino anlisis esttico se aplica normalmente cuando es realizado mediante herramientas automticas y tambin es conocido como Code Review (revisin del cdigo). Por otro lado, cuando es realizado manualmente por personas, se conoce con el trmino de program comprensin (comprensin del programa). La mayora de herramientas de anlisis esttico de cdigo utilizan el concepto de regla como unidad atmica con la que se realiza dicho anlisis. Una regla define un patrn que identificar el conjunto de caracteres o de lneas de caracteres que debe ser cumplido por el cdigo que est analizando. Adems de detectar defectos, las herramientas de anlisis esttico del cdigo pueden utilizarse para obtener clculos sobre la complejidad del cdigo fuente analizado como por ejemplo la complejidad ciclomtica de los mtodos.

CALIDAD DEL PRODUCTO SOFTWARE Y LA NORMA ISO/IEC 25000

. La calidad del producto junto con la calidad del proceso son los aspectos ms importantes actualmente en el desarrollo de Software. En calidad del producto recientemente ha aparecido una nueva versin de la norma ISO/IEC 9126: la norma ISO/IEC 25000. Esta proporciona una gua para el uso de las nuevas series de estndares internacionales, llamados Requisitos y Evaluacin de Calidad de Productos de Software (SQuaRE). Constituyen una serie de normas basadas en la ISO 9126 y en la ISO 14598 (Evaluacin del Software), y su objetivo principal es guiar el desarrollo de los productos de software con la especificacin y evaluacin de requisitos de calidad. Establece criterios para la especificacin de requisitos de calidad de productos software, sus mtricas y su evaluacin.

El objetivo del portal es crear un foro que rena toda la informacin relativa a la mejora de la calidad del software conforme a la norma internacional ISO/IEC 25000 [1], con el fin de proporcionar un acercamiento a la norma a particulares y empresas, de manera gratuita, facilitando la obtencin de informacin en espaol, y con especial atencin a pymes y micropymes.

EL PROYECTO KEMIS
Establecer sistemas de medicin es una pieza bsica para la gestin de calidad del software, ms an dentro de la actual tendencia a externalizar (outsourcing) el desarrollo, que frecuentemente es realizado por equipos o fbricas de software externos. Para que un sistema de evaluacin de la calidad del producto software sea eficiente debe gozar de un alto nivel de automatizacin, que posibilite su uso de manera frecuente, sin un excesivo consumo de tiempo. El problema que encuentran las empresas que necesitan determinar la calidad de una aplicacin es la complejidad de la auditora, ms an si el proceso de desarrollo de la aplicacin es desconocido para quien lo evala, con entregas muy numerosas, en paralelo y la presin del paso a produccin.

KEMIS
KEMIS Kybele Environment Mesaurement Information System es un entorno desarrollado por Kybele Consulting cuyo objetivo es facilitar la medicin automatizada de la calidad de los productos software. KEMIS proporciona:

un conjunto predefinido de aplicaciones de software libre. una configuracin personalizada de dichas aplicaciones. un sistema de medicin de la calidad software a nivel operativo, tctico y estratgico. un soporte metodolgico basado en PSM para la evaluacin de la calidad del producto software. un cuadro de mando integrado que permite la visualizacin de los resultados obtenidos.

KEMIS puede utilizarse de dos maneras distintas:

Por un lado puede implantarse en la organizacin que quiera usarlo para evaluar los desarrollos que recibe o desarrolla. Por otro, puede ser utilizado como servicio externo sin necesidad de ser implantado, ya que Kybele Consulting dispone de un entorno KEMIS

centralizado (SaaS) y desde el que recibe informacin sobre desarrollos software, procesa los datos y emite los informes correspondientes.

INDICADORES
Debido a la gran cantidad de informacin generada mediante los plugins de medicin y la dificultad de manejar dichos resultados en la manera que son generados, KEMIS propone y proporciona una serie de informes que recogen los principales indicadores de calidad del producto. Estos indicadores se encuentran clasificados en las siguientes categoras: Componentes Los indicadores pertenecientes a esta categora sirven para dar un punto de vista global acerca del tamao del proyecto bajo estudio en cuanto a nmero de elementos se refiere. Lneas de cdigo Los indicadores pertenecientes a esta categora sirven para dar un punto de vista global acerca del tamao del proyecto bajo estudio en cuanto a nmero de lneas de cdigo (NCSS) se refiere. Defectos Los indicadores pertenecientes a esta categora sirven para dar un punto de vista global acerca de la calidad del cdigo del proyecto bajo estudio en cuanto a nmero de defectos se refiere. Complejidad ciclomtica Los indicadores pertenecientes a esta categora sirven para dar un punto de vista global acerca de la calidad del cdigo del proyecto bajo estudio respecto a la complejidad ciclomtica que presenta. Cdigo duplicado Los indicadores pertenecientes a esta categora sirven para dar un punto de vista global acerca de la calidad del cdigo del proyecto bajo estudio respecto a la cantidad de cdigo duplicado que presenta. Resumen sobre calidad de software Indicador global cuya funcin es resumir el resultado de los indicadores anteriores, mostrando mediante un nico informe aquella informacin considerada ms importante para determinar la calidad de los proyectos estudiados.

ARQUITECTURA DEL PROYECTO KEMIS

Infraestructura de medicin bsica (nivel operativo): La primera fase corresponde a la instalacin y configuracin de Maven 2, as como de los plugins de medicin. Al terminar esta primera fase, el usuario dispone de un entorno que le permite obtener mtricas de calidad de manera peridica y automtica. Infraestructura de medicin avanzada (niveles tctico y estratgico): La segunda fase corresponde a la instalacin y configuracin del entorno para la generacin de informes. Al terminar esta segunda fase, el usuario dispone del entorno de medicin KEMIS completo, lo que le permite, adems de realizar las actividades de la primera fase, obtener informes personalizados con los principales indicadores de calidad del producto.

Figura. Arquitectura proyecto KEMIS

KEMIS Y LA CALIDAD DEL PRODUCTO

Para poder asegurar que un proceso o sus productos resultantes son de calidad es necesario asignar valores, descriptores, indicadores o algn otro mecanismo mediante el cual se pueda llevar a cabo dicha evaluacin. Para ello es necesario implantar un proceso de medicin del software, que en general, persigue tres objetivos fundamentales (Fenton and Pfleeger, 1997):

ayudarnos a entender qu ocurre durante el desarrollo y el mantenimiento permitirnos controlar qu es lo que ocurre en los proyectos y poder mejorar los procesos y productos.

Las mtricas son un buen medio para entender, monitorizar, controlar, predecir y probar el desarrollo de software y los proyectos de mantenimiento (Briand et al., 1996) y pueden ser utilizadas por profesionales e investigadores para tomar mejores decisiones (Pfleeger, 1997). KEMIS plantea un entorno que permita obtener indicadores de calidad del producto software, a partir de la obtencin de valores mediante diferentes herramientas de software libre, basndose tanto en un soporte metodolgico como de un soporte tecnolgico .

Soporte Metodolgico Como soporte metodolgico, es necesario establecer un modelo de medicin de calidad, que se podr modificar dependiendo de las necesidades de cada organizacin. El proyecto KEMIS ofrecer indicadores de calidad de producto en base a la norma 9126 - 25000, y ya que est norma hasta el momento es un modelo terico difcil de llevar a cabo en los desarrollos software actuales proporcionar una infraestructura de medicin automtica. Para ello la idea es establecer funciones necesarias para obtener atributos de calidad a partir de mtricas de cdigo

Soporte tecnolgico Como soporte tecnolgico, se dispone de herramientas de software libre que proporcionan todo tipo de informacin sobre el cdigo fuente, generando valores concretos a partir de los cuales se obtienen los valores referentes a la calidad. Los valores obtenidos se correspondern a las caractersticas y subcaractersticas especificadas en la norma ISO 9126 (ISO, 2001), y la norma ISO 25000 (ISO, 2005). Una vez obtenida la medicin basada en el modelo de medicin de calidad previamente establecido, se podrn obtener presentaciones grficas de dicha medicin.

Centrados en la Mantenibilidad Primeramente, el proyecto KEMIS se centrar en la implementacin de la obtencin de la caracterstica de calidad del producto software Mantenibilidad ya que "en ocasiones la proporcin de coste que supone el mantenimiento ronda el 90%" (Erlikh, mayo/Junio 2000). El mantenimiento en el ciclo de vida del software se considera el proceso con ms peso econmico, debido a que se basa en la labor de correccin de errores durante un largo perodo de tiempo y en la facilidad con la que se puede aadir funcionalidad. Cabe destacar que el mantenimiento del producto est estrechamente relacionado con la fiabilidad del sistema (el tiempo de correccin de un fallo determina el tiempo en que no se puede usar una funcionalidad o un sistema completo), que es algo que incide directamente sobre el usuario y el cliente. La mantenibilidad est considerado como uno de los atributos ms cruciales de la calidad del software, debido al hecho de que el mantenimiento en los sistemas software consume una alta proporcin del esfuerzo total empleado en el ciclo de vida de un sistema(Hernndez et al., 2007) Una solucin complicada es difcil de entender y de analizar. Los diseadores deben evitar soluciones complicadas y manejar adecuadamente aquellas que sean complejas. (Sangwan et al., 2008).

10

VENTAJAS DE KEMIS

El proyecto Kemis puede evaluar la calidad de productos software tanto en empresas con desarrollo propio como externalizado. Las principales ventajas que aporta este proyecto frente a la forma tradicional de realizar mediciones sobre el software son:

Permitir que las mediciones se realicen de manera peridica y frecuente, lo que ayudar a detectar desviaciones en la calidad del producto lo ms tempranamente posible, permitiendo abaratar los costes de modificacin y correccin de deficiencias en el producto. Permitir que las mediciones se realicen durante todo el ciclo de vida del proyecto, desde el comienzo del desarrollo hasta el final de la etapa de mantenimiento. Minimizar los errores de clculo en el resultado de las mtricas, logrando una mayor exactitud en sus valores. Posibilidad de ajustar la exigencia de las mediciones a las necesidades del proyecto. Informacin sobre la mantenibilidad del producto de una manera sencilla y eficiente, que permita centrarse en el anlisis e interpretacin de los resultados, olvidndose del proceso de adquisicin de los mismos. La presentacin de los valores obtenidos de la medicin por niveles de abstraccin.

De manera general, KEMIS puede implantarse en la organizacin que quiera usarlo tanto para evaluar la calidad de los productos software que recibe, como de aquellos que han sido desarrollados internamente.

Adems, dada la creciente necesidad de certificarse en modelos de calidad de procesos como CMMI, las empresas necesitan implantar un sistema de medicin tanto del proceso de desarrollo como del producto software. KEMIS provee a la organizacin de la infraestructura necesaria para llevar a cabo la medicin de calidad del producto. En el caso de fbricas de software, permite controlar la calidad de los desarrollos desde las primeras etapas, lo que se traduce en desarrollos ms eficientes, de mejor calidad final, y ms econmicos. KEMIS est pensado para poder ser utilizado tambin por los desarrolladores, que pueden ir autoevaluando su trabajo mediante la

11

infraestructura de medicin bsica. Todo ello permite crear una disciplina de control de la calidad frecuente, predictiva y con visibilidad a todos los niveles de la organizacin. En el caso de empresas que han externalizado sus desarrollos software, KEMIS controla la calidad de las entregas realizadas por los proveedores, permitiendo evaluar de forma rpida grandes cantidades de desarrollos de software antes de los pasos a produccin.

CASO DE EXITO

Introduccin

En este apartado, se muestra un caso de xito de la implantacin de KEMIS en un importante proyecto de desarrollo de una empresa espaola que tiene como objetivos prestar servicios de tecnologa de la informacin y telecomunicaciones. El proyecto sobre el que se implanta KEMIS es uno de importantes dimensiones, desarrollado en dos lenguajes de programacin: C++ y Java. A su vez, un mdulo principal del proyecto est siendo desarrollado por un proveedor externo. El problema que presentaba la organizacin era la ausencia de control sobre la calidad de producto debido a:

la falta de visibilidad provocada por el amplio nmero de desarrolladores presentes en el equipo. la heterogeneidad de los desarrolladores. las dimensiones del proyecto. la externalizacin de algunos mdulos del producto.

Adems, para esta empresa era vital poder realizar un control ms exhaustivo sobre la parte del producto que ha sido externalizada de acuerdo a penalizaciones que se podran imponer al proveedor, siempre y cuando el nivel de calidad no se encontrase en los lmites que se pueden establecer en el Acuerdo de Nivel de Servicio (SLA). Implementacin

Integracin de KEMIS en el proyecto permitiendo as la obtencin de manera automatizada y peridica de todos los indicadores de calidad de los diferentes niveles del modelo de medicin y una valoracin de los mismos de acuerdo a unos determinados umbrales. Hasta la fecha, de las caractersticas presentes en la norma

12

ISO 25000, solo se contempla la Mantenibilidad dentro de los Modelos de Medicin (Modelos de Calidad) de esta empresa. Objetivos conseguidos con la implantacin de KEMIS

Mediante la implantacin de KEMIS en el proyecto se pretende y se estn consiguiendo los siguientes objetivos:

Automatizacin del proceso de medicin. Se ha pasado de obtener informes de calidad del producto cada 15 das y suponiendo 2-3 das de trabajo, a informes diarios y completamente integrados en el proceso de construccin. Visibilidad de la calidad del producto. Todos los participantes (directivos, desarrolladores, proveedores, etc.) y a todos los niveles (operativo, tctico y estratgico) tienen acceso a informacin precisa y actualizada con el fin de facilitar la toma de decisiones. Persistencia. Almacenamiento de los resultados en Base de Datos proporcionando as una mayor facilidad para crear histricos acerca de la calidad de producto. Soporte de diferentes Modelos de Medicin. Este punto en este proyecto es especialmente necesario debido a que se est desarrollando cdigo fuente en diferentes lenguajes. Se ha logrado un control ms exhaustivo en los mdulos externalizados y en cuanto al desarrollo interno, se ha obtenido una mayor visibilidad de la calidad del producto que permite acordar acciones correctivas para mejorar la calidad de todos los entregables.

Evolucin de los indicadores de calidad

A continuacin se muestra una serie de grficos con la evolucin que han sufrido algunos indicadores de calidad participantes en el clculo del nivel de calidad de la Mantenibilidad, una vez que se comienza a realizar un control de la calidad del producto gracias a la implantacin de KEMIS. Estos datos son referentes al modulo/subsistema del proyecto cuyo desarrollo fue externalizado a otra empresa. Se presentan 2 mediciones, una realizada cuando KEMIS no haba sido implantado y la otra un mes despus de su implantacin.

13

Indicador: Densidad de Violaciones de PMD. Valor recomendado: Inferior a 0.2.

Indicador: Densidad de Cdigo Repetido. Valor recomendado: Inferior a 0.03.

Indicador: Densidad de Pruebas Unitarias. Valor recomendado: Superior a 0.9.

14

Como se puede comprobar despus de un mes de la implantacin de KEMIS, los indicadores de calidad han mejorado de forma global en ms de un 50 %, y se espera que conforme KEMIS vaya siendo divulgado dentro de la empresa estas mejoras sean cada vez ms significativas. Conclusiones KEMIS en un caso:

La implantacin de KEMIS en esta empresa no slo ha demostrado que proporciona visibilidad con sus indicadores, sino que gracias a que soporta el versionado de modelos de calidad, ha facilitado la personalizacin de la herramienta a las necesidades de la empresa e incluso a las necesidades de distintos proyectos dentro de la propia empresa. En lo que respecta a trabajos futuros, debido a la buena acogida que KEMIS ha tenido en este proyecto, se estn desarrollando actualmente ampliaciones de los modelos diseados para cubrir ms reas de la ISO 25000 (funcionalidad, seguridad, etc.), destacando las pruebas de software o tcnicas de caja negra.

CONCLUSIONES
En el desarrollo software actual, la medicin es una pieza bsica a la hora de controlar la calidad del producto, ms an si el desarrollo es realizado por equipos externos, donde el receptor del software debe establecer sus propios sistemas de control de la calidad. Es en este punto donde surge nuestro proyecto KEMIS, como una solucin para aquellas empresas que desean realizar una medicin de la calidad de sus productos software, especialmente aquellas que han externalizado el desarrollo de dichos productos y necesitan un anlisis de calidad automatizado, planificable e intuitivo.

15

REFERENCIAS
Erlikh L. mayo/Junio 2000. Leveraging Legacy System Dollars for E-business. IT Professional:17-23. Fenton N, Pfleeger S. 1997. Software Metrics: A Rigorous Approach. 2 edicin ed. Londres: Chapman & Hall. Hernndez E, Aldekoa G, Knodel J. 2007. A comparison of Maintainability Measures using the Interactive Combination of Metrics. Fraunhofer IESE and the ArQuE consortium. ISO. 2001. Software Product EvaluationQuality Characteristics and Guidelines for their Use. ISO/IEC Standard 9126. International Organization for Standarization. ISO. 2005. ISO/IEC 25000 Software and system engineering Software product Quality Requirements and Evaluation (SQuaRE) Guide to SQuaRE. International Organization for Standarization. Ginebra, Suiza. Kitchenham B, Pfleeger SL. 1996. Software Quality: The Elusive Target. IEEE Software 20(1):12-21. Pfleeger SL. 1997. Assessing Software Measurement. IEEE Software March/April:2526. Sangwan RS, Vercellone-Smith P, Laplante PA. 2008. Structural Epochs in the Complexity of Software over Time. IEEE Computer Society.

Briand, L., S. Morasca, et al. (1999). "Defining and Validating Measures for ObjectBased high-level design." IEEE Transactions on Software Engineering25(5): 722-743. Chrissis, M. B., M. Konrad, et al. (2003). CMMI: Guidelines for Process Integration and Product Improvement, Addison Wesley Professional. Fenton, N. and S. Pfleeger (1997). Software Metrics: A Rigorous Approach. Londres, Chapman & Hall. Fowler, M. (1999). Refactoring. Improving the Design of Existing Code, AddisonWesley. Giles, A. E. and G. T. Daich (1995). "Universal MetricsTools." CrossTalk(February). ISO/IEC (2002). "ISO/IEC 15939 International Standard Software engineering Software measurement process." Kitchenham, B. A., S. L. Pfleeger, et al. (2002). "Preliminary Guidelines for Empirical Research in Software Engineering." IEEE Transactions on Software Engineering28(8): 721-734. Lavazza, L. (2000). "Providing Automated Support for the GQM Measurement Process." IEEE Software17(3).

16

Prez, J. (2005). "Integracin Continua utilizando herramientas OpenSource." Agilespain, from http://javahispano.net/frs/download.php/126/PonenciaIntegracionContinua_AgileSpain. pdf. Wong, B., B. Boehm, et al. (2004). Second Workshop on Software Quality. 26th international conference on Software engineering, St. Louis, MO, USA, ACM Press Wong, B., J. Verner, et al. (2005). Third Workshop on Software Quality. 27th international conference on Software engineering, St. Louis, MO, USA, ACM Press

17