Ingeniería Web: Marco de Medición y Evaluación de Calidad Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca Ingeniería Web: Marco de Medición y Evaluación de Calidad Calidad, Métricas, Indicadores.. Proceso de Evaluación Marco de Medición y Evaluación GQM INCAMI Conclusiones Contenidos Parte II Dr. Luis Olsina GIDIS_Web, Dpto. de Informática, Facultad de Ingeniería, UNLPam E-mail olsinal@ing.unlpam.edu.ar © 2007 GIDIS_Web

Esquema Conceptos: Calidad, Métricas, Indicadores.. Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

Stds ISO sobre Calidad, Medición… Diversos Estándares (ej. ISO) tratan sobre: Calidad (Producto): el modelo de calidad interna y externa y de calidad en uso de software (ISO 9126-1:2001), Calidad (Proceso): process assessment and capability determination for software organizations (ISO 15504:2003) o CMMI Evaluación: el proceso de evaluación (ISO 14598:1998), Medición: el proceso de medición (ISO 15939:2002) Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos ... Presentaremos los principales conceptos, a partir de un estudio ontológico del dominio [Olsina et al 2003/04]

¿Qué es la Calidad? Calidad La calidad es difícil de definir y medir, aunque fácil de reconocer (según Kitchenham y Pfleeger) La calidad (percibida) de un ente en general es transparente cuando está presente, pero se reconoce fácilmente cuando está ausente

¿Qué es la Calidad? Calidad en General Visión Trascendente Distintas Visiones (según David Garvin, 87): Visión Trascendente Visión del Usuario Visión del Productor Visión del Producto Visión basada en el Valor trade-off calidad/costo

Dimensiones de la Calidad Para un Producto (según David Garvin, 87) Estética: apariencia sensorial Conformidad: con estándares Durabilidad: vida prevista (en tiempo de uso) Desempeño: características esenciales que pueden ser medidas (consumo, potencia, aceleración etc.) Confiabilidad: probabilidad de que el producto no falle o funcione bien durante un período de tiempo Servicio: rapidez, atención, facilidad de reparación Calidad Percibida: durante el uso en contextos específicos

Proyecto vs. Calidad Variables de un Proyecto Alcance Tiempo Calidad Esfuerzo Calendario Time-to-Market Calidad Producto Proceso Recurso Capacidades y Habilidades, Métodos y Herramientas, ... Costo Presupuesto

Costos e Impacto de la No-Calidad Malgasto, desperdicio de: esfuerzo (personas-horas) materiales Pérdida de tiempo para disponer del producto Retrabajo por reparaciones del producto impactos por cambio Impacto en el cliente pérdida de imagen de la empresa pérdia de confianza en el producto ventas

Costos de la Calidad De Producto De una Organización o Proceso De prevención (de la no-calidad) Entrenamiento (método, tecnología) planificación prototipado, simulación modelado De evaluación Descubrir, controlar No conformidades De Corrección Defectos ... De una Organización o Proceso De certificación

Definir a la Calidad Definir, Especificar a la Calidad depende de: Ente a Aplicar Proyecto (de Desarrollo, de Mantenimiento) Proceso Producto Recurso Producto en Uso Servicio Perspectiva (Perfil de Usuario) Desarrollador Gerente Usuario Final, ... Dominio Para un mismo perfil (para distintos –o iguales – proyectos) diferentes necesidades, prioridades

Definir/Evaluar la Calidad Definir, Evaluar a la Calidad es “a human-intensive business” No es una simple tarea Definir, Especificar, Medir, Evaluar ... la calidad, por ejemplo, de un producto de software o producto Web Definir, Seleccionar, Emplear Sistemáticamente Porgramas, Estrategias, Técnicas y métodos para medición y evaluación de productos y otros entes de interés para IS e IW A veces un método o técnica no basta ...

¿Qué es la Calidad? Calidad del Producto Sw (según ISO/IEC 9126-1: 2001) The totality of characteristics of an entity that bears on its ability to satisfy stated or implied needs La totalidad de características de un ente que tiene que ver con (influencia en, afecta a) la capacidad de satisfacer necesidades explícitas o implícitas Características Usabilidad, Funcionalidad, Confiabilidad …

¿Qué es Modelo de Calidad? The set of characteristics and the relationships between them which provide the basis for specifying quality requirements and evaluating quality (según ISOIEC 9126-1) El conjunto de características y las relaciones entre las mismas, que proveen la base para especificar requerimientos de calidad y evaluar calidad.

Modelo de Calidad (ISO/IEC 9126-1) Software Quality Reliability Suitability Accuracy Interoperability Security Compliance Functionality Maturity Fault Tolerance Recoverability Understandability Learnability Operability Attactiveness Time behaviour Resource utilization Analysability Changeability Stability Testeability Adaptability Instalability Co-existence Replaceability Usability Efficiency Maintainability Portability Características Subcaracterísticas

El Modelo de Calidad ISO 9126 Funcionalidad adecuación, precisión, interoperabilidad, seguridad(datos), conformidad Confiabilidad madurez, tolerancia a fallas, recuperabilidad, conformidad Usabilidad comprensibilidad, facilidad de aprender, operabilidad, grado de atractivo, conformidad Eficiencia comportamiento con respecto al tiempo, utilización de recursos, conformidad Mantenibilidad analizabilidad, modificabilidad, testeabilidad, estabilidad, conformidad Portabilidad adaptabilidad, instalabilidad, capacidad de coexistir, reemplazabilidad, conformidad

ISO 9126: Usabilidad Capacidad de ser comprendido, aprendido, operado y resultar atractivo para el usuario, cuando es usado en condiciones especificadas Comprensibilidad: permitir al usuario entender si es adecuado y cómo usarlo en tareas particulares y condiciones de uso Facilidad de ser Aprendido: es fácil de aprender a usar la aplicación por el usuario? Operabilidad: facilidad de ser operado y controlado por el usuario Grado de Atractivo: capacidad del producto de ser atractivo para el usuario Conformidad: adhesión a estándares, normas, regulaciones y otras prescripciones de usabilidad

Características y Subcaracterísticas Calidad Usabilidad Comprensibilidad Facilidad de ser Aprendido Operabilidad Grado de Atractivo Confiabilidad Madurez de Enlaces Enlaces Rotos Enlaces Inválidos Enlaces no Implementados Madurez de Páginas Eficiencia Performance ................

Métrica: Enlaces Rotos Cantidad de Enlaces Rotos internos Cantidad de Enlaces Rotos externos Porcentaje de Enlaces Rotos

What is Quality? Quality of a Software Product (ISO/IEC 9126-1: 2001) Three Views for Quality: Internal Quality – Def. The totality of attributes of a product that determines its ability to satisfy stated and implied needs when used under specified conditions External Quality – Def. The extent to which a product satisfies stated and implied needs when used under specified conditions Quality in Use – Def. The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use.

The ISO 9126-1 Quality Model Software Characteristics Quality Reliability Suitability Accuracy Interoperability Security Compliance Functionality Maturity Fault Tolerance Recoverability Understandability Learnability Operability Attactiveness Time behaviour Resource utilization Analysability Changeability Stability Testeability Adaptability Instalability Co-existence Replaceability Usability Efficiency Maintainability Portability Characteristics Subcharacteristics

Perspectives of Quality: ISO 9126-1 Internal Quality is specified by a quality model (the six characteristics shown) It can be measured and evaluated by static attributes of documents such as specification of requirements, architecture, or design; pieces of source code, and so forth. In early phases of a software or Web lifecycle, we can evaluate and control the internal quality of these early products. But assuring internal quality is not usually sufficient to assure external quality. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Perspectives of Quality: ISO 9126-1 External Quality is specified by a quality model (the six characteristics shown) It can be measured and evaluated by dynamic properties of the running code in a computer system, i.e. when the module or full application is executed in a computer or network simulating as close as possible the actual environment. In late phases of a software lifecycle (e.g. in different kinds of testing, or even in the operational state of a software or Webapp), we can measure, evaluate and control the external quality of these late products, But assuring external quality is not usually sufficient to assure quality in use. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Perspectives of Quality: ISO 9126-1 Quality in Use is specified by a quality model (four characteristics), It can be measured and evaluated by the extent to which the software or Web application meets specific user’s needs in the actual, real, specific context of use. Regarding the spirit of this standard, quality in use is the end user’s view of the quality of a running system containing software, and is measured and evaluated in terms of the result of using the software, rather than by properties of the software itself. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Perspectives of Quality: ISO 9126-1 Attributes of internal and external quality of a software product are rather the cause, attributes of quality in use rather the effect. QinU evaluates the degree of excellence, and can be used to validate the extent to which the software or Web meets specific user needs. Considering appropriate attributes of the software (or Web) for internal quality is a prerequisite to achieve the required external behavior, and considering appropriate attributes of the software to external behavior is a prerequisite to achieve quality in use Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Modelo para Calidad en Uso Calidad en Uso es la vista de la calidad para usuarios similar a la definición de Usabilidad en ISO 9241-11 The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use. ISO/IEC 9126-1:2001. Quality in Use Effectiveness Productivity Safety Satisfaction Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Característica para Calidad en Uso Effectiveness The capability of software product to enable users to achieve specified goals with accuracy and completeness in a specified context of use. ISO 9126. Potential Metrics Level of Task Completeness: measures the level of success in completing the specified task correctly Average of Achieved Goals: the average of completed tasks Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

Posibles Dependencias

What is Web Quality? WebApps “involve a mixture between print publishing and software development, between marketing and computing, between internal communications and external relations, and between art and technology” [Powell 97] We argue the three ISO views (and quality models) are also applicable to a great extent to intermediate and final life-cycle Web products. Like any software line production, the Web lifecycle involves different stages of its products whether in early phases as inception and development, or late phases as deployment, operation and evolution.

What is Web Quality? Thus, to the general question if we can apply the same ISO internal and external quality, and quality in use models, the natural answer is yes However, to the more specific question whether we can use the same six-prescribed quality characteristics for internal and external quality, and the four characteristics for quality in use, our answer is yes for the latter, but some other considerations might be taken into account for the former.

What is Web Quality? The very nature of WebApps is a mixture of information (media) contents, functionalities and services. We argue that the six quality characteristics (i.e., Usability, Functionality, Reliability, Efficiency, Portability, and Maintainability) are not well suited (or they were not intended) to specify requirements for information quality. A new Characteristic related with information CONTENTS is needed

What is Web Quality? Content characteristic has four major subconcepts not covered by the six-prescribed ISO characteristics Information Accuracy is the extent to which information is correct, unambiguous, authoritative (reputable), objective, and verifiable. Information Suitability is the extent to which information is appropriate (appropriate coverage for the target audience), complete (relevant amount), concise (shorter is better), and current. Accessibility emphasizes the importance of technical aspects of WebApps in order to make Web contents more accessible for users with various disabilities Legal Compliance. The capability of the information product to adhere to standards, conventions, and legal norms related to contents and intellectual property rights.

Aseguramiento de Calidad El Aseguramiento de Calidad del software, es un conjunto de actividades planificadas y sistemáticas necesarias para aportar que el producto (proceso,...) satisfará los requerimientos explícitos e implícitos de Calidad Actividades Preventivas de Control (Medición, Evaluación, ...) Correctivas

PROCESOS ORGANIZACIONALES ISO 12207 – Procesos PROCESOS PRINCIPALES PROCESOS DE SOPORTE DOCUMENTACIÓN ADQUISICIÓN GESTIÓN DE CONFIGURACIÓN ASEGURAMIENTO DE CALIDAD SUMINISTRO VERIFICACIÓN VALIDACIÓN DESARROLLO OPERACIÓN REVISIÓN CONJUNTA AUDITORÍA MANTENIMIENTO RESOLUCIÓN DE PROBLEMAS PROCESOS ORGANIZACIONALES GESTIÓN INFRAESTRUCTURA MEJORA FORMACIÓN

Aseguramiento de Calidad Control de Calidad del Software/Web Creación de Modelos de Calidad: útiles para discutir, planificar, y controlar la calidad Medición/Evaluación de Productos sw/web: necesidad de obtener datos cuantitativos que ayuden a mejorar la calidad A partir de Métricas de Atributos de Entes E interpretación de las medidas a partir de Indicadores para un Modelo de Calidad acordado

References Olsina, L; Covella, G. Rossi, G; 2006, Web Quality; (Book Chapter of Web Engineering) Springer, E. Mendes & N. Mosley (Eds). pp 109-142. ISBN 3-540-28196-7 Covella, G., Olsina, L; 2006, Assessing Quality in Use in a Consistent Way, In proceed. of ACM. Int’l Congress on Web Engineering, (ICWE’06), San Francisco, USA, pp. 1-8, ISBN 1-59593-352-2 Olsina, L.; Rossi, 2002, Measuring Web Application Quality with WebQEM, In IEEE Multimedia Magazine, ISSN 1070-986X, Vol. 9, Nº 4, pp. 20-29

Conceptos para Requerim. NF Necesidad de Información Entidad Atributo Calidad, Calidad en Uso CONCEPTO CALCULABLE Modelo de Calidad, de Calidad en Uso MODELO DE CONCEPTO

Modelo para Requerimientos

Repasando Conceptos NECESIDAD DE INFORMACION Información necesaria para gestionar objetivos, metas, riesgos y problemas [ISO-15939]. Una necesidad de información es descripta por uno o varios conceptos calculables (Calidad, Calidad en Uso, etc.) para entes específicos Ejemplos: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web Objetivo = Evaluar; Concepto Calculable = Confiabilidad de Enlaces; Ente = páginas estáticas Web Predecir la productividad en desarrollo de un grupo de trabajo

Repasando Conceptos ENTIDAD Un objeto que va a ser caracterizado mediante una medición de sus atributos [ISO-15939]. Una entidad puede ser física –tangible– (p.ej. una computadora) o abstracta -intangible– (p.ej. un programa software) Objetos de interés para el dominio de software son: Recurso, personas, hw, sw necesarios para realizar los procesos Proceso, cualquier actividad relacionada al desarrollo, mantenimiento Producto, cualquier artefacto producido en proyecto sw/web Producto en uso?, Proyecto, Servicio

Repasando Conceptos ATRIBUTO Una propiedad mensurable, física o abstracta, de una entidad [ISO 14598-1]. el atributo puede ser, por ejemplo, para un producto en etapa temprana o tardía Tamaño de código fuente (atributo para calidad interna), precio (atributo para calidad externa). En nuestro caso, enlaces internos rotos... El atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.

Repasando Conceptos CONCEPTO CALCULABLE Es una relación abstracta entre atributos de una o más entidades, y una necesidad de información [ISO-15939]. Ejemplos de conceptos calculables son: para nuestro caso Calidad, Costo, Accesibilidad, Calidad en Uso, .... Evaluar o predecir dicho concepto, desde una perspectiva de usuario. Gerente, Desarrollador, Usuario final, etc.

Repasando Conceptos MODELO de CONCEPTO El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación o estimación. Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad. Una característica puede estar conformada por subcaracterísticas y atributos. El modelo puede ser fijo (estándar, como ISO 9126-1), propio o mixto.

Modelo para Requerimientos

Modelo para Calidad Externa Usabilidad Operabilidad ... Grado de Atractivo Confiabilidad Madurez de Enlaces Enlaces Rotos Enlaces Inválidos Enlaces no Implementados Eficiencia Performance

Quality in Use Model Instance of QinU MODEL with associated Attr. 1.1 Effectiveness 1.1.1 Task Effectiveness (TE) 1.1.2 Task Completeness (TC) 1.2 Productivity 1.2.1 Efficiency related to Task Effectiveness (ETE) 1.2.2 Efficiency related to Task Completeness (ETC) 1.3 Satisfaction Calculable Concept Sub-Concept Attribute

Conceptos para Medición Atributo Métrica Directa Indirecta (Fórmula) Medición Medida Escala Tipo de Escala Categórica, Numérica (Unidad) Método De Medición, de Cálculo (Instrumento)

Modelo para Medición

Repasando Conceptos METRICA El método de medición o cálculo definido y la escala de medición Semejante a [ISO 14598-1]. Ej. Cantidad (o porcentaje) de enlaces rotos MEDICION Actividad que usa la definición de la métrica para producir el valor de una medida. Se realiza en una determinada fecha, hora ... MEDIDA Número o categoría asignada a un atributo de una entidad mediante una medición [ISO 14598-1]

Repasando Conceptos METRICA DIRECTA Una métrica de un atributo que no depende de ninguna métrica de otro atributo. Cantidad de Enlaces Rotos Internos Medidos por la presencia de errores del tipo 404, (410 ?) Cantidad de Imágenes con Texto Alternativo Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web

Repasando Conceptos METRICA INDIRECTA Una métrica de un atributo que se deriva de una o más métricas de otros atributos. Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). Función de Medición: Un algoritmo o cálculo que permite combinar dos o más métricas.

Ejemplos de Métricas Indirectas Porcentaje de Enlaces Rotos de un Sitio Porcentaje de Presencia de la propiedad ALT.

Repasando Conceptos METODO (de MEDICION, CALCULO) Secuencia lógica de operaciones y potenciales heurísticas, expresadas de forma genérica, que permite la realización de una descripción de actividad. El tipo de método de medición va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: Subjetivo: Cuando la cuantificación supone un juicio realizado por un ser humano. Objetivo: Cuando la cuantificación está basada en métodos numéricos.

Repasando Conceptos INSTRUMENTO (Herramienta de Sw) Instrumento (o herramienta de software) que automatiza parcial o totalmente a un método de medición o cálculo. Doctor HTML: Imagiware [http://www2.imagiware.com/RxHTML]; web- based y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc. LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; web- based y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc. LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos de estado, etc. Herramienta de reparación.

Repasando Conceptos Escala Un conjunto de valores con propiedades definidas [ISO 14598-1]. Escala Numérica Continua Discreta Escala Categórica Tipos de Escala Nominal, Ordinal, Intervalo...

Repasando Conceptos UNIDAD (para escalas numéricas) Una cantidad particular, definida y adoptada por convención, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO- 15939] Ejemplos: LOC, bytes, palabras, links ...

Repasando Conceptos TIPOS DE ESCALA Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta. Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, y los análisis estadísticos que pueden aplicarse sobre el conjunto de valores de la escala.

Escala, Tipos de Escala Scale type Is ranking meaningful ? Are distances between scales the same? Does the scale include an absolute zero? Nominal No Ordinal Yes Interval Ratio Absolute

Escala, Tipos de Escala Scale type Examples of suitable statistics Suitable statistical tests Nominal Mode Frequency Non-parametric Ordinal Median Percentile Interval Mean Standard deviation Non-parametric and parametric Ratio Geometric mean Absolute

Métricas: Tipos de Escala

Modelo para Medición

Ejemplo de Atributos/Métricas Necesidad de Información: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web Entidad: Producto (sitio Web) Concepto Calculable: Confiabilidad de Enlaces Modelo para Confiabilidad de Enlaces (Link Reliability) 1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) 1.2 External Broken Links (EBL) 1.3 Invalid Links (IL)

Ejemplo de Atributos/Métricas 1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) // Dos Posibles Métricas para 1.1 a) #IBL Unidad: Enlace; Escala: Numérica, Enteros Tipo de Escala: Absoluta Tipo de Método de Medición: Objetivo b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales

Para Resaltar Las métricas (en el proceso de medición) NO pueden interpretar por sí solas a un concepto calculable (ej. Calidad, Confiabilidad, etc.) Necesidad de INDICADORES para obtener Información Contextual (proceso de evaluación)

Conceptos para Evaluación Necesidad de Información Modelo de Concepto Concepto Calculable INDICADOR Elemental (interpreta Medida de Métrica) Global (calcula Modelo de Concepto) MODELO ELEMENTAL y GLOBAL CRITERIO de DECISION CALCULO, VALOR INDICADOR

Modelo para Evaluación

Repasando Conceptos INDICADOR El método de cálculo y la escala definidos, además del modelo y criterios de decisión con el fin de proveer una evaluación o estimación de un concepto calculable con respecto a una necesidad de información. Indicador Elemental Preferencia de Enlaces Rotos Internos (IBL_P) Indicador Global Preferencia en Confiabilidad de Enlaces (LR_P)

X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio Repasando Conceptos MODELO ELEMENTAL Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental. Métrica Porcentaje de Enlaces Rotos Internos X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio Modelo de Indicador Elemental IE = 1 (or 100%) si X = 0; IE = 0 (or 0%) si X >= X max ; otherwise IE = (X – X) / X si 0 < X < X

Repasando Conceptos MODELO GLOBAL Modelo Aditivo Algoritmo o función asociados a criterios de decisión que modela a un indicador global. Ejemplo para Preferencia de Confiabilidad de Enlaces Modelo Aditivo Indicador Global =  (Peso componente x Indicator Elemental) IG/P = P1 IE1+ ....+ Pn IEn P1 + ....+ Pn = 1; 0 <= IEi <= 100

Repasando Conceptos CRITERIO de DECISION Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939]. Ejemplo de Criterio de Decisión Niveles de Aceptabilidad Insatisfactorio (rango 0-40) Marginal (rango 40-70) Satisfactorio (rango 70-100)

Modelo para Evaluación

Ejemplo de Indicadores 1. Level of Link Reliability 1.1 Level of Internal Broken Links <Peso1.1> (Indicador1.1) 1.2 Level of External Broken Links <Peso1.2> (Indicador1.2) 1.3 Level of Invalid Links <Peso1.3> (Indicador1.1) IG1 = P1.1 IE1.1+ P1.2 IE1.2+ P1.3 IE1.3

Example of Indicators In the case study we used the LSP model for calculation, but if we’d use the additive model to calculate PI1.1 PI1.1 = W1.1.1 EI1.1.1+ W1.1.2 EI1.1.2 gives 60.29 instead of 59.67

Para Resaltar Metrics are welcome when they are clearly needed and easy to collect and understand Utilidad de las Métricas Datos a partir de Medición (objetiva, subjetiva) Especificar en el mundo numérico, la correspondencia de un atributo de un ente Operacionalizar Heurísticas Servir de “base” a Métodos Cuantitativos de Evaluación o Predicción. La métrica (y su medida) NO puede interpretar por sí sola un concepto calculable (Necesidad de INDICADORES)

Para Resaltar Indicators are ultimately the foundation for interpretation of information needs and decision-making. Utilidad de los Indicadores Mapeo del mundo numérico a otro Servir de base para cuantificar Conceptos Calculables para una Necesidad de Información Ofrecen Información/Conocimiento contextual Los indicadores ofrecen información para la toma de decisiones (Análisis y Recomendaciones)

Referencias Olsina, L.; Martín, M., 2004, Ontology for Software Metrics and Indicators, In Journal of Web Engineering, Rinton Press, US, Vol 2 Nº 4, pp. 262-281, ISSN 1540-9589 Molina, H; Papa, F.; Martin, M.; Olsina, L; 2004; Semantic Capabilities for the Metrics and Indicators Cataloging Web System. In: Engineering Advanced Web Applications, Matera M. Comai S. (Eds.), Rinton Press Inc., US, pp. 97-109, ISBN 1-58949-046-0 Martín, M.; Olsina, L., 2003, Towards an Ontology for Software Metrics and Indicators as the Foundation for a Cataloging Web System, In IEEE Computer Society (1st LA-WEB) Sant. de Chile, pp 103-113, ISBN 0-7695-2058-8.

Esquema Conceptos: Calidad, Métricas, Indicadores.. Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

Proceso de Evaluación Los Procesos para Evaluación (ej. ISO 14598), son en su especificación original suficientemente genéricos y abstractos personalizables a las distintas necesidades del proceso de evaluación de calidad de productos de software y Web Los Procesos para Evaluación NO prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.

Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 14598 del ‘98. Establecimiento de los Requerimientos de Evaluación Especificación de la Evaluación Diseño de la Evaluación Ejecución de la Evaluación, y Conclusión de la Evaluación

Proceso de Evaluación WebQEM

Esquema Conceptos: Calidad, Métricas, Indicadores.. Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

Qué es GQM: Enfoque, Modelo Enfoque para la medición orientada a lograr ciertos objetivos (metas) en una organización algo más que juntar datos útiles... Enfoque arriba-abajo para determinar: objetivos de la medición (de productos, etc.) marco para definir con precisión qué medir Enfoque abajo-arriba para interpretar los datos a partir de los objetivos y las mediciones Historia: 1984: Nace en Universidad de Maryland (Basili) 1996: Fraunhofer Institute for Experimental Software Engineering Fuerte adopción en la industria para planes de medición

Modelo GQM : Estructura

Estructura (Modelo) GQM Nivel Conceptual (Goal-Meta) se define un objetivo (meta) para un objeto (ente), con respecto a determinado “modelo de calidad”, para un punto de vista, relativo a un contexto en particular Nivel Operativo (Question-Pregunta) se refina un conjunto de preguntas a partir de una meta, identificando el objeto de medición con respecto a características de calidad seleccionadas para un punto de vista. Nivel Cuantitativo (Metric-Métrica): se asocia un conjunto de métricas para cada pregunta, de modo de responder a cada una de ellas de un modo cuantitativo

Enfoque y Modelo Jerárquico GQM

Ejemplo de Plantilla de Metas Para un Producto: Analizar el producto final (ente, objeto) con el propósito de comprender (objetivo, propósito) con respecto a la confiabilidad (foco de la calidad) desde el punto de vista del usuario final (punto de vista) en el contexto de la proyecto X (contexto, ambiente)

GQM: Ejemplo Question 1.1 Question 1.2 Purpose Characteristic Entity Viewpoint   Understand Link Reliability Static Pages of a Web Site Final User Question 1.1 What is the level of internal and external broken links (physical error)? Metric 1.1.1 Percentage of Internal Broken Links Metric 1.1.2 Percentage of External Broken Links Frequency of Broken Links per Hit Pages Question 1.2 What is the level of invalid links (logical error)? Metric 1.2.1 Percentage of Invalid Links ................... ............................................

Pasos Básicos para GQM Desarrollar objetivos a nivel de organización, área y/o proyecto para calidad, calidad en uso, etc. Generar preguntas (basadas en plantillas, modelos, experiencias previas) que definan esos objetivos de forma operacionalizable Especificar métricas útiles que se deben especificar para responder a las preguntas Desarrollar mecanismos para recolectar los datos Recolectar, validar y analizar los datos en el momento para retroalimentar a los proyectos para acciones de correctivas, de mejora, ... Analizar los datos post-mortem para evaluar conformidad con los objetivos y hacer recomendaciones para futuras mejoras

A Resaltar del Enfoque GQM GQM es un enfoque útil para decidir qué medir. La medición debe estar orientada a las metas permite a los tomadores de decisión, elegir aquellas métricas que se relacionen a las metas más importantes de los problemas más urgentes las metas brindan un contexto para el análisis e interpretación de los datos la explicación de las razones por las que se refinan ciertos objetivos en métricas permite evaluar la validez de las conclusiones Las personas deberían estar fuertemente involucradas en la definición e interpretación Toda recolección de datos debe estar basada en una justificación explícitamente documentada métricas útiles y relevantes

A Resaltar del Enfoque GQM GQM es un enfoque flexible, pero genérico Se podrían resaltar algunas debilidades: No parte de un marco conceptual bien definido del dominio de métricas e indicadores. No necesariamente (y explícitamente) está centrado en modelos de calidad, calidad en uso, entre otros El proceso de interpretación de las medidas de las métricas no está bien definido Por ejemplo, no se habla de indicadores elementales y globales Cuando intervienen muchas métricas puede ser difícil el proceso de análisis, interpretación y recomendación No prescribe modelo de agregación

Esquema Conceptos: Calidad, Métricas, Indicadores.. Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

Introducción Enfoque INCAMI INCAMI (Information Need, Concept model, Attribute, Metric, and Indicator) [Olsina, Molina, Papa 05] INCAMI es un marco conceptual (framework) de utilidad para procesos de medición y evaluación Centrado en la Ontología de Métricas e Indicadores definida previamente [Olsina, Martín, 03, 04]

Introducción Enfoque INCAMI INCAMI es un enfoque (semejante a GQM) útil para decidir qué medir y evaluar. La medición y evaluación debe estar orientada a metas y necesidades de información, en el contexto de una organización, proyecto/s, etc. Centrado en Modelo de Conceptos (Calidad, Calidad en Uso, Costo, etc.) Se selecciona los atributos, métricas e indicadores útiles para una necesidad de información en particular Evaluación centrada en modelos de agregación, que facilita la interpretación y recomendaciones

Ambiente de M&E

Componentes de INCAMI Principales Componentes: Definición de Proyectos y Usuarios Proyecto de Requerimientos, Medición y Evaluación Especificación de Requerimientos centrados en modelos Diseño y Ejecución de la Medición. Diseño y Ejecución de la Evaluación. Análisis y Recomendaciones

Componente: Proyecto de M&E Project: Representación abstracta de un proyecto de medición o evaluación. MEProject: Proyecto de medición y evaluación INCAProject: Proyecto que permite especificar los requerimientos en un proyecto de medición y evaluación MeasurementProject: Proyecto que permite realizar la medición a partir de los requerimientos especificados (INCAProject), en un proyecto de medición y evaluación  EvaluationProject: Proyecto que permite realizar la evaluación a partir de una medición y de los requerimientos especificados, en un proyecto de medición y evaluación.

Componente: Proyecto de M&E

Componente RNF

Componente Medición

Componente Evaluación

Arquitectura de INCAMI

Herramienta INCAMI_Tool INCAMI está orientado a dar soporte tecnológico a procesos de QA en proyectos organizacionales Herramienta (INCAMI_Tool) en estado prototípico [Papa, Molina, 05] Toma de la base conceptual (ontología) de M&I. Guarda metadatos y valores de métricas e indicadores para proyectos específicos Evaluación centrada en modelos de agregación Herramienta WebQEM_Tool Permite uso de otras técnicas y métodos para análisis de mediciones

INCAMI_Tool: Definición de Modelo

INCAMI_Tool: Selección de Métricas

INCAMI_Tool: Selección Modelo Agregación

INCAMI_Tool: Resultados Finales

Para Resaltar INCAMI es un marco de definición y especificación de requerimientos no funcionales, de medición y de evaluación orientado a la necesidad de información, donde queda claramente establecido el propósito, el punto de vista, el contexto, el foco a evaluar, y el objeto sobre el cual se realizará la medición, evaluación y recomendaciones.

Para Resaltar INCAMI es un marco bien establecido dado que se centra en Modelos de Conceptos (p.ej. calidad, calidad en uso, costo, etc.) y, además, las Métricas seleccionadas para cuantificar los Atributos que forman parte del modelo son, por lo tanto, aquellas útiles, orientadas al propósito específico conforme a la Necesidad de Información a nivel organizacional o de proyecto.

Para Resaltar GQM es un enfoque simple, orientado a la meta de la medición, y ha sido utilizado en varios proyectos y organizaciones a nivel industrial GQM no está basado en una clara conceptualización de métricas e indicadores GQM adolece de esa base ontológica de modo que asegure que los datos (y los metadatos asociados a los datos como Escala, Unidad, Método, etc.) sean confiables, consistentes y repetibles para ulteriores análisis entre proyectos.

Para Resaltar GQM carece de conceptos específicos para evaluación con el fin de interpretar las mediciones (tal como nuestro marco realiza con la definición de Indicadores Elementales y Globales). La interpretación de las mediciones es un punto débil en GQM. GQ(I)M es un nuevo paradigma surgido a fines del 2003 (SEI)

Para Resaltar El trabajo de Kitchenham et al es el más cercano a nuestra investigación. Sin embargo, INCAMI está modelado con tecnologías de OO (a diferencia del modelo ER empleado por los autores), y como otras características distintivas está basado en una conceptualización explícita y formal, y contempla aspectos de evaluación.

Referencias Basili V., Rombach H.D., 1989, The TAME Project: Towards Improvement-Oriented Software Environments, IEEE Trans. on Software Engineering, 14(6), pp. 758-773. Kitchenham B.A.; Hughes R.T.; Linkman S.G.; 2001, Modeling Software Measurement Data, IEEE Transaction on Software Engineering, 27 (9), pp.788, 804.

Referencias Olsina, L; Molina, H; Papa, F.; 2005; Organization Oriented Measurement and Evaluation Framework for Software and Web Engineering Projects, In LNCS 3579 of Springer, Int’l Congress on Web Engineering, (ICWE’05), Australia, pp. 42-52 Olsina, L; Papa, F.; Molina, H; 2007, How to Measure and Evaluate Web Applications in a Consistent Way, Chapter Book to appear in a Springer Book titled Web Engineering: Modelling and Implementing Web Applications, Rossi, Pastor, Schwabe, and Olsina Eds.

Esquema Conceptos: Calidad, Métricas, Indicadores.. Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

Conclusiones Aseguramiento de Calidad (QA), como proceso de soporte, es cada vez más prioritario a los procesos principales de las Líneas de Producción de Sw/Web Sin el robusto establecimiento de marcos y programas de medición y evaluación como soporte a QA, los proyectos de las organizaciones son menos repetibles y controlables y, en consecuencia, más propensos a fracasar. El marco INCAMI intenta realizar una contribución en este sentido Trabajo Actuales/Futuros: Modelización de Contexto Memoria Organizacional INCAMI / CMMI