Ingeniería Web: Marco de Medición y Evaluación de Calidad

Presentación del tema: "Ingeniería Web: Marco de Medición y Evaluación de Calidad"— Transcripción de la presentación:

1 Ingeniería Web: Marco de Medición y Evaluación de Calidad
Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca Ingeniería Web: Marco de Medición y Evaluación de Calidad Calidad, Métricas, Indicadores.. Proceso de Evaluación Marco de Medición y Evaluación GQM INCAMI Conclusiones Contenidos Parte II Dr. Luis Olsina GIDIS_Web, Dpto. de Informática, Facultad de Ingeniería, UNLPam © 2007 GIDIS_Web

2 Esquema Conceptos: Calidad, Métricas, Indicadores..
Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

3 Stds ISO sobre Calidad, Medición…
Diversos Estándares (ej. ISO) tratan sobre: Calidad (Producto): el modelo de calidad interna y externa y de calidad en uso de software (ISO :2001), Calidad (Proceso): process assessment and capability determination for software organizations (ISO 15504:2003) o CMMI Evaluación: el proceso de evaluación (ISO 14598:1998), Medición: el proceso de medición (ISO 15939:2002) Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos ... Presentaremos los principales conceptos, a partir de un estudio ontológico del dominio [Olsina et al 2003/04]

4 ¿Qué es la Calidad? Calidad
La calidad es difícil de definir y medir, aunque fácil de reconocer (según Kitchenham y Pfleeger) La calidad (percibida) de un ente en general es transparente cuando está presente, pero se reconoce fácilmente cuando está ausente

5 ¿Qué es la Calidad? Calidad en General Visión Trascendente
Distintas Visiones (según David Garvin, 87): Visión Trascendente Visión del Usuario Visión del Productor Visión del Producto Visión basada en el Valor trade-off calidad/costo

6

7 Dimensiones de la Calidad
Para un Producto (según David Garvin, 87) Estética: apariencia sensorial Conformidad: con estándares Durabilidad: vida prevista (en tiempo de uso) Desempeño: características esenciales que pueden ser medidas (consumo, potencia, aceleración etc.) Confiabilidad: probabilidad de que el producto no falle o funcione bien durante un período de tiempo Servicio: rapidez, atención, facilidad de reparación Calidad Percibida: durante el uso en contextos específicos

8 Proyecto vs. Calidad Variables de un Proyecto Alcance Tiempo Calidad
Esfuerzo Calendario Time-to-Market Calidad Producto Proceso Recurso Capacidades y Habilidades, Métodos y Herramientas, ... Costo Presupuesto

9 Costos e Impacto de la No-Calidad
Malgasto, desperdicio de: esfuerzo (personas-horas) materiales Pérdida de tiempo para disponer del producto Retrabajo por reparaciones del producto impactos por cambio Impacto en el cliente pérdida de imagen de la empresa pérdia de confianza en el producto ventas

10 Costos de la Calidad De Producto De una Organización o Proceso
De prevención (de la no-calidad) Entrenamiento (método, tecnología) planificación prototipado, simulación modelado De evaluación Descubrir, controlar No conformidades De Corrección Defectos ... De una Organización o Proceso De certificación

11 Definir a la Calidad Definir, Especificar a la Calidad depende de:
Ente a Aplicar Proyecto (de Desarrollo, de Mantenimiento) Proceso Producto Recurso Producto en Uso Servicio Perspectiva (Perfil de Usuario) Desarrollador Gerente Usuario Final, ... Dominio Para un mismo perfil (para distintos –o iguales – proyectos) diferentes necesidades, prioridades

12 Definir/Evaluar la Calidad
Definir, Evaluar a la Calidad es “a human-intensive business” No es una simple tarea Definir, Especificar, Medir, Evaluar ... la calidad, por ejemplo, de un producto de software o producto Web Definir, Seleccionar, Emplear Sistemáticamente Porgramas, Estrategias, Técnicas y métodos para medición y evaluación de productos y otros entes de interés para IS e IW A veces un método o técnica no basta ...

13 ¿Qué es la Calidad? Calidad del Producto Sw (según ISO/IEC : 2001) The totality of characteristics of an entity that bears on its ability to satisfy stated or implied needs La totalidad de características de un ente que tiene que ver con (influencia en, afecta a) la capacidad de satisfacer necesidades explícitas o implícitas Características Usabilidad, Funcionalidad, Confiabilidad …

14 ¿Qué es Modelo de Calidad?
The set of characteristics and the relationships between them which provide the basis for specifying quality requirements and evaluating quality (según ISOIEC ) El conjunto de características y las relaciones entre las mismas, que proveen la base para especificar requerimientos de calidad y evaluar calidad.

15 Modelo de Calidad (ISO/IEC 9126-1)
Software Quality Reliability Suitability Accuracy Interoperability Security Compliance Functionality Maturity Fault Tolerance Recoverability Understandability Learnability Operability Attactiveness Time behaviour Resource utilization Analysability Changeability Stability Testeability Adaptability Instalability Co-existence Replaceability Usability Efficiency Maintainability Portability Características Subcaracterísticas

16 El Modelo de Calidad ISO 9126
Funcionalidad adecuación, precisión, interoperabilidad, seguridad(datos), conformidad Confiabilidad madurez, tolerancia a fallas, recuperabilidad, conformidad Usabilidad comprensibilidad, facilidad de aprender, operabilidad, grado de atractivo, conformidad Eficiencia comportamiento con respecto al tiempo, utilización de recursos, conformidad Mantenibilidad analizabilidad, modificabilidad, testeabilidad, estabilidad, conformidad Portabilidad adaptabilidad, instalabilidad, capacidad de coexistir, reemplazabilidad, conformidad

17 ISO 9126: Usabilidad Capacidad de ser comprendido, aprendido, operado y resultar atractivo para el usuario, cuando es usado en condiciones especificadas Comprensibilidad: permitir al usuario entender si es adecuado y cómo usarlo en tareas particulares y condiciones de uso Facilidad de ser Aprendido: es fácil de aprender a usar la aplicación por el usuario? Operabilidad: facilidad de ser operado y controlado por el usuario Grado de Atractivo: capacidad del producto de ser atractivo para el usuario Conformidad: adhesión a estándares, normas, regulaciones y otras prescripciones de usabilidad

18 Características y Subcaracterísticas
Calidad Usabilidad Comprensibilidad Facilidad de ser Aprendido Operabilidad Grado de Atractivo Confiabilidad Madurez de Enlaces Enlaces Rotos Enlaces Inválidos Enlaces no Implementados Madurez de Páginas Eficiencia Performance

19 Métrica: Enlaces Rotos
Cantidad de Enlaces Rotos internos Cantidad de Enlaces Rotos externos Porcentaje de Enlaces Rotos

20 What is Quality? Quality of a Software Product (ISO/IEC 9126-1: 2001)
Three Views for Quality: Internal Quality – Def. The totality of attributes of a product that determines its ability to satisfy stated and implied needs when used under specified conditions External Quality – Def. The extent to which a product satisfies stated and implied needs when used under specified conditions Quality in Use – Def. The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use.

21 The ISO 9126-1 Quality Model Software Characteristics Quality
Reliability Suitability Accuracy Interoperability Security Compliance Functionality Maturity Fault Tolerance Recoverability Understandability Learnability Operability Attactiveness Time behaviour Resource utilization Analysability Changeability Stability Testeability Adaptability Instalability Co-existence Replaceability Usability Efficiency Maintainability Portability Characteristics Subcharacteristics

22 Perspectives of Quality: ISO 9126-1
Internal Quality is specified by a quality model (the six characteristics shown) It can be measured and evaluated by static attributes of documents such as specification of requirements, architecture, or design; pieces of source code, and so forth. In early phases of a software or Web lifecycle, we can evaluate and control the internal quality of these early products. But assuring internal quality is not usually sufficient to assure external quality. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

23 Perspectives of Quality: ISO 9126-1
External Quality is specified by a quality model (the six characteristics shown) It can be measured and evaluated by dynamic properties of the running code in a computer system, i.e. when the module or full application is executed in a computer or network simulating as close as possible the actual environment. In late phases of a software lifecycle (e.g. in different kinds of testing, or even in the operational state of a software or Webapp), we can measure, evaluate and control the external quality of these late products, But assuring external quality is not usually sufficient to assure quality in use. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

24 Perspectives of Quality: ISO 9126-1
Quality in Use is specified by a quality model (four characteristics), It can be measured and evaluated by the extent to which the software or Web application meets specific user’s needs in the actual, real, specific context of use. Regarding the spirit of this standard, quality in use is the end user’s view of the quality of a running system containing software, and is measured and evaluated in terms of the result of using the software, rather than by properties of the software itself. Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

25 Perspectives of Quality: ISO 9126-1
Attributes of internal and external quality of a software product are rather the cause, attributes of quality in use rather the effect. QinU evaluates the degree of excellence, and can be used to validate the extent to which the software or Web meets specific user needs. Considering appropriate attributes of the software (or Web) for internal quality is a prerequisite to achieve the required external behavior, and considering appropriate attributes of the software to external behavior is a prerequisite to achieve quality in use Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

26 Modelo para Calidad en Uso
Calidad en Uso es la vista de la calidad para usuarios similar a la definición de Usabilidad en ISO The capability of software product to enable specified users to achieve specified goals with effectiveness, productivity, safety and satisfaction in specified context of use. ISO/IEC :2001. Quality in Use Effectiveness Productivity Safety Satisfaction Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

27 Característica para Calidad en Uso
Effectiveness The capability of software product to enable users to achieve specified goals with accuracy and completeness in a specified context of use. ISO 9126. Potential Metrics Level of Task Completeness: measures the level of success in completing the specified task correctly Average of Achieved Goals: the average of completed tasks Recursos relevantes pueden incluir: tiempo, esfuerzo, materiales o costos financieros

28 Posibles Dependencias

29 What is Web Quality? WebApps “involve a mixture between print publishing and software development, between marketing and computing, between internal communications and external relations, and between art and technology” [Powell 97] We argue the three ISO views (and quality models) are also applicable to a great extent to intermediate and final life-cycle Web products. Like any software line production, the Web lifecycle involves different stages of its products whether in early phases as inception and development, or late phases as deployment, operation and evolution.

30 What is Web Quality? Thus, to the general question if we can apply the same ISO internal and external quality, and quality in use models, the natural answer is yes However, to the more specific question whether we can use the same six-prescribed quality characteristics for internal and external quality, and the four characteristics for quality in use, our answer is yes for the latter, but some other considerations might be taken into account for the former.

31 What is Web Quality? The very nature of WebApps is a mixture of information (media) contents, functionalities and services. We argue that the six quality characteristics (i.e., Usability, Functionality, Reliability, Efficiency, Portability, and Maintainability) are not well suited (or they were not intended) to specify requirements for information quality. A new Characteristic related with information CONTENTS is needed

32 What is Web Quality? Content characteristic has four major subconcepts not covered by the six-prescribed ISO characteristics Information Accuracy is the extent to which information is correct, unambiguous, authoritative (reputable), objective, and verifiable. Information Suitability is the extent to which information is appropriate (appropriate coverage for the target audience), complete (relevant amount), concise (shorter is better), and current. Accessibility emphasizes the importance of technical aspects of WebApps in order to make Web contents more accessible for users with various disabilities Legal Compliance. The capability of the information product to adhere to standards, conventions, and legal norms related to contents and intellectual property rights.

33 Aseguramiento de Calidad
El Aseguramiento de Calidad del software, es un conjunto de actividades planificadas y sistemáticas necesarias para aportar que el producto (proceso,...) satisfará los requerimientos explícitos e implícitos de Calidad Actividades Preventivas de Control (Medición, Evaluación, ...) Correctivas

34 PROCESOS ORGANIZACIONALES
ISO – Procesos PROCESOS PRINCIPALES PROCESOS DE SOPORTE DOCUMENTACIÓN ADQUISICIÓN GESTIÓN DE CONFIGURACIÓN ASEGURAMIENTO DE CALIDAD SUMINISTRO VERIFICACIÓN VALIDACIÓN DESARROLLO OPERACIÓN REVISIÓN CONJUNTA AUDITORÍA MANTENIMIENTO RESOLUCIÓN DE PROBLEMAS PROCESOS ORGANIZACIONALES GESTIÓN INFRAESTRUCTURA MEJORA FORMACIÓN

35 Aseguramiento de Calidad
Control de Calidad del Software/Web Creación de Modelos de Calidad: útiles para discutir, planificar, y controlar la calidad Medición/Evaluación de Productos sw/web: necesidad de obtener datos cuantitativos que ayuden a mejorar la calidad A partir de Métricas de Atributos de Entes E interpretación de las medidas a partir de Indicadores para un Modelo de Calidad acordado

36 References Olsina, L; Covella, G. Rossi, G; 2006, Web Quality; (Book Chapter of Web Engineering) Springer, E. Mendes & N. Mosley (Eds). pp ISBN Covella, G., Olsina, L; 2006, Assessing Quality in Use in a Consistent Way, In proceed. of ACM. Int’l Congress on Web Engineering, (ICWE’06), San Francisco, USA, pp. 1-8, ISBN Olsina, L.; Rossi, 2002, Measuring Web Application Quality with WebQEM, In IEEE Multimedia Magazine, ISSN X, Vol. 9, Nº 4, pp

37 Conceptos para Requerim. NF
Necesidad de Información Entidad Atributo Calidad, Calidad en Uso CONCEPTO CALCULABLE Modelo de Calidad, de Calidad en Uso MODELO DE CONCEPTO

38 Modelo para Requerimientos

39 Repasando Conceptos NECESIDAD DE INFORMACION
Información necesaria para gestionar objetivos, metas, riesgos y problemas [ISO-15939]. Una necesidad de información es descripta por uno o varios conceptos calculables (Calidad, Calidad en Uso, etc.) para entes específicos Ejemplos: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web Objetivo = Evaluar; Concepto Calculable = Confiabilidad de Enlaces; Ente = páginas estáticas Web Predecir la productividad en desarrollo de un grupo de trabajo

40 Repasando Conceptos ENTIDAD
Un objeto que va a ser caracterizado mediante una medición de sus atributos [ISO-15939]. Una entidad puede ser física –tangible– (p.ej. una computadora) o abstracta -intangible– (p.ej. un programa software) Objetos de interés para el dominio de software son: Recurso, personas, hw, sw necesarios para realizar los procesos Proceso, cualquier actividad relacionada al desarrollo, mantenimiento Producto, cualquier artefacto producido en proyecto sw/web Producto en uso?, Proyecto, Servicio

41 Repasando Conceptos ATRIBUTO
Una propiedad mensurable, física o abstracta, de una entidad [ISO ]. el atributo puede ser, por ejemplo, para un producto en etapa temprana o tardía Tamaño de código fuente (atributo para calidad interna), precio (atributo para calidad externa). En nuestro caso, enlaces internos rotos... El atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.

42 Repasando Conceptos CONCEPTO CALCULABLE
Es una relación abstracta entre atributos de una o más entidades, y una necesidad de información [ISO-15939]. Ejemplos de conceptos calculables son: para nuestro caso Calidad, Costo, Accesibilidad, Calidad en Uso, .... Evaluar o predecir dicho concepto, desde una perspectiva de usuario. Gerente, Desarrollador, Usuario final, etc.

43 Repasando Conceptos MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación o estimación. Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar Calidad. Una característica puede estar conformada por subcaracterísticas y atributos. El modelo puede ser fijo (estándar, como ISO ), propio o mixto.

44 Modelo para Requerimientos

45 Modelo para Calidad Externa
Usabilidad Operabilidad ... Grado de Atractivo Confiabilidad Madurez de Enlaces Enlaces Rotos Enlaces Inválidos Enlaces no Implementados Eficiencia Performance

46 Quality in Use Model Instance of QinU MODEL with associated Attr.
1.1 Effectiveness 1.1.1 Task Effectiveness (TE) 1.1.2 Task Completeness (TC) 1.2 Productivity 1.2.1 Efficiency related to Task Effectiveness (ETE) 1.2.2 Efficiency related to Task Completeness (ETC) 1.3 Satisfaction Calculable Concept Sub-Concept Attribute

47 Conceptos para Medición
Atributo Métrica Directa Indirecta (Fórmula) Medición Medida Escala Tipo de Escala Categórica, Numérica (Unidad) Método De Medición, de Cálculo (Instrumento)

48 Modelo para Medición

49 Repasando Conceptos METRICA
El método de medición o cálculo definido y la escala de medición Semejante a [ISO ]. Ej. Cantidad (o porcentaje) de enlaces rotos MEDICION Actividad que usa la definición de la métrica para producir el valor de una medida. Se realiza en una determinada fecha, hora ... MEDIDA Número o categoría asignada a un atributo de una entidad mediante una medición [ISO ]

50 Repasando Conceptos METRICA DIRECTA
Una métrica de un atributo que no depende de ninguna métrica de otro atributo. Cantidad de Enlaces Rotos Internos Medidos por la presencia de errores del tipo 404, (410 ?) Cantidad de Imágenes con Texto Alternativo Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web

51 Repasando Conceptos METRICA INDIRECTA
Una métrica de un atributo que se deriva de una o más métricas de otros atributos. Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). Función de Medición: Un algoritmo o cálculo que permite combinar dos o más métricas.

52 Ejemplos de Métricas Indirectas
Porcentaje de Enlaces Rotos de un Sitio Porcentaje de Presencia de la propiedad ALT.

53 Repasando Conceptos METODO (de MEDICION, CALCULO)
Secuencia lógica de operaciones y potenciales heurísticas, expresadas de forma genérica, que permite la realización de una descripción de actividad. El tipo de método de medición va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: Subjetivo: Cuando la cuantificación supone un juicio realizado por un ser humano. Objetivo: Cuando la cuantificación está basada en métodos numéricos.

54 Repasando Conceptos INSTRUMENTO (Herramienta de Sw)
Instrumento (o herramienta de software) que automatiza parcial o totalmente a un método de medición o cálculo. Doctor HTML: Imagiware [ web- based y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc. LIFT: UsableNet.com [ web- based y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imágenes, Performance, test de Accesibilidad, etc. LinkBot: WatchFire [ off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP códigos de estado, etc. Herramienta de reparación.

55 Repasando Conceptos Escala
Un conjunto de valores con propiedades definidas [ISO ]. Escala Numérica Continua Discreta Escala Categórica Tipos de Escala Nominal, Ordinal, Intervalo...

56 Repasando Conceptos UNIDAD (para escalas numéricas)
Una cantidad particular, definida y adoptada por convención, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO ] Ejemplos: LOC, bytes, palabras, links ...

57 Repasando Conceptos TIPOS DE ESCALA
Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporción, Absoluta. Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemáticas, y los análisis estadísticos que pueden aplicarse sobre el conjunto de valores de la escala.

58 Escala, Tipos de Escala Scale type Is ranking meaningful ?
Are distances between scales the same? Does the scale include an absolute zero? Nominal No Ordinal Yes Interval Ratio Absolute

59 Escala, Tipos de Escala Scale type Examples of suitable statistics
Suitable statistical tests Nominal Mode Frequency Non-parametric Ordinal Median Percentile Interval Mean Standard deviation Non-parametric and parametric Ratio Geometric mean Absolute

60 Métricas: Tipos de Escala

61 Modelo para Medición

62 Ejemplo de Atributos/Métricas
Necesidad de Información: Evaluar la confiabilidad de enlaces para páginas estáticas de un sitio Web Entidad: Producto (sitio Web) Concepto Calculable: Confiabilidad de Enlaces Modelo para Confiabilidad de Enlaces (Link Reliability) 1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) 1.2 External Broken Links (EBL) 1.3 Invalid Links (IL)

63 Ejemplo de Atributos/Métricas
1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) // Dos Posibles Métricas para 1.1 a) #IBL Unidad: Enlace; Escala: Numérica, Enteros Tipo de Escala: Absoluta Tipo de Método de Medición: Objetivo b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numérica, Reales

64 Para Resaltar Las métricas (en el proceso de medición) NO pueden interpretar por sí solas a un concepto calculable (ej. Calidad, Confiabilidad, etc.) Necesidad de INDICADORES para obtener Información Contextual (proceso de evaluación)

65 Conceptos para Evaluación
Necesidad de Información Modelo de Concepto Concepto Calculable INDICADOR Elemental (interpreta Medida de Métrica) Global (calcula Modelo de Concepto) MODELO ELEMENTAL y GLOBAL CRITERIO de DECISION CALCULO, VALOR INDICADOR

66 Modelo para Evaluación

67 Repasando Conceptos INDICADOR
El método de cálculo y la escala definidos, además del modelo y criterios de decisión con el fin de proveer una evaluación o estimación de un concepto calculable con respecto a una necesidad de información. Indicador Elemental Preferencia de Enlaces Rotos Internos (IBL_P) Indicador Global Preferencia en Confiabilidad de Enlaces (LR_P)

68 X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio
Repasando Conceptos MODELO ELEMENTAL Algoritmo o función asociados a criterios de decisión que modela a un indicador elemental. Métrica Porcentaje de Enlaces Rotos Internos X = #Enlaces_Rotos_Int / #Total_Enlaces_del_Sitio Modelo de Indicador Elemental IE = 1 (or 100%) si X = 0; IE = 0 (or 0%) si X >= X max ; otherwise IE = (X – X) / X si 0 < X < X

69 Repasando Conceptos MODELO GLOBAL Modelo Aditivo
Algoritmo o función asociados a criterios de decisión que modela a un indicador global. Ejemplo para Preferencia de Confiabilidad de Enlaces Modelo Aditivo Indicador Global =  (Peso componente x Indicator Elemental) IG/P = P1 IE Pn IEn P Pn = 1; 0 <= IEi <= 100

70 Repasando Conceptos CRITERIO de DECISION
Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939]. Ejemplo de Criterio de Decisión Niveles de Aceptabilidad Insatisfactorio (rango 0-40) Marginal (rango 40-70) Satisfactorio (rango )

71 Modelo para Evaluación

72 Ejemplo de Indicadores
1. Level of Link Reliability 1.1 Level of Internal Broken Links <Peso1.1> (Indicador1.1) 1.2 Level of External Broken Links <Peso1.2> (Indicador1.2) 1.3 Level of Invalid Links <Peso1.3> (Indicador1.1) IG1 = P1.1 IE1.1+ P1.2 IE1.2+ P1.3 IE1.3

73 Example of Indicators In the case study we used the LSP model for calculation, but if we’d use the additive model to calculate PI1.1 PI1.1 = W1.1.1 EI W1.1.2 EI1.1.2 gives instead of 59.67

74 Para Resaltar Metrics are welcome when they are clearly needed and easy to collect and understand Utilidad de las Métricas Datos a partir de Medición (objetiva, subjetiva) Especificar en el mundo numérico, la correspondencia de un atributo de un ente Operacionalizar Heurísticas Servir de “base” a Métodos Cuantitativos de Evaluación o Predicción. La métrica (y su medida) NO puede interpretar por sí sola un concepto calculable (Necesidad de INDICADORES)

75 Para Resaltar Indicators are ultimately the foundation for interpretation of information needs and decision-making. Utilidad de los Indicadores Mapeo del mundo numérico a otro Servir de base para cuantificar Conceptos Calculables para una Necesidad de Información Ofrecen Información/Conocimiento contextual Los indicadores ofrecen información para la toma de decisiones (Análisis y Recomendaciones)

76 Referencias Olsina, L.; Martín, M., 2004, Ontology for Software Metrics and Indicators, In Journal of Web Engineering, Rinton Press, US, Vol 2 Nº 4, pp , ISSN Molina, H; Papa, F.; Martin, M.; Olsina, L; 2004; Semantic Capabilities for the Metrics and Indicators Cataloging Web System. In: Engineering Advanced Web Applications, Matera M. Comai S. (Eds.), Rinton Press Inc., US, pp , ISBN Martín, M.; Olsina, L., 2003, Towards an Ontology for Software Metrics and Indicators as the Foundation for a Cataloging Web System, In IEEE Computer Society (1st LA-WEB) Sant. de Chile, pp , ISBN

77 Esquema Conceptos: Calidad, Métricas, Indicadores..
Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

78 Proceso de Evaluación Los Procesos para Evaluación (ej. ISO 14598), son en su especificación original suficientemente genéricos y abstractos personalizables a las distintas necesidades del proceso de evaluación de calidad de productos de software y Web Los Procesos para Evaluación NO prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.

79 Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO del ‘98. Establecimiento de los Requerimientos de Evaluación Especificación de la Evaluación Diseño de la Evaluación Ejecución de la Evaluación, y Conclusión de la Evaluación

80 Proceso de Evaluación WebQEM

81 Esquema Conceptos: Calidad, Métricas, Indicadores..
Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

82 Qué es GQM: Enfoque, Modelo
Enfoque para la medición orientada a lograr ciertos objetivos (metas) en una organización algo más que juntar datos útiles... Enfoque arriba-abajo para determinar: objetivos de la medición (de productos, etc.) marco para definir con precisión qué medir Enfoque abajo-arriba para interpretar los datos a partir de los objetivos y las mediciones Historia: 1984: Nace en Universidad de Maryland (Basili) 1996: Fraunhofer Institute for Experimental Software Engineering Fuerte adopción en la industria para planes de medición

83 Modelo GQM : Estructura

84 Estructura (Modelo) GQM
Nivel Conceptual (Goal-Meta) se define un objetivo (meta) para un objeto (ente), con respecto a determinado “modelo de calidad”, para un punto de vista, relativo a un contexto en particular Nivel Operativo (Question-Pregunta) se refina un conjunto de preguntas a partir de una meta, identificando el objeto de medición con respecto a características de calidad seleccionadas para un punto de vista. Nivel Cuantitativo (Metric-Métrica): se asocia un conjunto de métricas para cada pregunta, de modo de responder a cada una de ellas de un modo cuantitativo

85 Enfoque y Modelo Jerárquico GQM

86 Ejemplo de Plantilla de Metas
Para un Producto: Analizar el producto final (ente, objeto) con el propósito de comprender (objetivo, propósito) con respecto a la confiabilidad (foco de la calidad) desde el punto de vista del usuario final (punto de vista) en el contexto de la proyecto X (contexto, ambiente)

87 GQM: Ejemplo Question 1.1 Question 1.2 Purpose Characteristic Entity
Viewpoint Understand Link Reliability Static Pages of a Web Site Final User Question 1.1 What is the level of internal and external broken links (physical error)? Metric 1.1.1 Percentage of Internal Broken Links Metric 1.1.2 Percentage of External Broken Links Frequency of Broken Links per Hit Pages Question 1.2 What is the level of invalid links (logical error)? Metric 1.2.1 Percentage of Invalid Links

88 Pasos Básicos para GQM Desarrollar objetivos a nivel de organización, área y/o proyecto para calidad, calidad en uso, etc. Generar preguntas (basadas en plantillas, modelos, experiencias previas) que definan esos objetivos de forma operacionalizable Especificar métricas útiles que se deben especificar para responder a las preguntas Desarrollar mecanismos para recolectar los datos Recolectar, validar y analizar los datos en el momento para retroalimentar a los proyectos para acciones de correctivas, de mejora, ... Analizar los datos post-mortem para evaluar conformidad con los objetivos y hacer recomendaciones para futuras mejoras

89 A Resaltar del Enfoque GQM
GQM es un enfoque útil para decidir qué medir. La medición debe estar orientada a las metas permite a los tomadores de decisión, elegir aquellas métricas que se relacionen a las metas más importantes de los problemas más urgentes las metas brindan un contexto para el análisis e interpretación de los datos la explicación de las razones por las que se refinan ciertos objetivos en métricas permite evaluar la validez de las conclusiones Las personas deberían estar fuertemente involucradas en la definición e interpretación Toda recolección de datos debe estar basada en una justificación explícitamente documentada métricas útiles y relevantes

90 A Resaltar del Enfoque GQM
GQM es un enfoque flexible, pero genérico Se podrían resaltar algunas debilidades: No parte de un marco conceptual bien definido del dominio de métricas e indicadores. No necesariamente (y explícitamente) está centrado en modelos de calidad, calidad en uso, entre otros El proceso de interpretación de las medidas de las métricas no está bien definido Por ejemplo, no se habla de indicadores elementales y globales Cuando intervienen muchas métricas puede ser difícil el proceso de análisis, interpretación y recomendación No prescribe modelo de agregación

91 Esquema Conceptos: Calidad, Métricas, Indicadores..
Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

92 Introducción Enfoque INCAMI
INCAMI (Information Need, Concept model, Attribute, Metric, and Indicator) [Olsina, Molina, Papa 05] INCAMI es un marco conceptual (framework) de utilidad para procesos de medición y evaluación Centrado en la Ontología de Métricas e Indicadores definida previamente [Olsina, Martín, 03, 04]

93 Introducción Enfoque INCAMI
INCAMI es un enfoque (semejante a GQM) útil para decidir qué medir y evaluar. La medición y evaluación debe estar orientada a metas y necesidades de información, en el contexto de una organización, proyecto/s, etc. Centrado en Modelo de Conceptos (Calidad, Calidad en Uso, Costo, etc.) Se selecciona los atributos, métricas e indicadores útiles para una necesidad de información en particular Evaluación centrada en modelos de agregación, que facilita la interpretación y recomendaciones

94 Ambiente de M&E

95 Componentes de INCAMI Principales Componentes:
Definición de Proyectos y Usuarios Proyecto de Requerimientos, Medición y Evaluación Especificación de Requerimientos centrados en modelos Diseño y Ejecución de la Medición. Diseño y Ejecución de la Evaluación. Análisis y Recomendaciones

96 Componente: Proyecto de M&E
Project: Representación abstracta de un proyecto de medición o evaluación. MEProject: Proyecto de medición y evaluación INCAProject: Proyecto que permite especificar los requerimientos en un proyecto de medición y evaluación MeasurementProject: Proyecto que permite realizar la medición a partir de los requerimientos especificados (INCAProject), en un proyecto de medición y evaluación  EvaluationProject: Proyecto que permite realizar la evaluación a partir de una medición y de los requerimientos especificados, en un proyecto de medición y evaluación.

97 Componente: Proyecto de M&E

98 Componente RNF

99 Componente Medición

100 Componente Evaluación

101 Arquitectura de INCAMI

102 Herramienta INCAMI_Tool
INCAMI está orientado a dar soporte tecnológico a procesos de QA en proyectos organizacionales Herramienta (INCAMI_Tool) en estado prototípico [Papa, Molina, 05] Toma de la base conceptual (ontología) de M&I. Guarda metadatos y valores de métricas e indicadores para proyectos específicos Evaluación centrada en modelos de agregación Herramienta WebQEM_Tool Permite uso de otras técnicas y métodos para análisis de mediciones

103 INCAMI_Tool: Definición de Modelo

104 INCAMI_Tool: Selección de Métricas

105 INCAMI_Tool: Selección Modelo Agregación

106 INCAMI_Tool: Resultados Finales

107 Para Resaltar INCAMI es un marco de definición y especificación de requerimientos no funcionales, de medición y de evaluación orientado a la necesidad de información, donde queda claramente establecido el propósito, el punto de vista, el contexto, el foco a evaluar, y el objeto sobre el cual se realizará la medición, evaluación y recomendaciones.

108 Para Resaltar INCAMI es un marco bien establecido dado que se centra en Modelos de Conceptos (p.ej. calidad, calidad en uso, costo, etc.) y, además, las Métricas seleccionadas para cuantificar los Atributos que forman parte del modelo son, por lo tanto, aquellas útiles, orientadas al propósito específico conforme a la Necesidad de Información a nivel organizacional o de proyecto.

109 Para Resaltar GQM es un enfoque simple, orientado a la meta de la medición, y ha sido utilizado en varios proyectos y organizaciones a nivel industrial GQM no está basado en una clara conceptualización de métricas e indicadores GQM adolece de esa base ontológica de modo que asegure que los datos (y los metadatos asociados a los datos como Escala, Unidad, Método, etc.) sean confiables, consistentes y repetibles para ulteriores análisis entre proyectos.

110 Para Resaltar GQM carece de conceptos específicos para evaluación con el fin de interpretar las mediciones (tal como nuestro marco realiza con la definición de Indicadores Elementales y Globales). La interpretación de las mediciones es un punto débil en GQM. GQ(I)M es un nuevo paradigma surgido a fines del 2003 (SEI)

111 Para Resaltar El trabajo de Kitchenham et al es el más cercano a nuestra investigación. Sin embargo, INCAMI está modelado con tecnologías de OO (a diferencia del modelo ER empleado por los autores), y como otras características distintivas está basado en una conceptualización explícita y formal, y contempla aspectos de evaluación.

112 Referencias Basili V., Rombach H.D., 1989, The TAME Project: Towards Improvement-Oriented Software Environments, IEEE Trans. on Software Engineering, 14(6), pp Kitchenham B.A.; Hughes R.T.; Linkman S.G.; 2001, Modeling Software Measurement Data, IEEE Transaction on Software Engineering, 27 (9), pp.788, 804.

113 Referencias Olsina, L; Molina, H; Papa, F.; 2005; Organization Oriented Measurement and Evaluation Framework for Software and Web Engineering Projects, In LNCS 3579 of Springer, Int’l Congress on Web Engineering, (ICWE’05), Australia, pp Olsina, L; Papa, F.; Molina, H; 2007, How to Measure and Evaluate Web Applications in a Consistent Way, Chapter Book to appear in a Springer Book titled Web Engineering: Modelling and Implementing Web Applications, Rossi, Pastor, Schwabe, and Olsina Eds.

114 Esquema Conceptos: Calidad, Métricas, Indicadores..
Proceso de Evaluación Medición/Evaluación orientada a Metas GQM Marco de Medición y Evaluación INCAMI Componentes de INCAMI Conclusiones

115 Conclusiones Aseguramiento de Calidad (QA), como proceso de soporte, es cada vez más prioritario a los procesos principales de las Líneas de Producción de Sw/Web Sin el robusto establecimiento de marcos y programas de medición y evaluación como soporte a QA, los proyectos de las organizaciones son menos repetibles y controlables y, en consecuencia, más propensos a fracasar. El marco INCAMI intenta realizar una contribución en este sentido Trabajo Actuales/Futuros: Modelización de Contexto Memoria Organizacional INCAMI / CMMI