Ingeniería Web: Marco de Medición y Evaluación de Calidad Curso de Posgrado Universidad Nacional de San Luis / La Rioja / Catamarca Ingeniería Web: Marco de Medición y Evaluación de Calidad Componentes de la Evaluación Procesos Medición-Evaluación Taxonomía de Métodos/Técnicas Contenidos Parte III Dr. Luis Olsina GIDIS_Web, Facultad de Ingeniería, UNLPam, La Pampa - Argentina TE 02302 430497 Ext. 6501 E-mail olsinal@ing.unlpam.edu.ar © 2007 GIDIS_Web

Esquema Componentes de la Evaluación Procesos de Evaluación Taxonomía de Métodos y Técnicas

Beneficios de la Evaluación Comprender, Analizar (los atributos de un ente) Controlar (la calidad del producto, …) Predecir (el tiempo y costo de un proyecto) Mejorar (la calidad de un producto, proceso …) Conceptos Medibles (Factores) Calidad, Calidad en Uso, Productividad, Costo … Fases del Ciclo de Vida del Software Exploración, Desarrollo, Mantenimiento.

Componentes en la Evaluación Requerimientos de Evaluación Metas, Restricciones (Seguridad, Disponibilidad, etc.) Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas, Indicadores… Captura de Datos Recolección de Datos Automática, Semiautomática, Manual Análisis Técnicas Estadísticas, Visualización Gráfica, Tablas, etc. Interpretación de los datos. Recomendaciones Doc. de Conclusiones, Propuestas de Mejora

Esquema Componentes de la Evaluación Procesos de Medición/Evaluación Taxonomía de Métodos y Técnicas

Estándares ISO sobre Medición… Diversos Estándares (principalmente ISO) tratan sobre el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939), el proceso de evaluación (ISO 14598) otros Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes documentos o, a veces, términos ausentes Necesidad de una Ontología para el dominio de Métricas e Indicadores (y Procesos de Medición/Evaluación)

Modelo de Medición (ISO/IEC 15939)

Proceso de Evaluación Los Procesos para Evaluación de la ISO que pasaremos a describir, son en su especificación original suficientemente genéricos y abstractos personalizables a las distintas necesidades del proceso de evaluación de calidad de artefactos de software y artefactos Web Los Procesos para Evaluación no prescriben ni recomiendan métodos ni procedimientos específicos para realizar las actividades sino que representan un marco conceptual genérico.

Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 9126 del 1991. Definición de Requerimientos de Calidad Preparación de la Evaluación Ejecución de la Evaluación

Proceso de Evaluación ISO 9126-1991

Niveles de Aceptabilidad en ISO 9126

Proceso de Evaluación Fases o etapas fundamentales del Proceso de Evaluación definido en el Estándar ISO 14598 del ‘98. Establecimiento de los Requerimientos de Evaluación Especificación de la Evaluación Diseño de la Evaluación Ejecución de la Evaluación, y Conclusión de la Evaluación

Proceso de Evaluación ISO 14598-5

Proceso de Evaluación ISO 14598-5 1 Establecimiento de los Requerimientos de Evaluación. Objetivo: el propósito de este proceso es describir las metas de la evaluación. Tales metas se relacionan con el uso del artefacto en consideración de uno o varios puntos de vista de usuario y los riesgos asociados El dominio de la aplicación del producto a evaluar debe ser considerado; aspectos críticos como seguridad, económicos, legales o de contexto deben ser tomados en cuenta.

Proceso de Evaluación ISO 14598-5 1. Nombre de los Subprocesos para Establecimiento de los Requerimientos de Evaluación . 1.1  Proposición de los requerimientos por parte del solicitante 1.2  Declaración del grado de cobertura en la evaluación por parte del solicitante 1.3  Soporte del solicitante en analizar la meta de la evaluación y en describir los requerimientos con el evaluador 1.4  Explicación del grado de confianza y rigor de la evaluación al evaluador 1.5  Acordar los requerimientos de evaluación

Proceso de Evaluación ISO 14598-5 2 Especificación de la Evaluación. Objetivo: este proceso consiste en definir el alcance de la evaluación y las mediciones a realizarse en los atributos del artefacto a evaluar y sus componentes. El nivel de detalle de la salida (el documento de especificación de la evaluación) debe ser tal de modo que se asegure la repetitividad y reproducibilidad del proceso

Proceso de Evaluación ISO 14598-5 2. Nombre de los Subprocesos para Especificación de la Evaluación. 2.1 Analizando la descripción del producto 2.2 Especificando las mediciones 2.3 Verificando las especificaciones producidas en consideración con los requerimientos

Proceso de Evaluación ISO 14598-5 3 Diseño de la Evaluación. Objetivo: consiste en documentar los métodos y procedimientos a utilizar por el evaluador para realizar las mediciones y verificaciones contenidas en el documento de especificación de la evaluación. El evaluador producirá como resultado de este proceso el plan de la evaluación que describe los recursos necesarios (humanos, materiales, tecnológicos, etc.) y la distribución y asignación de los mismos a las actividades.

Proceso de Evaluación ISO 14598-5 3. Nombre de los Subprocesos para Diseño de la Evaluación. 3.1 Documentando los métodos y procedimientos de evaluación y produciendo un plan 3.2 Programando las actividades conforme a los recursos disponibles

Proceso de Evaluación ISO 14598-5 4 Ejecución de la Evaluación. Objetivo: el objetivo de este proceso consiste en obtener los resultados al realizar todas las acciones para medir y verificar el producto conforme a los requerimientos de evaluación, según lo especificado y planeado. Al final del proceso se completan los registros de evaluación y el borrador del informe de evaluación.

Proceso de Evaluación ISO 14598-5 4. Nombre de los Subprocesos para Ejecución de la Evaluación. 4.1 Administrando los componentes del producto provistos por el solicitante 4.2 Administrando los datos producidos por la evaluación (incluyendo registros e informes) 4.3 Administrando las herramientas necesarias por la evaluación 4.4 Administrando las acciones de evaluación fuera del sitio acordado 4.5 Administrando los requerimientos surgidos por el uso de técnicas específicas

Proceso de Evaluación ISO 14598-5 5 Conclusión de la Evaluación. Objetivo: este proceso consiste en la revisión del borrador entre las partes (solicitante y evaluador) y en poner a disponibilidad los documentos finales. Subproceso 5.1 Revisión conjunta del informe de evaluación:

Proceso de Evaluación Comentarios Finales Proceso de Evaluación suficientemente genérico y abstracto Especifica detalladamente, a procesos y subprocesos, entradas, salidas, y puntos de control para cada uno de los cinco procesos. No prescribe ni recomienda, metodologías, métodos, técnicas ni herramientas específicas para realizar las actividades sino que representan un marco conceptual genérico.

Esquema Componentes de la Evaluación Procesos de Evaluación Taxonomía de Métodos y Técnicas

Clases de Métodos de Evaluación Categorías de Métodos Testing Inspección Consulta (Inquiry) Modelado Analítico Simulación Los Métodos y Técnicas a Aplicar pueden ser: Cuantitativos versus Cualitativos Automáticos, Semiautomáticos o Manuales Desde Fácil a Difícil de Usar y Aprender

Tipos de Métodos de Evaluación Tipos de Métodos y Técnicas Protocolo Thinking Aloud Análisis de Log Files Evaluación Heurística Revisión de Guías Inspección de Características y Atributos En cumplimiento de estándares (ISO 9126) Entrevistas Cuestionarios Análisis Cognitivo de Tareas Modelos Programables de Usuario, …

Taxonomía de Métodos de Evaluación Clase de Método Taxonomía de Métodos de Evaluación Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Testing -- Inspección -- Consulta, ... -- Análisis de Log Files -- Evaluación Heurística -- Evaluación de Características, ... Fase -- Requerimientos -- Captura -- Análisis -- Recomendaciones -- Manual -- Semi-Automático -- Automático -- Fácil de Usar, Aprender -- Efectivo, Preciso -- Rango de Aplicabilidad

Ejemplo de Método de Evaluación Clase de Método Bobby www.cast.org/bobby Tipo de Método Tipo de Automatización Nivel de Esfuerzo -- Inspección -- Revisión de Guías Fase -- Captura -- Análisis -- Recomendaciones -- Automático -- Fácil de Usar, Aprender -- Efectivo

Descripción de Métodos de Evaluación Se prueba la relevancia, consistencia, precisión, etc. de los contenidos Testing de Contenido Se testean componenetes de software, revisando el código o simplemente la funcionalidad a partir de entradas/salidas Testing de Código, Caja Negra y Caja Blanca Los testers y usuarios no están en el mismo lugar físico Testing Remoto El tester o el software analiza el registro de datos, que refleja lo que el usuario hizo Análisis de Web Log Files Cuán rápido es el sistema? Y con carga? Y llegado a niveles de stress? Testing de Performance del Sistema Extensión del anterior, en donde el tester pregunta al usuario Protocolo de Realizar Preguntas Los usuarios conversan en voz alta durante el test, por ejemplo durante un test de Interface de Usuario. Protocolo Thinking Aload Descripción Tipo de Método: TESTING

Técnicas de Evaluación para Testing Testing de Performance del Sistema métricas como Tiempo de Respuesta, Rendimiento, etc. Testing de Performance del Usuario métricas como Tiempo para Completar una Tarea, Tasa de Exito para Completar Tareas (Success Rate) Análisis de Web Log Files métricas como Visitas por Páginas, Páginas por Visita Otras Técnicas de Testing

Descripción de Métodos de Evaluación Los evaluadores valoran atributos de características para analizar la conformidad con estándares (ISO, CMM) Inspección de Estándares Los evaluadores miden al ente a partir de atributos y características (Usabilidad, etc.) Inspección de Características Se reúne un equipo de inspectores (tester, desarrollador,etc.) y chequean un producto Inspección Formal Los expertos identifican violaciones a una lista de heurísticas . Es un método informal Evaluación Heurística Los evaluadores (expertos) chequean la conformidad del producto con un conjunto due guías establecidas. Revisión de Guías Descripción Tipo Método: INSPECCION

Técnicas de Evaluación para Inspección Revisión de Guías, Por ej., Guías de Accesibilidad WAI http://www.w3.org/TR/WAI-WEBCONTENT/ Evaluación Heurística, Por ej., J. Nielsen http://www.useit.com/alertbox Inspección de Características Por ej., ISO 9126, métricas para Confiabilidad, Eficiencia, etc. WebQEM Otras Técnicas de Inspección

Descripción de Métodos de Evaluación Tipo de Método: CONSULTA Descripción Observación de Campo, Entrevista Contextual Los evaluadores visitan el lugar de trabajo de los usuarios y observan su trabajo. Puede entrevistar a los mismos Entrevista Es una sesión de discusión ente el usuario y el entrevistador. Estructurada, o no Cuestionarios Es un instrumento de medición para captar por ej. Satisfacción del usuario, etc. Feedback del Usuariuo Es un medio por el cual el usuario deja sus comentarios y sugerencias Grupos Focalizados Grupo de cinco a diez usuarios, donde se discuten aspectos del producto. El evaluador juega el rol de moderador

Técnicas de Evaluación para Consulta (Inquiry) Entrevistas Estructuradas, Semiestructuradas Surveys Cuestionarios Abiertos, Cerrados, etc. http://www.acm.org/~perlman/question.html http://www.ucc.ie/hfrg/ Retroalimentación de Usuarios Otras Técnicas de Consulta