Evaluación de Productos

Agenda Introducción Norma ISO/IEC 14598 Proceso para Evaluadores

Evaluación de Productos Importancia de evaluar productos Para la evaluación de calidad: Modelo de calidad Método de evaluación Medición del software Herramientas de soporte

Norma ISO/IEC 14598 Conformada por: 1: Descripción General 2: Planificación y gerenciamiento 3: Proceso para Desarrolladores 4: Proceso para Adquirientes 5: Proceso para Evaluadores 6: Documentación de Módulos de evaluación

Norma ISO/IEC 14598-1 Descripción General Descripción de las partes que conforman la norma Quienes la pueden usar Desarrolladores Adquirientes Evaluadores

Norma ISO/IEC 14598-2 Planificación y Gerenciamiento Determinar requerimientos para asegurar el éxito de la evaluación Función de soporte al proceso de evaluación: Adquisición de estandares nacionales e internacionales Desarrollo de estandares internos y herramientas que se adecuan a los requerimientos de la organización

Norma ISO/IEC 14598-3 Define Proceso de evaluación de producto para Desarrolladores Evaluación para Desarrollo y Mantenimiento Aplica a todas las fases del desarrollo Se realiza por miembros de la propia empresa Se evalúa productos intermedios y finales

Norma ISO/IEC 14598-4 Define Proceso de evaluación de producto para Adquirientes Evaluación de productos ya desarrollados La evaluación resultante de este proceso se aplica para la toma de decisiones de la adquisición del producto.

Norma ISO/IEC 14598-5 Define Proceso de evaluación de producto para Evaluadores Realizado por personal independiente Evaluación de productos intermedios y finales

Norma ISO/IEC 14598-6 Guía para Documentación de Módulos de evaluación Modulo de evaluación: estandarización para documentar nuevas métricas y guias de uso Se documentan las técnicas, métricas y métodos del proceso de evaluación Ej.;Definición de Templates

ISO/IEC 14598 - ISO/IEC 9126

Agenda Introducción Norma ISO/IEC 14598 Proceso para Evaluadores

Proceso para evaluadores Define un proceso de evaluación Actividades Entregables Debería ser usado por: Laboratorios evaluadores Empresas desarrolladoras de software Adquirientes de software Usuarios de un producto Entidades certificadoras

Proceso para evaluadores (2) Promueve las siguientes características: Repetible Reproducible Imparcial Objetivo

Establecimiento de los Requerimientos

Establecimiento de los Requerimientos Propósito Definir los objetivos de la evaluación. - Proyectar uso del producto de software y riesgos asociados. - Puede ser interesante considerar diferentes puntos de vista (desarrollador, proveedor, encargado de mantenimiento, etc)

Establecimiento de los Requerimientos Caja Ampliada

Entradas Requerimientos del Solicitante Aspectos del producto a gran escala que el Solicitante quiere evaluar.

Actividades a desarrollar Planteo de requerimientos del Solicitante. Definición del cubrimiento de la evaluación por parte del Solicitante. Orientación del Evaluador hacia el Solicitante en la definición de requerimientos. Acuerdo mutuo en la definición de requerimientos. 3. Dada su propia experiencia

Salidas Requerimientos de la Evaluación Descripción general del dominio de la aplicación Listado de requerimientos de calidad a evaluar (se recomienda basarse en ISO/IEC 9126-1) Ponderar reqs. de calidad en función del tipo de aplicación a evaluar

Ejemplo: Reqs de la Evaluación Producto a Evaluar: Gmail Evaluación de Interfaz en las sig. tareas Envio de mail Uso de Chat Armado de grupos Redireccionamiento a otra casilla de correo Atributos de calidad Efectividad Productividad Satisfaccion

Especificación de la Evaluación

Especificación de la Evaluación Propósito Especificar las mediciones a realizar acerca de los atributos anteriormente seleccionados. Brindar un nivel de detalle suficiente como para asegurar que el proceso sea repetible y reproducible.

Especificación de la Evaluación

Entradas Requerimientos de Evaluación (etapa anterior) Descripción del Producto (Solicitante) Especificaciones Predefinidas (Evaluador) Conjunto de posibles mediciones a realizar sobre un cierto atributo de calidad

Actividades a desarrollar Análisis de la descripción del producto Determinación de los componentes a ser evaluados y estudio de factibilidad. Especificación de las evaluaciones Especificación de que atributos de calidad van a ser evaluados por componente. Especificación de las métricas a ser utilizadas en ciertos componentes (Evalúo midiendo). Determinación de requerimientos a ser testéados. (Evalúo testeando).

Actividades a desarrollar (2) Verificación de la Especificación de la Evaluación Verificar el cubrimiento de los Reqs. de evaluación con respecto a la Especificación de la Evaluación. Dibujo de comparacion entre documentos En caso de esp < reqs => (falat de info) or (me olvide) Si (falta info) - recortar los reqs - agregar componente

Salidas Especificación de la Evaluación Resultado de las actividades anteriormente mencionadas.

Ejemplo: Esp. de la Evaluación Evaluaremos los siguientes atributos de calidad: Efectividad Productividad Satisfacción

Ejemplo: Esp. de la Evaluación Efectividad % funciones relevantes usadas % de usuarios capaces de completar cada tarea % de usuarios capaces de completar una tarea sin capacitación

Ejemplo: Esp. de la Evaluación Productividad Tiempo insumido en primer intento Tiempo insumido normalmente Cantidad de clicks necesarios

Ejemplo: Esp. de la Evaluación Satisfacción Relación entre opiniones positivas y negativas de los usuarios % de usuarios que recomendarían el producto % de usuarios que lo califican de fácil uso en comparación con otro competidor

Diseño de la Evaluación

Diseño de la Evaluación Propósito Documentar los métodos y procedimientos a ser usados en la evaluación Identificar los recursos a ser utilizados en la evaluación

Diseño de la Evaluación

Entradas Especificación de la Evaluación (etapa anterior) Descripción del Producto (Solicitante) Métodos de Evaluación (Evaluador) Conjunto de técnicas y procedimientos conocidos por el Evaluador.

Actividades a desarrollar Documentación de los métodos y procedimientos en un plan inicial. Para cada evaluación a realizar, se deberá describir en forma detallada el método a ser usado y como este va a ser instanciádo. Agendar las actividades a realizar de acuerdo a los recursos disponibles. Optimización del plan inicial.

Salidas Plan de la Evaluación Métodos a seguir Agenda.

Ejemplo: Diseño de la Evaluación Plan de Evaluación Encuestas % de usuarios que recomendarían el producto. Cronómetro Tiempo insumido en primer intento. Contar clicks Cantidad de clicks necesarios.

Ejecución de la Evaluación

Ejecución de la Evaluación Propósito Llevar a cabo el plan definido en el diseño registrando los resultados obtenidos y las acciones tomadas.

Ejecución de la Evaluación

Entradas Plan de la Evaluación (etapa anterior) Componentes del Producto (Solicitante) Herramientas de Evaluación (Evaluador)

Actividades a desarrollar Gestión de los componentes del producto Llevar registro de los componentes de producto recibidos. Identificador único de componente o documento Nombre del documento o componente Estado del documento (en buen estado, dañado, etc) Versión Fecha de recibido En caso de ser necesario se podra usar Gestión de la Configuración

Actividades a desarrollar (2) Gestión de resultados obtenidos Manejo ordenado Prevención de modificaciones accidentales Manejo de la confidencialidad Tener en cuenta el lugar de desarrollo de la evaluación

Actividades a desarrollar (3) Gestión del uso de herramientas Inclusión en el Informe borrador de la evaluación información acerca de las herramientas utilizadas Inclusión en el registro de acciones de información detallada sobre el uso de herramientas Verificación del correcto funcionamiento de las herramientas Capacitación (en caso de ser necesario) en el uso de las herramientas.

Actividades a desarrollar (4) Revisión de los datos obtenidos y generación de reportes Todos los resultados deben ser analizados Participación de integrantes no involucrados directamente en la medición de los resultados Resultados de la revisión se deben incluir en el Informe Borrador de la Evaluación

Salidas Plan de la Evaluación Informe Borrador de la Evaluación Registros de Acciones

Conclusión de la Evaluación Fin del ejemplo.

Conclusión de la Evaluación Propósito Revisión conjunta (Solicitante, Evaluador) del Informe Borrador de la Evaluación Eliminación de los datos no relevantes de la evaluación

Conclusión de la Evaluación

Entradas Requerimientos de la Evaluación (etapas anteriores) Especificación de la Evaluación(etapas anteriores) Informe Borrador de la Evaluación(etapa anterior) Componentes del Producto (Solicitante)

Actividades a desarrollar Revisión conjunta Puesta en común de los resultados documentados Comentarios del solicitante Generación del Informe Final de la Evaluación, la cual incluye la integración de los documentos de entrada Cierre de la evaluación Destino de los datos, documentos, componentes, herramientas, hw, etc.

Salidas del Proceso Informe Final de la Evaluación Resultado de las actividades anteriormente mencionadas. Entregado al Solicitante y almacenado por parte del Evaluador

Salidas del Proceso Registros de la Evaluación Almacenado solo por el Evaluador Es lo permite que el proceso sea repetible y reproducible.

Preguntas