Evaluación de Productos

Presentación del tema: "Evaluación de Productos"— Transcripción de la presentación:

1 Evaluación de Productos

2 Agenda Introducción Norma ISO/IEC 14598 Proceso para Evaluadores

3 Evaluación de Productos
Importancia de evaluar productos Para la evaluación de calidad: Modelo de calidad Método de evaluación Medición del software Herramientas de soporte

4 Norma ISO/IEC 14598 Conformada por: 1: Descripción General
2: Planificación y gerenciamiento 3: Proceso para Desarrolladores 4: Proceso para Adquirientes 5: Proceso para Evaluadores 6: Documentación de Módulos de evaluación

5 Norma ISO/IEC 14598-1 Descripción General
Descripción de las partes que conforman la norma Quienes la pueden usar Desarrolladores Adquirientes Evaluadores

6 Norma ISO/IEC 14598-2 Planificación y Gerenciamiento
Determinar requerimientos para asegurar el éxito de la evaluación Función de soporte al proceso de evaluación: Adquisición de estandares nacionales e internacionales Desarrollo de estandares internos y herramientas que se adecuan a los requerimientos de la organización

7 Norma ISO/IEC Define Proceso de evaluación de producto para Desarrolladores Evaluación para Desarrollo y Mantenimiento Aplica a todas las fases del desarrollo Se realiza por miembros de la propia empresa Se evalúa productos intermedios y finales

8 Norma ISO/IEC Define Proceso de evaluación de producto para Adquirientes Evaluación de productos ya desarrollados La evaluación resultante de este proceso se aplica para la toma de decisiones de la adquisición del producto.

9 Norma ISO/IEC Define Proceso de evaluación de producto para Evaluadores Realizado por personal independiente Evaluación de productos intermedios y finales

10 Norma ISO/IEC 14598-6 Guía para Documentación de Módulos de evaluación
Modulo de evaluación: estandarización para documentar nuevas métricas y guias de uso Se documentan las técnicas, métricas y métodos del proceso de evaluación Ej.;Definición de Templates

11 ISO/IEC ISO/IEC 9126

12 Agenda Introducción Norma ISO/IEC 14598 Proceso para Evaluadores

13 Proceso para evaluadores
Define un proceso de evaluación Actividades Entregables Debería ser usado por: Laboratorios evaluadores Empresas desarrolladoras de software Adquirientes de software Usuarios de un producto Entidades certificadoras

14 Proceso para evaluadores (2)
Promueve las siguientes características: Repetible Reproducible Imparcial Objetivo

15 Establecimiento de los Requerimientos

16 Establecimiento de los Requerimientos
Propósito Definir los objetivos de la evaluación. - Proyectar uso del producto de software y riesgos asociados. - Puede ser interesante considerar diferentes puntos de vista (desarrollador, proveedor, encargado de mantenimiento, etc)

17 Establecimiento de los Requerimientos
Caja Ampliada

18 Entradas Requerimientos del Solicitante
Aspectos del producto a gran escala que el Solicitante quiere evaluar.

19 Actividades a desarrollar
Planteo de requerimientos del Solicitante. Definición del cubrimiento de la evaluación por parte del Solicitante. Orientación del Evaluador hacia el Solicitante en la definición de requerimientos. Acuerdo mutuo en la definición de requerimientos. 3. Dada su propia experiencia

20 Salidas Requerimientos de la Evaluación
Descripción general del dominio de la aplicación Listado de requerimientos de calidad a evaluar (se recomienda basarse en ISO/IEC ) Ponderar reqs. de calidad en función del tipo de aplicación a evaluar

21 Ejemplo: Reqs de la Evaluación
Producto a Evaluar: Gmail Evaluación de Interfaz en las sig. tareas Envio de mail Uso de Chat Armado de grupos Redireccionamiento a otra casilla de correo Atributos de calidad Efectividad Productividad Satisfaccion

22 Especificación de la Evaluación

23 Especificación de la Evaluación
Propósito Especificar las mediciones a realizar acerca de los atributos anteriormente seleccionados. Brindar un nivel de detalle suficiente como para asegurar que el proceso sea repetible y reproducible.

24 Especificación de la Evaluación

25 Entradas Requerimientos de Evaluación (etapa anterior)
Descripción del Producto (Solicitante) Especificaciones Predefinidas (Evaluador) Conjunto de posibles mediciones a realizar sobre un cierto atributo de calidad

26 Actividades a desarrollar
Análisis de la descripción del producto Determinación de los componentes a ser evaluados y estudio de factibilidad. Especificación de las evaluaciones Especificación de que atributos de calidad van a ser evaluados por componente. Especificación de las métricas a ser utilizadas en ciertos componentes (Evalúo midiendo). Determinación de requerimientos a ser testéados. (Evalúo testeando).

27 Actividades a desarrollar (2)
Verificación de la Especificación de la Evaluación Verificar el cubrimiento de los Reqs. de evaluación con respecto a la Especificación de la Evaluación. Dibujo de comparacion entre documentos En caso de esp < reqs => (falat de info) or (me olvide) Si (falta info) - recortar los reqs - agregar componente

28 Salidas Especificación de la Evaluación
Resultado de las actividades anteriormente mencionadas.

29 Ejemplo: Esp. de la Evaluación
Evaluaremos los siguientes atributos de calidad: Efectividad Productividad Satisfacción

30 Ejemplo: Esp. de la Evaluación
Efectividad % funciones relevantes usadas % de usuarios capaces de completar cada tarea % de usuarios capaces de completar una tarea sin capacitación

31 Ejemplo: Esp. de la Evaluación
Productividad Tiempo insumido en primer intento Tiempo insumido normalmente Cantidad de clicks necesarios

32 Ejemplo: Esp. de la Evaluación
Satisfacción Relación entre opiniones positivas y negativas de los usuarios % de usuarios que recomendarían el producto % de usuarios que lo califican de fácil uso en comparación con otro competidor

33 Diseño de la Evaluación

34 Diseño de la Evaluación
Propósito Documentar los métodos y procedimientos a ser usados en la evaluación Identificar los recursos a ser utilizados en la evaluación

35 Diseño de la Evaluación

36 Entradas Especificación de la Evaluación (etapa anterior)
Descripción del Producto (Solicitante) Métodos de Evaluación (Evaluador) Conjunto de técnicas y procedimientos conocidos por el Evaluador.

37 Actividades a desarrollar
Documentación de los métodos y procedimientos en un plan inicial. Para cada evaluación a realizar, se deberá describir en forma detallada el método a ser usado y como este va a ser instanciádo. Agendar las actividades a realizar de acuerdo a los recursos disponibles. Optimización del plan inicial.

38 Salidas Plan de la Evaluación Métodos a seguir Agenda.

39 Ejemplo: Diseño de la Evaluación
Plan de Evaluación Encuestas % de usuarios que recomendarían el producto. Cronómetro Tiempo insumido en primer intento. Contar clicks Cantidad de clicks necesarios.

40 Ejecución de la Evaluación

41 Ejecución de la Evaluación
Propósito Llevar a cabo el plan definido en el diseño registrando los resultados obtenidos y las acciones tomadas.

42 Ejecución de la Evaluación

43 Entradas Plan de la Evaluación (etapa anterior)
Componentes del Producto (Solicitante) Herramientas de Evaluación (Evaluador)

44 Actividades a desarrollar
Gestión de los componentes del producto Llevar registro de los componentes de producto recibidos. Identificador único de componente o documento Nombre del documento o componente Estado del documento (en buen estado, dañado, etc) Versión Fecha de recibido En caso de ser necesario se podra usar Gestión de la Configuración

45 Actividades a desarrollar (2)
Gestión de resultados obtenidos Manejo ordenado Prevención de modificaciones accidentales Manejo de la confidencialidad Tener en cuenta el lugar de desarrollo de la evaluación

46 Actividades a desarrollar (3)
Gestión del uso de herramientas Inclusión en el Informe borrador de la evaluación información acerca de las herramientas utilizadas Inclusión en el registro de acciones de información detallada sobre el uso de herramientas Verificación del correcto funcionamiento de las herramientas Capacitación (en caso de ser necesario) en el uso de las herramientas.

47 Actividades a desarrollar (4)
Revisión de los datos obtenidos y generación de reportes Todos los resultados deben ser analizados Participación de integrantes no involucrados directamente en la medición de los resultados Resultados de la revisión se deben incluir en el Informe Borrador de la Evaluación

48 Salidas Plan de la Evaluación Informe Borrador de la Evaluación
Registros de Acciones

49 Conclusión de la Evaluación
Fin del ejemplo.

50 Conclusión de la Evaluación
Propósito Revisión conjunta (Solicitante, Evaluador) del Informe Borrador de la Evaluación Eliminación de los datos no relevantes de la evaluación

51 Conclusión de la Evaluación

52 Entradas Requerimientos de la Evaluación (etapas anteriores)
Especificación de la Evaluación(etapas anteriores) Informe Borrador de la Evaluación(etapa anterior) Componentes del Producto (Solicitante)

53 Actividades a desarrollar
Revisión conjunta Puesta en común de los resultados documentados Comentarios del solicitante Generación del Informe Final de la Evaluación, la cual incluye la integración de los documentos de entrada Cierre de la evaluación Destino de los datos, documentos, componentes, herramientas, hw, etc.

54 Salidas del Proceso Informe Final de la Evaluación
Resultado de las actividades anteriormente mencionadas. Entregado al Solicitante y almacenado por parte del Evaluador

55 Salidas del Proceso Registros de la Evaluación
Almacenado solo por el Evaluador Es lo permite que el proceso sea repetible y reproducible.

56 Preguntas