ISO/IEC/IEEE El nuevo estándar internacional para pruebas de software

Presentación del tema: "ISO/IEC/IEEE El nuevo estándar internacional para pruebas de software"— Transcripción de la presentación:

1 ISO/IEC/IEEE 29119 El nuevo estándar internacional para pruebas de software
Grupo de trabajo AEN/CTN 71/SC7/GT26 – Ingeniería del Software y Sistemas de Información – Pruebas del Software Jornada difusión proyecto TESTEA Zaragoza, 20 de Mayo de 2015

2 Grupo de Trabajo AEN/CTN71/SC7/GT26 Pruebas de Software
Javier Tuya Universidad de Oviedo (coordinador del GT26) Celestina Bianco Ramón Lema Juan M. Valera Clara García Manuel Fdez. Lidia Cruz Ewout van Driel Serial Testers Mª José Escalona Isabel Ramos José Marañón Awnaba Software Xavier Escudero Total: 18 miembros, 12 organizaciones diferentes AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

3 ISO/IEC/IEEE 29119 – Pruebas de software
© AENOR AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

4 ISO/AENOR Estructura de Comités y Grupos de trabajo
ISO/IEC & Organismos nacionales Comités ISO y Grupos de Trabajo: ISO: International Organization for Standarization JTC1: Tecnología de la Información SC7: Ingeniería de Software y Sistemas WG26: Pruebas de software Organismos nacionales (ES) AENOR: Asociación Española de Normalización y Certificación GT26: Pruebas del Software ISO IEC AENOR JTC1 CTN71 SC7 SC7 WG26 GT26 AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

5 ISO/IEC/IEEE 29119 – Pruebas de software
Contenidos Estándares para pruebas y problemática Elaboración y estructura de ISO/IEC/IEEE Software Testing Parte 1 – Conceptos y definiciones Parte 2 – Modelo de procesos de pruebas Parte 3 – Documentación de pruebas Parte 4 – Técnicas de prueba Estado actual, futuro y conclusión AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

6 ISO/IEC/IEEE 29119 – Pruebas de software
Qué son los estándares? “Set of mandatory requirements established by consensus and maintained by a recognized body to prescribe a disciplined uniform approach or specify a product, that is, mandatory conventions and practices” (ISO/IEC 24765:2009 Systems and software engineering vocabulary) Standards provide a body of knowledge that provides the basis for a professional discipline Basis for: Communication – common terminology Professional qualifications Certification/compliance schemes Benchmark of ‘good industry practice’ Contracts Interoperability and consistency…… AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

7 Para qué un estándar para Pruebas de software?
Cuerpo de conocimiento como base para esta disciplina profesional Alto grado de acuerdo internacional Adaptable (Tayloring) Cliente: Confianza en el proveedor Benchmark para “buena” práctica industrial Vinculación contractual Proveedor: Comunicación – terminología común Certificación/Acreditación, marketing Cualificación professional, formación Mejora continua, Interoperabilidad, consistencia… AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

8 Qué estándares para Pruebas de Software podríamos usar?
Estándares BSI BS , SW Testing: Part 1-Vocabulary BS , SW Testing: Part 2-Software Component Testing Estándares IEEE testing: IEEE Std 829, Software Test Documentation IEEE Std 1008, Software Unit Testing Estándares sectoriales Cuerpo de conocimiento y metodologías, p.e. ISTQB TMap Next® Otros estándares de tipo general: ISO/IEC 12207, 15289 AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

9 Qué problemas plantean algunos de estos estándares?
IEEE & BSI Standards IEEE 829: documentación (proceso implícito) IEEE 1008: pruebas unitarias BS & 2: pruebas unitarias Aspectos clave sin cubrir para un estándar de propósito general: Pruebas no unitarias (integración, sistema, aceptación) Modelo de procesos explíctio Aspectos organizativos y gestión del proyecto. Riesgos Visión más completa de técnicas de prueba Definiciones en conflicto, procesos y procedimientos Qué estándar seguir? AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

10 ISO/IEC/IEEE 29119 Software Testing - Inicio
Propuesta de proyecto de ISO: Feb 2007 Alcance: “This project will produce a software testing standard applicable to all types of software products and software-intensive systems” Propósito: “to unify and integrate the currently fragmented corpus of normative literature regarding testing that is currently offered by three distinct standards-makers: BSI, IEEE, and ISO/IEC JTC 1/SC 7. The result of the project will be a consistent, unified treatment adopted by all three organizations” Cuatro partes (Conceptos, procesos, documentación, diseño de pruebas) AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

11 ISO/IEC/IEEE 29119 Software Testing - Estructura
Conceptos y Definiciones Parte 1 BS Técnicas de Prueba Parte 4 Parte 2 Documentación Parte 3 Procesos BS IEEE 829 Pruebas Dirigidas por Palabras Clave Parte 5 Evaluación de Procesos 33063 Revisión de Productos de Trabajo 20246 IEEE 1028

12 ISO/IEC/IEEE 29119 - Elaboración
Working Draft (WD) Committee Draft (CD) Draft International Standard (DIS) Final Draft International Standard (FDIS) International Standard Partes 1, 2 & 3 Parte 4 Parte 5 FDIS DIS CD3 CD2 CD1 FDIS WD DIS2 DIS1 CD3 CD2 CD1 DIS WD CD WD … May 10 May 11 May 12 May 13 May 14 May 15 ISO/IEC/IEEE – Pruebas de software

13 Parte 1 – Conceptos y Definiciones
Términos y definiciones prueba estática y dinámica, base de prueba, tipo de prueba, subproceso de prueba … Conceptos sobre pruebas de software: Las pruebas de software en las organizaciones Los procesos de prueba en los ciclos de vidas (visión general) Pruebas basadas en riesgos Subprocesos de prueba Estrategias de prueba Automatización de las pruebas Problemas en la gestión AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

14 Parte 1 – Conceptos y Definiciones
Anexos: ANEXO A. El papel de las pruebas en la verificación y la validación ANEXO B. Métricas ANEXO C. Pruebas en diferentes modelos de ciclo de vida (Desarrollo ágil, Desarrollo secuencial, Desarrollo evolutivo) ANEXO D. Ejemplos de subprocesos de prueba detallados (Aceptación, Desarrollo, Integración, Personalización, Regresión, etc.) ANEXO E. Roles y responsabilidades en el testing AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

15 Parte 2 - Modelo de Procesos de pruebas
Procesos de prueba de la organización Procesos de gestión de las pruebas Planificación Control y seguimiento Finalización Procesos de pruebas dinámicas Diseño e Implement. Gestión del entorno Ejecución Reporte de incidencias AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

16 P2 Especificación pruebas de la organización
Especificación de pruebas de la organización Política de pruebas Estrategia(s) de pruebas Procesos Responsables Productos Técnicas Herramientas Objetivos Alcance Organización Principios gobernantes AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

17 P2 Procesos de Gestión Procesos de Gestión de pruebas
Procesos de Pruebas de la Organización Política y estrategia de pruebas Realimentación para la política y estrategia de pruebas Procesos de Gestión de pruebas Actualizaciones del Plan Informe de Finalización Planificación Plan Control y seguimiento Resultados Finalización Plan, Directrices de Control Plan, Informe del estado Informe de finalización, Métricas Plan, Directrices de Control Métricas Procesos de Pruebas Dinámicas Procesos de Gestión de Pruebas Plan, Directrices de Control Métricas Procesos de Pruebas Dinámicas AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

18 P2 Aplicación recursiva de procesos - Ejemplo
Gestión de las pruebas de la organización Política de pruebas Estrategia de pruebas de la organización Gestión de las pruebas del proyecto Plan de pruebas del proyecto Gestión de pruebas estáticas Gestión de pruebas de sistema Gestión de pruebas de usabilidad Gestión de pruebas de aceptación ... P.d.P. estáticas P.d.P. de sistema P.d.P. de usabilidad P.d.P. de aceptación Pruebas estáticas Pruebas de sistema Pruebas de usabilidad Pruebas de aceptación ... Pruebas estáticas (revisiones, análisis estático…): cubierto por otras normas, p.e. IEEE 1012, 1028 AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

19 ISO/IEC/IEEE 29119 – Pruebas de software
P2 Procesos de Gestión Entender el Contexto (TP1) Alcance Calendario del plan de pruebas Organizar el Plan de Pruebas (TP2) Análisis de Riesgos Identificar y Analizar Riesgos (TP3) Identificar las mitigaciones de riesgos (TP4) Enfoque de Mitigación Diseñar la Estrategia de Pruebas (TP5) Planificación Determinar personal y calendario (TP6) Registrar el Plan de Pruebas (TP7) Estrategia de Prueba Consenso del plan de pruebas (TP8) Calendario y Perfil del Personal Plan de Pruebas Comunicar Plan de Pruebas (TP9) Borrador Plan de Pruebas Aprobación Plan de Pruebas AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

20 ISO/IEC/IEEE 29119 – Pruebas de software
P2 Procesos de Gestión Entender el Contexto (TP1) Alcance Calendario del plan de pruebas Organizar el Plan de Pruebas (TP2) Análisis de Riesgos Identificar y Analizar Riesgos (TP3) Enfoque de Mitigación Identificar mitigación de riesgos (TP4) Diseñar la Estrategia de Pruebas (TP5) Planificación Determinar personal y calendario (TP6) Estrategia de Prueba Registrar el Plan de Pruebas (TP7) Consenso del plan de pruebas (TP8) Calendario y Perfil del Personal Plan de Pruebas Comunicar Plan de Pruebas (TP9) Borrador Plan de Pruebas Aprobación Plan de Pruebas AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

21 ISO/IEC/IEEE 29119 – Pruebas de software
P2 Procesos de Gestión Seguimiento y Control Informe del estado de las pruebas Reporte (TMC4) Control [Pruebas Incompletas] Progreso Plan Preparación (TMC1) Métricas Monitorización (TMC2) Control (TMC3) Progreso [Pruebas Completas] Directrices de Control Métricas Procesos de Pruebas Dinámicas …Procesos de Pruebas… <<Instanciado>> <<Instanciado>> Procesos de Gestión de Pruebas AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

22 ISO/IEC/IEEE 29119 – Pruebas de software
P2 Procesos de Gestión Archivar Activos (TC1) Limpiar Entorno (TC2) Entorno disponible Lecciones Aprendidas (TC3) Lecciones Aprendidas Finalización Informar Finalización (TC4) Informe Finalización AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

23 P2 Procesos de Pruebas Dinámicas
Procesos de Gestión de pruebas Plan de Pruebas Métricas Directrices de Control Procesos de Pruebas Dinámicas Diseño e implementación de pruebas Especificación de pruebas Ejecución de pruebas Resultados de pruebas [Sin incidencias] [Incidencia detectada O Repetir prueba] Requisitos del entorno de pruebas Informe de incidencia Preparación y mantenimiento del entorno de pruebas Informe de incidencias en pruebas Informe de entorno de pruebas disponible AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

24 P2 Procesos de Pruebas Dinámicas
Identificar juegos de características (TD1) Juegos de características Diseño e Implementación Derivar condiciones de prueba (TD2) Condiciones de prueba (test conditions) Elementos de cobertura de prueba (test coverage ítems) Derivar elementos de cobertura de prueba (TD3) Trazabilidad Derivar casos de prueba (TD4) Casos de prueba Ensamblar conjuntos de pruebas (TD5) Conjuntos de pruebas Procedimientos y scripts de prueba Base de pruebas (Test basis) Derivar procedimientos de prueba (TD6) AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

25 P2 Procesos de Pruebas Dinámicas
Identificar juegos de características (TD1) Juegos de características Diseño e Implementación Derivar condiciones de prueba (TD2) Condiciones de prueba (test conditions) Elementos de cobertura de prueba (test coverage ítems) Derivar elementos de cobertura de prueba (TD3) Derivar casos de prueba (TD4) Casos de prueba Trazabilidad Ensamblar conjuntos de pruebas (TD5) Conjuntos de pruebas Procedimientos y scripts de prueba Base de pruebas (Test basis) Derivar procedimientos de prueba (TD6) AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

26 ISO/IEC/IEEE 29119 – Pruebas de software
Parte 3 – Documentación Define plantillas que pueden ser utilizadas para generar documentación (information items) producto de los procesos de la parte 2 Diferentes formas: registro electrónico, dividido, combinado Conformidad adaptada: según procesos de P2 o según necesidades de proyecto/organización. Ejemplos (Anexos C a S). Versiones diferentes para proyectos ágiles y tradicionales, p.e. Políticas y estrategias de la organización Plan de pruebas e informes de estado Especificaciones de pruebas, entorno y datos Mapeo a otros estándares (Anexo T): IEEE 829:2008, BS ISO/IEC 15289, ISO/IEC 25051:2006 AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

27 Parte 4 –Técnicas para el diseño de las pruebas
Conformidad Total: Subconjunto elegido de técnicas Adaptada: Subconjunto de requisitos. Nuevas Técnicas Técnicas para el diseño de las pruebas Basadas en las especificaciones Basadas en la estructura Basada en la experiencia Medidas de cobertura Anexos Anexo A. Características de calidad Anexo B, C y D. Guías y ejemplos de aplicación de las diferentes técnicas de diseño Anexo E. Efectividad en el cálculo de la cobertura AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

28 P4 Clasificación de las técnicas de diseño de las pruebas
Particiones de clases de equivalencia Método de árboles de clasificaciones Análisis de valores límite Pruebas de sintaxis All Combinations Testing / todas las combinaciones Pair-wise testing / todas las parejas Base choice testing / selección de la base más probable Each choice testing / selección de cada opción Pruebas combinatorias Tablas de decisiones Análisis de causas y efectos Pruebas de transiciones de estados Pruebas de casos de uso Pruebas de escenarios Basadas en las especificaciones AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

29 P4 Clasificación de las técnicas de diseño de las pruebas
Basadas en la experiencia: Error guessing AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

30 P4 Medición de la cobertura alcanzada
𝐶𝑜𝑏𝑒𝑟𝑡𝑢𝑟𝑎 = 𝑁 𝑇 ∗100 % Cobertura: cobertura alcanzada por una técnica de diseño N: número de elementos de cobertura incluidos en casos de prueba ejecutados T: número de elementos de cobertura identificados AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

31 Business Plan Actividades a corto plazo (5 años)
Trabajo técnico (estándares, tech. reports) Integración con otros estándares/frameworks de la industria, y grupos del JTC1 (liaisons) Mejora del proceso interno, surveys, nuevos miembros… potential areas where standards or technical reports could be developed Test Processes Maturity Levels Model-based testing 29119 for outsourcing/offshoring 29119 for mobile testing 29119 in different industry sectors 29119 and RBT 29119 Test Metrics Selecting Test Techniques Product Line Engineering applied to testing 29119 for agile How to tailor the standards Test Reporting Tester Skills and Capabilities Automation Exploratory Testing High Volume Automated Testing 29119 relationship with safety-related Data-centric testing Test data sanitization Non-functional testing 29119 in the cloud AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

32 ISO/IEC/IEEE 29119 – Pruebas de software
Estado actual (Abril 2015) Estándares internacionales publicados (Agosto 2013) , 2, 3: Conceptos, Procesos, Documentación Próxima aprobación Técnicas de prueba (FDIS finalizado Nov 2014) 33063 Modelo de evaluación de proceso para procesos de pruebas de software (FDIS Febrero 2015) 33000 renombra serie (análogo a CMMI) 33063 Usa como modelo de procesos de referencia En progreso Keyword-driven Testing (DIS2 Marzo 2015) 20246 Work Product Reviews (WD2 Marzo 2015) Otros (MBT, Agile, Mobile) AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

33 ISO/IEC/IEEE 29119 – Pruebas de software
Conclusión El estándar internacional ISO/IEC proporciona las directrices para las pruebas cubriendo todos los aspectos del ciclo de vida: Composición consistente de definiciones, procesos, procedimientos y técnicas para las pruebas de software Soluciona dispersión existente actualmente Cubre huecos no cubiertos por estándares existentes Adoptado por los comités de normalización nacionales, IEEE y BSI Actualmente representado por 26 naciones, revisado por profesionales de las pruebas de software en todo el mundo El siguiente paso en la profesionalización de esta industria. Más información: Grupo de trabajo GT26: Países (pagina del WG26 4/4/2014) Argentina Australia Brasil Canada China Colombia Denmark Finland France Germany Hong Kong India Japan Korea Luxembourg Malaysia Netherlands New Zealand Poland South Africa South Korea Spain The Netherlands Turkey UK USA AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

34 ISO/IEC/IEEE 29119 – Pruebas de software
Milestones August 2008 – First Working draft P2,3 May 2009-Hyderabad – Redefined September 2009 – Redefined Process Model Nov 2009-Lima, May 2010-Niigata - Reviews May 2010-Niigata – NWI Software Testing Process Assesment June 2010 – Released WD/CD P1,2,3 November 2010-Washington, May 2011-Paris Review July 2011 – Released new CDs P1,2,3,4 May 2012 – DIS P2,3, new CDs P1,4 Feb 2013 – DIS P1,2,3, new CD P4 June 2013 – FDIS P1,2,3, Approved August 2013 Nov 2013 – DIS1 P4 March 2014 – DIS2 P4 AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

35 Parte 1 – Conceptos y definiciones Las pruebas de software en las organizaciones
guiadas por 1 1..* restringe y define incluye elabora 1..* 1 1..* +referencias 1..* En base a Reglas y marcos de referencia Organización Política de prueba de la Organización Estrategia de pruebas de la Organización ISO 25000 ISO/IEC 29119 Plan de proyecto Plan de pruebas Subproceso Plan de prueba Estrategia … Características de calidad 0..* Tipo de prueba Nivel/Fase de prueba Subproceso de Prueba Técnicas de prueba Criterio de completitud Práctica de prueba Nivel de automatización guía AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

36 Parte 1 – Conceptos y Definiciones Las pruebas de software en las organizaciones
guiadas por 1 1..* restringe y define incluye elabora 1..* 1 1..* +referencias 1..* En base a Reglas y marcos de referencia Organización Política de prueba de la Organización Estrategia de pruebas de la Organización ISO 25000 ISO/IEC 29119 Plan de proyecto Plan de pruebas Subproceso Plan de prueba Estrategia … Características de calidad 0..* Tipo de prueba Nivel/Fase de prueba Subproceso de Prueba Técnicas de prueba Criterio de completitud Práctica de prueba Nivel de automatización Pruebas guiadas por 1 restringe y define 1..* incluye elabora 1..* 1 1..* En base a Organización Política de prueba de la Organización Estrategia de pruebas de la Organización Plan de proyecto Plan de pruebas Subproceso Plan de prueba Estrategia Subproceso de Prueba Técnicas de prueba Criterio de completitud Práctica de prueba Nivel de automatización guía guía AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

37 P1 Características de calidad
AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

38 P1 Pruebas de características de calidad
Pruebas funcionales Pruebas de accesibilidad Pruebas de compatibilidad Pruebas de conversiones Pruebas de recuperación de desastres Pruebas de backup y recuperación Pruebas de instalación Pruebas de interoperabilidad Pruebas de mantenibilidad Pruebas de rendimiento Pruebas de portabilidad Pruebas de procedimientos Pruebas de fiabilidad Pruebas de seguridad Pruebas de estabilidad Pruebas de usabilidad AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

39 P2 Procesos de pruebas de la organización
Puntos de vista de principales interesados Prácticas de pruebas actuales Misión de la organización Política de las TT.II. Política de gestión de proyectos de TT.II. Política de calidad Política de pruebas de la organización Estrategia de pruebas de la organización Retroalimentación a la especificación de pruebas Plantillas de planes de prueba Estándares y normativas Desarrollar la especificación de los procesos de prueba de la organización Monitorizar y controlar el uso de la especificación de los procesos de prueba de la organización Actualizar la especificación de los procesos de prueba de la organización AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

40 ISO/IEC/IEEE 29119 – Pruebas de software
P2 Procesos de Gestión ISO/IEC contempla tres procesos de gestión de pruebas: Planificación de pruebas Desarrollo del plan de pruebas Seguimiento y Control El proceso de pruebas sigue el plan y las Políticas y Estrategias de la Organización Finalización Preparación para re-uso, comunicación de resultados y lecciones aprendidas AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

41 P2 Procesos de Pruebas Dinámicas
Abarca desde el diseño de pruebas hasta el reporte de los incidentes encontrados. El diseño de pruebas es desarrollado de forma muy extensa en la parte 4 “Técnicas”. Entorno de pruebas: Preparación y mantenimiento Entorno y datos de prueba Gestión de su estado y disponibilidad Énfasis en registro de la ejecución, análisis de resultados y comunicación de incidencias. AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software

42 P4 Clasificación de las técnicas de diseño de las pruebas
presentadas en ISO/IEC Basadas en las especificaciones Basadas en la estructura Basadas en la experiencia AEN/CTN 71/SC7/GT26 - AENOR ISO/IEC/IEEE – Pruebas de software