PONENTE: GLORIA ESTUPIÑÁN ENERO 2017 VALIDACION Y ESTIMACIÓN DE LA INCERTIDUMBRE EN EL MARCO DE LA NORMA ISO/IEC 17025 PONENTE: GLORIA ESTUPIÑÁN ENERO 2017

TEMARIO TEMA 1 Conceptos, Planificación y Parámetros. Conceptos. Tipos: Objetivos de la validación, parámetro y procedimiento. Definición del ensayo. Verificación de equipos. Verificación de materiales y reactivos. Ensayos para el estudio. Definición de criterios de aceptación: Veracidad, precisión (Repetibilidad, Reproducibilidad), Selectividad, Especificidad, Linealidad. Límite de detección, Límite de Cuantificación, Robustez. Incertidumbre.

TEMARIO TEMA 2 Ejecución de validación. Herramientas estadísticas básicas: promedio, mediana y moda. Medidas de variabilidad o dispersión. varianza y desviación estándar. Análisis de la varianza. ANOVA con un factor. Estimación de parámetros y determinación de los intervalos de confianza del modelo de regresión. Metodologías estadísticas para la verificación de los parámetros de validación. Plan de validación de ensayos. Ejemplos de validación: gravimétrico, volumétrico e instrumental.

CONCEPTOS FUNDAMENTALES La validación es objeto de atención por ser requerida en normas como la ISO 17025 sobre requisitos generales para laboratorios de calibración y ensayo. La validación de métodos, es frecuentemente materia de controversia , aun cuando para mediciones analíticas, se define la validación de métodos como el proceso de establecer las características de desempeño Como alternativa, se establece que la validación de métodos es el proceso de verificar que un método es apropiado para un propósito dado, es decir, para usarse en la solución de un problema analítico particular.

CONCEPTOS FUNDAMENTALES La versión según la norma ISO 9000:2005 [3] establece que la validación es la confirmación y provisión de evidencia objetiva de que se cumplen los requisitos para un uso o aplicación prevista En ISO 17025 la validación se define como la confirmación por examen y la provisión de evidencia objetiva de que se cumplen los requisitos particulares para un uso específico propuesto.

EN QUE CASOS SE REQUIERE VALIDAR ? En el caso de : Métodos No- normalizados Métodos Desarrollados por el propio laboratorio Métodos Normalizados usados fuera de su alcance Métodos Normalizados modificados

EN QUE CASOS SE REQUIERE VALIDAR ? También debe validarse cuando es necesario demostrar la equivalencia de los resultados obtenidos por dos métodos, por ejemplo, un método recientemente desarrollado y un método normalizados existente.

TIPOS DE VALIDACION Prospectiva : Proceso de validación para metodologías nuevas Retrospectiva : Para métodos utilizados a diario no validados anteriormente y de los cuales se dispone de suficiente documentación para probar los atributos del método.

CASOS PARA TRATAR EN GRUPO REVALIDACIÓN CASOS PARA TRATAR EN GRUPO Repetición total o parcial de una validación, por la introducción de algún cambio que se espera afecte a un método ya validado.

DOCUMENTACIÓN DE LA VALIDACIÓN Fuentes de referencia del método. Informe de la validación del método Redacción del método validado Registros que sustentan los resultados de la validación

OBJETIVOS DE LA VALIDACION Permite obtener resultados trazables con un nivel apropiado de incertidumbre; para la toma de decisiones de diferente índole: Financieras, regulatorias, relacionadas con el desarrollo y fabricación de productos, así como con la prestación de servicios y otras actividades de importancia en las economías nacionales, regionales e internacionales. Utilizar métodos de ensayo adecuadamente validados y documentados, para un uso previsto

CRITERIOS PARA LA SELECCIÓN DE PARAMETROS DE DESEMPEÑO DEL METODO Realización del estudio para la determinación de parámetros de desempeño Equipos dentro de las especificaciones Equipos debidamente calibrados Analistas competentes (experiencia y conocimiento y aptitudes) Toma de decisiones apropiadas durante el avance del estudio

PARAMETROS DE DESEMPEÑO DEL METODO Selectividad Especificidad Precisión Veracidad Incertidumbre Limite de Detección Límite de Cuantificación Intervalo de trabajo e intervalo lineal Robustez Recuperación

NECESIDAD ANALITICA VERSUS CARACTERISTICAS DE DESEMPEÑO NECESIDAD ANALÍTICA CARACTERÍSTICA DE DESEMPEÑO RELACIONADA ¿Cuáles son las interferencias probables con los analitos? Selectividad / Especificidad ¿los resultados necesitan compararse con los de oros laboratorios? Robustez Precisión de reproducibilidad ¿los resultados necesitan compararse con especificaciones externas? Exactitud Precisión de reproducibilidad

PROCEDIMIENTO DE VALIDACION Secuencia lógica de actividades antes, durante y después de la validación ¿Que incluye el procedimiento?: Objeto y campo de Aplicación Términos y definiciones Desarrollo de las actividades Verificación de los recursos para la Validación: Equipos, Materiales Reactivos Elaboración del Plan de Validación TALLER 1

PROCEDIMIENTO DE VALIDACION Aprobación del Plan de Validación Ejecución del Método Evaluación de los Resultados Pruebas Estadísticas preliminares aplicadas a los resultados: Evaluación de la normalidad de los datos Prueba de Anderson Darling, Prueba de Grubbs( Para Datos atípicos) Uso de Herramientas de Tendencia central (Para evaluación de Diferencias significativas) Desarrollo de los Parámetros de Validación/ Criterios de Aceptación Uso de Materiales de Referencia Informe de Validación Comunicación de Resultados

ENSAYO Una operación técnica que consiste en la determinación de una o varias características o el rendimiento de un producto, material, equipo, organismo, fenómeno físico, proceso o servicio dados de acuerdo con un procedimiento especificado

VERIFICACION DE EQUIPOS Criterios Especificaciones técnicas Equipos calibrados

DEFINICION DE CRITERIOS DE ACEPTACION Los criterios de aceptación para los parámetros de validación se basan en los resultados obtenidos, los cuales se comparan con el dato teórico en los datos teóricos.

MÉTODOS DE ENSAYO Y CALIBRACIÓN Y VALIDACIÓN DE MÉTODOS Métodos desarrollados por el laboratorio. Planificación de actividades para la introducción de métodos desarrollados por el laboratorio. Actualización de los planes a lo largo del desarrollo. Métodos no normalizados. Cuando sea necesario emplear métodos no cubiertos por métodos normalizados, estos deben estar sujetos a acuerdo con el cliente. El método debe haberse validado antes de su utilización

MÉTODOS DE ENSAYO Y CALIBRACIÓN Y VALIDACIÓN DE MÉTODOS Acerca de la definición de la validación. Acerca de la validación de métodos: no normalizados, métodos diseñados por el laboratorio, los métodos normalizados fuera del alcance previsto y ampliaciones y modificaciones de métodos.

TEMA 2

EJECUCIÓN DE LA VALIDACIÓN Elaboración de un Plan de Validación TALLER

EJECUCION DE LA VALIDACIÓN ELABORACIÓN DEL PLAN DE EVALUACION Debe contener como mínimo lo siguiente: OBJETIVO ALCANCE CONSIDERACIONES GENERALES Método usado Documentos de Referencia Principio del método Flujograma del método Equipos, materiales y reactivos Selección del Equipo de Trabajo

HERRAMIENTAS ESTADISTICAS BASICAS PROMEDIO Es una medida de tendencia central :  es el valor obtenido al sumar todos los datos y dividir el resultado entre el número total de datos.

HERRAMIENTAS ESTADISTICAS BASICAS MEDIANA: Es el  valor que se encuentra en el lugar central de todos los datos de un estudio cuando éstos están ordenados de menor a mayor. El símbolo de la mediana se representa por Me. La mediana es por tanto el número central de un grupo de números ordenados por su tamaño.

HERRAMIENTAS ESTADISTICAS BASICAS MODA: Es una medida de tendencia central que indica el valor que más se repite en un grupo de números. La moda es el valor que tiene mayor frecuencia absoluta. Se puede hallar la moda para variables cualitativas y cuantitativas. Si en un grupo hay dos o varias puntuaciones con la misma frecuencia y esa frecuencia es la máxima, la distribución es bimodal o multimodal, es decir, tiene varias modas.

MEDIDAS DE DISPERSION

ANALISIS DE VARIANZA ANÁLISIS DE VARIANZA El análisis de varianza, también conocido como ANOVA, es el análisis estadístico en el cual se compara mas de dos medias entre si Si F calc > F crit . …..hay diferencias significativas entre los grupos de datos

PRUEBAS DE SIGNIFICANCIA

ESTADISTICA BASICA Prueba t-Student s. Esta prueba permite comparar las medias de dos grupo de datos y determinar si entre estos parámetros las diferencias son estadísticamente significativas. En la prueba t , se procede a determinar el valor t de student calculado, obtenido de la experiencia analítica, y este valor posteriormente se compara con el llamado valor critico, este valor critico se obtiene de la tabla de t-student para un determinado porcentaje de confiabilidad (normalmente se utiliza el 95% de confianza, es decir, un valor a de 0,05). Si no existen diferencias significativas entre 2 grupos, el t calculado o experimental debería ser inferior al t critico (o conocido también como t de tabla) t-calculado ≤ t-critico …. No existen diferencias entre las medias de los dos grupos de datos

ESTIMACION DE LOS PARÁMETROS Características de desempeño Selectividad Límite de detección (LOD) y límite de cuantificación (LOQ) Intervalo de trabajo Sensibilidad analítica Veracidad: Sesgo, Recuperación Precisión : Repetibilidad: Precisión intermedia y Reproducibilidad Incertidumbre de medida Robustez En sentido estricto, la incertidumbre de medida no es una característica del desempeño de un procedimiento de medida particular pero sí de los resultados obtenidos al usar dicho procedimiento.

DETERMINACIÓN DE LOS INTERVALOS DE CONFIANZA DEL MODELO DE REGRESION Consiste en el estudio de la relación entre dos variables Cuantitativas. Considerar: Investigar si existe una asociación entre las dos variables testeando la hipótesis de independencia estadística. Considerar la medida de asociación denominada coeficiente de correlación. Estudiar la forma de la relación. Usando los datos proponer un modelo para la relación y a partir de ella será posible predecir el valor de una variable a partir de la otra.

PLAN DE VALIDACION PROTOCOLO DE VALIDACIÓN   Cada método analítico a validar contará con un Protocolo de validación. Los Protocolos de validación contarán al menos con la siguiente información: Identificación del Laboratorio y/o institución a la que pertenece el mismo. Título del estudio de validación. Niveles de aprobación del Protocolo. Responsabilidades. Objetivo y Alcance de la validación. En caso de que se trate de una revalidación, deberá indicarse la causa de la misma. Categoría a la que pertenece el método y clasificación según sus características.

PLAN DE VALIDACION Relación de materiales, reactivos, patrones, equipos y documentos involucrados en el estudio. Muestras y procedimiento de muestreo a utilizar.   Fundamento teórico del método y la referencia del mismo. Relación de los parámetros a evaluar durante la validación. Diseño experimental y criterios de aceptación por parámetro. Análisis estadístico a ser utilizado para el procesamiento de los resultados. Planillas, registros o certificados de validación de los resultados obtenidos, cálculos y procesamiento estadístico, desviaciones, entre otros

CASOS DE EJEMPLOS DE VALIDACION METODOS GRAVIMETRICOS METODOS VOLUMETRICOS METODOS INSTRUMENTALES

SELECCIÓN DE PARÁMETROS SEGÚN DISCIPLINA DE ENSAYO PARÁMETRO DE DESEMPEÑO DEL MÉTODO ENSAYOS VOLUMÉTRICOS Y GRAVIMÉTRICOS ENSAYOS INSTRUMENTALES Veracidad X Precisión Selectividad Rango Linealidad NO APLICA Límite de detección Límite de cuantificación Incertidumbre Sensibilidad Robustez

VERACIDAD Proximidad de concordancia entre el valor promedio obtenido de una serie grande de resultados de prueba y un valor de referencia aceptado.

VERACIDAD ORIENTACIONES PARA SU ESTIMACION Analizar un MR Adicionar el analito a la muestra y luego determinar el %Recuperación del analito. Criterio de aceptación: 99.00% ≤ %Recuperación ≤ 110.00%, siendo: %Recuperación = 100x(C1-C2)/C3 C1: concentración del analito en la muestra enriquecida C2: concentración medida del analito en la muestra sin adición C3: concentración de analito adicionado a la muestra enriquecida Otras formas de realizar la prueba son: Comparando los resultados obtenidos con el método que se está validando, con los resultados obtenidos con un método alternativo aceptable y luego se aplica la prueba “tstudent”. Participando en programas de ensayos de aptitud.

PRECISION Proximidad de concordancia entre los resultados de pruebas independientes obtenidos bajo condiciones estipuladas.

PRECISION ORIENTACIONES PARA SU ESTIMACIÓN Analizar un MR o blanco de muestra fortificada a varias concentraciones en el intervalo de trabajo. Criterio de aceptación: RSD ≤ RSD*, siendo: RSD: desviación estándar relativa =100xS/X RSD*: precisión de referencias bibliográficas S: desviación estándar X: promedio de las mediciones.

SELECTIVIDAD La medida hasta la cual otras sustancias interfieren en la determinación de una sustancia de acuerdo a un procedimiento dado.

SELECTIVIDAD ORIENTACIONES PARA SU ESTIMACION Una prueba de Selectividad comúnmente utilizada, consiste en analizar un mínimo de: Tres testigos reactivos, Tres blancos de matriz y Tres muestras o estándares de concentración conocida del analito de interés. Se deben comparar las lecturas (señales de medición) obtenidas para cada caso, y observar si existen variaciones entre los testigos reactivos, blancos de matrices y estándares o muestras con analito. Si se encuentran diferencias significativas deberán ser identificadas y en lo posible eliminadas.

RANGO Es el intervalo entre la más alta y más baja concentración del analito en la muestra, para la cual se ha demostrado que el método analítico tiene un nivel apropiado de precisión, veracidad y linealidad.

RANGO ORIENTACIONES PARA SU ESTIMACION Que hacer N° DE VECES Cálculos Chequear la linealidad de los métodos Instrumentales en diferentes concentraciones. 10 Se analiza la respuesta del equipo a diferentes concentraciones . En el caso de métodos o de equipos donde se indica la linealidad se tomará esa información como referencia.

RANGO Se analiza la respuesta del equipo a diferentes concentraciones. En el caso de métodos o de equipos donde se indica la linealidad se tomará esa información como referencia. El rango del método es validado verificando que el método analítico proporciona precisión y exactitud aceptable cuando se aplica a concentraciones de analito en los extremos del rango así como dentro del rango

LINEALIDAD La habilidad del método para obtener resultados de la prueba proporcionales a la concentración del analito.

LINEALIDAD ORIENTACIONES PARA SU ESTIMACION: Se analiza la respuesta del equipo a diferentes concentraciones. Se analiza el conjunto de datos usando mínimos cuadrados o minita Criterio de aceptación: coeficiente de correlación ≤ 1

LIMITE DE DETECCION El menor contenido que puede medirse con una certeza estadística razonable. La menor concentración del analito en una muestra que puede detectarse, pero no necesariamente cuantificarse bajo las condiciones establecidas de la prueba

LIMITE DE DETECCION Que hacer N° DE VECES Cálculos Por comparación del comportamiento de un blanco y blancos enriquecidos con concentraciones bajas del analito, estableciéndose el mínimo nivel al cual el analito puede ser detectado 10 Se calcula mediante la desviación estándar “s” de los resultados de análisis de las 10 muestras independientes

LIMITE DE DETECCION

LIMITE DE CUANTIFICACION La concentración mínima que puede determinarse con un nivel aceptable de exactitud y precisión.

LIMITE DE CUANTIFICACION ORIENTACIONES PARA SU ESTIMACIÓN Fortificar alícuotas de un blanco de muestra a varias concentraciones del analito cercanas al LoD Expresar LoQ como la concentración mínima del analito que puede ser determinada con un nivel aceptable de incertidumbre

LIMITE DE CUANTIFICACION (LoQ) RECOMENDACIONES PARA SU ESTIMACION Que hacer N° DE VECES Cálculos Por comparación del comportamiento de un blanco y blancos enriquecidos con concentraciones bajas del analito, estableciéndose el mínimo nivel al cual el analito puede ser detectado 10 Se calcula mediante la desviación estándar “s” de los resultados de análisis de las 10 muestras independientes

HERRAMIENTAS ESTADÍSTICAS USADAS PARA LA EVALUACIÓN DE DATOS ESTADISTICO   CRITERIO DE DECISION Prueba de Normalidad de Anderson Darling hipótesis Nula: H0 Hipótesis Alterna Ha p value > 0.05 se acepta la hipótesis nula Escrutinio de datos (valores atípicos) z score < 2 Prueba de Dixon (valores atípicos) Hipótesis nula Q = 0 Hipótesis alterna Q ≠ 0 Si el Q experimental es menor que el Q de tablas no se considera un valor atípico Igualdad de tendencia central: T de Student de 2 grupos (siempre que tengan distribución normal) Igualdad de Medianas para 2 grupos : Prueba de Mann Withney: ( cuando solo 1 de los grupos no tiene distribución normal Med A = Med B : se acepta la hipótesis Nula Med A ≠ Med B : se acepta la hipótesis alterna

Igualdad de Medianas para 2 grupos : Prueba de Mann Withney: ( cuando solo 1 de los grupos no tiene distribución normal Med A = Med B : se acepta la hipótesis Nula Med A ≠ Med B : se acepta la hipótesis alterna Igualdad de Varianzas: Para tres grupos a mas: Prueba de Barlett, siempre que lo valores tengan distribución normal hipótesis Nula: H0 Hipótesis Alterna Ha p value > 0.05 se acepta la hipótesis Nula: H0 Las varianzas de los grupos son iguales   Anova de 1 factor ( para igualdad de varianzas tres grupo ) p value > 0.05 se acepta la hipótesis Nula: H0 . los promedios son iguales Igualdad de varianzas para 2 grupos Si tiene distribución normal se aplica la prueba F Si no tiene distribución normal se aplica la prueba de Levenne para igualdad de varianzas

Prueba de Kruskal Wallis ( para igualdad de Medianas) hipótesis Nula: H0 Hipótesis Alterna Ha p value > 0.05 se acepta la hipótesis Nula: H0 : las medianas de los grupos son iguales, por lo tanto los grupos son iguales)