Bqca. QM Alicia I. Cuesta, Consultora Internacional de la FAO Aseguramiento de calidad ENSAYOS INTRALABORATORIOS ENSAYOS INTERLABORATORIOS Norma ISO 17025 Bqca. QM Alicia I. Cuesta, Consultora Internacional de la FAO

Objetivos de la clase ENSAYOS INTRALABORATORIOS Ensayos microbiológicos cualitativos y cuantitativos. Evaluación e interpretación de los resultados. Utilidad de los resultados del Ensayo Intralaboratorio. ENSAYOS INTERLABORATORIOS: Utilidad de los resultados del Ensayo Interlaboratorio. Proveedores de Ensayos Interlaboratorios. Gráficos de control.

El ASEGURAMIENTO DE LA CALIDAD: Es un programa de actividades llevadas a cabo por el laboratorio con la finalidad de verificar que los resultados obtenidos tienen una precisión y exactitud aceptable y mejorar en conjunto el funcionamiento del mismo. Estos programas son planificados y revisados periódicamente.

Exactitud Reproducibilidad Error sistemático Outlier Estadística Introducción Interpretación Exactitud Reproducibilidad Error sistemático Outlier Estadística Evaluación Veracidad ISO 5725 Criterio Dato Precisión Repetibilidad Les presento algunos términos que nos resultarán familiares al finalizar este taller.

ASEGURAMIENTO DE LA CALIDAD DE LOS RESULTADOS Dicho programa debe abarcar todos los ensayos incluidos en el alcance de acreditación del laboratorio. La frecuencia de realización de cada uno de estos Programas queda establecida por el laboratorio. El laboratorio debe tener procedimientos de control de calidad para monitorear la validez de los ensayos llevados a cabo.

ASEGURAMIENTO DE LA CALIDAD DE LOS RESULTADOS CONTROLES DE CALIDAD: Son las actividades que se deben realizar para todos los ensayos acreditados. Comprenden: Control de calidad interno: Un programa de controles periódicos es necesario para demostrar que se controla la variabilidad (por ejemplo, entre analistas y entre equipos o materiales, etc.). Uso de cepas de referencia. Participación en Ensayos Intralaboratorio. 2. Control de calidad externo: Participación en Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) Cuando el laboratorio participa de ENSAYOS INTERLABORATORIOS es conveniente que todos los analistas realicen el ensayo, aún si se informará un resultado. Esto permitirá el análisis de los datos entre analistas.

Control de calidad interno: El control de calidad interno consiste en todos los procedimientos realizados por un laboratorio para la evaluación continua de su trabajo. El principal objetivo es asegurar la coherencia de los resultados obtenidos diariamente y el cumplimiento de los criterios establecidos.

Uso de cepas de referencia Empleo de cepas de referencia durante la realización del ensayo como : Control positivo, negativo. Muestras inoculadas para control. Control de productividad y selectividad de los medios de cultivos usados. El uso de materiales de referencia (incluidos los materiales utilizados en Ensayos de aptitud)

ENSAYOS INTRALABORATORIO: Son las verificaciones de calidad para evaluar el desempeño de los analistas del laboratorio en un ensayo. MÉTODOS CUANTITATIVOS: Se comparan los resultados obtenidos : Por cada analista perteneciente al laboratorio que realiza por duplicado el análisis de la muestra. (repetibilidad de cada analista). Entre analistas del mismo laboratorio para un ensayo (reproducibilidad entre analistas)

Definiciones: Ensayos Cuantitativos Es un método de análisis cuyo respuesta es el recuento del analito medido en forma directa (la enumeración por masa o volumen), o indirectamente (el absorbancia del color, la impedancia, etc.) en una cierta cantidad de muestra. (prEN ISO 16140:1999)

ENSAYOS INTRALABORATORIO: MÉTODOS CUALITATIVOS: Se comparan los resultados obtenidos : Entre analistas del mismo laboratorio para un ensayo: Recuperación de un microorganismo a partir de un material de referencia.

Definiciones: Ensayos Cualitativos Es un método de análisis cuyo respuesta es la presencia o ausencia del analito detectado directamente o indirectamente en una cierta cantidad de muestra. ( prEN ISO 16140:1999)

Participación en Ensayos Intralaboratorio: El laboratorio, en forma periódica, planifica, realiza, evalúa y verifica que estén bajo control los resultados de los ensayos: Cualitativos: verificando que los resultados entre analistas sean concordantes y conformes. Cuantitativos: determinando los parámetros de precisión. Determina la Repetibilidad : El análisis por duplicado de una misma muestra por los distintos analistas (autorizados o en vías de autorización) que realizan el ensayo. Determina la Reproducibilidad :Los recuentos cruzados entre analistas o con métodos diferentes, etc.

Definición: Repetibilidad (r). Grado de concordancia entre los resultados de sucesivas mediciones del mismo mesurando realizadas en las mismas condiciones de medición. Las mismas condiciones significa resultados obtenidos : Con el mismo método de ensayo. Sobre el mismo material de ensayo. Bajo las mismas condiciones (mismo operador, mismos equipos, mismo laboratorio y un corto intervalo de tiempo).

Definición: Reproducibilidad (R). Grado de concordancia entre los resultados de sucesivas mediciones del mismo mesurando realizadas en diferentes condiciones de medición. El ensayo se realiza sobre el mismo material de ensayo pero en diferentes condiciones. Esto es: Resultados obtenidos con diferentes métodos de ensayo o equipos (REPRODUCIBILIDAD ENTRE MÉTODOS) Resultados obtenidos con diferentes operadores o analistas (REPRODUCIBILIDAD ENTRE ANALISTAS) Resultados obtenidos por diferentes laboratorios (REPRODUCIBILIDAD ENTRE LABORATORIOS) Resultados obtenidos en diferente tiempo.

ENSAYOS INTRALABORATORIOS Resultado 1 Resultado 2 Comparo el Resultado 1 y Resultado 2.

El valor límite máximo de r y R para un ensayo, para una matriz se pueden obtener a partir de: Estudios de validación o análisis de los resultados obtenidos en interlaboratorios, Norma o de la bibliografía.

ENSAYOS CUANTITATIVOS: Determino la repetibilidad de cada analista y la repetibilidad del laboratorio. El análisis por duplicado de una misma muestra por los distintos analistas que realizan el ensayo. Ejemplo: El analista A ensayó, con la metodología Z, una muestra de un alimento por duplicado. Los resultados obtenidos fueron: x1= 2.0x103 ufc/g y x2=1.5x103 ufc/g. Los resultados se pasan a logaritmo en base 10: log 10 x1 =3.30 log ufc/g y log 10x2=3.18 log ufc/g

Ensayos Cuantitativos (cont): Ejemplo: El valor de repetibilidad (r) obtenido por el analista A será: Lo cual quiere decir: La repetibilidad del analista A es conforme. r = │ log 10 x1 - log 10x2│ r =0.12 log ufc/g El valor límite máximo de repetibilidad para la metodología Z es r =0.18 log ufc/g

Registro de los datos obtenidos:

Determinación de la reproducibilidad: Los recuentos cruzados entre analistas o con métodos diferentes, etc. Ejemplo: El analista B y C ensayaron, con la metodología Y, una muestra de un alimento. Los resultados obtenidos fueron: xB= 2.4x102 NMP/g y xC= 1.1x103 NMP/g. Los resultados se pasan a logaritmo en base 10: log 10 xB =2.38 log NMP/g y log 10 xC =3.04 log NMP/g

Determinación de la reproducibilidad (cont.): El valor de reproducibilidad (R) obtenido entre el analista B y C será: En este caso el responsable asignado deberá abrir una NO CONFORMIDAD y se determinarán sus correspondientes acciones correctivas. R = │ log 10 xB - log 10 xC │ R =0.66 log NMP/g El valor límite máximo de reproducibilidad para la metodología Y es R =0.50 log NMP/g

Registro de los datos obtenidos:

Síntesis Parcial Control de calidad interno: consiste en todos los procedimientos realizados por un laboratorio para la evaluación continua de su trabajo. El principal objetivo es asegurar la coherencia de los resultados obtenidos diariamente y el cumplimiento de los criterios establecidos. Para los ensayos Cualitativos se verifica que los resultados entre analistas sean concordantes y conformes. Y para los Cuantitativos determina la Repetibilidad y la Reproducibilidad entre analistas. Empleo de cepas de referencia durante la realización del ensayo.

ASEGURAMIENTO DE LA CALIDAD DE LOS RESULTADOS LOS CONTROLES DE CALIDAD INTERNOS NO SON SUFICIENTES. No puedo determinar mediante ellos el Valor verdadero!! Realizo un Control de calidad externo.

Definiciones: Valor verdadero : valor en consistencia con la definición de una magnitud (concepto abstracto, no realizable). Valor asignado o valor de referencia: es el valor convencionalmente verdadero. Exactitud de una medición: Proximidad entre el resultado de una medición y el valor verdadero del mensurando.

Exactitud de una medición: Cálculo del valor de referencia o valor asignado: Uso un material de referencia certificado. Casi nunca son estos los casos en ensayos microbiológicos. Se considera que el valor medio obtenido por el conjunto de laboratorios luego de eliminar los outliers en el propio ejercicio puede utilizarse como valor de referencia o valor verdadero.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : Los programas de ensayos de aptitud organizados externamente por un proveedor de ensayos interlaboratorio CONSTITUYEN UN MEDIO INDEPENDIENTE por el cual un laboratorio se puede EVALUAR OBJETIVAMENTE y demostrar la veracidad y precisión de los resultados obtenidos por sus métodos analíticos.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : Constituye una herramienta para la evaluación externa de la calidad de los resultados de ensayo o desempeño del laboratorio. La participación en estos ensayos PERMITE AL LABORATORIO COMPARAR SUS RESULTADOS FRENTE A LOS DE OTROS LABORATORIOS. Es importante evaluar los resultados obtenidos en los ensayos de aptitud como una manera de comprobar la calidad de los ensayos, adoptando las medidas oportunas, si son necesarias.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : La organización proveedora de Ensayos de Aptitud Interlaboratorio envía muestras cuyo contenido en tipo y número de microorganismos es desconocido por el participante. El laboratorio participante las analiza y remite los resultados obtenidos al organizador, posteriormente recibe un informe con sus análisis y evaluaciones. ISO/DIS 13528 Statistical methods for use in proficiency testing by interlaboratory comparisons.

Ensayos de Aptitud Interlaboratorio Métodos cualitativos (“Proficiency Testing”) :

Ensayos de Aptitud Interlaboratorio Métodos cuantitativos (“Proficiency Testing”) :

Ensayos de Aptitud Interlaboratorio Métodos cuantitativos (“Proficiency Testing”) :

Ensayos de Aptitud Interlaboratorio Métodos cuantitativos (“Proficiency Testing”) : Valor de Z-score: Clasificación lzl<2 Satisfactorio 2 < lzl < 3 Cuestionable lzl >3 Insatisfactorio

ENSAYOS INTERLABORATORIOS Los laboratorios deben participar regularmente en ensayos de aptitud relacionados con el alcance de su acreditación, dando preferencia a los programas de ensayos de aptitud que utilicen matrices apropiadas. Los laboratorios no sólo deben usar la valoración de calidad externa para evaluar el “bias” o sesgo del laboratorio sino también para verificar la validez del sistema de calidad entero.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : Los resultados de los laboratorios participantes de una ronda interlaboratorio se clasifican, dependiendo del método estadístico usado, para evaluar los resultados en: Satisfactorios e insatisfactorios (Ejemplo: ensayos cualitativos y D-score) o Satisfactorios, cuestionables e insatisfactorios (Ejemplo: Z-score).

Registro Ensayos de Aptitud Interlaboratorio Ensayos cualitativos (“Proficiency Testing”) :

Proveedores de Ensayos de Aptitud Interlaboratorio (“proficiency testing”) : Lo ideal es que estén acreditados por ISO 43. Algunos de ellos figuran a continuación: QM Quality Management Limited. UK AOAC Laboratory Proficiency Testing Program USA. RAEMA Réseau d´Analyses et d´Echanges en Microbiologie des Aliments. Francia INTI Instituto Nacional de Tecnología Industrial. Argentina. SVM Foundation for the Advancement of Public and Environmental Protection The Netherlands

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : Cuando los resultados de los ensayos NO resultan dentro del intervalo de conformidad o se visualice una tendencia determinada tomar respectivamente acciones correctivas o preventivas, siguiendo los lineamientos establecidos en el Procedimiento “Reclamos, sugerencias, no conformidades, acciones correctivas y acciones preventivas”.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : ¿ Qué hago cuando el resultado del control de calidad es no conforme? Análisis de causa: puedo usar como herramienta “ tormenta de ideas” En un alto % no se encuentra la causa verdadera. Ejemplo: Si EIL no conforme Realizo una evaluación: analizo posibles causas. Si no encuentro la causa participo en otro interlaboratorio para volver a demostrar la competencia.

Ensayos de Aptitud Interlaboratorio (“Proficiency Testing”) : ¿ Qué hago cuando el resultado del control de calidad es no conforme? Hasta que no se demuestre nuevamente la competencia técnica el laboratorio debe dejar de hacer el ensayo.

Los datos obtenidos a través IMPORTANTE!!! Los datos obtenidos a través del programa el aseguramiento de la calidad deben ser registrados en forma tal que se puedan detectar las tendencias y aplicar técnicas estadísticas para la revisión de los resultados.

Evaluación de las tendencias de los resultados obtenidos: Los gráficos de control son una herramienta de trabajo para el control estadístico de los resultados de ensayo y sirven para monitorearlos.

Ejemplo: Ensayo de Aptitud Interlaboratorio Matriz: Queso Metodología: FIL-IDF 73B:1998 parte I Ensayo: recuento de Coliformes a 30º C (ufc/g) Año: 2002 – 2003 y 2004

Síntesis Final El laboratorio debe llevar a cabo periódicamente controles de calidad interno y externo con la finalidad de verificar que sus resultados tienen una precisión y exactitud aceptable y mejorar en conjunto el funcionamiento del mismo. Actuar Planear Hacer Verificar Ciclo de Deming