DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD

Presentación del tema: "DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD"— Transcripción de la presentación:

1 DISEÑO DE LOS PROGRAMAS DE ENSAYOS DE APTITUD
Lic. Marcela Murphy Responsible del Laboratorio de Ensayos de Aptitud Coordinación de Aseguramiento Externo de la Calidad INTI-Lácteos

2 (Real Academia Española)
Concepto de Diseño del Ensayo de Aptitud Diseño = núcleo del Ensayo de Aptitud “Concepción original de un objeto u obra destinado a la producción en serie” (Real Academia Española) Es el punto de partida del Ensayo de Aptitud Es el marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud

3 Norma ISO/IEC 17043:2010 ISO/IEC : 2010 EVALUACION DE LA CONFORMIDAD REQUISITOS GENERALES PARA LOS ENSAYOS DE APTITUD En esta Norma se especifican los requisitos generales para el desarrollo y la operación de los Programas de Ensayos de Aptitud. Son requisitos generales para todos los tipos de Programas de Ensayos de Aptitud.

4 Proveen detalles que complementan la Norma ISO 17043
Norma ISO/IEC 17043:2010 ILAC G13 Guía para los requisitos de competencia de Proveedores de EA ISO – Métodos estadísticos para aplicar en EA por Comparaciones Interlaboratorio Normas y Guías complementarias ISO/IEC 17043:2010 IUPAC Technical Report 2006 Protocolo Armonizado para EA de Laboratorios de Química Analítica Especificación Técnica ISO/TS 22117 Microbiología de Alimentos – Requisitos Específicos y Guía para EA por Comparaciones Interlaboratorio Proveen detalles que complementan la Norma ISO 17043 4

5 Vocabulario clave (referido al diseño): Términos y Definiciones
Comparación Interlaboratorio: organización, realización y evaluación de mediciones o ensayos sobre el mismo ítem o ítems similares, por dos o más laboratorios de acuerdo a condiciones predeterminadas. Ensayo de Aptitud: evaluación de desempeño de los participantes con respecto a criterios previamente establecidos mediante comparaciones interlaboratorios. Ítem de ensayo de ensayo de aptitud: muestra, producto, artefacto, material de referencia, parte de un equipo, patrón de medida, conjunto de datos u otra información utilizada en un ensayo de aptitud.

6 Vocabulario clave (referido al diseño): Términos y Definiciones
Programa de ensayos de aptitud: ensayos de aptitud diseñados y operados en una o más rondas para un área específica de ensayo, medida, calibración o inspecciones. Ronda de ensayo de aptitud: secuencia completa única de distribución de ítems de ensayo de aptitud, y evaluación y comunicación de resultados de los participantes. Coordinador: una o más personas responsables de organizar y gestionar todas las actividades Incluidas en la operación de un programa de ensayos de aptitud 6

7 Vocabulario clave (referido al diseño): Términos y Definiciones
Valor asignado: valor atribuido a una cualidad particular de un ítem de ensayo de aptitud. Valor atípico (outlier): observación en un conjunto de datos que no parece concordar con los restantes datos de dicho conjunto (puede originarse a partir de una población diferente o ser resultado de un registro incorrecto o de otro error). Método estadístico robusto: método estadístico insensible a pequeñas desviaciones de la hipótesis de partida de un modelo probabilístico implícito (reemplazo por valores más próximos al valor asignado) Desviación estándar para la evaluación de la aptitud: medida de dispersión utilizada en la evaluación de los resultados de un ensayo de aptitud, basada en la información disponible. 7

8 Diseño de Ensayos de Aptitud
Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud El desarrollo y la operación del Ensayo de Aptitud debe estar a cargo de Proveedores que tengan competencia y acceso al conocimiento y experiencia correspondiente al tipo particular de ítem de ensayo de aptitud Demostración de competencia Técnica en el ensayo: ISO 17025 8

9 Diseño de Ensayos de Aptitud
Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud  Definido en el Punto 4 de la ISO – Requisitos Técnicos La etapa de diseño requiere el aporte de expertos técnicos, estadísticos y un coordinador del esquema. El EA debe ser diseñado para evitar cualquier confusión sobre sus objetivos 9

10 Diseño de Ensayos de Aptitud
Diseño del Ensayo de Aptitud Diseño de Ensayos de Aptitud Involucra una planificación detallada, un detalle de la preparación de los ítems de ensayo, criterios de homogeneidad y estabilidad apropiados, diseño estadístico apropiado para cumplir con los objetivos del programa y documentar el procedimiento para determinar los Valores asignados.(ISO 17043:2010) Diseño: INTI Lácteos desarrolló un diseño como documento independiente por Programa de Ensayo de Aptitud, aplicable a las distintas Rondas. Dicho diseño constituye un marco referencial. para la aplicación del Programa en particular. El diseño es revisado y actualizado (si corresponde) en cada Ronda. 10

11 a) Tipo de material (matriz LP) ITEMS DEL DISEÑO
Items del Diseño del Ensayo de Aptitud a) Tipo de material (matriz LP) ITEMS DEL DISEÑO Ej: Programa Leche en Polvo INTI-Lácteos b) Frecuencia (semestral) c) Procesamiento estadístico (consenso/outliers/z-score) d) Instrucciones enviadas a los participantes (ofertas, protocolos, etc.) e) Contenido de los reportes (características Informe Final) f) Comunicaciones a los clientes (Oferta, aviso de envío de muestras, Protocolos y planillas de resultados, modificaciones de las condiciones pactadas en la Oferta) 11

12 Semejante al utilizado rutinariamente por los laboratorios
Items del Diseño del Ensayo de Aptitud a) Tipo de material Semejante al utilizado rutinariamente por los laboratorios participantes (matriz y rango de concentración) Riesgos en su manipulación: aclarar en Protocolo de Tratamiento Homogéneo y estable (define procedimiento y criterios de aceptación de los test. Metodologías empleadas. Cantidad mínima de muestras a ensayar) Cálculo de la cantidad de muestra a enviar (necesaria para realizar el/los ensayo/s de acuerdo al diseño del EA (ej. duplicado y un analista). Ej: Parámetro Masa aprox Duplicado Humedad 3g 6g Acidez 8g 16g Total 11g 22g Contemplar proceso de homogeinización Contenido aprox final por envase: g b) Frecuencia: ej. semestral 12

13 Criterios de eliminación de datos previo al
Items del Diseño del Ensayo de Aptitud Criterios de eliminación de datos previo al tratamiento (outliers, estabilidad, errores en unidades, simplificados, no promediables, etc.) c) Procesamiento estadístico Criterios de resultados que ingresan a cálculo de VA (ej resultados provenientes de distintas metodologías de ensayo, cumplimiento de repetibilidad de las normas analíticas empleadas) Elección de forma de cálculo del VA y criterios de aceptación del VA calculado (patrón de dispersión aleatorio de distintas Metodologías, µ, VA) Evaluación de desempeño (Ej. Metodología z-score) Tratamiento de resultados que no se tratan estadísticamente 13

14 d) Instrucciones enviadas a los participantes
Items del Diseño del Ensayo de Aptitud d) Instrucciones enviadas a los participantes Protocolo de Tratamiento de muestras ► Identificación de la/s muestra/s y ensayos. Cantidad de determinaciones (ej. duplicados) ► Instrucciones, en el caso que aplique, de preparación de la muestra. ► Recomendaciones generales (refrig., homog., etc) ► Recomendación específica en caso de que el material conlleve riesgos ► Fecha o período en que se deben realizar los ensayos. Fecha límite de recepción de resultados ► Fax y/o mail de recepeción de resultados 14

15 d) Instrucciones enviadas a los participantes
Items del Diseño del Ensayo de Aptitud d) Instrucciones enviadas a los participantes Planilla de Resultados ► Contacto y teléfono del participante remitente ► Fecha y condiciones de recepción de la muestra ► Campos para volcar resultados por parámetro y para cada duplicado y/o analista. Indicación de unidades y cantidad de cifras decimales ► Fecha límite de recepción de resultados, fax y/o mail de recepeción de resultados 15

16 e) Contenidos de los reportes cliente) la muestra
Items del Diseño del Ensayo de Aptitud ►Listado alfabético de participantes (pactado con el cliente) e) Contenidos de los reportes ► Datos sobre homogeneidad y estabilidad de la muestra ►VA y su incertidumbre. Sistemática de su obtención ►Valores que toma el parámetro para cada límite del z-score. Desvío estándar utilizado para su cálculo ►Valores obtenidos por todos los participantes y las metodologías de análisis utilizadas con su correspondiente Z-score ►Gráficos ►Resumen general de la Ronda 16

17 f) Comunicaciones a los clientes ►Oferta Guía, Planilla de inscripción
Items del Diseño del Ensayo de Aptitud f) Comunicaciones a los clientes ►Oferta Guía, Planilla de inscripción ►Aviso recordatorio de envío de muestras. Contacto en caso de no recibir en tiempo y forma ►Publicación del VA 17

18 El diseño es Resumiendo … El punto de partida del Ensayo de Aptitud
Concepto de Diseño del Ensayo de Aptitud Resumiendo … El punto de partida del Ensayo de Aptitud El diseño es El marco Referencial que contiene objetivos y criterios fundamentales del Desarrollo del Ensayo de Aptitud 18

19 Dentro del Diseño la Norma requiere:
Diseño del Ensayo de Aptitud Dentro del Diseño la Norma requiere: 1) Una Planificación  2) Procedimientos para asegurar la adecuada preparación de los ítems de ensayo de aptitud  3) Establecer criterios de homogeneidad y estabilidad  4) Desarrollar un diseño estadístico  5) Documentar el procedimiento para determinar los valores asignados  19

20 La Norma ISO 17043 requiere una Planificación documentada
Planificación del Ensayo de Aptitud La Norma ISO requiere una Planificación documentada con varios de los ítems ya contemplados en el diseño del Programa. 20

21 INTI-Lácteos interpreta la Planificación como una “foto instantánea”
Planificación del Ensayo de Aptitud INTI-Lácteos interpreta la Planificación como una “foto instantánea” correspondiente a una Ronda en particular de un Programa La Planificación del Programa no se debe subcontratar  21

22 Planificación (Norma ISO 17043. Punto 4.4.1)
Planificación del Ensayo de Aptitud Planificación (Norma ISO Punto 4.4.1) El proveedor de ensayos de aptitud debe identificar y planificar aquellos procesos que afectan directamente la calidad del programa de ensayos de aptitud y debe asegurar que se llevan a cabo de acuerdo con procedimientos descritos. El proveedor de ensayos de aptitud no debe subcontratar la planificación del programa de ensayos de aptitud 22

23 Consiste en una “foto” de una Ronda determinada 
Planificación del Ensayo de Aptitud Consiste en una “foto” de una Ronda determinada  Incluye fechas previstas de todos las etapas a cumplir y firma de los responsables de la ejecución, cuando corresponda  Planificación Los procedimientos que sean comunes a todas las Rondas (ej.: test de homogeneidad) pueden estar referenciados a los documentos que los contengan (ej. Planes de calidad, procedimientos, instructivos)  23

24 Resulta más operativo colocar fechas aprox
Planificación del Ensayo de Aptitud Ejemplo de documento de Planificación Actividad Fecha Responsable/alterno Ejecutó (firma y fecha) Observaciones Envío de la Oferta 1º semana de agosto 2011 Verificación de insumos Hasta el 01/09/2011 Test de homogeneidad Antes del 30/09/2011 Resulta más operativo colocar fechas aprox Responsable del Lab de Ensayos Físicos Químicos Se puede referir, por ejemplo al Procedimiento o un instructivo que el laboratorio tenga documentado 24

25 PUNTOS QUE DEBE CONTENER LA PLANIFICACION
Puntos de la Planificación PUNTOS QUE DEBE CONTENER LA PLANIFICACION El proveedor de ensayos de aptitud debe documentar un plan antes del inicio del programa de ensayos de aptitud que trate los objetivos, el propósito y el diseño básico del programa de ensayos de aptitud incluyendo la siguiente información y, cuando corresponda, los motivos para su selección o exclusión: el nombre y la dirección del proveedor de ensayos de aptitud; el nombre, la dirección y lugar de trabajo del coordinador y de cualquier otro miembro del personal que participe en el diseño y operación del programa de ensayos de aptitud; las actividades a subcontratar y los nombres y direcciones de los subcontratistas que participan en la operación del programa de ensayos de aptitud; los criterios que se deben satisfacer para la participación; 25

26 Puntos de la Planificación
e) el número y tipo de participantes previstos en el programa de ensayos de aptitud; f) la selección del(los) mesurando(s) o la(s) característica(s) de interés, incluyendo información sobre qué tienen que identificar, medir o ensayar los participantes en la ronda específica de ensayos de aptitud; g) una descripción del rango de valores o características, o ambos, que se espera obtener para los ítems de ensayos de aptitud; h) las principales fuentes potenciales de errores involucrados en el área de los ensayos de aptitud ofrecidos; i) los requisitos para la producción, el control de la calidad, almacenamiento y la distribución de los ítems de ensayos de aptitud; 26

27 Puntos de la Planificación
j) precauciones razonables para prevenir la connivencia entre los participantes o la falsificación de resultados y los procedimientos a emplear si se sospecha de la existencia de connivencia o falsificación de resultados; k) una descripción de la información que se suministrará a los participantes y el cronograma correspondiente a las diversas fases del programa de ensayos de aptitud; l) para los programas continuos de ensayos de aptitud, la frecuencia o las fechas en las que se deben distribuir los ítems de ensayos de aptitud a los participantes, las fechas de vencimiento para la devolución de los resultados por los participantes y, cuando corresponda, las fechas en las que los participantes llevarán a cabo los ensayos o las mediciones; 27

28 Puntos de la Planificación
m) cualquier información sobre métodos o procedimientos que los participantes necesiten utilizar para preparar el material de ensayo y realizar los ensayos o las mediciones; n) los procedimientos a utilizar para determinar la homogeneidad y estabilidad de los ítems de ensayos de aptitud y, cuando corresponda, para determinar su viabilidad biológica; o) la preparación de cualquier formato de informe normalizado que utilizarán los participantes; (Protocolos y planillas de resultados) p) la descripción detallada del análisis estadístico a utilizar; q) el origen, la trazabilidad metrológica y la incertidumbre de medida de los valores asignados; r) los criterios para la evaluación del desempeño de los participantes; 28

29 Puntos de la Planificación
s) la descripción de los datos, informes provisorios o información a devolver a los participantes; t) la descripción del grado en que se harán públicos los resultados de los participantes y las conclusiones basadas en los resultados del programa de ensayos de aptitud; y u) las acciones a tener en cuenta en el caso de pérdida o daño de los ítems de ensayos de aptitud. 29

30 Items del Ensayo de Aptitud
La Norma ISO requiere un procedimiento para asegurar la adecuada preparación de los ítems de Ensayo de Aptitud. 30

31 Preparación de los ítems de ensayos de aptitud
Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud El proveedor de ensayos de aptitud debe establecer e implementar procedimientos para asegurarse que los ítems de ensayos de aptitud se preparan de acuerdo con el plan descrito en la Planificación (la planificación refiere a los diferentes procedimientos o instructivos de preparación de muestras que contemplan adquisición, recolección, preparación, manipulación, almacenamiento; cumpliendo con los requisitos reglamentarios y éticos pertinentes) Importante: preparar un número suficiente de ítems de ensayos de aptitud para que permita reponer cualquier ítem que se haya perdido o dañado durante la distribución o que se prevé sea utilizado después que los resultados del programa de ensayos de aptitud hayan sido evaluados. Estos usos pueden incluir ayudas para la formación de los participantes o utilizarlos como material de referencia. (muestras stock) 31

32 Preparación de los ítems de ensayos de aptitud
Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud Es conveniente que los ítems de ensayo coincidan en términos de matriz, mesurandos y concentración tanto como sea posible con el tipo de ítems o material de ensayo de rutina. 32

33 Preparación de los ítems de ensayos de aptitud
Items del Ensayo de Aptitud Preparación de los ítems de ensayos de aptitud En los Programas de Ensayo de Aptitud en los que se exija a los participantes preparar el ítem de ensayo el Proveedor debe emitir instrucciones para su preparación. 33

34 Homogeneidad y Estabilidad de los ítems de ensayo
La Norma ISO requiere un establecer criterios de homogeneidad y estabilidad apropiados para asegurar que cada participante reciba ítems de ensayo de aptitud comparables. 34

35 Homogeneidad y Estabilidad
Homogeneidad y Estabilidad de los ítems de ensayo Homogeneidad y Estabilidad Se deben establecer los criterios para una adecuada homogeneidad y estabilidad, los cuales deben basarse en el efecto que tendría la ausencia de éstas sobre los resultados y la evaluación del desempeño de los participantes. Se debe asegurar que cada participante reciba ítems de ensayos de aptitud comparables, y que estos ítems permanezcan estables a lo largo del ensayo de aptitud. Para lograrlo es necesario una planificación, fabricación y transporte cuidadosos y se requiere la realización de ensayos para confirmarlo, siempre que sea posible 35

36 Concepto de material suficientemente homogéneo
Homogeneidad y Estabilidad de los ítems de ensayo Concepto de material suficientemente homogéneo Los materiales preparados para los EA y otros estudios interlaboratorio son usualmente heterogéneos en cierto grado pesar de los grandes esfuerzos que se realizan para asegurar la homogeneidad. Cuando un lote de material es fraccionado para distribuir a varios laboratorios, las unidades presentan diferencias en la composición entre ellas. Cuando se habla de suficiente homogeneidad en los materiales a distribuir, se busca demostrar que esa variación en la composición es insignificante en relación a la variación introducida por las mediciones hechas por los participantes. Un criterio a utilizar es que la desviación estándar entre muestras (Ss) sea menor que el 30% del desvío estándar target con que se evaluará el desempeño de los Laboratorios (ISO 13528). 36

37 Concepto de material suficientemente homogéneo
Homogeneidad y Estabilidad de los ítems de ensayo Concepto de material suficientemente homogéneo En algunos casos, los materiales que no son suficientemente homogéneos o estables son la mejor opción disponible; en estos casos aún pueden ser útiles como ítems de ensayo de aptitud, siempre que las incertidumbres de los valores asignados o la evaluación de los resultados tomen en cuenta este hecho (véase B y el anexo B de la Norma ISO 13528:2005). En la Guía ISO 34, la Guía ISO 35 y la Norma se tratan con mayor detalle las cuestiones relativas a la homogeneidad y estabilidad. 37

38 Conocer las principales razones de la inhomogeneidad 
Homogeneidad y Estabilidad de los ítems de ensayo Criterios para la elección del parámetro a analizar para Homogeneidad Conocer las principales razones de la inhomogeneidad  (ej. Llenado de botellas, calentamiento de botellas, mezclado durante el llenado, requerimientos del envase primario y del embalaje, condiciones ambientales, manipulación durante la preparación y dispensado) Testeo del parámetro más sensible a los procesos de preparación de la muestra: ¿Existe algún componente sensible al calor que pueda verse comprometido en algunas muestras por calentamiento desigual? ? ¿Existe un parámetro presente en bajas concentraciones lo cual lo vuelva sensible al mezclado? 38

39 ►Normalmente se debe realizar la evaluación de la homogeneidad después
Homogeneidad y Estabilidad de los ítems de ensayo Se deben documentar e implementar los procedimientos para la evaluación de la homogeneidad y estabilidad ►Normalmente se debe realizar la evaluación de la homogeneidad después que los ítems de ensayo de aptitud hayan sido embalados en su forma final y antes de su distribución a los participantes, salvo que, por ejemplo, los estudios de estabilidad indiquen que se deberían almacenar a granel. ►Se puede demostrar la homogeneidad antes de realizar el embalaje cuando sea razonable esperar que éste no influya. ►En algunas ocasiones, la determinación de homogeneidad no se puede realizar antes de la distribución por razones prácticas, técnicas o logísticas. (Caso microoganismos) 39

40 Homogeneidad y Estabilidad de los ítems de ensayo
El ensayo de estabilidad se realiza en la misma fecha o posterior al tiempo Límite que se le ha establecido a los participantes para realizar el ensayo. La determinación analítica (ensayo) que se le realiza a las muestras es la misma que la realizada en la prueba de homogeneidad (mismo método de ensayo, mismo operador, mismo equipo) 40

41 asignado por formulación.
Homogeneidad y Estabilidad de los ítems de ensayo Para el caso de ensayos cualitativos el 100% de los resultados, tanto para homogeneidad como para estabilidad deben coincidir con el resultado asignado por formulación. 41

42 Homogeneidad y Estabilidad de los ítems de ensayo
En los casos en que la determinación de la homogeneidad y estabilidad no sea factible, el proveedor de ensayos de aptitud debe demostrar que los procedimientos utilizados para reunir, producir, embalar y distribuir los ítems de ensayos de aptitud son suficientes para el propósito de éste. (Olvido de estabilidad) 42

43 Diseño Estadístico La Norma ISO requiere desarrollar un diseño estadístico basado en la naturaleza de los datos. 43

44 Diseño Estadístico Diseño estadístico: El diseño estadístico abarca el proceso de planificar, recolectar, analizar y comunicar los datos (resultados cuali o cuantitativos) del programa de ensayos de aptitud. 44

45 Diseño Estadístico Al diseñar un análisis estadístico, el proveedor de ensayos de aptitud debe considerar cuidadosamente lo siguiente: a) la exactitud (veracidad y precisión), así como la incertidumbre de medición requerida o esperada para cada mesurando o característica en el ensayo de aptitud. b) el número mínimo de participantes en el programa de ensayos de aptitud necesario para lograr los objetivos del diseño estadístico; en los casos en que el número de participantes sea insuficiente para lograr estos objetivos o para producir un análisis estadísticamente significativo de resultados, el proveedor de ensayos de aptitud debe documentar y proporcionar a los participantes detalles de los enfoques alternativos utilizados para evaluar el desempeño de los participantes; (FIL 135, ISO IUPAC CITAC Guide 2010) 45

46 Diseño Estadístico c) la importancia de las cifras significativas (aquellas en la que el último dígito es incierto o que no tiene significancia física o química y tiene que ver con las incertidumbres de medición –hasta dónde se puede medir experimentalmente-) para el resultado informado incluyendo el número de posiciones decimales; (La ISO recomienda instruir a los participantes el número de cifras significativas a modo de convención para evaluarlos en iguales condiciones). Ej CECALAIT d) el número de ítems de ensayos de aptitud a ensayar o medir y el número de repeticiones de ensayos, calibraciones o mediciones que se llevarán a cabo sobre cada ítem de ensayo de aptitud o para cada determinación; (por tratarse de un ensayo de aptitud INTI Lácteos considera que se deben realizar el número de repeticiones que establece la normativa analítica y sugerida por el Proveedor) 46

47 Diseño Estadístico e) los procedimientos utilizados para establecer la desviación estándar para la evaluación de la aptitud u otros criterios de evaluación; (ISO 13528) x – xa  En el caso del z-score: Valor prescripto (SR de la Norma) Estimado resultante de Rondas anteriores Estimado resultante de un modelo estadístico (H) Resultado de experimento de precisión Desviación estándar robusta basada en los resultados de los participantes 

48 Diseño Estadístico f) los procedimientos que se utilizarán para identificar o tratar los valores fuera de límite, o ambos; (Valores atípicos / Grubbs / Cochran/ repetibilidad del método / mediana – outliers groseros) Ejemplos: errores como unidades incorrectas, errores en el punto decimal, o resultados correspondientes a un ítem de ensayo diferente: Se deben eliminar del conjunto de datos, no deben ingresar a los test de outliers o métodos robustos. Los valores outliers que surgen de la aplicación de los test estadísticos para su detección deben seguir evaluándose dentro del programa, dándoseles una evaluación de desempeño. 48

49 Poner informe de ejemplo
Entorno g) cuando corresponda, los procedimientos para la evaluación de los valores excluidos del análisis estadístico; y (INTI-Lácteos: no evalúa resultados excluídos sí los transcribe a título informativo en el informe final. Ej. Análisis realizado fuera del período de estabilidad, no promediables, más o menos repeticiones que las solicitadas, diferentes unidades a las solicitadas) Poner informe de ejemplo 49

50 Entorno La Norma ISO requiere documentar el procedimiento para determinar los Valores Asignados. 50

51 Entorno Valores asignados Existen varios procedimientos para establecer Valores Asignados Se detallan a continuación los procedimientos más comunes, en un orden tal que resulta en un orden creciente de la incertidumbre del valor asignado 51

52 Valores de Referencia Certificados
Entorno Valores conocidos: determinados por una formulación específica del ítem (ej ATB) Valores de Referencia Certificados Valores de Referencia determinados por análisis junto con un Material de Referencia Patrón Valores consensuados por participantes expertos Valores consensuados por los participantes 52

53 El valor deriva del cálculo de las masas usadas
Entorno 1) Valores conocidos Determinados por una formulación específica del ítem, ej. Antibióticos (µg/kg) El valor deriva del cálculo de las masas usadas Se calcula la incertidumbre utilizando todos los pasos gravimétricos y volumétricos y la pureza de las sustancias VENTAJAS: incertidumbre generalmente baja trazable al SI DESVENTAJAS: puede estar más débilmente unido a la matriz que en el caso de las muestras de rutina, la dificultad para analizarlo puede menor Que se absorba o reaccione con otros constituyentes de la matriz. 53

54 2) Valores de Referencia Certificados
Entorno 2) Valores de Referencia Certificados Se usa como VA el valor del certificado y su incertidumbre VENATAJAS: presenta trazabilidad y baja µ DESVENTAJAS: caro puede no existir en la matriz seleccionada para EA 54

55 3) Materiales de Referencia
Entorno 3) Materiales de Referencia Se prepara un material de referencia y se lo analiza en condiciones de repetibilidad con un material de referencia certificado. El VA deriva de una calibracion contra el valor de CRM y la µ se calcula combinando la µ del CRM y la µ de las mediciones VENTAJAS: trazable a SI a través del CRM Baja µ Mas barato que el CRM DESVENTAJAS: Que no exista CRM de La matriz seleccionada 55

56 4) Consenso de los laboratorios expertos
Entorno 4) Consenso de los laboratorios expertos Se usan sus resultados para estimar la media DESVENTAJA: Criterios de Selección de laboratorios expertos VENTAJAS: Fácil de realizar Bajo costo 56

57 5) Consenso de los laboratorios participantes
Entorno 5) Consenso de los laboratorios participantes Se usan los resultados de los participantes para estimar la media DESVENTAJA: Puede no existir consenso Puede estar sesgado por un método en particular. VENTAJAS: Fácil de realizar Bajo costo 57

58 Valores asignados en caso de resultados cualitativos
Entorno Valores asignados en caso de resultados cualitativos Estos Valores asignados tienen que determinarse por medio de un juicio experto o de formulación. El Proveedor puede utilizar un valor consensuado (acuerdo de un % mayoritario predeterminado de respuestas (Ej 80% -tener cuidado con el nivel de experiencia de los participantes) No están contemplados en la Norma ISO ni en el Protocolo Armonizado-IUPAC 58

59 Entorno El Proveedor debe tener una política relativa a la divulgación de los Valores Asignados Ejemplo INTI-Lácteos “El Centro INTI- Lácteos da a conocer el valor asignado o el resultado esperado después que los laboratorios participantes hayan enviado los resultados de sus ensayos. Por lo tanto el laboratorio participante recién conoce el valor asignado cuando se publica en la web o cuando recibe el informe de resultados, El Centro INTI- Lácteos no acepta resultados de los participantes luego que dio a conocer el valor asignado o el resultado esperado a través del Informe de Resultados.” 59

60 Estadísticos de desempeño
Entorno Estadísticos de desempeño El propósito es medir la desviación respecto al valor asignado Estadístico de Desempeño para resultados cuantitativos Estadístico de Desempeño para resultados cualitativos 60

61 siendo x el resultado del participante y X el valor asignado.
Entorno Estadístico de Desempeño para resultados cuantitativos 1) La diferencia, D, se calcula utilizando la ecuación Estima es sesgo del laboratorio siendo x el resultado del participante y X el valor asignado. 61

62 siendo x el resultado del participante y X el valor asignado.
Entorno Estadístico de Desempeño para resultados cuantitativos 2) La diferencia %, se calcula utilizando la ecuación Estima el sesgo del laboratorio, pero se independiza del VA siendo x el resultado del participante y X el valor asignado. 62

63 siendo x el resultado del participante y X el valor asignado.
Entorno Estadístico de Desempeño para resultados cuantitativos 3) z-score, se calcula utilizando la ecuación siendo x el resultado del participante y X el valor asignado. donde  es la “desviación estándar de la evaluación de aptitud”. 63

64 donde es la incertidumbre estándar del laboratorio participante y
Entorno Estadístico de Desempeño para resultados cuantitativos 4) Los valores de zeta ( ) se calculan utilizando la siguiente ecuación: donde es la incertidumbre estándar del laboratorio participante y es la incertidumbre estándar del valor asignado. 64

65 5) Los números En se calculan utilizando la ecuación:
Entorno Estadístico de Desempeño para resultados cuantitativos 5) Los números En se calculan utilizando la ecuación: donde lo que intervienen son las incertidumbres expandidas y el valor asignado es aportado por un laboratorio de referencia. NOTA 1 Las fórmulas en las ecuaciones (4) y (5) son correctas sólo si x y X son independientes. 65

66 Entorno Estadístico de Desempeño para resultados cualitativos (datos categóricos) y semi-cuantitativos (datos ordinales) Para los datos cualitativos (también llamados datos “categóricos”) la técnica apropiada es comparar el resultado de un participante con el valor asignado. Si son idénticos, el desempeño es aceptable. Si no son idénticos, se necesita un juicio experto para determinar si el resultado es apto para su uso previsto. 66

67 Entorno Estadístico de Desempeño para resultados cualitativos (datos categóricos) y semi-cuantitativos (datos ordinales) No es apropiado calcular estadísticas descriptivas para los datos ordinales, aún cuando los resultados sean numéricos (reacciones químicas +1, +2, +3 ó 1:pobre, 2:satisfactorio, 3:muy bueno. Esto se debe a que los números no están en una escala de intervalos; es decir, la diferencia entre 1 y 2, en cierto sentido objetivo, puede no ser la misma que la diferencia entre 3 y 4, de modo que no se pueden interpretar los promedios y las desviaciones estándar. Se recomienda utilizar estadísticas específicas tales como el rango o las estadísticas de orden, diseñados para datos ordinales. 67

68 Entorno 68

69 Dirección (Código Postal) Localidad Provincia, País Teléfono Mes de Año