Rendimiento y Evaluación de Dispositivos Biométricos

Rendimiento y Evaluación de Dispositivos Biométricos
Técnicas Biométricas Aplicadas a la Seguridad Rendimiento y Evaluación de Dispositivos Biométricos Dr. Carlos Enrique Vivaracho Pascual

Técnicas Biométricas Aplicadas a la Seguridad
Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. 3. Los Datos. 4. Medida del Rendimiento. Análisis Estadístico de los Resultados. Bibliografía. *Introducción: se centrará el trabajo realizado e indicando el por qué de su realización. *Antes de pasar a la parte experimental, realizaremos un breve repaso al tema que se aborda en la presente tesis que es el reconocimiento de locutores mediante redes neuronales artificiales. *Para acabar con las conclusiones y un breve exposición de las líneas de trabajo futuro.

1. Introducción Evaluar:
Técnicas Biométricas Aplicadas a la Seguridad Evaluar: Estimar aptitudes y rendimiento de los sistemas [Sharp] Prestar igual atención a todos los aspectos, desde la adquisición de los datos, a la integración del sistema

1. Introducción Técnicas Biométricas Aplicadas a la Seguridad Aspectos a analizar en la evaluación: Rendimiento. Seguridad, integridad y confidencialidad de los datos. Fiabilidad, disponibilidad y mantenimiento de la aplicación informática. Aceptación y/o facilidad de manejo. Comercialización del producto. Cuestiones legales.

1. Introducción Técnicas Biométricas Aplicadas a la Seguridad Objetivos: Comparar tecnologías. Ver si es factible su realización práctica. Analizar el cumplimiento de requisitos. ... Importante: objetiva. Realizada por instituciones independientes. Evaluaciones estándar. Seguimiento de prácticas y criterio comunes.

1. Introducción Técnicas Biométricas Aplicadas a la Seguridad Evaluaciones estándar: Comercial: International Biometric Group (IBG). International Biometric Industry Association (IBIA). No comercial: National Institute of Standars and Technology (NIST). Voz. Caras, Face Recognition Vendor Test (FRVT): FERET Fingerprint Verification Competition (FVC). Audio and Video-Based Biometric Person Authentification (AVBPA) face constest: XM2VTS

1. Introducción Técnicas Biométricas Aplicadas a la Seguridad Criterios comunes. En elaboración: ISO: JCT1/SC5 (Biometrics) / WG5 (Biometic Testing and Reporting). Documentos: Common Criteria: Common Evaluation Methodology, Biometric Evaluation Methodology Supplement (V1.0, 2002). Biometric Working Group: Best Practices in Testing and Reporting Performance of Biometric Devices (V2.01, 2002).

Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. 2.1 Introducción. 2.2 Aspectos a Definir. Los Datos. Medida del Rendimiento. Análisis Estadístico. Bibliografía. *Introducción: se centrará el trabajo realizado e indicando el por qué de su realización. *Antes de pasar a la parte experimental, realizaremos un breve repaso al tema que se aborda en la presente tesis que es el reconocimiento de locutores mediante redes neuronales artificiales. *Para acabar con las conclusiones y un breve exposición de las líneas de trabajo futuro.

2.1 Planificando: Introducción
Técnicas Biométricas Aplicadas a la Seguridad Definición de aspectos que condicionan: Ámbito de aplicación. Alcance. La adquisición de los datos. Alcance de los rendimientos obtenidos.

Técnicas Biométricas Aplicadas a la Seguridad Decisiones condicionadas por: El sistema. Ej. Tiene o no dispositivos de almacenamiento. El entorno de aplicación. Ej. Voz: vía teléfono - vía micrófono. El fabricante del dispositivo. Ej. Proporciona o no SDK. El ámbito del estudio. Ej. Tecnológico, de escenario u operacional. Aspectos cuya influencia se quiere analizar. Ej. Ruido de fondo, condiciones de iluminación, ...

Técnicas Biométricas Aplicadas a la Seguridad Definiciones: Muestra: rasgo biométrico capturado. Ej. Imagen huella dactilar o de la cara. Patrón: referencia almacenada del usuario Muestras de entrenamiento. Parámetros del clasificador. Inscripción: proceso de añadir nuevos usuarios Operación: intento por parte del usuario de validación o identificación de su identidad. Se pueden usar una o más muestras.

2.2 Planificando: Aspectos a Definir
Técnicas Biométricas Aplicadas a la Seguridad 1. Clasificación de la muestra (I): Online la inscripción o la clasificación se realiza en el momento de la captura No es necesario almacenar los datos. Se aconseja: permite su tratamiento posterior. Si no es posible: medidas más completas si se toman decisiones con distintos niveles de seguridad.

Técnicas Biométricas Aplicadas a la Seguridad 1. Clasificación de la muestra (II): Offline la inscripción o la clasificación se realiza con muestras previamente grabadas Mayor control y versatilidad en las pruebas. Coste pequeño al modificar la evaluación. Problema: definir la adquisición. El número y características de los datos tomados condiciona: Las pruebas a realizar. La fiabilidad de los resultados medidos. El alcance del rendimiento observado.

Técnicas Biométricas Aplicadas a la Seguridad 2. Tipo de evaluación (I): Tecnológica El objetivo es medir el estado de la tecnología, determinar el progreso que ésta ha logrado e identificar lo enfoques más prometedores Más general. Offline: completamente repetible. Tarea a abordar: ni muy fácil, ni muy difícil. Sólo así habrá separación entre sistemas. Bases de datos: no vistas de antemano. Evaluaciones estándar: FVC, NIST (voz, caras). Bases de datos usadas: estándares de hecho. A tener en cuenta: sesgos debido a los sensores

Técnicas Biométricas Aplicadas a la Seguridad 2. Tipo de evaluación (II): De Escenario El objetivo es determinar si la tecnología está suficientemente madura como para cumplir los requisitos de una determinada aplicación Medida del rendimiento: en escenario prototipo. Modela un determinado campo de aplicación. Se extiende a todo el sistema. No sólo clasificación, también etapa de captura. Sensores captura distintos  muestras distintas Aconsejable: probar combinaciones sensores - algoritmos reconocimiento. Ej.: coordina NPL, patrocina CESG (UK).

Técnicas Biométricas Aplicadas a la Seguridad 2. Tipo de evaluación (II): Operacional El objetivo es analizar si un sistema biométrico concreto, cumplo los requisitos de una determinada aplicación concreta Similar a la de escenario, pero para un sistema concreto y en un entorno de uso real. Puede ser online u offline.

Técnicas Biométricas Aplicadas a la Seguridad 3. Tarea a abordar (I): Verificación Se trata de autentificar la identidad reclamada por el usuario Comparación muestra/s - patrón usuario. Respuesta: identidad reclamada/rechazada. Ej. de uso: acceso a servicio de uso personal (ordenador, cuenta bancaria, etc.)

Técnicas Biométricas Aplicadas a la Seguridad 3. Tarea a abordar (II): Identificación Positiva: Se trata de comprobar que un usuario que reclama estar inscrito, lo está Ej. uso: control de acceso a lugares restringidos. Negativa: Se trata de comprobar que un usuario que reclama no estar inscrito, no lo está Ej. uso: evitar dobles inscripciones en servicios, ej. desempleo. Comparación muestra - patrones todos usuarios O pertenecientes a una determinada partición. Reclamación identidad: Implícita, sin dar identidad. Explícita, proporcionando la identidad.

Técnicas Biométricas Aplicadas a la Seguridad 4. Factores que afectan al rendimiento: Análisis Buscando: Cuáles son poco relevantes: control no importante Cuáles afectan a la medida del rendimiento: Se Fijan de antemano sus valores. Se diseñan las pruebas de modo que se pueda medir su influencia en el sistema. Prever potenciales problemas: anticipar controles. Identificar casos excepcionales que puedan ser interesantes a considerar en las pruebas.

Técnicas Biométricas Aplicadas a la Seguridad 4. Factores que afectan al rendimiento: Tipos Inherentes a la tecnología o al dispositivo: Ajenos al dispositivo. Destacar: Tiempo transcurrido entre inscripción-prueba. Composición de la población bajo estudio. Parámetro biométrico Factor ambiental

Técnicas Biométricas Aplicadas a la Seguridad 5. Políticas de inscripción/operación. A tener en cuenta en inscripción: Número de muestras usadas para crear el patrón. Número y separación entre sesiones. Permitir o no actualizar el patrón con muestras rechazadas. Si se permite validación del patrón: los resultados no se deben incluir en la prueba. A tener en cuenta en operación: Número de muestras usadas para la decisión. A tener en cuenta en ambas: Controlar o no la calidad de la muestra adquirida.

Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. Los Datos. 3.1 Introducción. 3.2 Datos del Cliente. 3.3 Datos de Impostores. 3.3.1 Impostores Genuinos. 3.3.2 Impostores Simulados. 3.4 El tamaño de la Prueba. Medida del Rendimiento. Análisis Estadístico de los Resultados. Bibliografía. *Definidas las características del sistema y el ámbito del estudio de la evaluación, la siguiente etapa es la adquisición de los datos sobre los que probar el sistema para medir su rendimiento. En esta parte nos vamos a centrar en la problemática asociada a esta etapa de la evaluación.

3.1 Los Datos: Introducción
Técnicas Biométricas Aplicadas a la Seguridad Idealmente: habría que realizar pruebas sobre todo posible usuario. Imposible en la práctica.  Pruebas a realizar sobre un subconjunto. Alcance de la evaluación. Confianza en las medidas del rendimiento. Composición y datos adquiridos condicionan

Técnicas Biométricas Aplicadas a la Seguridad Consideraciones generales: No es aconsejable el uso de muestras creadas artificialmente, tanto en lo que se refiere a la muestra, como a las condiciones de adquisición. Resultados no extrapolables a la realidad. Cuidado con errores como dobles inscripciones, inconsistencias muestras-individuo o muestras incorrectas. Es conveniente automatizar la adquisición. Se evita la subjetividad del operador humano. Datos más libres de errores. Adquisición más cercana a la real.

Técnicas Biométricas Aplicadas a la Seguridad Elementos importantes a tener en cuenta: Entorno de la adquisición. Iluminación, ruido de fondo, tipo de sensor, ... Composición de la población. Evaluación tecnológica: Suficientemente genéricos y representativos para permitir comparaciones objetivas. Evaluación de escenario y operacional: Representativos de la aplicación a estudio. Casos especiales: correctamente representados. Evitar sesgos en los resultados.

Técnicas Biométricas Aplicadas a la Seguridad Definiciones: Intento auténtico: la muestra a clasificar pertenece al propietario del patrón con el que compara. Intento impostor: la muestra a clasificar no pertenece al propietario del patrón con el que compara. Cliente: usuario inscrito. Impostor: usuario que se hace pasar por cliente. Activo: trata de imitar al cliente. Pasivo: no trata de imitar al cliente.

3.2 Los Datos: Cliente Técnicas Biométricas Aplicadas a la Seguridad Problema: envejecimiento del patrón. El rendimiento del sistema decrece cuanto mayor es el tiempo transcurrido entre la inscripción y la operación Hay que realizar pruebas con datos adquiridos con una separación “suficiente” en el tiempo. “Suficiente”: Imposible de obtener de forma exacta. Aproximación: tiempo necesario para que sane esa parte del cuerpo. Si está definido: recoger muestras con la misma frecuencia que en el uso real del sistema.

3.3 Los Datos: Impostores Técnicas Biométricas Aplicadas a la Seguridad Formas de operar: Impostores genuinos: datos provenientes de usuarios diferentes a los clientes, y adquiridas ex profeso para ese fin. Impostores simulados: se usan muestras de otros clientes.

3.3.1 Los Datos: Impostores Genuinos
Técnicas Biométricas Aplicadas a la Seguridad Forma más realista de evaluar el sistema. Mayor control sobre la definición de operaciones. No siempre posible en la realidad. Recomendable: adquirir un número alto de datos, y elegir aleatoriamente las pruebas por cliente. Diferente modo de adquisición: pasivos/activos. Condiciones de adquisición: las mismas que las de los clientes. No es aconsejable usar bases de datos distintas. No usar muestras usadas para crear el clasificador.

3.3.2 Los Datos: Impostores Simulados
Técnicas Biométricas Aplicadas a la Seguridad Formas de operar: Selección aleatoria de un subconjunto por cliente. Realizar comparaciones cruzadas completas. Usando muestras entrenamiento y/o prueba. Problema: pruebas de impostores activos.

3.4 Los Datos: Tamaño de la Prueba
Técnicas Biométricas Aplicadas a la Seguridad Consideraciones generales: Definido por: número de voluntario e intentos. Fija la confianza en la estimación del error medida. Problema: tamaño mínimo que asegure un nivel prefijado de confianza

Técnicas Biométricas Aplicadas a la Seguridad Solución 1: Regla del 3 [Mansfield y Wayman, 2002][Jovanic y Levy, 1997] Suposiciones: Pruebas estadísticamente independientes. Probabilidad de error p igual en todas ellas. Distribución de errores observados: binomial Establece: la probabilidad de error p mínima que permite asegurar con una confianza del 95% que en N ensayos se pueden tener 0 errores es 3/N. Ej.: 95% confianza de que p=0.01, es necesario, como mínimo, 300 pruebas sin error.

Técnicas Biométricas Aplicadas a la Seguridad Solución 2: Regla del 30 (Doddington) [Doddington,1998][Porter,2000] Mismas suposiciones anteriores. Establece: para tener un 90% de confianza de que la tasa de error verdadera está dentro del 30% de la tasa de error observada, debe haber al menos 30 errores. Ej.: Si tenemos 30 errores en 3000 pruebas  Con un 90% de confianza el error estará entre 0.7% y 1.3%

Técnicas Biométricas Aplicadas a la Seguridad Problemas en las suposiciones anteriores: Independencia estadística entre pruebas, no se puede asegurar si: Cada muestra de prueba no pertenece a un individuo distinto. Se simulan operaciones de impostores mediante comparaciones cruzadas completas. Igual distribución de errores. La realidad demuestra los siguientes comportamientos: “Oveja”: comportamiento normal. “Cabra”: personas difíciles de reconocer. PFalsoRechazo alta. “Cordero”: personas fáciles de imitar. PFalsaAceptación alta. “Lobo”: personas con facilidad para hacerse pasar por otras. PFalsaAceptación alta.

Técnicas Biométricas Aplicadas a la Seguridad Conclusión Reglas anteriores: difícil aplicación práctica. Se usan como referencia. Recomendaciones [Best Practices]: Número de voluntarios tan grande como se pueda: cuanto mayor sea menor será el intervalo de confianza sobre la estimación del error medida. Adquirir suficientes muestras por voluntario, tal que el número de pruebas exceda el requerido por la regla del 3 o del 30, la que sea adecuada. Calcular la confianza sobre la medida del error estimada.

Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. Los Datos. Medida del Rendimiento. 4.1 Introducción. 4.2 Validación de la Muestra. 4.3 Clasificación de la Muestra. 4.4 El Algoritmo de Partición. 4.5 Decisión Final. 4.6 Productividad. Análisis Estadístico de los Resultados. Bibliografía. *Definidas las características del sistema y el ámbito del estudio de la evaluación, la siguiente etapa es la adquisición de los datos sobre los que probar el sistema para medir su rendimiento. En esta parte nos vamos a centrar en la problemática asociada a esta etapa de la evaluación.

4.1 Rendimiento: Introducción
Técnicas Biométricas Aplicadas a la Seguridad Esquema de un sistema biométrico Parámetro biométrico extracción de características vector de sensor muestra válida Validación no clasificación resultado del clasificador patrón decisión sobre la muestra coincide / no coincide con el patrón decisión final aceptado / rechazado

4.2 Rendimiento: Validación
Técnicas Biométricas Aplicadas a la Seguridad Errores. Tasa de Fallos en Inscripción (TFI): proporción de voluntarios que no han sido inscritos en el sistema. Tasa de Fallos en Operación (TFO): proporción de operaciones (tanto del cliente, como de impostores) que no han podido ser completadas.

4.3 Rendimiento: Clasificación
Técnicas Biométricas Aplicadas a la Seguridad Errores. Tasa de Falsos Positivos (TFP) (False Match Rate, FMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como coincidente con el patrón de otro usuario. Se estima: proporción de muestras falsamente asignadas a un cliente al que no pertenecen. Tasa de Falsos Negativos (TFN) (False Non Match Rate, FNMR): probabilidad esperada de que una muestra de un usuario sea incorrectamente clasificada como no coincidente con el patrón de ese usuario. Se estima: proporción de muestras del cliente falsamente rechazadas como no pertenecientes a él.

Técnicas Biométricas Aplicadas a la Seguridad Tasas de error centradas en el algoritmo. Independientes de la política de decisión final. Las normalmente usadas en la evaluación tecnológica. Cálculo aconsejable siempre. Resultados etapa clasificación: distribución típica. Solapamiento  imposible 100% aciertos. El rendimiento depende del umbral de decisión. Impostores Cliente Resultado clasificador

Técnicas Biométricas Aplicadas a la Seguridad Representación gráfica del rendimiento: Características Muestran los valores de la TFP y la TFN para diversos umbrales de decisión (puntos de funcionamiento). Permiten una visualización global del rendimiento. Permiten una comparación objetiva ente sistemas.

Técnicas Biométricas Aplicadas a la Seguridad Representación gráfica del rendimiento: Curvas ROC. (Receiver Operating Characteristics) Muestran la variación de la TFP (eje X), con respecto a la tasa de “verdaderos positivos” (1-TFN) en el eje Y, para distintos umbrales de decisión. El eje Y y la recta y=100 pueden ser consideradas las asíntotas de la curva: cuanto más se acerque ésta a ellas mejor es el rendimiento del sistema. Tasa de Verdaderos Positivos (%) Tasa de Falsos Positivos (%)

Técnicas Biométricas Aplicadas a la Seguridad Representación gráfica del rendimiento: Curvas DET. (Detection Error Tradeoff) [Martin et al., 1997] Representa el número de desviaciones normales en la distribución normal estandarizada (media 0 y varianza 1) correspondiente a la TFP (eje X) y a la TFN (eje Y). La escala original se cambia por la correspondiente probabilidad. Representación casi lineal. Comparación más clara y fácil. Distancia entre curvas: diferencia entre rendimientos. Cuanto más cercana a la recta, más se acerca la distribución de resultados a la normal. Tasa de Falsos Negativos (%) Tasa de Falsos Positivos (%)

Técnicas Biométricas Aplicadas a la Seguridad El sistema en un número. Se resume el rendimiento del sistema en un solo valor: se escoge un punto de funcionamiento característico. Comparación más fácil que con las anteriores. Representación del rendimiento menos completa. Medidas más usadas: Tasa de Equierror (TEE) (Equal Error Rate, EER): punto donde se igualan la TFN y la TFP. Medida muy popular. Coste de Detección (Detection Cost, Cdet): Cdet = cfn·TFN·Pcliente + cfp·TFp·(1-Pcliente) cfn y cfp los costes de los errores correspondientes. Pcliente y (1-Pcliente) las prob. a priori de cliente e impostor Ej. NIST: cfn=10, cfp=1 y Pcliente=0.01.

Técnicas Biométricas Aplicadas a la Seguridad Dependencia con los errores de la etapa anterior. Cuanto mayor sea la exigencia con respecto a la calidad de la muestra, mayor será la probabilidad de fallos en operación, pero menor será la probabilidad de errores en clasificación.

4.4 Rendimiento: Algoritmo de Partición
Técnicas Biométricas Aplicadas a la Seguridad Medidas de eficacia. Rango de Penetración (RP) [James y James,2000]: proporción esperada de comparaciones a realizar sobre cada muestra, con respecto al número total de patrones, bajo la condición de comparación con todos los patrones de la partición asignada. Cálculo: número medio de comparaciones por muestra, dividido entre el número total de patrones. Cuanto menor sea RP, respuesta más rápida del sistema. Tasa de Error en la Asignación de la Partición (TEAP): proporción de asignaciones erróneas.

4.4 Rendimiento: Algoritmo de Partición
Técnicas Biométricas Aplicadas a la Seguridad Relación entre ambas medidas. Cuanto mayor sea el número de particiones, menor será el RP, pero mayor será la TEAP, y a la inversa. RP/TEAP=f(parámetros del algoritmo de partición). Representación de esa relación: curvas ROC y DET, por ej.

4.5 Rendimiento: Decisión Final
Técnicas Biométricas Aplicadas a la Seguridad Errores. Tasa de Falsas Aceptaciones (TFA): proporción de operaciones con identidad o no identidad falsamente reclamada que son incorrectamente confirmadas. Error de tipo II. Identificación positiva y verificación: identidad falsamente asignada a un individuo. Identificación negativa: rechazo de un usuario inscrito. Tasa de Falsos Rechazos (TFR): proporción de operaciones con identidad o no identidad correctamente reclamada que son incorrectamente rechazadas. Error tipo I Identificación positiva y verificación: cliente rechazado. Identificación negativa: sí inscrito un usuario no inscrito.

4.5 Rendimiento: Decisión Final
Técnicas Biométricas Aplicadas a la Seguridad Relación con errores anteriores. TFP/TFN: def. para comparaciones sobre cada muestra TFA/TFR: definidas sobre operaciones Ej. verificación de usuario basada en 3 intentos: Falso Rechazo cada vez que tengamos 3 Falsos Negativos. TFA/TFR dependen de los anteriores. Ej. Decisión final basada en muestra única y operaciones de impostores simuladas mediante comparación cruzada completa con las muestras de prueba de cada cliente. TFA=(1-TFO)·RP·TFP TFR=TFO + (1-TFO)·TEAP + (1-TFO)·(1-TEAP)·TFN Dependencia de TFA/TFR con el umbral: se representa igual que para TFP/TPN. 

4.6 Rendimiento: Productividad
Técnicas Biométricas Aplicadas a la Seguridad Medidas de la productividad del sistema. Procesamiento en tiempo real: número medio de inscripciones y número medio de operaciones por unidad de tiempo. Procesamiento posterior a la adquisición de la muestra: tiempo medio por cliente del algoritmo de creación de patrones y tiempo medio por operación del algoritmo de clasificación. Medidas interesantes desde el punto de vista práctico.

Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. Los Datos. Medida del Rendimiento. Análisis Estadístico de los Resultados. 5.1 Introducción. 5.2 Sensibilidad Frente a Cambios. 5.3 Confianza en los Errores Estimados. Bibliografía. *Definidas las características del sistema y el ámbito del estudio de la evaluación, la siguiente etapa es la adquisición de los datos sobre los que probar el sistema para medir su rendimiento. En esta parte nos vamos a centrar en la problemática asociada a esta etapa de la evaluación.

5.1 Análisis Estadístico: Introducción
Técnicas Biométricas Aplicadas a la Seguridad Tipos de errores en el cálculo del rendimiento: [Best Practices, 2002] Aleatorios: debidos a la variación natural de las muestras, los voluntarios, etc. Condiciona la confianza en el resultado obtenido. Sistemático: debidos a sesgos en el procedimiento de evaluación. Ej. probar sólo bajo determinadas condiciones ambientales, tipos de individuos sobre o infrarrepresentados, etc. Interesante: estudiar como afecta al rendimiento del sistema determinadas modificaciones en las condiciones de prueba.

5.2 Análisis Estadístico: Sensibilidad
Técnicas Biométricas Aplicadas a la Seguridad Sensibilidad frente a cambios (error sistemático). Objetivo: establecer la significación estadísticas de las diferencias en el rendimiento observadas al modificar determinadas condiciones de prueba. Alternativa [Mansfield et al.,2001]: prueba 2 Evalúa la certeza sobre la hipótesis nula, H0: “x e y son independientes”, con x e y los factores bajo estudio. Ej. x=“resultados para hombres”, y=“res. para mujeres”

5.3 Análisis Estadístico: Confianza
Técnicas Biométricas Aplicadas a la Seguridad Confianza en las estimaciones (error aleatorio). Única forma de calcular el error real p del sistema sería probando sobre todo usuario y condición de uso. Imposible en la práctica: se obtiene una estimación p’.  Problema: deducir el comportamiento real del sistema a partir del estimado. Cuestiones importantes a resolver: Prefijado un nivel de confianza sobre la medida de error, encontrar el número mínimo de pruebas que lo garantice. Prefijado el tamaño de la población de prueba, y las condiciones experimentales, encontrar el intervalo de confianza sobre la estimación de error obtenida.

Técnicas Biométricas Aplicadas a la Seguridad Aprox. gaussiana: cálculo intervalo confianza. Para un número suficiente de pruebas, ni muy grande, ni muy pequeño: la distribución del error observado se puede aproximar por una gaussiana. Con un nivel de confianza del 100(1-)%, se puede afirmar que el error real p de nuestro sistema estará dentro del intervalo de confianza: V’(p’) estimación de la varianza del error observado. (1-/2) el área de la distribución normal entre - y z1-/2. Ej. 95% nivel de confianza: z0.975 = 1.96

Técnicas Biométricas Aplicadas a la Seguridad Aprox. gaussiana: condiciones cálculo anterior. Los voluntarios son representativos de la población bajo estudio. Intentos de distintos voluntarios son independientes. La tasa de error puede variar entre voluntarios. Se permite la existencia de “lobos”, “ovejas”, “cabras” y “corderos”. El número de errores observado no es muy pequeño.

Técnicas Biométricas Aplicadas a la Seguridad Aprox. gaussiana: cálculo de V’(p’). Para TFN, n voluntarios, ai FN para voluntario i, y con: 1 intento por voluntario: Con m intentos por voluntario: mi intentos por vol.:

Técnicas Biométricas Aplicadas a la Seguridad Aprox. gaussiana: cálculo de V’(p’). Para TFP, n voluntarios, bi FP para voluntario i, y con: 1 intento por impostor: Con Impostores simulados usando las muestras de prueba de otros clientes, comparación cruzada completa: m: muestras por voluntario. bij: muestras del voluntario i FA como pertenecientes al cliente j (bii =0).

Técnicas Biométricas Aplicadas a la Seguridad Técnica del Bootstrap: conceptos generales Solución más general: no presupone una forma en la distribución de errores observados. Descripción general: Crear muestras boostrap mediante muestreo con reemplazo del conjunto de prueba original. Muestra bootstrap: reproduce la estructura y dependencias del conjunto de prueba original. Obtener de manera empírica la distribución de errores, mediante el cálculo de éstos para cada una de las muestras bootstrap. Calcular a partir de esa distribución el intervalo de confianza.

Técnicas Biométricas Aplicadas a la Seguridad Técnica del Bootstrap: ejemplo aplicación. Estimación de TFN, n voluntarios, m intentos de cada uno Creación de la muestra bootstrap: Elegir aleatoriamente y con reemplazo n voluntarios del conjunto original: 1, 2, ..., n. Elegir aleatoriamente y con reemplazo para cada i, m intentos de ese voluntario: ti1, ti2, ..., tim. La muestra bootstrap es: Y={X(i,tij) / 1i n 1jm}. X(i,tij): resultado del clasificador perteneciente al cliente i sobre la muestra de prueba tij. Se genera un número grande de muestras bootstrap. Se calcula para cada una la TFN. Distribución obtenida: aproximación a la real.

Técnicas Biométricas Aplicadas a la Seguridad Técnica del Bootstrap: cálculo intervalo confianza. Cálculo del intervalo [L,M] dentro del cual estará con un 100(1-)% de confianza, la tasa de error real p: L: error para el que la fracción de muestras bootstrap con tasas de error menor que L sea /2. M: error para el que la fracción de muestras bootstrap con tasas de error mayor que M sea /2. Recomendaciones [Best Practices 2002]: 1000 muestras bootstrap si se quiere un nivel de confianza del 95% y 5000 si se quiere del 99%. p’ Fracción muestras Y L M =/2

Índice Exposición Técnicas Biométricas Aplicadas a la Seguridad Introducción. Planificando la Evaluación. Los Datos. Medida del Rendimiento. Análisis Estadístico de los Resultados. Bibliografía. *Definidas las características del sistema y el ámbito del estudio de la evaluación, la siguiente etapa es la adquisición de los datos sobre los que probar el sistema para medir su rendimiento. En esta parte nos vamos a centrar en la problemática asociada a esta etapa de la evaluación.

6. Bibliografía Técnicas Biométricas Aplicadas a la Seguridad UK Biometrics Working Group, Use of Biometric for Identification and Authentication Advice on Product Selection. Issue 2.0, Marzo 2002, J.P Campbell, Speaker Recognition: A tutorial, Proceedings of the IEEE, vol. 85, no. 9, pp , Septiembre 1997. The Common Criteria Biometric Evaluation Methodology Working Group, Biometric Evaluation Methodology. Common Criteria for Information Technology Security Evaluation. Biometric Evaluation Methodology Supplement. Version 1.0, Agosto 2002, [Doddington, 1998] G. Doddington, Speaker Recognition Evaluation Methodology. An Overview and Perspective, Proc. de Speaker Recognition and its Commercial and Forensic Applications (RLA2C), pp , Abril 1998. G. Doddington, W. Ligget, A. Martin, M. Przybocki y D. Reynolds, Sheep, Goats, Lambs and Wolves. A Statistical Analysis of Speaker Performance in the NIST 1998 Speaker Recognition Evaluation, en Proc. of International Conference on Spoken Language Processing, Artículo 608 del CD-ROM, Noviembre 1998. G. Doddington, M. Przybocki, M. Martin y D. Reynolds, The NIST Speaker Recognition Evaluation: Overview Methodology, Systems, Results, Perspective, Speech Communication, vol. 31, no. 2-3, pp , 2000. C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, Naval Postgraduate School Technical Report, NPS-MA , Enero 1999. C. L. Frenzen, Convolution Methods for Mathematical Problems in Biometrics, National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online

6. Bibliografía Técnicas Biométricas Aplicadas a la Seguridad The International Biometric Group, Comparative Biometric Testing. Official Test Plan 2.12, Disponible en [James y James, 2000] Kang James y Barry James, The “Penetration Rate” in Automatic Fingerprint Identification Systems, National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online [Jovanic y Levy, 1997] B.D. Jovanovic y P.S. Levy, A Look at the Rule of Three, The American Statisticiam, vol. 51, no. 2, pp , 1997. Dario Maio, Davide Maltoni, Raffaele Cappeli, J. L. Wayman y Anil K. Jain, FVC2000: Fingerprint Verification Competition, IEEE Trans. On Pattern Analysis and Machine Intelligence, vol. 24, No. 3, pp , Marzo 2002. [Best Practices, 2002] A.J. Mansfield y J.L. Wayman, Best Pratices in Testing and Reporting Performance of Biometric Devices. Version 2.01, Agosto 2002, Documento online T. Mansfield, G. Kelly, D. Chandler y J. Kane, Biometric Product Testing Final Report, National Physical Laboratory, UK, CESG contract X92A/ , Marzo 2001, . [Martin et al., 1997] A. Martin, G. Doddington, T. Kamm, M. Ordowski y M. Przybocki, The DET Curve in Assessment of Detection Task Performance, Proc. Eurospeech, vol. 4, pp , Septiembre 1997. P. Jonathon Phillips, Alvin Martin, C. L. Wilson y Mark Przybocki, An Introduction to Evaluation Biometric Systems, IEEE Computer, pp , Febrero 2000. P. Jonathon Phillips, Patrick Grother, Ross J. Micheals, Duane M. Blackburn, Elham Tabassi y Mike Bone, Face Recognition Vendor Test 2002: Evaluation Report, Marzo 2003, Disponible en

6. Bibliografía Técnicas Biométricas Aplicadas a la Seguridad [Porter, 2000] Jack E. Porter, On the “30 Error” Criterion, National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online Douglas A. Reynolds, Speaker Identification and Verification using Gaussian Mixture Speakers Models, Speech Communications, vol. 17, nos. 1-2, pp , Agosto 1995. K.R. Sharp, Whose Face Is It Anyway?, idSYSTEMS, vol. 20, no. 4, Abril Disponible en Weicheng Shen, Marc Surette y Rajiv Khanna, Evaluation of Automated Biometrics-Based Identification and Verification Systems. Proceedings of the IEEE, vol. 85, no. 9, pp , Septiembre 1997. J.L. Wayman, Biometric Technology Testing, Evaluation, Results. Disponible en J. L. Wayman, Confidence Interval and Test Size Estimation for Biometric Data, Proc. Automatic Identification Advanced Technologies (AutoID), Summit, NJ (USA), Y en National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online J. L. Wayman, Error Rate Equations for the General Biometric System, IEEE Robotics and Automation Magazine, vol. 6, no. 9, pp , Enero Y en National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online J. L. Wayman, “Degrees of Freedom” as Related to Biometric Device Performance. National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online

6. Otra Bibliografía Técnicas Biométricas Aplicadas a la Seguridad J. L. Wayman, Technical Testing and Evaluation of Biometric Identification Devices, en Biometrics: Personal Identification in a Networked Society, Editado por A. Jain, R. Bolle y S. Pankanti, Kluwer Academic Press, Boston, Y en National Biometric Test Center Collected Works , pp , Agosto 2000, Documento online J. L. Wayman, A. Jain, D. Maltoni y D. Maio, Biometric Systems: Technology, Design and Performance Evaluation, Springer Verlag, 2003.

Rendimiento y Evaluación de Dispositivos Biométricos

Presentaciones similares

Presentación del tema: "Rendimiento y Evaluación de Dispositivos Biométricos"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Rendimiento y Evaluación de Dispositivos Biométricos

Presentaciones similares

Presentación del tema: "Rendimiento y Evaluación de Dispositivos Biométricos"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback