Error sistemas biometricos1 Estadísticas de error en biometría Error rate equations for the general biometric system, J.L. Wayman, IEEE Robotics & Automation.

Presentación del tema: "Error sistemas biometricos1 Estadísticas de error en biometría Error rate equations for the general biometric system, J.L. Wayman, IEEE Robotics & Automation."— Transcripción de la presentación:

1 error sistemas biometricos1 Estadísticas de error en biometría Error rate equations for the general biometric system, J.L. Wayman, IEEE Robotics & Automation Magazine, (march 1999) 6 (1) pp. 35-48

2 error sistemas biometricos2 Introducción Identificación biométrica: verificar que el usuario es quien dice ser o no es quien dice no ser. Verificación: emparejamiento uno-a-uno, la base de datos es de un único individuo. Identificación: emparejamiento uno-a-muchos, la base de datos es de muchos individuos. Test de sistemas miden: –Falsa aceptación (falsa alarma, falso positivo) –Falso rechazo (falso negativo) –Listas de candidatos. El objetivo del trabajo de Wayman es desacoplar la evaluación del rendimiento del sistema del tamao de la búsqueda, la política de decisión y el diseño del test.

3 error sistemas biometricos3 En general los sistemas biométricos permiten registrar varias medidas o varias presentaciones del mismo usuario y durante la operación permiten presentar varias muestras para el emparejamiento. El sistema puede realizar múltiples comparaciones para verificar la identidad Los sistemas son comparaciones M-a-N –M es el número de muestras que se puden utilizar en la operación, de la misma o diferentes características biométricas. Es el “conjunto muestra”. –N es el tamaño de la base de datos. Existen U usuarios registrados con T patrones o modelos almacenados para cada uno. –Los modelos de cada usuario se consideran independientes en el sentido estadístico –Si es el mismo numero de patrones para cada usuario tenemos N=T * U.

4 error sistemas biometricos4

5 5 Medidas basicas Coeficiente de penetración El error de pre-clasificación “bin-error” Tasa de falsos positivos en comparación simple. Tasa de falso negativos en comparación simple. Tasa de comparaciones del sistema (comparaciones por unidad de tiempo)

6 error sistemas biometricos6 Particiones de los datos Está orientada a reducir el número de comparaciones necesarias para realizar la búsqueda. Partición de los N datos tomados en función de características internas: binning Partición basada en características externas (nombre, etc): filtering. Un patrón puede colocarse en muchas particiones simultáneamente si existe incertidumbre en su clasificación En operación, las muestras se clasifican y sólo se comparan con los datos en las mismas particiones.

7 error sistemas biometricos7 Coeficiente de penetración Es la porción de la base de datos total que se examina, en promedio por cada muestra de entrada. Se asume que la búsqueda no termina cuando se encuentra el emparejamiento, sino que se extiende a la partición correspondiente. –Depende de la forma de particionar los datos. Cuanto menor es el coeficiente de penetración, mejor es la eficiencia del sistema.

8 error sistemas biometricos8 En sistemas de verificación, los datos de los usuarios pueden estar almacenados –en una tarjeta inteligente. En cada transacción la base de datos son los T patrones en la tarjeta. –de forma centralizada, donde los datos pueden particionarse en K clases En cada transacción sólo examina N/K datos. Si K=U sólo se examinan los datos correspondientes a cada usuario. Independientemente de la arquitectura de almacenamiento el coeficiente de penetración es

9 error sistemas biometricos9 En sistemas de identificación se trata de comprobar una identidad no especificada. Se puede considerar T particiones de U datos en cada una. Los datos entre particiones están ligados por la identidad del usuario. La partición es un filtrado. En este caso el coeficiente de penetración es

10 error sistemas biometricos10 En el caso general tenemos K particiones de los datos y p i es la probabilidad de que un patrón caiga en la i-esima partición. Cada partición tendrá N* p i patrones. El número de comparaciones esperado es El coeficiente de penetración es Si las particiones son exclusivas

11 error sistemas biometricos11 En el caso de exista una partición etiquetada como “desconocido” –Las muestras etiquetadas como desconocido tienen que ser comparadas con todos los patrones –Todas las muestras tienen que ser comparadas con los patrones en la clase desconocido. –Sigue manteniendose la intersección nula entre clases El numero de comparaciones promedio por muestra: Muestras etiquetadas como desconocidas Restantes muestras Coeficiente de penetración

12 error sistemas biometricos12 Cuando la clasificación es incierta pero no completamente desconocida, la muestra se coloca en múltiples bins por lo que El coeficiente de penetración promedio en este caso puede ser calculado empíricamente como

13 error sistemas biometricos13 Supuesto que existen B métodos independientes de partición de los patrones (filtering & binning) Si los métodos de partición son realmente independientes, el coeficiente de penetración de la i-esima medida se escribe como Si existe correlación entre los métodos de partición esta ecuación subestima el coeficiente de penetración. ensemble binning: Si el número de medidas por usuario es T>1 y el número de muestras es M=T y las clases están definidas sobre todas las medidas simultaneamente

14 error sistemas biometricos14 Error de clasificación bin-error rate Refleja los errores inducidos por las inconsistencias en el proceso de partición de los patrones y de clasificación de las muestras Los errores en la clasificación basada en características propias (binning) son difíciles de caracterizar. Los errores de filtrado se deben a errores en la recolección de los datos, no son medibles y dan lugar a fraudes e irregularidades. Es preferible el proceso de binning o clasificación automática

15 error sistemas biometricos15 El error de clasificación empírico se calcula como En el caso de múltiples métodos de partición, la probabilidad de no error de partición (asumiendo independencia) para cada medida es Si todos los métodos tienen el mismo error Para los ensemble binnings:

16 error sistemas biometricos16

17 error sistemas biometricos17 Distancias El sistema de reconocimiento de patrones calcula una medida D escalar y positiva por cada comparación entre los patrones y la muestra: la “distancia”. D es creciente con la diferencia entre muestra y patrón. La distribución “genuina”  G (D) de las distancia es el histograma de las distancias entre muestras y patrones que corresponden a emparejamientos correctos. Esta distribución mide la repetibilidad del patrón. El fenómeno del “envejecimiento de los patrones” consiste en el aumento de las distancias de las muestras respecto de los patrones conforme pasa el tiempo.

18 error sistemas biometricos18 La disribución de los “impostores”  I (D) es el histograma de las distancias de los emparejamientos incorrectos. Puede construirse de varias maneras: –Comparando cada muestra con un único patrón no-mismo –Comparando cada muestra con cada patrón de identidad distinta –Mediante remuestreo aleatorio, en el que se extraen aleatoriamente los patrones. –Creando una base de datos de patrones “de fondo” para los que no hay emparejamiento. La estimación de la distribución de impostores puede ser más crítica que la de la distribución genuina. Necesita muchos más datos para su estimación y esmucho más suave. La distribución genuina permite calcular las tasas de error de falsos rechazos (falso negativo). La distribución de impostores permite calcular las tasas de error de falso emparejamiento (falso positivo). Idealmente las distribuciones genuina y de impostor tendrían soporte disjunto, con lo que un umbral sobre la distancia permitiría decidir correctamente.

19 error sistemas biometricos19

20 error sistemas biometricos20 La distribución genuina  G (D) suele ser bimodal. El segundo modo de la distribución  G (D) coincide con el modo principal de  I (D) Las colas de ambas distribuciones se solapan fuertemente. La distribución interpatrones  T (D) modela la distancia entre los patrones indep. de la identidad y la clase.

21 error sistemas biometricos21 Single comparison False-match rate Una muestra es asignada incorrectamente a un patrón dado que la distancia está bajo un umbral . Puede calcularse a partir de la distribución de impostores la tasa de error de falso emparejamiento

22 error sistemas biometricos22 Single comparison false-nonmatch rate Un falso no emparejamiento ocurre cuando se rechaza incorrectamente el emparejamiento una muestra en base al umbral de distancias. Se calcula sobre la distribución genuina

23 error sistemas biometricos23 Rendimiento del sistema Emparejamiento y desemparejamiento correcto y en tiempo de clientes a identidades en una base de datos de N patrones basado en una política de decisión que utiliza M muestras de cada cliente. Una muestra de cada medida M=T. En sistemas multi-medida, se utiliza un subconjunto de m<M medidas para hacer una búsqueda previa y descartar de forma eficiente la mayor parte de los usuarios en la BD.

24 error sistemas biometricos24 Esquema de decisión Para declarar un emparejamiento se requiere que se emparejen Q de las M medidas sobre un conjunto de T patrones. Se hace una búsqueda inicial con m medidas sobre las particiones relevantes de la base de patrones. Se hace un total de comparaciones Los emparejamientos se confirman comparando las M muestras contra los T patrones del mismo conjunto de patrones. Se activa la comparación cuando una de las m medidas es positiva. Si no se empareja ninguna de las m muestras u ocurren más de T-Q no- emparejamientos de los M muestras, se declara como no emparejado. Las m muestras consideradas en la búsqueda inicial tienen errores independientes Tasas de error uniformes

25 error sistemas biometricos25 System False-nonmatch rate Para que no ocurra un falso nonmatch debe no haber –Error de clasificación (binning) –Error de emparejamiento Asumiendo los errores independientes, la probabilidad de emparejamiento correcto es Prob. de no emparej.

26 error sistemas biometricos26 Si el sistema no hace combinaciones de los emparejamientos de las distintas medidas, sino que las considera independientes, el falso nonmatch del sistema ocurre cuando todas las m comparaciones resultan en un falso nonmatch Esta ecuación subestima la probabilidad dado que en la practica se observa una cierta dependencia entre los resultados de los emparejamientos.

27 error sistemas biometricos27 Para sistemas que emplean ensembles, la i-esima de m comparaciones contra todo el ensemble, requiere para que no se produzca un falso nonmatch –La comparación inicial de muestra y patrón no sea un falso nonmatch –Q-1 de los restantes patrones del ensamble sean correctamente emparejados La probabilidad de declarar una correcta identificación en la i-esima de m comparaciones Q o más emparejamientos correctos a partir de la i-esima muestra

28 error sistemas biometricos28 La probabilidad de falso nonmatch es la complementaria Si las comparaciones son independientes, la probabilidad de un falso nonmatch del sistema es En el caso de ensemble binning la probabilidad de error de clasificación es la misma para todas las muestras, por lo que las probabilidades de emparejamiento correcto no son independientes para cada muestra y no se pueden aplicar a las ecuaciones anteriores.

29 error sistemas biometricos29 En el caso de ensemble binning, el error de clasificación no es independiente sobre las M comparaciones, ya que cada comparación mira en la misma partición. Reescribiendo Para obtener una identificación correcta en el caso de los ensemble binning requiere 1) no hay error de clasificación para todo el ensemble, 2) no hay fallo en las búsquedas iniciales.

30 error sistemas biometricos30 System false-match rate En sistemas sencillos se declara un emparejamiento si cualquiera de las m comparaciones resulta en un emparejamiento. Esta cantidad se aproxima siempres a 1 para grandes m*N*P i

31 error sistemas biometricos31 En un sistema que utiliza varias medidas, se declara un falso emparejamiento si Q falsos emparejamientos ocurren contra los patrones de registro de un usuario, cuando antes m falsos emparejamientos iniciales se han realizado. Copiado literalmente pero seguro que hay que sustituir FNM por FMR Al recorrer todas las distintas particiones, la probabilidad de que las m búsquedas iniciales no terminaran en un falso emparejamiento

32 error sistemas biometricos32 Para el sistema completo, la tasa de error de falso emparejamiento, considerando independientes las m comparaciones iniciales. La tasa de falsos emparejamientos decrece con el coeficiente de penetración. Permite tasas de error razonables incluso para grandes N.

33 error sistemas biometricos33 System throughput Capacidad de proceso del sistema Depende de –La tasa harware de comparación –El número m de muestras comparadas con la base de datos –El número de patrones N –El coeficiente de penetración

34 error sistemas biometricos34 En el caso de que no se encuentren emparejamientos, el throughput en clientes por unidad de tiempo C es la tasa hardware de proceso uno-a-uno Si hay ensemble binning Minimizar los costos frente a un throughput establecido obliga a modificar el coeficiente de penetración (mediante binning o filtering) aumentando la tasa de falso nonmatch y decreciendo la tasa de falso emparejamiento.

35 error sistemas biometricos35 Sistema uno-a-uno Muestra única y patrón único de un usuario para verificación. T=1, N=T=1, P sys =1, N=U*T, P sys =1/U, N* P sys =T=1.m=1

36 error sistemas biometricos36 Uno-a-uno con tres intentos. La tasa de falsos rechazos decrece exponencialmente con el número de reintentos, sin embargo la tasa de falsas aceptaciones solo decrece linealmente

37 error sistemas biometricos37 One-to-several verification systems Comparaciones independientes Una medida y varias muestras y patrones almacenados Los falsos emparejamientos (falsas aceptaciones) crecen linealmente (FMR tiende a 1), los falsos rechazos decrecen exponencialmente.

38 error sistemas biometricos38 “One to many” single comparison systems Coeficiente de penetración menor que 1, existe bin-error fingerprint Filtro de género: asumiendo 2% de género desconocido, mitad y mitad Coeficiente de penetración.

39 error sistemas biometricos39 Falsos no emparejamientos son independientes de N. Espectación de falsos emparejamientos Condición para una buena definición del sistema de identificación

40 error sistemas biometricos40

41 error sistemas biometricos41 M-to-N Datos de 4 dedos (Filipinas) comparaciones Al menos tres dedos emparejados

42 error sistemas biometricos42 Muestras independientes Ensemble binning El error de falsos no emparejamientos es 5 veces mayor

43 error sistemas biometricos43 Si el coeficiente de penetración es el mismo

44 error sistemas biometricos44 40,000 por semana