CARPLATE Reconocimiento del marco de la matrícula de un coche PID - 05/06 – Grupo 7 CARPLATE Reconocimiento del marco de la matrícula de un coche Dirigido por Pedro Real Jurado Realizado por Carrasco Dávila, Ana María Sánchez Venzalá, José Ignacio Vázquez Bonilla, Juan Antonio

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Índice Introducción Objetivos Proceso de reconocimiento Binarización (alternativas) Binarización por Entropía Difusa I Binarización por Entropía Difusa II Cálculo de componentes conexas Ejemplos Demostración Práctica Líneas abiertas - Mejoras Conclusiones

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Introducción Los sistemas automáticos de reconocimiento son herramientas cada vez más utilizadas. Entre ellos podemos encontrar los sistemas de reconocimiento de matrículas de vehículos (radares de control de velocidad, peajes, parkings, control de entrada a recintos, etc.) Uno de los principales problemas para esta tarea es la localización de la matrícula en la imagen del vehículo.

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Objetivos El objetivo principal de este trabajo es reconocer y obtener el marco de las matrículas de los coches utilizando un algoritmo de entropía difusa. Más concretamente, el trabajo se centra en mejorar ciertas etapas del proceso de reconocimiento implementado en años anteriores: Binarización de la imagen Cálculo de componentes conexas Interfaz

Proceso de reconocimiento PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Proceso de reconocimiento El proceso de reconocimiento se puede dividir en dos tareas: Obtención del marco de la matrícula Reconocimiento de los caracteres Este trabajo se centra en la obtención del marco de la matrícula.

Proceso de reconocimiento PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Proceso de reconocimiento Para obtener el marco, se han de realizar las siguientes tareas: Convertir la imagen RGB a escala de grises Obtener el histograma de la imagen Binarizar la imagen Extracción de contornos de los objetos presentes en la imagen (Outlines) Obtener las componentes conexas Delimitar los bordes de la matrícula a partir de los caracteres detectados

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización El proceso de binarización consiste en transformar una imagen en escala de grises en una imagen binaria (píxeles blancos y negros). Para realizar esta transformación se ha de elegir un umbral T, de forma que los píxeles quedan agrupados en dos conjuntos, según su nivel de gris: Conjunto de píxeles negros (0): Imagen(i,j)<T Conjunto de píxeles blancos (1): Imagen(i,j)>=T La principal dificultad es por tanto la elección del umbral T más adecuado para esta tarea.

Binarización (alternativas) PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización (alternativas) Para determinar el umbral T más adecuado, se pueden utilizar diversos algoritmos, entre los que podemos citar: Entropía de conjuntos difusos Valor gris medio Porcentaje de píxeles negros Método de los dos picos Píxeles de borde Selección Iterativa Histogramas de nivel de gris Umbral mínimo de error Relajación Medias móviles

Binarización por Entropía Difusa I PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa I Con objeto de encontrar un umbral para binarizar una imagen, vamos a clasificar los píxeles como pertenecientes al conjunto de píxeles de fondo, o como pertenecientes al conjunto de píxeles de objeto. Usa una medida de “difusidad”, minimizar esa “borrosidad”.

Binarización por Entropía Difusa I PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa I Una buena función para definir la pertenencia de un píxel al conjunto de píxeles de fondo o píxeles de objetos es la siguiente: C es una constante consistente en la diferencia entre el nivel de gris máximo y el nivel de gris mínimo de la imagen. μ0 es el nivel medio de gris del fondo de la imagen - μ1 es el nivel medio de gris de los píxeles de objetos de la imagen - t es un cierto valor de umbral dado

Binarización por Entropía Difusa I PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa I Una medida de la “difusidad” está basada en la entropía de conjuntos “difusos”, que viene dada por la formula: Siendo Ht la fórmula de Shannon. El umbral t apropiado para la binarización, que minimiza la difusidad, es el mismo que hace que el valor de la función E(t) sea mínimo.

Binarización por Entropía Difusa II PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa II Al igual que la binarización anterior, vamos a buscar un umbral t adecuado para que al binarizar la imagen, las formas presentes en la misma se “vean” lo más nítidas posibles. Este umbral viene definido a partir de la gráfica siguiente:

Binarización por Entropía Difusa II PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa II Donde la función de pertenencia se define como: Donde el intervalo [a,c] es la región de difusidad definida.

Binarización por Entropía Difusa II PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Binarización por Entropía Difusa II La Entropía para cada nivel de gris de la imagen, se obtendría aplicando: Según el artículo de la Universidad de Sichuan, los valores adecuados de r (=t) que hacen una binarización adecuada de la imagen para detectar la matrícula, se encontrarían entre los valores que maximizan (local o globalmente) H(r).

Cálculo de componentes conexas de la Imagen PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Cálculo de componentes conexas de la Imagen El cálculo de componentes conexas lo hemos realizado tal y como se define en el algoritmo explicado en clase. A continuación se han tomado aquellas componentes que tienen más de un número determinado de píxeles, en este caso, 10. De esta forma se detectan todos los números y letras de la matrícula, y se elimina el ruido de la imagen que pueda existir. Una vez que tenemos todas las componentes de la imagen ordenadas en un SortedSet según la comparación de la distancia euclídea de la componente al punto de origen (0,0), calculamos las componentes conexas de la matrícula.

Cálculo de componentes conexas de la Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Cálculo de componentes conexas de la Matrícula Se comprueba: La componente tenga una proporción correcta, esto se debe a que las letras/números de una placa son más o menos cuadradas. La separación máxima que pueden tener es un porcentaje de la altura de la componente i-ésima. Las componentes no deben estar superpuestas, además de ser proporcionales. Una matricula debe tener más de 2 dígitos y menos de 8, de esta forma se incluyen las matrículas extranjeras.

Ejemplos: Binarización de Entropía Difusa I PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Ejemplos: Binarización de Entropía Difusa I

Ejemplos: Binarización de Entropía Difusa II PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Ejemplos: Binarización de Entropía Difusa II

Ejemplos: Comparación de binarizaciones PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Ejemplos: Comparación de binarizaciones Primer Algoritmo Fuzzy Segundo Algoritmo Fuzzy

Demostración Práctica PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Demostración Práctica

Líneas abiertas – Mejoras PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Líneas abiertas – Mejoras Existen dos líneas básicas de investigación en las que se podrían buscar mejoras: En el Algoritmo de búsqueda del umbral óptimo para la binarización: la función implementada a partir del artículo de la Universidad de Sichuan está basado en parámetros, que podrían ser optimizados. Algoritmo de detección de componentes conexas es poco eficiente. Se podrían buscar alternativas a la manera de detectar los números de la matrícula.

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Conclusiones Se ha implementado una aplicación que procesa imágenes de vehículos y obtiene sus matrículas: Se ha adaptado una aplicación de procesamiento de imágenes: ImageJ. Para la obtención de las matrículas, se sigue un proceso que incluye una binarización de la imagen y una búsqueda de componentes conexas.

Reconocimiento de Placas de Matrícula PID - 05/06 – Grupo 7 Reconocimiento de Placas de Matrícula Conclusiones La binarización de las imágenes se ha implementado de dos maneras distintas: según el algoritmo de entropía difusa visto en clase y según el algoritmo descrito en un artículo de la Universidad de Sichuan. La búsqueda de componentes conexas se ha realizado según el algoritmo visto en clase, y posteriormente se han elegido las componentes pertenecientes a la matrícula en función de una serie de criterios como la distancia euclídea al origen, la cuadratura de las dimensiones, etc.

CARPLATE Reconocimiento del marco de la matrícula de un coche PID - 05/06 – Grupo 7 CARPLATE Reconocimiento del marco de la matrícula de un coche Dirigido por Pedro Real Jurado Realizado por Carrasco Dávila, Ana María Sánchez Venzalá, José Ignacio Vázquez Bonilla, Juan Antonio