Detección de líneas de referencia de palabras en cursiva según la Entropía Rodríguez de Torres Jaramillo, Joaquín Carlos Rivas Pérez, Manuel Peña Cantillana,

Presentación del tema: "Detección de líneas de referencia de palabras en cursiva según la Entropía Rodríguez de Torres Jaramillo, Joaquín Carlos Rivas Pérez, Manuel Peña Cantillana,"— Transcripción de la presentación:

1 Detección de líneas de referencia de palabras en cursiva según la Entropía Rodríguez de Torres Jaramillo, Joaquín Carlos Rivas Pérez, Manuel Peña Cantillana, Felipe

2 Índice Índice Introducción. - On-line. - Off-line. - Analytic aproach. - Holistic aproach. - Resumen. Método propuesto. - Otras técnicas. - Extracción de puntos del contorno. - Generación de histogramas. - Elección del histograma según “la Entropia”. - Deducción de líneas de referencia. Ejemplos prácticos. Bibliografía. Turno de preguntas.

3 Introducción Reconocimiento de la escritura manual (cursive script recognition): 1. On-line: la escritura manual es producida a través de un dispositivo como un lápiz electrónico o tabletas gráficas 2.Off-line: se trabaja con imágenes digitales introducidas a través de un escáner o cámara digital

4 Características On-line Uso de lápiz electrónico o tabletas gráficas. Colaboración entre escritor y el computador. Línea de escritura no tiene grosor. Reconocimiento basado en un dato unidimensional, es decir, la línea de escritura es representada mediante una secuencia de puntos cuya localización es función del tiempo.

5 Características Off-line No necesita de dispositivos especiales para realizar la escritura. No hay ningún tipo de colaboración entre escritor y el computador. La escritura posee grosor. Reconocimiento basado en un dato bidimensional.

6 Off-line Nos centraremos en el reconocimiento Off-line, donde podemos encontrar dos estrategias fundamentales aplicadas al problema del CSR: Analytical aproach o segmentation-based: En este primer caso, la palabra es considerada como un conjunto de unidades más pequeñas, las técnicas de reconocimiento de palabra se basan en el reconocimiento de esas unidades que la forman. Holistic aproach o word-based: En este segundo caso, el reconocimiento de la palabra se realiza considerando ésta como un todo, es decir, no se intenta identificar los caracteres de los que está compuesta.

7 Analytical aproach vs Holistic aproach Los puntos de segmentación de la palabra son establecidos correctamente solo cuando se conoce la secuencia correcta de caracteres que forman dicha palabra. El reconocimiento de caracteres sólo es exitoso cuando la segmentación es correcta. Tomar muchos potenciales puntos de segmentación, pero esto se complica bastante al mezclarlo con la elección de los posibles caracteres que forman dicha palabra. Pobre uso de la información contextual obtenida de caracteres vecinos. Analytical aproach:

8 Analytical aproach vs Holistic aproach Extraer un vector que caracteriza la palabra. Por comparación con prototipos de palabras almacenadas en un diccionario se concluirá que palabra es ésta. Con este método se gana en velocidad y evita todos aquellos problemas surgidos de la segmentación de la palabra en unidades más pequeñas. Se aproxima más al método de lectura humano. El único problema que plantea este método es el de tener un léxico apropiado para el reconocimiento de las palabras. Holistic aproach:

9 Aplicaciones - Reconocimiento direcciones postales - Lectoras para ciegos - Impresos rellenados manualmente - Talones bancarios

10 Reconocimiento de palabras cursivas o escritura manual Reconocimiento On-line Reconocimiento Off-line Analytic aproach Holistic aproachResumen Reconocimiento de palabras

11 Etapas de reconocimiento

12 Preprocessing Convertir la entrada de escritura manual en una forma más eficiente. Elegir entre modificar la imagen o preservar características. Normalización, reducción de ruido, búsqueda de líneas de referencia

13 Preprocessing Extracción contorno (contour tracing) Corrección de inclinación (skew correction) Corrección del declive (slant correctíon) Búsqueda de líneas de referencia (reference line finding) o baselines Suavizado (smoothing) Cambio de escala (scaling) Extracción del esqueleto (thinning)

14 Preprocessing Skew/base-line correction Slant correctionBase-line findingThinning

15 Slant correction n 1 =3 n 2 =3 n 3 =1

16 Slant correction

17

18

19

20

21

22

23 Hyper SPARC 125 MHz

24 Líneas de referencia Objetivo: Detectar primitivas significativas: ascendentes y descendentes Dividir palabra en 3 partes: superior (ascendentes), central (cuerpo), inferior (descendentes)

25 Líneas de referencia Problema: Escritura cursiva es a menudo inclinada Enderezamiento => Distorsiones (pérdidas de información) Métodos conocidos complejos (requieren corrección previa de la inclinación, skew correction)

26 Líneas de referencia Método – 1) Extracción puntos del contorno – 2) Generación histogramas ordenadas – 3) Selección histograma más compacto (entropía menor) – 4) Deducción líneas de referencia

27 1.- Extracción del contorno Objetivo: Eliminar puntos sobrantes Barras de ‘t’, letras ‘i’, ‘j’ Para encontrar todos los puntos del borde de S, podemos rastrear la imagen y comprobar los cuatro vecinos de cada 1 (negro) para ver si alguno de ellos es 0 (blanco) o vv.

28 1.- Extracción del contorno 00100 01010 01010 00100 00000 00100 01110 01110 00100 00000

29 2.-Generación de histogramas Cada ordenada de los puntos es proyectada en un eje cuyo ángulo de inclinación con respecto a la horizontal varía desde +30º hasta –30º en pasos de 1º => 61 proyecciones Calcular histograma de densidad para cada proyección => 61 histogramas

30 2.-Generación de histogramas Dado un punto del contorno P(x,y) y un ángulo de proyección  con respecto a la horizontal, sus coordenadas en el nuevo sistema de referencia se obtienen aplicando una rotación: aunque solo necesitaremos la proyección y’:

31 PROYECCIONES (I) X Y Y i son iguales => Puntos siguen dirección OX O P1(X 1,Y 1 ) P2(X 2,Y 2 ) P3(X 3,Y 3 ) X1X1 X2X2 X3X3 Y1Y1 Y2Y2 Y3Y3

32 X Y Y i son distintos => Puntos NO siguen dirección OX O X1X1 X2X2 X3X3 Y1Y1 Y2Y2 Y3Y3 PROYECCIONES (II) P1(X 1,Y 1 ) P2(X 2,Y 2 ) P3(X 3,Y 3 )

33 PROYECCIONES (III) X Y Y i son distintos => Puntos NO siguen dirección OX Y i ’ son iguales => Puntos siguen dirección OX’ O X1X1 X2X2 X3X3 Y1Y1 Y2Y2 Y3Y3 P1(X 1,Y 1 ) P2(X 2,Y 2 ) P3(X 3,Y 3 ) X’ Y’ Y’ 1 Y’ 2 Y’ 3

34 2.-Generación de histogramas

35 3.- Elección del histograma Entropía: N i = Nº de pixeles con proyección y i en el vector proyección N = Nº total de puntos P i = frecuencia de ocurrencia de la ordenada y i

36 3.- Elección del histograma Entropía máxima => Todas Pi son iguales => Distribución homogénea, muy extendida (plana) Entropía mínima => Todas Pi son nulas (excepto una) => Distribución heterogénea, poco extendida (abrupta)

37 3.- Elección del histograma La dirección de la inclinación de la palabra se obtiene minimizando la entropía Se calcula la entropía para cada histograma de densidad y se coge el de mínima entropía

38 3.- Elección del histograma

39 4.- Obtención de las líneas Cada histograma presenta 3 picos: central (cuerpo), izquierda (zona ascendentes), derecha (zona descendentes) Ausencia picos laterales (no hay ascendentes / descendentes) Líneas de referencia: rectas separan pico central de las zonas laterales. Ordenadas al origen son los umbrales

40 4.- Obtención de las líneas Heurística de aproximación : donde f max es la frecuencia del pico central

41 4.- Obtención de las líneas

42 Líneas de referencia

43 Ventajas No causa ninguna deformación en la imagen de partida, lo cual es importante a la hora de detectar la primitivas salientes de la imagen Menos complejo que los métodos que usan regresiones lineales

44 Ejemplos Elmira Almaden Tennesse Treadwell

45 Inconvenientes La heurística no siempre se verifica aunque la dirección sea la correcta => Búsqueda adaptativa mejorando los umbrales (thresholding) Problemas con las ‘T’, ‘F’ que originan picos parásitos que impiden la detección del pico central (aunque ocurre pocas veces)

46 Inconvenientes Four Ten Two Tappan Talmage Mal Bien

47 Ejemplos FiskillThiells Taberg

48 Ejemplos one nine seven six

49 Ejemplos Criterio de la entropíaCriterio del pico maximal dollars eighteen

50 Comparativa ÉxitosFracasos Método regresiones lineales 61 %39 % Método propuesto85 %15 %

51 Bibliografía http://www.infres.enst.fr/~elc/curscript/ http://www.math.tau.ac.il/~nin/papers/ijdar99.pdf “Offline Cursive Script Word Recognition – a survey” Tal Steinherz, Ehud Rivlin, Nathan Intrator. Revised September 2, 1999 http://www.gpa.etsmtl.ca/rech/cote8.htm Myriam Côté,Utilisation d'un modèle d'accès lexical et de concepts perceptifs pour la reconnaissance d'images de mots cursifs. Thèse de doctorat, Département signal, Ecole nationale supérieure des télécommunications de Paris, Paris, France, 6 juin 1997, 178 pages.