Reconocimiento y resolución de ecuaciones impresas Luis Fernández Pérez Marco Antonio Formoso Trigo

Índice 1. Introducción 2. Preprocesamiento de la imagen 3. Segmentación 4. Reconocimiento de Caracteres (OCR) 5. Resolución de la operación 6. Resolución práctica 7. Experimentación 8. Conclusiones 9. Posibles mejoras

1. Introducción En general, la resolución de ecuaciones matemáticas es un problema costoso. Por otro lado, en la actualidad las personas disponen de muchos medios para hacer fotografías, ya sea con una cámara o un simple teléfono móvil. El sistema pretende solventar dicho problema mediante una imagen pasada como parámetro de entrada. De esta forma, bastaría con fotografiar la operación que pretendamos resolver. Debido a problemas de tiempo nos hemos restringido a cálculos sencillos como pueden ser operaciones aritméticas básicas. La técnica que hemos empleado ha sido la de matching, empleando como criterios de discriminación de caracteres los “momentos de Hu”, centroide y por subcontornos (círculos interiores).

1. Introducción Preprocesado Obtención de descriptores Guardado de descriptores Guardado de los descriptores de referencia. Segmentación

1. Introducción Preprocesado Obtención de descriptores Comparación descriptores Clasificación caracteres Resolución ecuación Clasificación Segmentación

2. Preprocesamiento Filtro Gaussiano Uno de los problemas más comunes que nos encontramos a la hora de analizar imágenes tomadas desde un dispositivo es el ruido. Para solventar esto se ha aplicado un filtro Gaussiano para la eliminación del posible ruido de la imagen.

2. Preprocesamiento Binarización La binarización realiza el paso a blanco y negro de la imagen. Esto requiere de la utilización de un umbral para discernir qué es blanco y qué es negro. En nuestro caso hemos hecho uso de la umbralización adaptativa gaussiana.

2. Preprocesamiento La umbralización adaptativa funcionaría en base a la siguiente expresión: Donde: src: es la imagen de entrada, dst: es la imagen resultante de igual tamaño que la de entrada, maxValue: Es el valor de no nulo asignado a los píxeles para que la condición se cumpla T(x,y): es un umbral calculado individualmente para cada pixel. En nuestro caso, el valor de umbral T(x, y) es una suma ponderada (correlación cruzada con una ventana gaussiana) de la zona de (x, y) menos C, siendo C una constante resta de la media o media ponderada (normalmente positiva, pero puede ser cero o negativa también).

3. Segmentación Se usa un algoritmo de detección de bordes (border following), para posteriormente crear un rectángulo mínimo que encierre ese borde. Este rectángulo nos da la medida para poder separar este elemento del resto de la imagen y poder tratarlo por separado.

4. Reconocimiento de caracteres (OCR) Aquí usamos distintos descriptores para filtrar, y obtener el valor correspondiente a la figura que estamos analizando. (Suponiendo guardados unos descriptores de referencia para comparar) Momentos de Hu Centroide Número de subcontornos (agujeros) Para casos especiales, las posiciones X e Y Para clasificación: Centroide y subcontornos Momentos de Hu Caso especial

4. Reconocimiento de caracteres (OCR) Momentos de Hu: Son momentos “virtuales” de la imagen, generados a partir de los momentos centrales normalizados. No se corresponden a magnitudes físicas del objeto a tratar, salvo el primero y el último. (Momento de inercia y reflexión) Invariantes a reescalado, rotación, traslación y reflexión.

4. Reconocimiento de caracteres (OCR) Momentos de Hu: Comparación de los momentos para la clasificación con la siguiente Donde:

4. Reconocimiento de caracteres (OCR) Centroide: Se obtiene la posición del centroide dividiendo en 4 cuadrantes la figura, con un error. Distinguir el 6 del 9.

4. Reconocimiento de caracteres (OCR) Número de agujeros: Si es un 8 tendrá dos, un 1 tendrá cero, ect.. Es un filtro más que nos ayuda a mayor distinción entre objetos. Posición X e Y: Para casos especiales como el “+” y el “*”, que los momentos Hu son parecidos, usamos la posición que tienen en altura estos objetos, sabiendo que el asterisco siempre estará por encima.

5. Resolución de la operación El proceso anterior nos devuelve una cadena que tratamos con cualquier librería Python, en este caso Sympy, ya que si se le pasa una cadena, es capaz de resolverla sin mayores problemas.

6. Resolución práctica Para símbolos que se parezcan mucho, como el caso del + o el * (siempre refiriéndonos a sus descriptores) el programa a veces puede llegar a confundir sus valores. Aunque para este caso concreto incluso se ha ideado un filtro, como es el caso de que el asterisco siempre esta “más alto” que la cruz, pero no es suficiente.

6. Resolución práctica También otro problema surgido a raíz de usar los Momentos de Hu, que son invariantes ante el reflejo del objeto. Por eso el 2 y el 5 pueden llegar en algunas situaciones a ser el mismo objeto.

7. Experimentación

8. Conclusiones La realización del trabajo ha supuesto un gran esfuerzo tanto a nivel técnico como intelectual, ya que al haber sido planteado por nosotros no pudimos calcular bien la dificultad que podría tener el reconocimiento de caracteres (OCR). Lo que inicialmente creíamos que iba a ser una tarea más sencilla nos ha ocupado la mayor parte del trabajo, lo cual ha limitado considerablemente el alcance que inicialmente planteamos del mismo. La mayor parte del tiempo la hemos empleando en investigar distintas metodologías de discriminación de caracteres y, después de infinidad de pruebas el resultado es todavía mejorable, ya que hay números y símbolos operacionales que a veces no son bien detectados y que, de tener un margen de tiempo mayor podrían haberse refinado.

10. Posibles mejoras Mejoras en la detección de símbolos y números. Resolución de ecuaciones, sistemas u operaciones más complejas.