Juan Pablo Vásquez Ralf Wilke 18 de Diciembre 2008

ÍNDICE Vision conjunta Adquisición de la imagen Preprocesamiento de la imagen Extracción de pontos de interes con SIFT (Lowe 2003) Explicación del algoritmo Matching con imagenes de referencia Calculación del valor todal de la cuenta Conclusiones Acceso al paper

Vision conjunta Preprocessing SIFT Fotos de Referencia SIFT Base de datos de Productos Matching Calculación Base de Precios Foto del Carro Cantidad Total de la cuenta

Foto del Carro Para sacar la foto de los productos, usamos una web- cam de calidad basica En comparación a una camara fotografica, la imagen es en los bordes desenfocada En un uso practico, una camera más caro con una calidad más alta tendrá que ser usado

Preprocesamiento Las fotos tomando de la web-cam salen depentiente de la iluminación claro / oscuro y con poco contraste. Para estar más indepentiente de la iluminación, hacemos un preprocesamiento de la imagen tomada. Histogram Spreading Contrast Correction Gamma Correcion

Preprocesamiento Resultados Antes Después

SIFT - Overview Deteccion de los extremos locales Entre ellos, localizacion de los puntos de interes, que describen bien las caractersticas de la imagen. Asignacion de orientacion de los gradientes en la vecindad de estos puntos. Descripci ó n de las caractersticas de una imagen en un vector.

SIFT – Extremos Locales Usar una gausiana G Filtar la imagen I con G Usar differentes

SIFT – Extremos Locales Calcular la diferecia del resuldato de la convolución de vestinos Esto sirve como un filtro pasa banda con varias frequencias para detectar extremos locales de varias extensión

SIFT – Extremos Locales Tratar con extremos solamente, si todos pixeles vestinos tienen un valor más o menos del pixel examinada Con este, muchos candidatos falsos están eleminado.

SIFT – Puntos de Interes Buscar punctos con alto contraste para ser indepentiente de riudo Estimar la DOG con una seria de Taylor Derivar e igualar a cero Aplicar un umbral de >3 % del valor maximo posible

SIFT – Puntos de Interes Eliminar punctos en lineas rectas Usar la matriz Hessiana Linea recta: valor propio  grande,  más pequeño Sacar puncto, si cumple con r = 10

Asignación de orientación Examinar el valor del gradiente y su orientaci ó n.

SIFT - Descripci ó n Ventana gaussiana representada por el c í rculo Distribuci ó n en sectores m á s grandes Uso de un histograma con 8 distintas orientaciones Este hace la descripci ó n bastante robusta con respecto a las translaciones por culpa de cambio del punto de vista

Generacion: Base de datos Para el reconocamiento hay que tener fotos de cada una producto La aplicaci ó n de SIFT por estas imagenes tiene que ser hecho solamente una vez

Generacion: Base de datos El vector de descripci ó n de cada puncto de interes tiene 128 dimensiones En una imagen normal del tama ñ o 800x600 de un producto hay m á s que 1000 punctos de interes Para memorizar la descripti ó n de muchos productos, mucha memoria es necesaria

Matching Buscar en una espacio con 128 dimensiones Calcular distancia euclidiana de todos candidatos Eliminar candidato, si el segundo m á s cerca no es significante m á s lejos que el m á s cerca Brute-Force En nuestro trabajo la existencia de un producto es definido con un umbral fijo

Total de la cuenta De la deteccíon sale un vector con la cantidad de cada producto Base de datos con los precios, igual a una caja con barcode Multiplicar y Sumar

Conclusiones Los resultados obtenidos se podrían mejorar aumentando la resolución de la cámara utilizada, pero esto aumentaría considerablemente el tiempo de ejecución. Este puedee ser mucho menos usando una GPU de una trajeta grafica El programa detecta la presencia o ausencia de un producto, pero no la cantidad en la que éste está presente. Este proyecto es una buena solución para un número pequeño de productos, pero muchos recursos son necesarios para poder ser implementado a gran escala.

Acceso al paper Se puede bajar el paper en la pagina web