Rogelio Ferreira Escutia Instituto Tecnológico de Morelia Departamento de Sistemas y Computación “Algoritmos para Robots Autónomos utilizando Visión por.

Presentación del tema: "Rogelio Ferreira Escutia Instituto Tecnológico de Morelia Departamento de Sistemas y Computación “Algoritmos para Robots Autónomos utilizando Visión por."— Transcripción de la presentación:

1 Rogelio Ferreira Escutia Instituto Tecnológico de Morelia Departamento de Sistemas y Computación “Algoritmos para Robots Autónomos utilizando Visión por Computadora”

2 Contenido 1) Introducción y Aplicaciones Trabajos de Investigación Realizados: 2) Aprendizaje de Reglas para Robots Móviles". 3) "Algoritmo de visión monocular para detección de obstáculos". 4) "Sistema de visión estereoscópica para detección y manipulación de objetos mediante un brazo de robot".

3 1) Intoducción y Aplicaciones

4 Una de estas máquinas son los robots, los cuales han empezado a salir de los laboratorios de experimentación, para llegar cada día a un mayor número de lugares. El avance de la Ciencia y la Tecnología durante los últimos años ha llevado consigo un gran impacto sobre nuestra forma de vida. El tratar de generar herramientas que ayuden al hombre a las diversas tareas que enfrenta diariamente, lleva a la creación de máquinas de suponen de un grado de “Inteligencia” para poder llevar a cabo ciertas tareas. Antecedentes IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 4

5  Visión Artificial, es la habilidad de adquirir imágenes de campo y realizar análisis y procesamiento en forma automática utilizando una PC o procesador embebido Visión 5 National Instruments, http://ni.com, mayo 2005http://ni.com

6  Automatizar mediciones precisas.  Control de calidad en virtualmente todas las piezas y no únicamente en selección por muestreo.  Inspección visual, a alta velocidad, repetitivo y robusto.  Alinear componentes con alta precisión.  Integración de sistemas pasa/falla con control de movimiento.  Sistemas basados en PC trabajan continuamente sin presentar “cansancio”. Ventajas de usar Visión 6 National Instruments, http://ni.com, mayo 2005http://ni.com

7 Aplicaciones con Visión 7 National Instruments, http://ni.com, mayo 2005http://ni.com  Empaque.

8 Aplicaciones con Visión 8 National Instruments, http://ni.com, mayo 2005http://ni.com  Inspección de Papel y Madera.

9 Aplicaciones con Visión 9 National Instruments, http://ni.com, mayo 2005http://ni.com  Mediciones.

10 Aplicaciones con Visión 10 National Instruments, http://ni.com, mayo 2005http://ni.com  OCR

11 Aplicaciones con Visión 11 National Instruments, http://ni.com, mayo 2005http://ni.com  Inspección de alimentos.

12 Aplicaciones con Visión 12 National Instruments, http://ni.com, mayo 2005http://ni.com  Monitoreo Remoto

13 Aplicaciones con Visión 13 National Instruments, http://ni.com, mayo 2005http://ni.com  Inspección de Semiconductores

14 Reconocimiento de Colores 14 National Instruments, http://ni.com, mayo 2005http://ni.com  Utilice reconocimiento de colores para aplicaciones tales como:  Identificación de Color.  Inspección de Color.  Localización de Color.

15 Reconocimiento de Colores 15 National Instruments, http://ni.com, mayo 2005http://ni.com  Localización de colores específicos en la imagen.  Revisar la presencia de color.

16 Imágenes Térmicas 16 National Instruments, http://ni.com, mayo 2005http://ni.com  La imagen térmica se utiliza para revisar la disipación de calor y proporciona información de defectos térmicos.

17 Código de Barras 17 National Instruments, http://ni.com, mayo 2005http://ni.com  Localización de la etiqueta en cualquier parte del campo visual.  Leer en forma precisa los estándares más comunes.  Guardar en bases de datos o utilizar para decisión de calidad.

18 Defectos de Fabricación 18 National Instruments, http://ni.com, mayo 2005http://ni.com  Revisar defectos en las terminales del conector con localización de bordes, patrón de línea, medición de ángulos.

19 Defectos de Fabricación 19 National Instruments, http://ni.com, mayo 2005http://ni.com  Revisar la apertura entre el cátodo y el ánodo utilizando localización de bordes y medición.

20 Codificación de imágenes 20 National Instruments, http://ni.com, mayo 2005http://ni.com

21 Color 21 National Instruments, http://ni.com, mayo 2005http://ni.com  Escala de Grises  Color

22 Captura de una imagen 22 National Instruments, http://ni.com, mayo 2005http://ni.com

23 Procesamiento 23 National Instruments, http://ni.com, mayo 2005http://ni.com  Utilización de PC´s:  Alta capacidad de disco  Programación en diferentes lenguajes

24 Procesamiento 24 National Instruments, http://ni.com, mayo 2005http://ni.com  Utilización de Hardware específico:  Real Time  Robustez industrial  Conectividad múltiple de cámaras

25 Calidad de la imagen 25 National Instruments, http://ni.com, mayo 2005http://ni.com Mala Buena

26 Iluminación 26 National Instruments, http://ni.com, mayo 2005http://ni.com  La iluminación también juega un papel muy importante en el proceso de adquirir buenas imágenes aptas para procesamiento

27 Niveles de Visión  1) Procesamiento de bajo nivel:  Se trabaja directamente con los pixeles para extraer propiedades como orillas, gradientes, profundidad, textura, color, etc. Visión: Nivel 1 27 _

28 Filtros: imágenes de retinas después de filtros Visión: Nivel 1 28 _

29  Detección de bordes en retinas. Visión: Nivel 1 Visión: Nivel 1 29 _

30 Bordes 30 National Instruments, http://ni.com, mayo 2005http://ni.com

31  Detección de bordes 31 _ Visión: Nivel 1

32 Niveles de Visión  2) Procesamiento de nivel intermedio:  Consiste generalmente en agrupar los elementos obtenidos en el nivel bajo, para obtener líneas, regiones, generalmente con el propósito de segmentación. Visión: Nivel 2 32 _

33  Segmentación: Autos en movimiento (laterales). Visión: Nivel 2 33 _

34  Detección de texturas regulares. Visión: Nivel 2 34 _

35 Niveles de Visión  3) Procesamiento de alto nivel:  Esta generalmente orientado al proceso de interpretación de los objetos obtenidos en los niveles inferiores, para ello se utilizan modelos y conocimientos obtenidos previamente con el objetivo de comparar y encontrar los objetos. Visión: Nivel 3 35 _

36  Segmentación y reconocimiento de ademanes Visión: Nivel 3 36 _

37  Segmentación y creación del esqueleto para el reconocimiento de ademanes Visión: Nivel 3 37 _

38  Proceso de reconocimiento Visión: Nivel 3 38 _

39  Reconocimiento de ademanes Visión: Nivel 3 39 _

40 2) Aprendizaje de Reglas de control para Robots Móviles

41 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 41 El objetivo de esta investigación es desarrollar una herramienta de aprendizaje de reglas de control, la cual permita la navegación robótica en ambientes desconocidos, desde un punto inicial a uno final. El algoritmo propuesto utiliza reglas. La creación de reglas es por demostración, donde primero se entrena al robot en un entorno conocido, donde es posible asignar las acciones que el robot tiene que realizar. Posteriormente se coloca el robot en entornos parecidos, y usando las reglas aprendidas, tratar de llegar a la meta. Objetivo

42 Requerimientos El algoritmo esta pensado para implantarse en un robot móvil, que sea capaz de avanzar, girar sobre su propio eje por lo menos 90º, tanto en sentido horario como antihorario. Se requiere utilizar al menos 5 sensores de sonar para detectar los objetos que se encuentran al frente y a los lados del robot. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 42

43 Para implantar el algoritmo se utilizó el robot Nomad 200, propiedad del ITESM Campus Morelos, construido por la compañía Nomadic Technologies. Los principales sistemas con que cuenta el robot son los siguientes: Sistema de Comunicación: Para transmitir los datos a una terminal. Sistema de Visión: Cámara de video para navegación por visión computacional. Sistema de Sonar: Detector de Obstáculos. Sensor Táctil: Detector de Choques. Para la presente investigación se utilizaron los sonares para la navegación y no la cámara de video. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 43 Implementación

44 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 44 Vista frontal – cámara, antena, sensores

45 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 45 Vista superior

46 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 46 Vista lateral – sensores (sonares)‏

47 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 47 Vista lateral – panel de control

48 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 48 Vista lateral – sensores y panel de control

49 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 49 Vista inferior – sensores, ruedas y baterías

50 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 50 Carga de Baterías

51 Alineación y Datos Iniciales Antes de iniciar con el algoritmo, el robot se debe de alinear, tanto sus mecanismos internos, como su alineación con el mundo real. Para alinearlo con el mundo real se utilizó una marca que tiene el robot en uno de sus costados con una marca sobre el piso. Inicialmente se considera que el usuario conoce la posición actual del robot y su ángulo, así como la posición de la meta. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 51

52 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 52 Vista inferior – Sensores táctiles y orientación

53 Representación del Entorno Por medio de los sonares se detecta la distancia aproximada de los objetos que se encuentran en el entorno del robot. Posteriormente esta distancia se compara con un valor de umbral (20 pulgadas). Si el valor que entrega el sonar es menor o igual al umbral, se le asigna un valor de 0 (cerca) en caso contrario se le asigna 1(lejos). IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 53

54 Análisis de Casos IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 54

55 Posición de la Meta El algoritmo requiere saber en todo momento la dirección de la meta, para ello utiliza una sintaxis para referenciar dicha posición. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 55

56 Creación de una Regla IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 56

57 Creación de Reglas IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 57

58 Software IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 58

59 Alcanzar la Meta IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 59

60 Algoritmo para Detectar y Salir de Trampas 1) Asignar punto inicial y punto final 2) Detectar que se cayó en una trampa, comparando la última regla ejecutada con alguna regla utilizada anteriormente y aproximadamente en el mismo lugar. 3) Regresar al punto anterior donde se puede aplicar mas de una regla. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 60

61 Algoritmo para Detectar y Salir de Trampas (Cont.)‏ 4) Asignar meta Flotante en forma aleatoria, a la izquierda o derecha de la meta original. 5) Si después de ejecutar una cantidad de reglas, llega o no llega a la meta flotante, se vuelve a asignar la meta original. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 61

62 Resultados de la Navegación (simulador)‏ IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 62

63 Creación de Mapas Aproximados Al algoritmo se le agregó un módulo, el cual con la ayuda del simulador, y mientras el robot avanza, se encarga de dibujar puntos sobre la pantalla, los cuales, indican la posición aproximada de los objetos que se encuentran a su alrededor. De ésta forma, se plantea la posibilidad de construcción de mapas. IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 63

64 Navegación con el Robot Real IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 64

65 Navegación con el Robot Real (cont.)‏ IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 65

66 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 66 Salir al pasillo (pasar por una puerta)‏

67 Resultados de la Navegación (real)‏ IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 67

68 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 68 Salir al pasillo (pasar por una puerta)‏

69 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 69 Avanzar por un pasillo

70 IEEE - III Reunión de Otoño de Potencia, Electrónica y Computación – Noviembre 2001 70 Trabajo en equipo

71 3) Algoritmo de visión monocular para detección de obstáculos

72 OBJETIVOS Como objetivo principal se tiene construir un robot móvil autónomo capaz de tomar decisiones de acuerdo a datos recopilados a través de un dispositivo que provee imágenes en tiempo real, esto con el fin de esquivar obstáculos y evitar colisiones. 72

73 Alcances El prototipo es más independiente debido que el sistema de procesamiento va empotrado en el mismo El prototipo es más independiente debido que el sistema de procesamiento va empotrado en el mismo Tiene una sola entrada de datos lo que ahorra procesos Tiene una sola entrada de datos lo que ahorra procesos La arquitectura electrónica esta diseñada modularmente para implementaciones futuras La arquitectura electrónica esta diseñada modularmente para implementaciones futuras 73

74 LIBERTAD DE GIRO 74

75 COMPONENTES ELECTRÓNICOS –Modulo de control y comunicación –Inversor lógico –Modulo de control de motores 75

76 CARACTERISTICAS –Alimentación Dos baterías 9 voltios para motores Dos baterías 9 voltios para motores Una batería de 9 voltios para circuitos Una batería de 9 voltios para circuitos –Procesador Microchip PIC16F873A Microchip PIC16F873A –Oscilador Cristal de cuarzo 20 Mhz Cristal de cuarzo 20 Mhz 76

77 CARACTERISTICAS –MAX 232 RS232 RS232 USART USART 9600 bps 9600 bps –Controlador de motores L293D 77

78 78

79 El dispositivo de entrada establece la calidad de la imagen a procesar Imagen capturada con cámara digital Cybershot Imagen capturada con webcam Eye Cam Genius TRATAMIENTO DE IMÁGENES 79

80 Imagen Original Imagen Escala Grises 80

81 Imagen Original Filtro Binario 81

82 NAVEGACION Segmentación de la Imagen. Segmentación de la Imagen. Criterio Criterio 82

83 Decisiones Análisis de las Sección Análisis de las Sección Elegir Sección Elegir Sección 83

84 PANADERIN 1 84

85 JEZBETH 85

86 SPUNKY 86

87 4) "Sistema de visión estereoscópica para detección y manipulación de objetos mediante un brazo de robot".

88 Sistema 88 _

89 Brazo y Objetos 89 _

90 Puertos y Circuitería 90 _

91 Detección de Bordes 91 _

92 Detección de la Forma 92 _

93 Marcas de Calibración 93 _

94 Cálculo de la Distancia 94 _

95 Sistema Completo 95 _

96 “Los soñadores ven las cosas, los demás, las imaginan...” Rogelio F.

97 Rogelio Ferreira Escutia Instituto Tecnológico de Morelia Departamento de Sistemas y Computación http://www.cuitzeo.com.mx/rogelio E-mail: rogeplus@yahoo.com.mxrogeplus@yahoo.com.mx Messenger: rogess@hotmail.comrogess@hotmail.com