Daniela Estefanía Sandoval Socasi Andrea Paulina Trujillo Maya Sistema replicador de movimiento articular de extremidad superior derecha en brazo robótico industrial por estudio electromiográfico y uso de kinect Daniela Estefanía Sandoval Socasi Andrea Paulina Trujillo Maya Director: Ing. Andrés Erazo, M.Sc. Sangolquí-Ecuador

Contenido 4. Kinect Introducción ROS Antecedentes S keleton Tracking Pruebas 5. Brazo Robótico Sensado de posición Cinemática inversa 6 . Resultados Protocolo de activación Procesamiento de la información 7 . Conclusiones y Recomendaciones Introducción Antecedentes Justificación Objetivos 2. Estado del Arte Brazo humano Brazo robótico 3. Electromiografía Características generales Adquisición y filtrado de señales Representación de las señales EMG

INTRODUCCIÓN

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ANTECEDENTES Dificultad de realizar manualmente actividades industriales en entornos de difícil acceso. El desarrollo tecnológico ha dado paso a la creación de nuevas herramientas que facilitan el trabajo del ser humano. Señales bioeléctricas en aplicaciones robóticas.

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción JUSTIFICACIÓN E IMPORTANCIA Debido a limitaciones como la seguridad de los operadores, espacio, falla humana, es necesario colocar brazos robóticos los cuales serán controlados por la persona encargada de operarlos. Se necesita realizar actividades con precisión y con una fuerza determinada Trabajo conjunto del ser humano y robots en procesos automatizados. Desarrollo de aplicaciones biomédicas, espaciales, industriales y de investigación.

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción OBJETIVOS Objetivo General Diseñar e implementar un sistema para replicar los movimientos de un brazo humano en un brazo robótico industrial CRS A255.1. Objetivos Específicos Desarrollar un sistema de adquisición multicanal para señales EMG, considerando premisas tales como bajo costo y seguridad del paciente. Definir la relación existente entre la activación de un grupo de músculos y el movimiento de las articulaciones del brazo robótico industrial. Utilizar el dispositivo Kinect para el establecimiento de la posición y el ángulo de ubicación del brazo humano.

ESTADO DEL ARTE

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción BRAZO HUMANO

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción BRAZO HUMANO Los músculos del brazo se dividen en una región anterior y posterior. Anterior Flexor Posterior Extensor Abducción: Elevación del Brazo Aducción: Volver el brazo a la posición anatómica Pronación: Palma hacia arriba o hacia al frente Supinación : Palma hacia abajo o hacia atrás

MÚSCULOS DEL BRAZO HUMANO Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción MÚSCULOS DEL BRAZO HUMANO MÚSCULO UBICACIÓN FUNCIÓN Bíceps Región anterior del brazo Flexor y supinador del antebrazo - Elevador y abductor del brazo Tríceps Región posterior del brazo Extensor del antebrazo - Aductor del brazo Deltoides Cara superior del hombro Flexión y extensión el brazo Abducción y aducción - Rotación interna y externa

BRAZO ROBÓTICO Robot Antropomórfico “CRS A255” 5GDL Joint 1: Cintura Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción BRAZO ROBÓTICO Robot Antropomórfico “CRS A255” 5GDL Joint 1: Cintura Joint 4: Movimiento muñeca arriba-abajo Joint 2: Hombro Joint 5: Giro muñeca Joint 3: Codo

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción BRAZO ROBÓTICO Articulación - Servomotores DC de 12V Frenos en cada articulación excepto la cintura, activación con 12VDC Driver L298N –Control de Giro Admite entradas de señal PWM para el control de velocidad.

BRAZO HUMANO - BRAZO ROBÓTICO Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción BRAZO HUMANO - BRAZO ROBÓTICO Articulación Ángulo máximo brazo robótico Ángulo máximo brazo humano Hombro 110° 180° Codo 130° 140°

ORGANIZACIÓN POR BLOQUES Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ORGANIZACIÓN POR BLOQUES

ELECTROMIOGRAFÍA

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ELECTROMIOGRAFÍA Registro de las señales eléctricas Observar la actividad muscular en una secuencia de movimientos. Observación indirecta del esfuerzo y fatiga muscular. Control del movimiento de un dispositivo.

DISEÑO DEL ELECTROMIÓGRAFO Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción DISEÑO DEL ELECTROMIÓGRAFO Protección Preamplificación Antisaturación Amplificación final Conversión Análogo/Digital Filtro digital

CARACTERÍSTICAS DE LA SEÑAL EMG Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción CARACTERÍSTICAS DE LA SEÑAL EMG Espectro de importancia 0 - 500Hz. Energía dominante entre 20 – 150 Hz. Amplitudes entre 0 – 1mVrms aproximadamente.

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ETAPA DE PROTECCIÓN Permite aislar la referencia del paciente de la tierra del circuito implementado.

ETAPA DE PREAMPLIFICACIÓN Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ETAPA DE PREAMPLIFICACIÓN    

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ETAPA ANTISATURACIÓN Disminuye el voltaje de offset de salida del amplificador de instrumentación

ETAPA AMPLIFICACIÓN FINAL Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ETAPA AMPLIFICACIÓN FINAL Amplificador no inversor  

CONVERSIÓN ANÁLOGO/DIGITAL Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción CONVERSIÓN ANÁLOGO/DIGITAL ENTRADA ANALÓGICA CONVERSIÓN/TARJETA SALIDA DIGITAL Datos de 0 a 4095 STM32F4 Discovery Resolución de 12bits (212-1) Voltaje de 0 a 3.3V

ETAPA DE FILTRADO DIGITAL Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción ETAPA DE FILTRADO DIGITAL Matlab/Simulink “Digital Filter Design” Método de filtrado: Filtro IIR, configuración Butterwork Orden del filtro: 10 Frecuencia de corte: 20 a 150 Hz Frecuencia de muestreo: 1kHz

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción

SEÑAL EMG MÚSCULO BICEPS Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SEÑAL EMG MÚSCULO BICEPS

SEÑAL EMG MÚSCULO TRICEPS Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SEÑAL EMG MÚSCULO TRICEPS

SEÑAL EMG MÚSCULO DELTOIDES Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SEÑAL EMG MÚSCULO DELTOIDES

REPRESENTACIÓN SEÑAL EMG Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción REPRESENTACIÓN SEÑAL EMG Determinación del umbral mediante el cálculo del valor cuadrático medio RMS. Representación de la señal EMG mediante de la variación de intensidad de tiras leds.

PRUEBAS REPRESENTACIÓN SEÑAL EMG Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PRUEBAS REPRESENTACIÓN SEÑAL EMG

KINECT

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción KINECT-ROS Detectar posición de la extremidad superior derecha del usuario Su funcionamiento es a través de ROS Indigo en Ubuntu Trusty 14.04

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SKELETON TRACKING Pose PSI para detectar al usuario y empezar la calibración para la lectura de las coordenadas de las articulaciones. Coordenadas en 3D (x,y,z) , tomando como referencia el torso del usuario

Módulo del Sensor Kinect Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SKELETON TRACKING Sirve para trabajar y desarrollar aplicaciones que utilicen interacción con los usuarios OpenNi 1.5.4 - Paquetes para reconocer el sensor Kinect (GITHUB) - Ros Openni Launch - Ros Openni Camera Módulo del Sensor Kinect - Programa desarrollado en C++ - Permite leer la presencia de un nuevo usuario, pose PSI y la calibración - Lectura de la ubicación de las diferentes articulaciones Openni Tracker

GENERACIÓN DE MOVIMIENTOS Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción GENERACIÓN DE MOVIMIENTOS Hombro 45° - 0 ° Codo ± 60°

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PRUEBAS DEL KINECT Posición PSI

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PRUEBAS DEL KINECT Ángulo del codo -45°

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PRUEBAS DEL KINECT Ángulo del hombro 45°

BRAZO ROBÓTICO

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción SENSADO DE POSICIÓN Unidad de medición inercial Acelerómetro y giroscopio de 3 ejes Protocolo de comunicación I2C.

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción TRASLACIÓN DEL ORIGEN x’A=xA-x0 y’A=yA- y0 z’A=zA-z0 xrobot=z’A yrobot=x’A zrobot=y’A

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción CINEMÁTICA INVERSA Ángulo Hombro l3 = 0,26 m     l2 = 0,26 m q3 z   y x Ángulo Codo q2 xrobot = Px   yrobot = Py zrobot = Pz

RESULTADOS

PROTOCOLO DE ACTIVACIÓN DEL ROBOT Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PROTOCOLO DE ACTIVACIÓN DEL ROBOT ENTRADA/SENSORES PROCESO/CONDICIONES SALIDA/ACTUADOR Ángulo del Kinect Ángulo del MPU Activación señal EMG Error= Ángulo del Kinect-Ángulo del MPU Error>=5 ó EMG=1 Motor giro horario/sube Error<=-5 ó EMG=1 Motor giro antihorario/baja Error=±5 ó EMG=0 Motor detenido

PROCESAMIENTO DE LA INFORMACIÓN Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción PROCESAMIENTO DE LA INFORMACIÓN Sincronización de tiempos Protocolos de comunicación I2C Serial

Conclusiones y Recomendaciones Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción

CONCLUSIONES Y RECOMENDACIONES

CONCLUSIONES Y RECOMENDACIONES Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción CONCLUSIONES Y RECOMENDACIONES El sistema replicador desarrollado es capaz de realizar los tres tipos de movimientos: flexión/extensión del antebrazo y abducción del hombro; obteniéndose un error del ±5° cuando el brazo robótico adopta la posición del brazo humano. Al integrar todo el sistema, es importante tomar en cuenta los tiempos de respuesta con los que trabaja la tarjeta STM32f4, así como también el tiempo que se demora en enviar el Kinect y recibir los datos Matlab por el puerto serial; principalmente para la sincronización de todos los actuadores y sensores que conforman el sistema. Se debe tener presente los sistemas de referencia con los que trabaja el Kinect, brazo robótico y MPUS, para realizar las traslaciones y transformaciones necesarias para manejar los 3 componentes sobre el mismo sistema y así obtener los datos necesarios de forma correcta.

CONCLUSIONES Y RECOMENDACIONES Resultados Brazo Robótico Kinect Electromiografía Estado del Arte Introducción CONCLUSIONES Y RECOMENDACIONES En la industria el presente proyecto sería de gran ayuda debido a que existen lugares en que los operadores no pueden acceder y se debe realizar movimientos controlados de los robots para las diferentes actividades que se realiza en los procesos de producción. El uso del dispositivo Kinect genera una versatilidad de opciones para poder trabajar más allá de los datos de las coordenadas de las articulaciones que se puede obtener de un usuario. Más aun, el skeleton tracking permite detectar más de un usuario a la vez. También, el micrófono permite utilizar comandos de voz, lo cual incrementa la variedad de aplicaciones o mejoras que se puede realizar en el sistema implementado. El registro de señales EMG está inmersa a diferentes factores que alteran la señal y generan ruido, por lo que se recomienda utilizar cables blindados y entorchados para disminuir interferencias magnéticas, además es importante una correcta ubicación de los electrodos.

GRACIAS