Redes Neuronales para tratamiento de imagen Programa de doctorado Manuel Graña Dept CCIA, UPV/EHU

Intenciones Revisar la literatura Tocar una variedad de temas y arquitecturas –Visión –Robótica –Proceso de imagen y reconocimiento –Redes competitivas, Hopfield, BP, etc

Interacción percepción/acción Generative character of perception: aneural architecture for sensorimotor anticipation H.M. Gross, A. Heinze, T. Seiler, V. Stephan Neural Networks, 12 (1999) pp:

Resumen La percepción como fenómeno generativo de anticipación del curso de los sucesos que resultan de secuencias alternativas de “ejecuciones hipotéticas de acciones” Se caracteriza una escena por categorías de comportamiento.

Resumen La capacidad de percibir una situación compleja corresponde a la capacidad de anticipar los sucesos correspondientes a diferentes cursos de acción

Indice Discusión abstracta sobre la anticipación Motivación biológica Presentación de modelos capaces de anticipar y evaluar secuencias de acciones –Model for Anticipation based on Sensory Imagination (MASIM) –Model for Anticipation based on Cortical Representations (MACOR)

Percepción basada en comportamiento Marr: information processing paradigm Separación estricta entre la percepción sensorial y la generación del comportamiento La percepción se considera una proyección de la información sensorial en una representación sensorial La representación sensorial se usa para seleccionar el comportamiento apropiado

Problemas de este paradigma: Generación de representación sensorial relevante Selección del comportamiento adecuado, por falta de interacción entre la representación sensorial y la intención, comportamientos típicos y habilidades motoras

Paradigmas Alternativos –Arbib: action oriented perception Determinación de la percepción a partir del estado interno –Kosslyn: aspecto generativo de la percepción La simulación interna

Percepción como simulación interna y anticipación Evita la separación entre Percepción y Comportamiento Proceso activo de anticipación de las consecuencias de interacciones alternativas con el entorno –Las acciones posibles describen el entorno –Las acciones pueden seleccionarse para realizarse (representación-acción)

Figura 1: representación de la situación mediante secuencias de imagenes que corresponden a la escena vista tras movimientos factibles Las acciones pueden simularse internamente El organismo elige la secuencia simulada de menor “dolor” Las secuencias “dolorosas” que no se escogen nunca sirven, no obstante, de descriptores La escena se caracteriza en categorias de comportamiento

La capacidad de percibir una situación compleja se corresponde con la capacidad de anticipar los sucesos provocados por secuencias de acciones diferentes

Figura 2: comenzando de una situación caracterizada por aspectos sensoriales visuales S v o táctil/propioreceptivo S t Los cambios de situación se producen (hipoteticamente) por acciones de movimiento M i La situación tiene una valoración positiva o negativa El comportamiento elegido busca las situaciones de valoración positiva

Figura 3: representación como un árbol sensorimotor

Evidencia biológica de la anticipación sensoriomotora Reconocimiento: ventral path Localización y caracterizacion de la interacción: dorsal path

Posterior parietal cortex (PPC) –Integra distintos inputs sensoriales –Genera una distribución de actividad que describe el estado actual –Conduce a la planificación de planes motores que se realiza en PMC y SMA –Puede estar involucrado tanto en la ejecución como en la simulación, y en la representación

Premotor cortex (PMC) y suplementary motor area (SMA) –Involucrados en la generación de movimientos hipotéticos –Está relacionado con el contexto visual –Relacionan la imaginación sensorio-motora y la planificación de movimientos PMC: –Inputs del PPC y el cerebelo a través del tálamo

SAM; –Importancia en tareas motoras que involucran memoria motora –Organización temporal de movimientos –Preparatoria para el funcionamiento sensorio- motor Salidas de PMC y SMA –Regiones de PMC que controlan el movimiento (MI)

Función del cerebelo lateral –Directamente involucrado en percepción y conocimiento –Apropiado para la construcción de hipótesis de movimiento –Tiene fuertes conexiones con la corteza cerebral –Todas las funciones que dependen de la estimación del estado están ligadas al cerebelo lateral

Funcionalidad de los gánglios basales –Aprendizaje de hábitos motores –Iniciación de movimientos de ojos, cuerpo y miembros –Reciben inputs del cortex y los outputs se dirigen al cortex premotor

Modelo motivado biologicamente Percepción visual del espacio y la forma a través de simulaciones internas Trata de explicar el fenomeno de la percepción desde un punto de vista de comportamiento

Entorno experimental Comportamiento de navegación local Pretende reproducir la evolución de una comprensión general del espacio y la forma, independientemente de los detalles visuales Debe ser on-line: basado en la simulación, evaluación y selección continuada

Objetivo del sistema Conseguir que el sistema movil aprenda a anticipar las consecuencias sensoriales de movimientos alternativos para navegar con éxito en regiones críticas

Input sensorial Flujo óptico –Da información sobre la distancia a los objetos –Es muy independiente de los detalles visuales –Es biologicamente plausible

Modelo MASIM Fig 7: modelo basado en los ciclos –SMA/PMC - glanglios basales –SMA/PMC- cerebelo lateral- PPC- SMA/PMC Resulta imposible evaluar en paralelo todas las ramas del arbol sensorio-motor Se realiza una secuencialización de la búsqueda

MASIM La búsqueda secuencial se realiza mediante la concatenación de Prediction Modules (PM) que son réplicas operando sobre el input real o simulado (fig 8) Se genera un árbol sensorio-motor simulado (fig 9)

MASIM Encadenamiento del cálculo (fig 10) –Cada PM puede evaluar un número reducido de hipótesis. –El tiempo de evaluación (tiempo real) está limitado también y secuencializado para los PM –La dinámica del nivel de predicción determina la anchura de la búsqueda y la profundidad (por la estabilidad de las hipótesis)

MASIM-PM Prediction Module (fig 11) –Un input sensorial se procesa en dos ciclos Sensorimotor mapping –Action suggestion –Modulation –Action selection –Hypothesis evaluation Motor sensory prediction –Sensory prediction subsystem

PM Correspondencias biológicas –Action suggestion & action selection - striatum –Sensory prediction - lateral cerebelum –Almacenamiento y evaluación de secuencias - SMA/PMC

PM Sensorimotor mapping (fig 12) Action suggestion Un mapa topológico que codifica un conjunto de acciones hipotéticas La salida es un valor en un espacio de acciones continuo dado por la velocidad y el angulo de direccion

PM La activacion de una neurona representa el valor de esta acción experimentado y aprendido en ciclos previos Está basado en el Neural Gas El aprendizaje se realiza tras la ejecución de un movimiento real real

Action suggestion Fig 13: –Imagen vista por el robot –Flujo óptico –Acción sugerida

PM Selección de actividades hipotéticas: Amari-field dynamics (fig 14) Comenzando con un estado inicial estable el campo neuronal evoluciona en el tiempo permitiendo que “ganen” distintos cjtos de neuronas

PM Amari field: dos capas de unidades –Una capa competitiva –Una capa inhibidora para permitir que evoucione la red, se activa cuando el nivel de la ganadora cruza un umbral Los parametros de este campo directamente controlan la profundidad y anchura de la búsqueda (fig 10)

PM

Predicción sensoriomotora: predicción del flujo óptico resultante de una acción (fig 15) Se aproxima mediante la superposición (combinación lineal) de predicciones separadas La calidad de la prediccion se codifica en una señal de competencia

Cascada El tiempo de activación del módulo de sugestión de las acciones influye en la profundidad de la búsqueda La mejor secuencia hasta el momento se guarda en una short term memory El proceso de simulación puede interrumpirse en cualquier momento

Experimentos Figura 25: situación experimental Experimentos –Aprendizaje on-line –Comparación con un comportamiento reactivo –Dependencia de la profundidad de anticipacion –Comportamientos en entornos de distinta complejidad