Avances en neurotecnología: Escribir, dibujar y accionar con la mente Proyecto UBACYT : “El Problema de los Decodificadores y Transductores Neuro-Mentales”

Lectura artificial del pensamiento Recientemente, diversos estudios y experimentos se realizaron con el objetivo de inferir estados y procesos mentales a partir de información obtenida con técnicas neurofisiológicas y de neuroimagen, principalmente con EEG (electroencefalografía) y fMRI (resonancia magnética funcional).

Acción intencional mental (imaginaria, lingüística o motora) A nivel neurotecnológico, se piensa en dispositivos que puedan decodificar actos voluntarios, diseños imaginados y textos mentales, para luego exteriorizarlos a través de una interfaz cerebro-máquina. Acción intencional mental (imaginaria, lingüística o motora) Decodificación Dibujo, texto o acción

Acceso a la mente sin mediación conductual. La “prótesis” neurotecnológica surge donde se encuentra una limitación. Limitaciones motoras. Acceso a la mente sin mediación conductual. Comunicación con personas con limitaciones motoras. Límites respecto a la comunicación de ideas visuales. Diseño de prototipos, Video-Arte.

Modalidad Activa: Pasiva: Concentración en elemento específico. Alfabeto artificial. Pasiva: No concentración en elemento específico. Mayor complejidad.

Escribir con la mente A B Un sistema que pueda, al reconocer cierta activación, manifestar contenido lingüístico A B

Distintos “alfabetos mentales” Tipos de activación a reconocer: artificial, por letras, por intención lingüística. Si se tiene un número predeterminado de activaciones, el sistema podría basarse en predicciones, haciendo el proceso más fácil y recayendo en menos errores.

Distintos tipos de alfabeto Código artificial: Asociación del componente lingüístico mínimo (Ej: Letra) con una actividad no relacionada (Ej: tarea de imaginería visual). Letras a partir de patrones globales: Patrón global de activación para cada letra, cuando la tarea fue pensar en dicha letra. Intención lingüística: Activación en áreas asociadas a la producción lingüística. El entrenamiento en cada caso consistirá en registrar la actividad neural mientras se realiza la tarea (pensar en determinada imagen, pensar en una letra, decir fonemas) para asociar cada elemento a un tipo de actividad. Luego, la persona haría la tarea y en base a lo registrado, el dispositivo debería mostrar un contenido, para hacer ajustes por feedback.

Proceso básico Actividad que fue entrenada Supera umbral de reconocimiento de activación asociada a contenido Contenido en pantalla Piensa “A” El patrón de actividad coincide en un 85% con el patrón asociado a “A” Se muestra “A”

Dibujar con la mente Un sistema que pueda producir imágenes o diseños originales creados solo a partir de activaciones neuronales.

Antecedentes en percepción En varias investigaciones (Nishimoto et al, 2011, Kamitami et al, 2008) se logró identificar imágenes percibidas. Generalmente, el proceso consistió en: Presentación de estímulo visual Registro de actividad asociada al estímulo en sí o a sus características visuales Presentación de estímulo repetido o novedoso Asociación de activación con estímulo o características del estímulo previo Imagen en pantalla

Diferencias con el reconocimiento de percepciones Percepción / imaginación En las investigaciones planteadas la reconstrucción fue de imágenes que eran percibidas durante la tarea, si bien imaginación y percepción muestran similitudes (como la activación neuronal; Stokes, 2008), también muestran diferencias (tareas de memoria espacial, disociación neuropsicológica) Reconocimiento / producción original La mayoría de los estudios en los que se hizo una reconstrucción exitosa, se basaron en el reconocimiento de un estímulo previo, este desarrollo es distinto al que sería necesario para la creación de una imagen o un diseño visual

Modelo teórico basado en componentes Se presenta como necesario el manejo de un sistema componencial Descomposición en elementos visuales básicos: Reales (corteza visual): La persona genera una imagen mental, el dispositivo analiza los diferentes elementos visuales como color o bordes y los reorganiza mostrándolos en una pantalla. Se da un procesamiento paralelo. Se generan correcciones por feedback. Artificiales (asociación entre elemento visual y una tarea mental determinada): El dispositivo aprende a asociar una activación neuronal generada por alguna actividad no visual (como imaginería motora) con algún elemento visual. La imagen debería ir construyéndose por partes; primero se elegiría el color, luego los ángulos, etc.

Proceso básico Se muestra “Rojo” Actividad que fue entrenada Supera umbral de reconocimiento de activación asociada a contenido Dibujo en pantalla que se va construyendo a partir de los elementos Piensa “Rojo” El patrón de actividad coincide en un 85% con el patrón asociado a “Rojo” Se muestra “Rojo”

Acción y prótesis Acción. Prótesis. Un sistema que permita a través de una interfaz, generar un movimiento a partir de la intención.

Recientemente empezó a usarse EEG, un método mucho menos invasivo y riesgoso de los que se usaron con anterioridad, al utilizar electrodos ubicados en la superficie del cuero cabelludo. De todos modos, se estima que con el desarrollo de implantes la precisión y el control serán mayores. El proceso es aplicable tanto en casos en los que se utiliza una prótesis, como en casos de parálisis severas, a través de estimulación eléctrica sobre los músculos.

Universidad de Houston, 2015 Sujetos sanos realizaron movimientos con su brazo derecho Se registró y decodificó actividad previa al movimiento (50ms a 90ms) Con el algoritmo obtenido, se le pidió al sujeto con la prótesis que imagine que movía el brazo y tomaba objetos, se logró con un 80% de éxito y aumentó con la práctica.

Proceso básico Intención de movimiento Supera umbral de reconocimiento de activación asociada al movimiento Movimiento de prótesis o estimulación al músculo

Prospectiva Con el desarrollo de nuevas técnicas neurofisiológicas y de neuroimagen, que tengan mejor resolución y puedan registrar diferencias más sutiles en la actividad neuronal, podrían obtenerse mejores resultados y superar la cantidad acotada de posibilidades actuales. La portabilidad de los dispositivos también es un tema a considerar, aunque la solución estaría ligada al mismo desarrollo de la tecnología.