Modelos de redes neuronales

Modelos Neuronales Representación conceptual de datos concernientes a neuronas o sistemas de ellas. Características. Formadas por elementos simples. Potentes en organización (paralelismo masivo) Potencia heurística para relacionar y subrayar conceptos. Predictivas.

Redes neuronales: una disciplina eclética

Redes Neuronales o Redes Neurales?  Diferencias:  No químicas (Las sinapsis son químicas).  Codifican en amplitud (No en frecuencia).  Síncronas (Generalmente).  No Jerárquicas (Si ART-3).

Redes Neuronales o Redes Neurales?  Son modelos bioinspirados.  Funcionalmente.  Aprendizaje.  Generalización.  Clasificación.  Reconocimiento.  Optimización.  Estructuralmente.  Elementos de proceso simples.  Múltiples entradas / 1 salida en cada elemento.  Paralelismo masivo.  Sistemas Mono / Multinivel.

Clasificación

Voronoi Diagram in two-dimension space

Auto-association

Hetero-association

Function Aproximation

Forward and Inverse control Problems

Historia de las redes neurales 1943 McCulloch and Pitts, Threshold Logic Gate models 1949 Hebb, proposed Learning principle 1957 Rosenblatt's Perceptron 1960 Widrow & Hoff's Adaline 1969 Minsky & Papert (MIT), Limitations of perceptrons

Historia de las redes neurales El eclipse de las NN “neural-net winter" 1974 Werbos (PhD thesis, Harvard), Descubrimiento que paso desapercibido del algoritmo de backpropagation : Como entrenar redes multinivel 1982 Hopfield (Princeton, then Caltech) Hopfield networks 1982 Kohonen SOM 1986 Rumelhart and McClelland, redescubrimiento y difusión del backpropagation.

Modelos de Redes Neurales más utilizadas  Mc Culloch - Pitts.  Perceptron.  BackPropagation (MLP).  Kohonen.  Counter Propagation.  Hopfield.  Bidirectional Associative Memory (BAM).  Adaptative Resonance Theory (ART).  Radial Basis Functions.  Aprendizaje por refuerzo.  Modelos estadísticos.  Modelos Dinámicos (TDNN).  Neocognitron.

Aplicaciones de las redes neurales Cuando los datos no son concretos: - Opiniones humanas. - Categorías mal definidas. - Con grandes errores. Cuando los datos están ocultos: - Préstamos (histórico). Datos no lineales: - Series temporales  Filtro de Kalman. Datos Caóticos: - Ruido de la línea telefónica. - Mercado de valores. - Quinielas.

Aplicaciones 1 Optical character recognition U.S. mail zip-code recognizer Kanjii: 4000 chars in 15 fonts, 99% accurate, 100k chars/sec (Sharp & Mitsubishi) Communications Adaptive noise cancellation –Headphones –Conference telephones

Aplicaciones 2 Process control Electric arc furnace control: 30MVA, 50kamp transformer, $2M savings Steel-rolling mill controller Copier uniformity control (Ricoh) Anti-lock brakes, etc. (Ford) Food process control (M&M) Particle beam focusing (SLAC) Flourescent bulb. (GE)

Aplicaciones 3 Financial analysis Prediction of commodities market (18% vs. 12.3% by traditional methods) Mortgage risk evaluator (AVCO, Irvine) Real-estate evaluation (Foster Onsley Conley) Portfolio management (LBS Captial) Currency trading (Citibank) Crime prevention Bomb sniffer (JFK airport) Credit card fraud detection (Visa, etc.)

Aplicaciones 4 Object classification Grading grains from video images Glass classification High-energy physics: particle identification Warfare Missile guidance Optical telescope focusing

Aplicaciones 5 Biomedical Clinical diagnoses Patient mortality predictions Protein structure analysis Electrode placement Speech recognition Game playing World backgammon champion

Caracterización de una red neuronal Arquitectura –Patrón de conexionado de las neuronas Aprendizaje –Método de determinación de los pesos Función de activación –Permite calcular la salida en función de las entradas a la neurona

Caracterización de una Red Neuronal  Arquitectura:  Full conected.  No full conected (patrón de conexionado). x1x1 x2x2 xmxm 2 niveles  Feedforward. 1 nivel, …, n niveles. x1x1 x2x2  Competitvas. x1x1 x2x2  Realimentadas (backward, dinámicas).

Feedforward Network

Hierarchical Organitzation

Successive Refinement

Caracterización de una Red Neuronal  Aprendizaje: método de adaptación de los pesos.  Supervisado.  No supervisado.  Pesos prefijados.  Aprendizaje por refuerzo.

Caracterización de una Red Neuronal  Función de activación: para calcular el valor de salida: fafa net x1x1 xjxj xnxn w1w1 wnwn wjwj

Redes de McCulloch

W. S McCulloch

Mc Culloch - Pitts (1943) “A Logical Calculus of the Ideas Immanent in Nervous Activity.” 5 supuestos: 1.La neurona es un proceso Todo-Nada. 2. Número fijo de sinapsis (>1) excitadas en el período de sumación latente. 3. El único retraso es el retardo sináptico. 4. La actividad de cualquier sinapsis inhibidora impide la excitación. 5. La estructura de la red no cambia con el tiempo. Sinapsis Excitadoras Sinapsis Inhibidoras

Redes de Mc Culloch - Pitts 1 2

1 2 3 a b 4

Aprendizaje de Hebb

Algoritmo de aprendizaje de Hebb Modelo no supervisado  w ij  si las neuronas origen / destino se activaron   Frecuencia repetición (hábito y aprendizaje). donde: w ij (t  1) = Peso de la sinapsis i, j después de la activación. w ij (t) = Peso de la sinapsis i, j antes de la activación. y i = Salida de la neurona i (entrada en j). y j = Salida de la neurona j. h = Coeficiente de aprendizaje. ij w ij

Layered Network

Acyclic Network

Symmetric Fully Connected Network

Arquitectura BPN

Modelos de Cerebro Inteligencia ArtificialNeurobiológico Modelos Neurobiológicos Globales Modelos Teóricos Globales Modelos Detallados Modelos de función de subsistemas Teoría de Autómatas Principios de Organización Modelos de subsistemas particulares Ejemplo: Cerebelo Modelos de conjuntos Neuronales Sistema Continuo?Sistema Contiguo? Modelos de Redes Neuronales Concepto de Neurona Neuronas Formales Redes Formales Neuromimas Redes de Estructura Realística Propuesta de Modelos Jerárquicos de sistemas cerebelares Modelos de Árbol Dendrítico Álgebra de Boole Modelo de Membrana Modelo de Cable Modelos de electrogénesis de la membrana Modelos Membrana Cable de células nerviosas enteras distribuidas espacialmente Modelos de Fenómeno Eléctrico Concepto de Membrana