Modelos de redes neuronales. Modelos Neuronales Representación conceptual de datos concernientes a neuronas o sistemas de ellas. Características. Formadas.

Presentación del tema: "Modelos de redes neuronales. Modelos Neuronales Representación conceptual de datos concernientes a neuronas o sistemas de ellas. Características. Formadas."— Transcripción de la presentación:

1 Modelos de redes neuronales

2 Modelos Neuronales Representación conceptual de datos concernientes a neuronas o sistemas de ellas. Características. Formadas por elementos simples. Potentes en organización (paralelismo masivo) Potencia heurística para relacionar y subrayar conceptos. Predictivas.

3 Redes neuronales: una disciplina eclética

4 Redes Neuronales o Redes Neurales?  Diferencias:  No químicas (Las sinapsis son químicas).  Codifican en amplitud (No en frecuencia).  Síncronas (Generalmente).  No Jerárquicas (Si ART-3).

5 Redes Neuronales o Redes Neurales?  Son modelos bioinspirados.  Funcionalmente.  Aprendizaje.  Generalización.  Clasificación.  Reconocimiento.  Optimización.  Estructuralmente.  Elementos de proceso simples.  Múltiples entradas / 1 salida en cada elemento.  Paralelismo masivo.  Sistemas Mono / Multinivel.

6 Clasificación

7

8 Voronoi Diagram in two-dimension space

9 Auto-association

10 Hetero-association

11 Function Aproximation

12 Forward and Inverse control Problems

13 Historia de las redes neurales 1943 McCulloch and Pitts, Threshold Logic Gate models 1949 Hebb, proposed Learning principle 1957 Rosenblatt's Perceptron 1960 Widrow & Hoff's Adaline 1969 Minsky & Papert (MIT), Limitations of perceptrons

14 Historia de las redes neurales 1970-1982 El eclipse de las NN “neural-net winter" 1974 Werbos (PhD thesis, Harvard), Descubrimiento que paso desapercibido del algoritmo de backpropagation : Como entrenar redes multinivel 1982 Hopfield (Princeton, then Caltech) Hopfield networks 1982 Kohonen SOM 1986 Rumelhart and McClelland, redescubrimiento y difusión del backpropagation.

15 Modelos de Redes Neurales más utilizadas  Mc Culloch - Pitts.  Perceptron.  BackPropagation (MLP).  Kohonen.  Counter Propagation.  Hopfield.  Bidirectional Associative Memory (BAM).  Adaptative Resonance Theory (ART).  Radial Basis Functions.  Aprendizaje por refuerzo.  Modelos estadísticos.  Modelos Dinámicos (TDNN).  Neocognitron.

16 Aplicaciones de las redes neurales Cuando los datos no son concretos: - Opiniones humanas. - Categorías mal definidas. - Con grandes errores. Cuando los datos están ocultos: - Préstamos (histórico). Datos no lineales: - Series temporales  Filtro de Kalman. Datos Caóticos: - Ruido de la línea telefónica. - Mercado de valores. - Quinielas.

17 Aplicaciones 1 Optical character recognition U.S. mail zip-code recognizer Kanjii: 4000 chars in 15 fonts, 99% accurate, 100k chars/sec (Sharp & Mitsubishi) Communications Adaptive noise cancellation –Headphones –Conference telephones

18 Aplicaciones 2 Process control Electric arc furnace control: 30MVA, 50kamp transformer, $2M savings Steel-rolling mill controller Copier uniformity control (Ricoh) Anti-lock brakes, etc. (Ford) Food process control (M&M) Particle beam focusing (SLAC) Flourescent bulb. (GE)

19 Aplicaciones 3 Financial analysis Prediction of commodities market (18% vs. 12.3% by traditional methods) Mortgage risk evaluator (AVCO, Irvine) Real-estate evaluation (Foster Onsley Conley) Portfolio management (LBS Captial) Currency trading (Citibank) Crime prevention Bomb sniffer (JFK airport) Credit card fraud detection (Visa, etc.)

20 Aplicaciones 4 Object classification Grading grains from video images Glass classification High-energy physics: particle identification Warfare Missile guidance Optical telescope focusing

21 Aplicaciones 5 Biomedical Clinical diagnoses Patient mortality predictions Protein structure analysis Electrode placement Speech recognition Game playing World backgammon champion

22 Caracterización de una red neuronal Arquitectura –Patrón de conexionado de las neuronas Aprendizaje –Método de determinación de los pesos Función de activación –Permite calcular la salida en función de las entradas a la neurona

23 Caracterización de una Red Neuronal  Arquitectura:  Full conected.  No full conected (patrón de conexionado). x1x1 x2x2 xmxm 2 niveles  Feedforward. 1 nivel, …, n niveles. x1x1 x2x2  Competitvas. x1x1 x2x2  Realimentadas (backward, dinámicas).

24 Feedforward 3-2-3-2 Network

25 Hierarchical Organitzation

26 Successive Refinement

27 Caracterización de una Red Neuronal  Aprendizaje: método de adaptación de los pesos.  Supervisado.  No supervisado.  Pesos prefijados.  Aprendizaje por refuerzo.

28 Caracterización de una Red Neuronal  Función de activación: para calcular el valor de salida: fafa net x1x1 xjxj xnxn w1w1 wnwn...... wjwj

29 Redes de McCulloch

30 W. S McCulloch

31 Mc Culloch - Pitts (1943) “A Logical Calculus of the Ideas Immanent in Nervous Activity.” 5 supuestos: 1.La neurona es un proceso Todo-Nada. 2. Número fijo de sinapsis (>1) excitadas en el período de sumación latente. 3. El único retraso es el retardo sináptico. 4. La actividad de cualquier sinapsis inhibidora impide la excitación. 5. La estructura de la red no cambia con el tiempo. Sinapsis Excitadoras Sinapsis Inhibidoras

32 1 2 3 1 2 3 1 2 3 Redes de Mc Culloch - Pitts 1 2

33 1 2 3 a b 4

34 Aprendizaje de Hebb

35

36 Algoritmo de aprendizaje de Hebb Modelo no supervisado  w ij  si las neuronas origen / destino se activaron   Frecuencia repetición (hábito y aprendizaje). donde: w ij (t  1) = Peso de la sinapsis i, j después de la activación. w ij (t) = Peso de la sinapsis i, j antes de la activación. y i = Salida de la neurona i (entrada en j). y j = Salida de la neurona j. h = Coeficiente de aprendizaje. ij w ij

37

38 Layered Network

39 Acyclic Network

40 Symmetric Fully Connected Network

41 Arquitectura BPN

42 Modelos de Cerebro Inteligencia ArtificialNeurobiológico Modelos Neurobiológicos Globales Modelos Teóricos Globales Modelos Detallados Modelos de función de subsistemas Teoría de Autómatas Principios de Organización Modelos de subsistemas particulares Ejemplo: Cerebelo Modelos de conjuntos Neuronales Sistema Continuo?Sistema Contiguo? Modelos de Redes Neuronales Concepto de Neurona Neuronas Formales Redes Formales Neuromimas Redes de Estructura Realística Propuesta de Modelos Jerárquicos de sistemas cerebelares Modelos de Árbol Dendrítico Álgebra de Boole Modelo de Membrana Modelo de Cable Modelos de electrogénesis de la membrana Modelos Membrana Cable de células nerviosas enteras distribuidas espacialmente Modelos de Fenómeno Eléctrico Concepto de Membrana