Una introducción a Deep Learning

Presentación del tema: "Una introducción a Deep Learning"— Transcripción de la presentación:

1 Una introducción a Deep Learning

2 ¿Quien soy? Jennifer Barry Hago investigación y gerencia de proyectos

3 ¿Quien soy? David Rostcheck Soy asesor de data science
Sigue mis artículos en LinkedIn

4 Somos los evangelistas de Santiago para Turi GraphLab Create
un producto que acelera el desarrollo de aplicaciones inteligentes

5 también ofrecemos cursos en
microcontroladores y robótica

6 DEEP LEARNING

7 en algunas pruebas, Deep Learning ya muestra habilidades al mismo nivel de seres humanos

8 Estos incluyen: computadores que entienden lenguaje natural vehículos autónomos programas que pueden identificar lo que está ocurriendo en un video

9 Es notable que estas soluciones de problemas diversos en campos muy diferentes usan la misma tecnología poderosa

10 RED NEURONAL

11 una abstracción matemática
una red neuronal es una simulación del cerebro, una abstracción matemática

12 en el cerebro real, las neuronas mandan señales con fre cuen ci as no señales discretos

13 existen herramientas que tratan de simular el cerebro en una manera
más fiel al cerebro

14 Ejemplo: Numenta NuPIC, un tipo de memoria temporal jerárquica [Hierarchical Temporal Memory (HTM)]

15 pero las técnicas de redes neuronales son suficientes para entregar resultados similar o mejor que seres humanos en pruebas cognitivas especificas

16 entonces: Deep Learning lo que es?

17 punto de visto común: una con red distintos neuronal niveles es correcto, pero…

18 Hay otro punto de visto, tal vez más útil, que vamos a presentar acá

19 Viene del Vincent Vanhoucke, Principal Research Scientist en Google.
Lo que sigue viene de su curso en Deep Learning, en Udacity

20 Él piensa sobre Deep Learning como
un marco para calcular ecuaciones lineal y casi-lineal en manera eficiente

21 clasificador Para desarrollar este marco, vamos a construir un
lo más sencillo (y malo) posible

22 Pero espera un momento…
¿ por qué un clasificador?

23 Porque clasificación (o más generalmente predicción) es una técnica central en Machine Learning
Con esto, podemos alcanzar a ranking, regresión, detección, reinforcement learning, y más…

24 Empezamos con ecuación de línea, en forma vectorial…

25 Piensa en construir un clasificador sencillo para predecir, para cada elemento de X, lo que es:

26 Para hacerlo, tenemos que aprender los valores del W y b

27 Funciona bien?

28 No. Es malísimo.

29 ¿Por qué?

30 Hay dos problemas…

31 No. 1: El da valores, y lo que queremos son probabilidades

32 Lo podemos arreglar con la función “softmax”

33 Expresamos los valores correctos en un vector de valores 1 (correcto) y 0 (los otros).
Esto se llama “one-hot encoding”

34 para evaluar errores, comparamos las probabilidades con los valores correctas

35 usando lo que llamamos “cross-entropy”

36 mejor, pero… Se queda el segundo problema: Nuestra ecuación es lineal y no puede representar bien las ecuaciones no lineal

37

38 Este problema mató el perceptron (1-nivel red neuronal)

39 no ayuda sólo para agregar niveles a la red
porque se puede representar cualquiera combinación de operaciones lineales como otro operación lineal – podemos reducir la red nueva al otro WX + b con el mismo problema 

40 ¿Qué hacemos?

41 tenemos que introducir funciones no lineales
Sin otra opción, tenemos que introducir funciones no lineales logistic function

42 Pero se cuesta calcular – podemos usar una aproximación, la más sencilla.
Se llama “Rectified Linear Unit” , o ReLU

43 Ahora podemos construir nuestra red neuronal, en una manera eficaz para calcular

44 que se expresa en una manera modular, un serie de operaciones lineales o casi-lineales con matriz
.. que nos permite usar el poder de GPU

45 para mejorar nuesta estimación, minimizamos el error,
y está bien, pero nos falta una cosita más… para mejorar nuesta estimación, minimizamos el error, y esto require que calculamos el derivado de la funciona

46 piensa en la regla de cadena de cálculo:
d f(x) = d du f(x) dx du dx

47 se puede convertir un derivado en un producto (de otro derivados):

48 Qué cabe en nuestro marco modular 

49 Ahora lo tenemos! Un marco general y modular que incorpora todo que necesitamos!

50 …pero espera un momento:
y podemos construir redes neuronales profundas, sumando más niveles cómo necesitamos …pero espera un momento: por qué nos gustan redes profundas?

51 los problemas lo más interesantes,
como lenguaje y visión, tienen reglas muy complejos necesitamos muchos parámetros para representarlos

52 sí, pero por qué no usamos redes más anchas?
por qué es mejor profundo?

53 son más eficaces y capturan mejor la estructura inherente en muchos problemas

54 CONVNETS

55 la red convolucional, o convnet,
se transforma la entrada en una manera así que no importa el traslado en la entrada se usan para reconocimiento visual

56 Empezamos con una foto:

57 usamos una región (kernel) de foto cómo entrada para otra red neuronal chica, con K salidas

58 deslicemos la ventana a través de la foto

59 transforma la foto en foto nuevo, con K canales de color, y dimensiones diferentes

60 esta operación se llama
una convolución

61 ? si la región (el “kernel”) tuviera tamaño el mismo como el original,
qué obtuviéramos? ?

62 en eso caso, recuperemos la foto original

63 Questions? ? Contact: Articles: