Aprendizaje (Machine Learning)  Pregunta interesante: Podemos hacer que las computadoras aprendan?  Aprender: mejorar automáticamente con la experiencia.  Gran impacto en tipo de aplicaciones de la computación

Aplicaciones Reconocimiento de voz: Aplicaciones mas exitosas utilizan algoritmos de ML Redes Neurales, modelos de Markov, etc. Vehículos autónomos: entrenamiento de vehículos controlados por computadora. ALVIN (1989), maneja sin asistencia a 112 Km/h por 150 Kms en autopistas públicas entre otros carros.

Aplicaciones (Continuación) Reconocimiento de nuevas estructuras astronómicas: Grandes bases de datos obtener regularidades en los datos. Ejemplo, la NASA ha aplicado árboles de decisión para aprender a clasificar objetos astronomicos. 3 Terabytes de datos de Imágenes, obtenidos por el observatorio Palomar. Juegos de mesa como el Backgammon: Basados en algoritmos de ML, ejemplo TD-Gammon aprendió estregegias de juego a partir de jugar mas de un millon de juegos de práctica consigo mismo. Ahora tiene un nivel competitivo con los campeones mundiales.

Resultados Teóricos Caracterización de la relación fundamental entre el número de ejemplos de entrenamiento observados, el número de hipotesis bajo consideración y el error esperado en las hipotesis aprendidas Caracterización de la relación fundamental entre el número de ejemplos de entrenamiento observados, el número de hipotesis bajo consideración y el error esperado en las hipotesis aprendidas Modelos de aprendizaje animal y humano, y su relación con los algoritmos de aprendizaje Modelos de aprendizaje animal y humano, y su relación con los algoritmos de aprendizaje (Ver Slides de Mitchell -> Importancia de ML y aplicaciones) (Ver Slides de Mitchell -> Importancia de ML y aplicaciones)

Problema Bien Formulado Aprendizaje: cualquier programa computacional que mejore su desempeño en alguna tarea a traves de la experiencia Aprendizaje: cualquier programa computacional que mejore su desempeño en alguna tarea a traves de la experiencia Definición: Se dice que un programa aprende de la experiencia E con respecto a alguna clase de tareas T y medida de desempeño P, si su desempeño en las tareas en T, medido con P, mejoran con la experiencia E. Definición: Se dice que un programa aprende de la experiencia E con respecto a alguna clase de tareas T y medida de desempeño P, si su desempeño en las tareas en T, medido con P, mejoran con la experiencia E.

Problema de reconocimiento de escritura a mano: Tarea T : reconocimiento y clasificación de palabras escritas en una imagen Medida de desempeño P : Porcentaje de palabras correctamente clasificadas Experiencia de Entrenamiento E : Base de datos de palabras escritas a mano con su clasificación correcta. Problema de navegación en robots : Tarea T : manejar en una autpista pública de 4 canales utilizando sensores de visión Medida de desempeño P : distancia promedio transcurrida sin errores (ha ser juzgados por un observador humano) Experiencia de Entrenamiento E: Secuencia de imágenes y comandos al volante grabados al observar un conductor humano.

Experiencia de Entrenamiento Impacto en el éxito o fracaso del aprendizaje Impacto en el éxito o fracaso del aprendizaje Atributos Atributos Evidencia (feedback) directa o indirecta (problema de asignación de crédito) Evidencia (feedback) directa o indirecta (problema de asignación de crédito) Grado en que el aprendiz elije los ejemplos de entrenamieto Grado en que el aprendiz elije los ejemplos de entrenamieto Distribución de ejemplos de entrenamiento en relación con situación final de prueba Distribución de ejemplos de entrenamiento en relación con situación final de prueba

Escogencia de la Función Objetivo Qué tipo de conocimiento será aprendido? Qué tipo de conocimiento será aprendido? 1. Programa para jugar damas capaz de generar jugadas legales a partir de cualquier estado del tablero 2. Escoger la mejor entre las jugadas legales Formalmente: Choose Move: B -> M B: Estados del tablero, M: Jugadas legales Problema: Muy difcil de aprender dada la experiencia indirecta.

Alternativa: Función numérica que asigna un valor a cada estado del tablero: V: B -> R Alternativa: Función numérica que asigna un valor a cada estado del tablero: V: B -> R Si se aprende V, el sistema puede jugar: Si se aprende V, el sistema puede jugar: Generando estados sucesores al estado actual (movidas legales) Generando estados sucesores al estado actual (movidas legales) Escogiendo el mejor sucesor Escogiendo el mejor sucesor Definición de V (ver slides de Mitchell) Definición de V (ver slides de Mitchell) V no es operacional, no puede computarse eficientemente. Es el ideal, necesitamos una aproximación V * que pueda calcularse V no es operacional, no puede computarse eficientemente. Es el ideal, necesitamos una aproximación V * que pueda calcularse Como representar V* ? Como representar V* ? Queremos una representación expresiva, pero mientras mas expresiva, mas datos de entrenamiento requeriría Queremos una representación expresiva, pero mientras mas expresiva, mas datos de entrenamiento requeriría Reducción problema de aprendizaje: Determinar valores de 6 coeficientes en la función objetivo Reducción problema de aprendizaje: Determinar valores de 6 coeficientes en la función objetivo

Algoritmo para estimar V* Estimar valores de entrenamiento: Conjunto de pares, Ej: a partir de la experiencia indirecta (ver slides Mitchell) Estimar valores de entrenamiento: Conjunto de pares, Ej: a partir de la experiencia indirecta (ver slides Mitchell) Ajuste de los pesos: Encontrar pesos que mejor ajusten ejemplos de entrenamiento Ajuste de los pesos: Encontrar pesos que mejor ajusten ejemplos de entrenamiento Como definir mejor auste? Minimización del Error cuadrático Como definir mejor auste? Minimización del Error cuadrático E = (V train (b) – V*(b) 2 E = (V train (b) – V*(b) 2 Buscar pesos que minimicen E para todos los ejemplos de entrenamiento Buscar pesos que minimicen E para todos los ejemplos de entrenamiento Algoritmo de Mínimos Cuadrados LMS (Ver slides Mitchell) Algoritmo de Mínimos Cuadrados LMS (Ver slides Mitchell)

Diseño Final Generador Experimentos Crítico V tr (b) = V*(Suc(b)) Sistema de Desempeño Generalizador (LMS) Nuevo problema Traza de solución (historia de juego) Ejemplos de Entrenamiento Hipótesis V*