Descargar la presentación
La descarga está en progreso. Por favor, espere
1
Describiendo las reglas del Lenguaje
Gramáticas Probabilísticas Luis Villaseñor Pineda Laboratorio de Tecnologías del Lenguaje Coordinación de Ciencias Computacionales, Instituto Nacional de Astrofísica, Óptica y Electrónica
2
¿Cómo construimos las reglas de un lenguaje?
¿Cómo un ser humano construye/descubre las reglas a partir de las cuales es posible generar expresiones en un lenguaje? Dos posibles respuestas: Tenemos un mecanismo innato, es decir, estamos predispuestos para aprender esas reglas Las aprendemos por contacto con ellas, el ambiente nos condiciona
3
¿Cómo construimos las reglas de un lenguaje?
¿Cómo un ser humano construye/descubre las reglas a partir de las cuales es posible generar expresiones en un lenguaje? Dos posibles respuestas: Tenemos un mecanismo innato, es decir, estamos predispuestos para aprender esas reglas Las aprendemos por contacto con ellas, el ambiente nos condiciona Probablemente es una mezcla de ambos !!
4
¿y para una máquina? La creación cuidadosa de un conjunto de reglas completo cubriendo todas las posibilidades del lenguaje parece imposible!! Otro enfoque es la posibilidad de aprender las reglas, inducirlas, a partir de corpus (cuidadosamente anotados) trabajo arduo, lento y costoso
5
Lo mejor de los dos mundos
Utilizando un formalismo como CFG y agregando elementos para la correcta asociación de los constituyentes a través de sus probabilidades Próximas diapositivas tomadas de Probabilistic Linguistics, R. Bod, J. Hay, S. Jannedy, MIT Press
6
Breve recordatorio … Dos interpretaciones de la probabilidad:
Objetiva – la probabilidad de un fenómeno es una medida de su frecuencia relativa a través de un experimento Subjetiva – es el grado de creencia de un observador respecto a cierto fenómeno P(A) = |A| / |O| |A| = número de muestras del evento A |O| = espacio total del espacio de muestras
7
Ejemplo Tenemos un corpus de 50 palabras (no ambiguas), 25 nombres
20 verbos 5 adjetivos ¿Cuál es la probabilidad de seleccionar un verbo?
8
Frecuencia relativa La frecuencia relativa de un evento converge a su verdadera probabilidad cuando el número de experimentos se incrementa. Dado un documento ¿cuál es la probabilidad de que una palabra sea la palabra “de”?
9
Probabilidad condicional
Joint probability ¿cuál sería la probabilidad de que al tomar dos palabras tomáramos una nombre y un verbo? P({nombre} ∩ {verbo}) = P({nombre}) * P({verbo}) Suponemos que se trata de de eventos independientes Conditonal probability ¿cuál es la probabilidad de que al tomar dos palabras consecutivas tomemos primero un nombre y luego un verbo? P(B|A) = P(A|B) / P(A)
10
Modelo de Markov Generalizando
P(A,B,C) = P(A) x P(B|A) x P(C|A,B) Suponiendo que el evento sólo depende del evento inmediatamente anterior P(A1,A2,…,An) = P(A1) x P(A2|A1)x … x P(An|An-1) Tenemos un modelo de markov de primero orden
11
Gramática probabilística
Necesitamos un corpus Treebank / anotando claramente las características que deseamos capturar Las reglas que deseamos aprender Entonces ¿las reglas están predeterminadas?
12
Treebank ejemplo
13
Conteo de reglas
14
Probabilidades de las reglas
15
Calculando las probabilidades de una derivación
16
Sin embargo… Suponer que las reglas son independientes no es del todo adecuado Buzzing bees Diferentes enfoques han sido propuestos History-based grammars Head-lexicalized probabilistic grammars Probabilistic lexicalized tree-adjoning grammars DOP Data-oriented parsing
17
DOP Tenemos una gramática de substitución de árboles probabilísticos
No son reglas sino árboles los elementos básicos No existen restricciones sobre el tamaño o tipo de nodos en los árboles
18
Treebank ejemplo DOP
19
Árboles posibles
20
Operación de base Substitución de nodos
21
Probabilidad de una derivación
A diferencia de otras gramáticas, en ésta existen muchas derivaciones posibles
22
Algunas derivaciones
23
La probabilidad de una derivación
Es la suma de las probabilidades de todas las posibles derivaciones Mientras más evidencia tenemos de cómo se relacionan las palabras más probabilidad de obtener el árbol correcto No interesan los pasos intermedios, el árbol final es lo importante!!
24
Evidencia psicolingüística
No únicamente orientamos nuestro léxico También las relaciones entre él “vete al …” El lenguaje no es estático se “mueve” según entramos en contacto con diferentes ambientes Entendemos mejor algunas cosas que otras Por el lenguaje (palabras y sus relaciones) que conocemos Por el lenguaje que escuchamos
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.