PLN sintaxis 1 Sintaxis Introducción Gramáticas formales Gramáticas para PLN.

Presentación del tema: "PLN sintaxis 1 Sintaxis Introducción Gramáticas formales Gramáticas para PLN."— Transcripción de la presentación:

1 PLN sintaxis 1 Sintaxis Introducción Gramáticas formales Gramáticas para PLN

2 PLN sintaxis 2 La descripción sintáctica 1 La Sintaxis describe la regularidad y productividad de la lengua explicitando la estructura de las oraciones. Objetivo del análisis sintáctico: Detectar la corrección de una frase Proporcionar una estructura de la frase que refleje sus relaciones sintácticas y pueda ser utilizada como base para los tratamientos posteriores

3 PLN sintaxis 3 Formas de definir la corrección Gramática G  L(G) w 1 n  L(G) ? Modelo del lenguaje P(w 1 n ) si P(w 1 n ) > 0  w 1 n  L Corpus (oraciones, patrones) que definen las oraciones correctas diccionario sintáctico reglas de composición Reglas de buena formación filtros, gramáticas negativas,...

4 PLN sintaxis 4 La descripción sintáctica 3 Formas de expresar la estructura sintáctica: Estructura de constituyentes Estructura de dependencias Modelo de actantes Forma lógica

5 PLN sintaxis 5 ORACION GNFV DETNRGNVTGN NRGN el gato come pescado La descripción sintáctica 4 Arbol de derivación (árbol de análisis)

6 PLN sintaxis 6 La descripción sintáctica 5 Estructura de dependencias

7 PLN sintaxis 7 La descripción sintáctica 6 Modelo de actantes (1)

8 PLN sintaxis 8 La descripción sintáctica 7 Modelo de actantes (2)

9 PLN sintaxis 9  X y(gato (X (  Y y(pescado (Y) comer(X,Y))))) La descripción sintáctica 8 Forma logica

10 PLN sintaxis 10 Gramática 1 Gramáticas de constituyentes Arboles de derivación Gramáticas de dependencias Esquemas de dependencia Gramáticas de casos Modelos de actantes => Redes semánticas Gramáticas Transformacionales Gramáticas sistémicas

11 PLN sintaxis 11 Lenguajes formales Alfabeto (vocabulario)  Operación de concatenación   * cadenas sobre  (monoide libre) lenguaje L   * lenguajes y gramáticas jerarquía de Chomsky

12 PLN sintaxis 12 Gramáticas de Estructura Sintagmática Vocabulario No Terminal (conjunto de variables) Vocabulario Terminal (alfabeto) Conjunto de producciones Variable inicial   V = Ø   V = Vocabulario S  V

13 PLN sintaxis 13 Jerarquía de Chomsky 1 Gramáticas Generales (Tipo 0) Reconocidas por máquinas de Turing Gramáticas Sensitivas (Tipo 1) Linear Bounded Automata Pspace-complete Gramáticas Incontextuales (Tipo 2) Autómatas a pila O(n 3 ) Gramáticas Regulares (Tipo 3) Autómatas de estados finitos O(n)

14 PLN sintaxis 14 Jerarquía de Chomsky 2 Tipo 0 Gramáticas sin restricciones Tipo 1 Gramáticas sensitivas (Context-sensitive Grammars) u  w, w,u  (V   ) * u  w, w,u  (V   )* i |u|  |v|

15 PLN sintaxis 15 Tipo 3 Gramáticas regulars (Regular Grammars, RG) Tipo 2 Gramáticas incontextuals (Context-free Grammars, CFG) A  w, A  V, w  (V   )* A  a A  aB, A,B  V, a   Jerarquía de Chomsky 3

16 PLN sintaxis 16 Condición de gramaticalidad Una frase w (una palabra de  *) pertenece al lenguaje generado por la gramática: Podemos decir que la gramática G puede derivar la palabra w utilitzando las producciones a partir de S.

17 PLN sintaxis 17 Propiedades formales del analizador Solidez (sound) Todo resultado (p.ej. árbol de derivación) es correcto (gramatical) Terminación Todo proceso de análisis acaba Completitud Un analizador es completo si dada una gramática y una oración es sólido, produce todos los análisis correctos y acaba

18 PLN sintaxis 18 GramáticaReconocedorLenguaje Tipo 0Máquinas de lenguajes enumerables Turing recursivamente Tipo 1linear-bounded lenguajes contextuales automata (LBA) Tipo 2autómatas a pila lenguajes incontextuales no deterministas (NPDA) Tipo 3autómatas finitos lenguajes regulares (FSA) Jerarquía de Chomsky 4

19 PLN sintaxis 19 Expresividad de la gramática Mínimo: Gramáticas incontextuales (CFG) excepto aplicaciones concretas, aproximaciones regulares ¿Es el LN incontextual? ¿Suficiente? NO (normalmente) Solución CFG + {adición procedimental del contexto} Gramáticas Lógicas

20 PLN sintaxis 20 Ejemplo gramática incontextual 1 G1= N1 = {ORACION,GN,FV,RGN,GP} T1 = {det,n,np,adj,vi,vt,prep} P1 ={ 1 FRASE --> GN FV. 2 GN --> det n RGN. 3 GN --> n RGN. 4 GN --> np RGN. 5 RGN --> . 6 RGN --> GP RGN. 7 RGN --> adj RGN. 8 FV --> vi. 9 FV --> vt GN. 10 GP --> prep GN. }

21 PLN sintaxis 21 Ejemplo gramática incontextual 2 grup-nom==> n, grup-adj. grup-adj ==> a, grup-adj. grup-adj ==> a. grup-adj ==> adv, a. n ==> ncms000.%chico n ==> ncmp000.%chicos n ==> ncfs000.%chica n ==> ncfp000.%chicas n ==> nccs000.%mar, oyente n ==> nccp000.%mares, oyentes n ==> ncmn000.%pantalones n ==> ncfn000.%tijeras n ==> ncms00a.%chiquito a ==> aq0cp00.%alegres a ==> aq0cs00.%alegre a==> aq0fp00.%bonitas a ==> aq0fs00.%bonita a ==> aq0mp00.%bonitos a ==> aq0ms00.%bonito

22 PLN sintaxis 22 Ejemplo gramática incontextual 3 grup-nom==> ncms, grup-adj-ms. grup-nom==> ncfs, grup-adj-fs. grup-nom==> ncmp, grup-adj-mp. grup-nom==> ncfp, grup-adj-fp. grup-adj-ms ==> aq0ms00, grup-adj-ms. grup-adj-mp ==> aq0mp00, grup-adj-mp. grup-adj-ms ==> aq0ms00, grup-adj-cs. ncms ==> ncms000.%chico ncmp ==> ncmp000.%chicos ncfs ==> ncfs000.%chica ncfp ==> ncfp000.%chicas

23 PLN sintaxis 23 Ejemplo gramática incontextual ampliada 4 grup-nom==>n(Rasgos1), grup-adj(Rasgos2), {concordancia Rasgos1 Rasgos2} n(ms) ==> ncms000.%chico n(mp)==> ncmp000.%chicos n(fs)==> ncfs000.%chica n(fp)==> ncfp000.%chicas a(cp)==> aq0cp00.%alegres a(cs) ==> aq0cs00.%alegre a(fp)==> aq0fp00.%bonitas a(fs) ==> aq0fs00.%bonita

24 PLN sintaxis 24 CFG + {adición procedimental del contexto}

25 PLN sintaxis 25 Ejemplo LSP (Sager) *BNF %= '.'. %=. %= /. %=. *RESTR WCONC1= IN LNR % BOTH $SING AND $PLUR. $SING= IF CORE OF LNR HAS ATTRIBUTE SG THEN CORE OF LN DOES NOT HAVE ATTRIBUTE PL. $PLUR= IF CORE OF LNR HAS ATTRIBUTE PL THEN CORE OF LN DOES NOT HAVE ATTRIBUTE SG.

26 PLN sintaxis 26 Gramáticas incontextuales con rasgos 1 Head Features Rasgos que los constituyentes no terminales adquieren a partir de sus núcleos (heads) Algunos se filtran directamente Otros requieren cierto proceso AGR (agreement) gen, num, persona, caso,... VFORM (subcategorización verbal) problemática con los auxiliares, modales, locuciones verbales,...

27 PLN sintaxis 27 Gramáticas incontextuales con rasgos 2 np  {np agr AGR}, det, {det agr AGR}, n, {n agr AGR}. vp  v, {v subcat _np}, np. vp  v, {v subcat _np _pp:loc}, np, pp, {pp pform loc}. vp  {vp agr A, vp vform V},v, {v subcat _vp:inf, v agr A, v vform V}, vp, {vp vform inf}.

28 PLN sintaxis 28 Obtención de la gramática Definición del vocabulario terminal (tagset,  ) Definición del vocabulario no terminal (V) Reglas de la gramática (P) construcción manual construcción automática inferencia (inducción) gramatical construcción semiautomática

29 PLN sintaxis 29 La selección de las categorías Vocabulario terminal Categorías atómicas vs complejas El tagset La utilización de rasgos Vocabulario no terminal Motivación lingüística Teoría Categorías barradas (slashed categories) dependencias a larga distancia

30 PLN sintaxis 30 Categorías Parole 1 categorias posibles: adj= adjetivo, adv= adverbio, art= artículo, con= conjunción det= determinante, nom=nombre, np= nombre propio, prep = preposición, pron= pronombre, verb=verbo, intj=interjección, res=residuales, spun = signo puntuación, abr = abreviatura cifra = z, fecha = w

31 PLN sintaxis 31 Categorías Parole 2 géneros posibles: ambi=ambiguo, fem= femenino, masc= masculino, n=neutro, i=indiscriminado

32 PLN sintaxis 32 Categorías Parole 3 Verbo 1 categoría 2 tipo 3 modo 4 tiempo 5 persona 6 número 7 género

33 PLN sintaxis 33 Penn treebank Tagset 1 CCCoordinating conjunction CD Cardinal number DT Determiner EX Existential there FW Foreign word IN Preposition JJ Adjective JJR Adjective, comparative JJS Adjective, superlative LS List item marker MD Modal NN Noun, singular NNP Proper noun, singular NNS Noun, plural NNPSProper noun, plural PDTPredeterminer POS Posessive ending PRP Personal pronoun PPPossessive pronoun RB Adverb RBR Adverb, comparative RBS Adverb, superlative RP Particle SYM Symbol TO to UH Interjection VB Verb, base form VBD Verb, past tense VBG Verb, gerund VBN Verb, past participle VBP Verb, non-3rd ps. sing. present VBZ Verb, 3rd ps. sing. present WDT wh-determiner WP wh-pronoun WPPossessive wh-pronoun WRB wh-adverb

34 PLN sintaxis 34 Penn treebank Tagset 2 # Pound sign $ Dollar sign. Sentence-final punctuation, Comma : Colon, semi-colon ( Left bracket character ) Right bracket character " Straight double quote ` Left open single quote `` Left open double quote ' Right close single quote '' Right close double quote

35 PLN sintaxis 35 Modificaciones de las gramáticas Transformaciones de las gramáticas para obtener gramáticas equivalentes: Eliminación de símbolos y producciones no alcanzables Eliminación de producciones unarias Eliminación de producciones  Formas normales Chomsky Greibach Aproximaciones de CFG por RG

36 PLN sintaxis 36 Forma Normal de Chomsky Una gramática incontextual está en CNF si sólo tiene producciones: unarias de tipo A  a binarias de tipo A  BC con a   y A,B,C  V El paso de cualquier CFG a CNF es trivial

37 PLN sintaxis 37 Forma Normal de Greibach Una gramática incontextual está en GNF si sólo tiene producciones: A  a  con a   y   V* El paso de cualquier CFG a GNF es trivial