PLN chunking1 Análisis superficial y fragmental Introducción Chunking.

Presentación del tema: "PLN chunking1 Análisis superficial y fragmental Introducción Chunking."— Transcripción de la presentación:

1 PLN chunking1 Análisis superficial y fragmental Introducción Chunking

2 PLN chunking2 Insuficiencia de los m é todos convencionales de parsing para tratar textos no restringidos Segmentaci ó n adecuada Desambiguaci ó n Cobertura ¿Cuál es la unidad a analizar? ¿Cuál es el árbol de análisis adecuado? Análisis fuera de la cobertura léxica o sintáctica ¿ Qu é hacer? No analizar todo No analizar en profundidad Análisis fragmental Análisis superficial Análisis superficial y fragmental 1

3 PLN chunking3 Problemas al analizar corpus no restringido Adaptación de una gramática a un cierto corpus o sublenguaje Selección del análisis correcto (!?) entre los permitidos por la gramática. Producción de análisis fiables para entradas fuera de la cobertura de la gramática (Robustez) Análisis superficial y fragmental 2

4 PLN chunking4 Análisis superficial y fragmental 3 Partial parsers phrasal parsers chunkers, spotters Church,1988 coocurrence parsers Church,Hanks,1989, Brent,1993 fragmental parsers Fidditch, Hindle,1994, MITFP, Abney,1991 constraint-based parsers Voutilainen,1995 Probabilistic parsers Treebanks

5 PLN chunking5 An á lisis fragmental Chunking detecci ó n de frases nominales, verbales, adjetivales, adverbiales b á sicas (sin recursi ó n) t é cnicas de estados finitos actuaci ó n de transductores en cascada HMM t é cnicas de ML Bracketting Obtenci ó n de dependencias entre chunks y de relaciones sint á cticas Abney, 1996 Argamon et al, 1998 Cardie, Pierce, 1998 Church, 1988 Ramshaw, Marcus, 1995 Skut, Brants, 1998 Alembic Vilain, 1999 Pinocchio Ciravegna, Lavelli, 1999 TiMBL Daelemans et al, 2000 Supertagging Bangalore, Joshi, 1999

6 PLN chunking6 Chunking 1 Definición de chunk Con base lingüística: Abney Puramente pragmática: Secuencias continuas de tokens relacionados No confundir con términos ej. Base NP Aproximaciones al chunking localizar (incluir) información Ignorar información ej. Chink

7 PLN chunking7 Chunking 2 Representación de los chunks Etiquetas ej. BIO tags BEGIN, INSIDE, OUTSIDE Árboles Chunk parser Búsqueda de chunks no solapados para conseguir un cubrimiento máximo

8 PLN chunking8 Chunking 3 Frecuentemente expresiones regulares sobre sequencias de POS tags Forma aglomerativa (reglas chunk) vs forma divisiva (reglas chink) Reglas de fusión de chunks adyacentes Reglas de división de un chunks en componentes más pequeños. Actuación de cascadas de detección de chunks

9 PLN chunking9 Chunking 4 Tareas relacionadas Bracketing Detección automática de candidatos a término Named Entity Recognition (NER) Named Entity Classification (NEC) NERC

10 PLN chunking10 ejemplo: Chunker de Church Tagger estad í stico seguido de chunker Entre cada par de etiquetas se puede insertar un limitador de chunk Las etiquetas que limitan a los chunks deben satisfacer condiciones de consistencia Las probabilidades de cada etiqueta se obtienen mediante aprendizaje supervisado (ML) Se escoge finalmente la cadena con la m á xima probabilidad asumiendo independencia. [, ], ][, -