Procesamiento del Lenguaje Natural Inaki Pedroche Aramburu Ismael Baez Cortes Angel Alberto Molina Oscar Daniel Torres Juarez

Agenda. Introducción. Arquitectura. Expresiones Regulares. Morfología. 2

INTRODUCCIÓN. El procesamiento de información, para una máquina y un humano es muy diferente. Para una computadora es muy rápido, incluso mas rápido que un humano. Sin embargo la maquina no entiende la información. 3

DEFINICIÓN Subdisciplina de la Inteligencia artificial y rama de la lingüística computacional. INVESTIGACIÓN Y FORMULACIÓN MECANISMOS: HUMANO – COMUNICACIÓN - MÁQUINA 4

LENGUAJE ARTIFICIAL: lenguaje creado por el hombre, formado por símbolos y formulas y que tiene como objetivo fundamental formalizar la programación de computadoras o representar simbólicamente un conocimiento.  LENGUAJE DE PROGRAMACIÓN. 5

INGENIERÍA LINGÜÍSTICA. Lograr procesar de una forma computacional el lenguaje natural. 6

HISTORIA Años 40´s – 50´s: –Traduccion de textos y recuperación de información.  Obstaculos :escasa potencia de ordenadores y sotisficación lingüística. Años 60´s – 70´s: –Procesamiento y comprensión de frases. –Comprensión de lenguaje. –Programación automática. –Procesamiento de texto científico. 7

HISTORIA La década de los ochenta y el principio de la de los noventa han visto resurgir la investigación en el terreno de la Traducción Automática. 8

ARQUITECTURA. Se compone por los niveles del lenguaje natural: 1: Nivel Fonológico. 2: Nivel Morfológico. 3: Nivel Sintáctico. 4: Nivel Semántico. 5: Nivel Pragmático. 9

ARQUITECTURA Nivel Fonológico: trata de cómo las palabras se relacionan con los sonidos que representan Nivel Morfológico: trata de cómo las palabras se construyen a partir de unas unidades designificado mas pequeñas llamadas morfemas, por ejemplo: Rápida + Mente == Rápidamente 10

ARQUITECTURA Nivel Sintáctico: trata de cómo las palabras pueden unirse para formar oraciones, fijando el papel estructural que cada palabra juega en la oración. 11

ARQUITECTURA Nivel Semántico: trata del significado de las palabras y de cómo los significados se unen para dar significado a una oración, también se refiere al significado independiente del contexto, es decir de la oración aislada. 12

ARQUITECTURA Nivel Pragmático: trata de cómo las oraciones se usan en distintas situaciones y de cómo el uso afecta al significado de las oraciones. Se suele reconocer un subnivel recursivo: discursivo, que trata de cómo el significado de una oración se ve afectado por las oraciones inmediatamente anteriores. 13

PROCESAMIENTO a) El usuario le expresa a la computadora que es lo que desea hacer. b) La computadora analiza las oraciones proporcionadas, en el sentido morfológico y sintáctico, es decir, si las frases contienen palabras compuestas por morfemas y si la estructura de las oraciones es correcta. 14

PROCESAMIENTO c) El siguiente paso, es analizar las oraciones semánticamente, es decir saber cual es el significado de cada oración, y asignar el significado de estas a expresiones lógicas(cierto o falso). 15

PROCESAMIENTO d) Una vez realizado el paso anterior, ahora podemos hacer el análisis pragmático de la instrucción, es decir una vez analizadas las oraciones, ahora se analizan todas juntas, tomando en cuenta la situación de cada oración, analizando las oraciones anteriores, una vez realizado este paso, la computadora ya sabe que es lo que va a hacer, es decir, ya tiene la expresión final. e) Una vez obtenida la expresión final, el siguiente paso es la ejecución de esta, para obtener asíel Resultado y poder proporcionárselo al usuario. 16

EXPRESIONES REGULARES. Las expresiones regulares son una serie de carácteres que forman un patrón, normalmente representativo de otro grupo de carácteres mayor, de tal forma que podemos comparar el patrón con otro conjunto de carácteres para ver las coincidencias. 17

EXPRESIONES REGULARES am // este es nuestro patrón. Si lo comparamos con: am // coincide panorama // coincide ambición // coincide campamento // coincide mano // no coincide 18

Morfología. Delimita. Define. Clasifica. 19

¿Por qué no solo formar una lista de palabras con todas las formas plurales? –Derivaciones. Go  going  goes  went. –Acrónimos. –Nombres Propios. –Morfología Derivativa. –Morfología Flexiva. 20

La morfología no solo es necesaria para recuperación de información. Traductores. Buscadores. 21

Reglas de ortografía. Fox -> foxes. Fish -> fish. Peeccary -> peccaries. Goose -> geese. Análisis Morfológico. Foxes -> fox-es 22

Morfología Flexiva (-s) (-ing, -ed) –Regular Walk  walks  walking  walked. Irregular Eat  eats  eating  ate  eaten Morfología Derivativa (suffixes) –Normalización. Fuzzy  fuzziness (nouns) Computation  computational. Sincerity = sincerencess. 23

Para resolver esta problemática es necesario hacer uso de autómatas finitos. Arboles de derivación. 24

Agenda. Fonología Texto a Voz Nivel sintáctico. Nivel semántico. Nivel Pragmático. 25

Fonología Sonidos. Entorno. Gramática. 26

Fonología Computacional Estudio de mecanismos computacionales. Aprendizaje fonológico. Un sistema de reconocimiento necesita tener una clara pronunciación para cada palabra. 27

Factores Involucrados Pronunciación. Órganos vocales. Reglas fonológicas. Voice  boys. Acústica. 28

Pronunciación IPA. Fonética articulatoria. Solución por medio de autómatas y modelos de estados finitos. Fonemas. 29

Sistema TTS. Prosodia. Promimencia Estructura. Melodía. 30

Una vez que se ha entendido el concepto de fonología y morfología, que se ha entendido como se procesa la información del lenguaje natural a formal, pasamos a convertir de texto a voz… 31

Texto a Voz La interpretación de texto a voz es realizada, al igual que a nivel morfológico; con autómatas finitos, modelo de estados finitos y arboles de derivación. 32

¿Cómo funciona? Ya identificados los dos niveles morfológicos: morfología/fonología. Se delimita la interpretación por medio de un mapeo entre la forma léxica por medio de un estado finito. 33

¿Cómo funciona? Análisis de texto. Léxico. Fonemas. Morfemas. Análisis por autómatas finitos y arboles de decisión. 34

Nivel sintáctico. Se refiere a la organización de las palabras para formar oraciones correctas y poder interpretarlas dentro de una estructura de lenguaje. Un correcto análisis sintáctico depende de una interpretación y comprensión de las palabras La ambigüedad en el proceso lingüístico se presenta cuando pueden admitirse distintas interpretaciones a partir de la representación de la oración 35

La forma que podemos representarlo es a través de un diagrama de árbol que agrupa palabras y sus relaciones Para una correcta representación del lenguaje en un árbol necesitamos de: léxico y la gramática Nivel sintáctico. 36

Nivel semántico. Se refiere al significado exacto de las palabras y como se agrupan estos significados en oraciones. La forma que podemos representarlo es a través de diagramas de árbol mas elaborados y explicativos 37

38

Es dependiente de las aplicaciones que lo utilizan Puede generar ambigüedad en cuanto a la interpretación de contenido Nivel semántico. 39

Limitaciones. Modelos morfológicos y sintácticos poco evolucionados Poco interés en desarrollar un modelo efectivo de compresión gramatical Ambigüedad 40

Sistemas de reconocimiento de voz limitados Comprensión Eficiente del Habla y su Expresión Natural Tecnología Actual Limitaciones. 41

Trabajo a Futuro. Campo de la investigación Telefonía Móvil Software Especializado 42

Trabajo a Futuro. Ayuda a personas con debilidades físicas Seguridad en Empresas Búsqueda en Línea 43