Modelos Formales No Transformacionales MFNT Los 3 grandes ejes que articulan toda la materia son: Por qué necesitamos Modelos Formales Por qué esos modelos formales deben ser NO transformacionales Cómo este desideratum se ajusta exactamente a la agenda de la lingüística computacional

Modelos Formales No Transformacionales MFNT 1.Introducción ¿De qué hablamos cuando hablamos de MFNT? MFNT y Lingüística Computacional

Los mitos del Lenguaje Natural Frege, logica Mito 1: El lenguaje natural es tan ambiguo que no puede ser “reducido” a un modelo formal o lenguaje artificial. Verdad: La ambigüedad puede ser modelada por aproximaciones estadísticas Mito 2: Aun cuando el lenguaje natural pudiera ser formalizado, el uso que hacemos del mismo muestra un poder expresivo o aspecto creativo que no puede ser capturado por ningún modelo formal. Verdad: Recursividad es una forma de lograr infinito poder expresivo a partir de un conjunto discreto de datos Mito 3: O todo lo contrario, en realidad el lenguaje no es más que una concatenación de unidades significativas integradas en niveles superiores. Basta con entender cada sonido para finalmente entender discurso. El estructuralismo distribucionalista sería toda la formalización que necesitamos. Verdad: Si bien desde el estructuralismo teórico esto funciona, en la práctica procesar lenguaje natural significa un flujo y reflujo de información continua y discreta top-down y bottom-up, de naturaleza intrinseca y extrinseca y después de todo, para qué queremos un modelo formal de lenguaje natural…

MFNT y Lingüística Computacional Antecedentes tempranos : Zipf (los ’30) -> regularidad en el discurso -> paradigma cuantitativo-estadístico, por mayor poder de cálculo en los ‘90 Invención de la computadora (1947) Estructuralismo distribucional de Bloomfield (30’s) y Harris (1952) Paradigma Generativismo de Chomsky (1957) Analogía mente/computadora (cognitivismo de los ’60-funciones superiores de cognición): Acercarmiento a AI Todo esto llevó a la conformación de una nueva transdisciplina … la lingüística computacional como una búsqueda de ingenios o mecanismos para que una computadora procese Lenguaje Natural. Para ello necesitamos un Modelo Formal de Lenguaje Natural

Cómo procesamos lenguaje los humanos? La estructura por niveles Cuando nos aproximamos al lenguaje desde una perspectiva formal observamos que no se trata de una caja negra inexpugnable, sino pareciera que existen, para empezar, diversos niveles (antecedente Estructuralismo de Benveniste, Los niveles del ánálisis lingüístico, 1969) que se estructuran envolventemente y que presentan fenómenos inherentes característicos. El procesamiento de dichos fenómenos implicaría conocimiento específico sobre el lenguaje que debe ser formalizado con mayor o menor esfuerzo mediante heurísticas apropiadas.

Cómo procesamos lenguaje los humanos? La estructura por niveles fonética nivel lexemático y semántica léxica fonología morfología sintaxis semántica composicional y forma lógica pragmática representación de conocimiento Lingüística moderna estructuralismo Niveles de la estructura

Cómo podrían procesar lenguaje las máquinas? Por niveles ? Humm….. Algunos entonces piensan que NLP es un proceso incremental de análisis de niveles jerárquicos, como resolver una expresión algebraica compleja: 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)} 7-{4*2+[(x5+log(sen(y+z)))/3]-(x*y)}

Cómo podrían procesar lenguaje las máquinas? Por niveles ? Humm…. Buscar la N y comparar con L, en waveform, no alcanza, necesitamos Spectograma con Formantes, ver en vocales Cómo podrían procesar lenguaje las máquinas? Por niveles ? Humm…. Pero de ser así, ¿cómo pasamos de esto…. /menkantalalingŋgɯistikakomputacional/

Cómo podrían procesar lenguaje las máquinas? Por niveles ? …a entender la oratoria de Cicerón? Quo usque tandem abutere, Catilina, patientia nostra? quam diu etiam furor iste tuus nos eludet? quem ad finem sese effrenata iactabit audacia? Nihilne te nocturnum praesidium Palati, nihil urbis vigiliae, nihil timor populi, nihil concursus bonorum omnium, nihil hic munitissimus habendi senatus locus, nihil horum ora voltusque moverunt?

Cómo podrían procesar lenguaje las máquinas? Modelos relacionales En realidad procesar lenguaje natural tiene más que ver según los últimos modelos con información modular disponible en forma temprana y un acceso compartido con procesamiento paralelo. Incluso a nivel del paradigma estadístico se habla de boostrapping de cues o pistas. Por ejemplo, un modelo relacional para un agente comunicativo sería: fonética fonología morfología Natural Language Understanding Acá empiezan a jugar un papel los parsers como un módulo de procesamiento sintáctico representación de conocimiento semántica composicional y forma lógica sintaxis pragmática nivel lexemático y semántica léxica

Mapeo de niveles tradicionales y lingüistica computacional /vos, quemero botón/ /bosque me robó/ Desambiguación (Word Sense Disambigua) Lexicones, ortografia reconocedores de habla lematización para diccionarios (stemming Porter 1979) parsers correctores gramaticales traducción de máquina generación de diálogo inferencias extracción de información de mundo fonética nivel lexemático y semántica léxica fonología morfología sintaxis semántica composicional y forma lógica pragmática representación de conocimiento Lingüística computacional Lingüística tradicional estructuralismo Fenómenos formalizados y campos de aplicación Niveles de la estructura

MFNT y Lingüística Computacional: Foco en Parsers Objetivos de la materia Cuestiones fuera Paradigma Lingüistico: generativismo – simbólico (vs. Estadistico y vs. Conexionismo) Modelo linguistico: NO TRANSFORM Formalismo: CFG, DCG, HPSG Algoritmo Bottom-up Top-down, Chart parser Implementación prototípica: Python

Modelos Formales No Transformacionales MFNT 2.Chomsky 1957: Jerarquía de Lenguajes Formales

Los primeros modelos El modelo de Chomsky ’57 Preeminencia de la sintaxis como componente generativo equivalente a una gramática Una gramática como un ingenio computacional que cuenta con un conjunto de reglas operativas (reglas de estrcutura de frase) + una serie de transformaciones Estructura profunda – Estructura de superficie Máquina de Turing vs. Máquina de Estados (Modelos Markoviano de bi-gramas, pero hasta donde ampliar el modelo de n-gramas para capturar estructura?)

Los primeros modelos El modelo de Chomsky ’57 Reglas de estructura de frase (REF) Reglas transformacionales obligatorias y optativas. En el ’65 se incorpora el Lexicon al subcomponenete Base con reglas de insercion léxica por subcategorizacion selectiva y estricta. Germen de lexicalismo

Los primeros modelos El modelo de Chomsky ’57 La motivación original de Chomsky al postular el componente transformacional fue dar cuenta de los casos de homonimia estructural E.S. “el deseo de la madre” = 2 E.P.s (transformacion de nominalización) E.S.1 “La madre ama al hijo” E.S.2 “El hijo es amado por la madre” E.S.3 “A quién ama la madre?” (todas corresponden a una unica estructura profunda- transf. Pasiva e Interrogación pronominal)

Algunas transformaciones del Inglés (p.88) Transformación optativa de pregunta parcial Tw: Tw1 convierte la cadena de la forma X-FN-Y en la correpondiente cadena de la forma FN-X-Y Tw2 convierte la cadena resultante FN-X-Y en who-X-Y si FN es animado o en what-X-Y si FN es inanimado Pero Tw debe ser aplicada solo después de Tq (41-42) Pero Tq debe ser aplicada sólo después de aplicar la transformación obligatoria de auxiliar y morfema de 3 persona!!!! (29i) Ufa!!!!!

Todavía bajo la égida de Chomsky Pese a todo, el paradigma chomskyano trazó las líneas directrices de los primeros formalismos de gramáticas computacionales bajo la forma de parsers Preeminencia de la sintaxis -> Parsers o analizadores sintácticos Reglas de Rescritura/Estrucura de Frase REF -> Gramáticas Sintagmáticas

Jerarquía de lenguajes formales Una de las principales tesis del modelo de Chomsky ’57 es que las propiedades formales de los diversos lenguajes naturales determinan una jerarquía de gramáticas en virtud de su poder expresivo

Jerarquía de lenguajes formales Tipo Lenguaje (Gramática) Restricciones a la reglas de producción Implementación Limitación Tipo-0 Recursivamente enumerable (Irrestricta) Ninguna: Máquina de Turing demasiado costosa computacionalmente y sobregeneración Tipo-1 Dependiente del Contexto o propiamente recursivo La parte derecha contiene como mínimo los símbolos de la parte izquierda en cuanto a longitud Autómata linealmente finito Adecuada en fenomenos fonologicos pero en sintaxis sobregenera AUNQUE concordancia SVO puede resolver NP de S no = a NP de VP en numero Tipo-2 Independiente de Contexto La parte izquierda sólo puede tener un símbolo no terminal Autómata Push-Down (LIFO Last In First Out) concordancia SV y subcategorizacion (vt vi) con soluciones parciales. Problemas en constituyentes discontinuos: “He believes him his friend is gonna forgive” “Las cosas que César creía que Tulio dijo” construct. trabada Tipo-3 Regular A través de expresiones regulares: un solo terminal, o empty string, o terminal+noterminal Autómata de estados finitos cláusulas embebidas (recursividad resuelta sólo a través de constituyentes) A γ /α_β A AB Gramáticas lineales a derecha y/o izquierda serían un tipo intermedio entre 2 y 3 Gramáticas Sintagmáticas Aumentadas (la solución) serían un tipo intermedio entre 1 y 2 TAG, DCG, Mildly Context-Sensitive Grammars o ATN (Augmented Transition Networks)

Modelos Formales No Transformacionales MFNT 3.No a las Transformaciones

No a las transformaciones!!! Con la consolidación de la teoría estándar (década del ’60) la hegemonía chomskyana parecía indiscutible, pero en la década del ’70 surgen escisiones del paradigma generativista con interés más en las propiedades matemáticas y formales del lenguaje que en el problema chomskyano de la adquisición. Bresnan de la semántica generativa postula Lexical Functional Grammar LFG y Gazdar la Generalized Phrase Structure Grammar GPSG son la más acérrimos oponentes a las transformaciones

No a las transformaciones!!! Complejidad epistemológica categorial apunta contra las transformaciones. Coexistencia de 2 tipos de reglas muy diversas. Mientras las REF operan sobre una categoría a la vez, las transformaciones operan con varias categorías a la vez, lo cual no puede ser fácilmente modelado y agregan un nivel de representación de la estructura innecesario. El mismo Chomsky deja el componente transformacional en su modelo del ´81 (Principios y Parámetros) –aunque estrictamente el muevase-α puede verse como transformacional. Ante este escenario surgen propuestas superadoras para aproximarse al lenguaje natural desde Modelos Formales No Transformacionales

No a las transformaciones!!! Evidencia psicolingüística : experimento Marslen-Wilson (1977). Modelo de la Cohorte Ataca el procesamiento en serie que presuponen las transf. Procesamiento incremental con disponibilidad de información semántica temprana. Procesamiento indiferenciado entre oraciones meollares y superficiales

No a las transformaciones!!! Evidencia computacional: Peters & Ritchie (1973) demuestran formalmente que la teoría estandar equivale a una máquina de turing y, por tanto, la complejidad de procesamiento hace prohibitivo su uso en aplicaciones prácticas. http://www.cs.utoronto.ca/~gpenn/csc2517/peters-ritchie73.pdf Grishman describe costosas implementaciones de parsers transformacionales que primero pasaban de ES a EP y luego parseaban

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 1) Sea una Máquina de Turing: Un conjunto finito de estados internos E0, E1, Un alfabeto finito a0, a1, Un conjunto determinado de estados iniciales, tomados de 1. Un conjunto determinado de estados finales, tomados de 1. Un conjunto finito de instrucciones, cada una es una cuádrupla Ei ai ak Eh Ei ai D Eh Ei ai I Eh significando: el sistema se halla en el estado Ei ante el signo ai, entonces i) pasar al estado Eh sustituyendo el signo ai por ak, ii) pasar al estado Eh moviéndose un lugar a la Derecha en la cinta de input -tape-, iii) pasar al estado Eh moviéndose un lugar a la izquierda

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 2) Esta definición muestra por qué las gramáticas transformacionales son correspondientes formalmente a máquinas de Turing. Recordemos que el movimiento de constituyentes sintácticos no podría ser llevado a cabo por dispositivos menos poderosos de memoria como pilas o stacks que sólo recordarían el estado interno. Ahora recordemos 2 definiciones de la tabla de jerarquía de lenguajes: Lenguaje enumerablemente recursivo (tipo-0) : cuando puede probarse que un conjunto finito o infinito de oraciones pertenece a una lengua. Por ejemplo, mediante una lista exhaustiva de todas las oraciones gramaticales. Lenguaje propiamente recursivo (tipo-1): Cuando además de lo anterior, puede probarse que las oraciones agramaticales NO pertenecen a la lengua

Demostración formal de Inadecuación de Transformaciones (Bach, 1974) (parte 3) La correspondencia Máquina de Turing – gramática transformacional comporta un formalismo tan potente que absolutamente para cualquier conjunto de oraciones que sea recursivamente enumerable hay una gramática transformacional. Teniendo en cuenta que este resultado se mantiene para cualesquiera restricciones que se introduzcan en la base (subcomponente no transformacional o sintagmático), la conclusión inevitable es que el exceso de potencia se encuentra en el subcomponente transformacional (hipótesis de la universalidad de la base). La gramáticas transf. NO pueden probar que una oración NO pertenece a la lengua. Este exceso de poder generador en las gramáticas transformacionales significa que éstas NO constituyen una teoría suficiente para delimitar el concepto de lenguaje humano; y que en cambio, las gramáticas de tipo-1 o 2, al ser más restrictivas pueden dar cuenta del lenguaje humano decidiendo cuándo una oración NO pertenece a la lengua, a la vez que todavía son suficientemente poderosas para expresar la recursividad (lenguaje propiamente recursivo) y la manipulación de constituyentes.

Igual, aclaremos Si bien el componente transformacional resultó ser un engendro epistemológico, el gran mérito de Chomsky fue haber abierto el camino hacia el tratamiento computacional del lenguaje como sistema de símbolos a manipular

Bibliografía George K. Zipf, The Psychobiology of Language, Houghton-Mifflin, New York, NY, 1935 at http://citeseer.ist.psu.edu/context/64879/0 Harris, Zelig S. 1968. Mathematical Structures of Language. Wiley. Chomsky (1957). Syntactic Structures. The Hague: Mouton. Reprint. Berlin and New York (1985). Sandoval Moreno, Antonio. 1998. Linguistica Computacional. Madrid. Editorial Sintesis Sandoval Moreno, Antonio. 2001. Gramáticas de Unificación y Rasgos. Madrid. Editorial Machado Bach, E., 1974 Syntactic Theory. Holt, Rinehart and Winston. New York Jurafsky, D y Martin, J. 2000 Speech and Language Processing. New Jersey. Prentice-Hall. Cap. 2