Los corpus lingüísticos y la industria del lenguaje

Los corpus lingüísticos y la industria del lenguaje
Pascual Cantos Universidad de Murcia VIII Seminario TIC-ETL

Los corpus lingüísticos
¿Qué es un corpus? Una recopilación de palabras/textos ¿Teoría o metodología lingüística?

¿Por qué usar corpus? Indican/corroboran tendencias/normalidad sobre el uso real de la lengua Indican usos raros (textos aislados) Método objetivo (humano/ordenador)

¿Cómo compilar un corpus? Gran volumen de texto Representativo (lenguaje general, fines específicos, género literario, autor, etc. Formato digitalizado y estandarizado Referencia o estándar Anotaciones (partes de la oración, etc.)

Texto sin anotar

Marcadores de título y párrafos

Marcadores oracionales

Marcadores de puntuación

Macadores de palabras

Marcadores de categorías gramaticales

Tipología de corpus lingüísticos
Corpus especializados: Géneros (literarios, lenguaje periodístico, etc.) Cronológicos ( , etc.) Topográficos (textos en español publicados en China, etc.) Corpus generalistas: Mayor tamaño que los especializados (BNC: 100M, EBr oral y escrito)

Corpus multilingües (español-inglés, etc.) Corpus paralelos (CRATER, etc.) Corpus de “aprendices” (International Corpus of Learner English, etc.) Corpus históricos/diacrónicos (Helsinki Corpus ) Corpus monitor (Bank of English)

Concepto de cuantificación
“WASH” Frecuencia 2415 Distribución/textos 952 Fuente (BNC) Frecuencia relativa/mil. 24,74

“WASH” Categoría Palabras Frecuencia Frecuencia relativa/M Femeninos 298 91,2 Masculinos 178 36,17 Total 476 58,13

Aplicaciones a la industria del lenguaje
Lexicografía, EL y terminología Lingüística forense y clínica Ingeniería lingüística Resumen automático de textos Memorias de traducción y traducción automática Comprensión/generación automática del discurso Anotación automática del corpus Respuesta automática a preguntas Reconocimiento de tema Desambiguación automática …

Lexicografía Descripción del vocabulario de una lengua -> diccionarios Fuentes de información tradicionales Intuición Otros diccionarios Citas de autores reconocidos en libros/ periódicos, etc.

Lexicografía Problemas: Parcialmente válidas Plagio Insuficientes para compilación de diccionarios No dan una visión actualizada y completa del uso lingüístico real

Lexicografía Córpora: Posibilidades de análisis lingüístico se multiplican Análisis detallado de la lengua tal y como es usada: Descubrir regularidades (e irregularidades) Amplio espectro del uso real: Perspectiva más amplia y Con índices de frecuencia relativa más fiables

Lexicografía Iniciativa pionera: Universidad de Birmingham y editorial Collins (ahora Harper-Collins), Proyecto COBUILD Collins COBUILD Dictionary of English Language supuso una revolución: Ámbitos del estudio lingüístico y lexicológico Construcción del corpus Creación de la base de datos Compilación del diccionario

Lexicografía Examen detallado de muestras representativas orales y escritos (de 20 millones de palabras) Profundo análisis empírico de la lengua Evidencia mensurable: metodología cuantitativa y cualitativa

Lexicografía Extraer información sobre Significado de las palabras Usos Patrones sintácticos que caracterizan cada una de las diferentes acepciones Colocaciones más frecuentes Diccionario innovador: Estructura de las definiciones Organización de las entradas

Lexicografía Córpora: Herramienta lexicográfica fundamental: Diferentes acepciones Colocaciones y fraseología Información decisiva sobre: Diferencias de uso entre lengua oral vs. escrita Frecuencia relativa de uso de determinadas palabras y acepciones Inclusión/exclusión de entradas o acepciones

Lexicografía Análisis exhaustivo de grandes cantidades de texto computerizado: Información indispensable sobre la gramática Relaciones semánticas Aceptabilidad de determinados usos Usos innovadores u obsoletos de palabras Palabras o expresiones de nueva creación Aspectos pragmáticos La macroestructura de los diccionarios ha cambiado. Cada vez se incluye más información sobre la lengua y su uso

Lexicografía Un corpus no es de utilidad: Si no se cuenta con las herramientas de análisis adecuadas (software/técnicas): Procesar los textos de formas diferentes Ofrecer un alto nivel de flexibilidad en el tipo de búsquedas

Terminología Textos especializados Unidades léxicas relevantes Frecuencia o de prominencia temática Unidades de significación especializada Unidades terminológicas

Terminología El conocimiento es un continuo, integra Conocimiento de un área de especialidad De otras áreas afines Conocimiento general Propuesta de representarlo en una ontología de conceptos Relaciona conceptos específicos con otros De otras áreas afines o Del conocimiento general

Terminología Ontología: ámbito de la ingeniería del conocimiento: Conjunto de conceptos organizados jerárquicamente Representados en algún sistema informático Sirve de soporte a aplicaciones que requieren de conocimiento específico sobre la materia que la ontología representa Cuerpo estructurado de conocimiento

Lingüística clínica y forense

Las alteraciones del lenguaje es una de las manifestaciones más habituales de la EA Los trastornos del lenguaje suelen aparecer después de la afectación de la memoria En fases tempranas de la EA pueden aparecer dificultades de lenguaje incluso antes de evidenciarse ninguna de las manifestaciones clínicas

Objetivo: Identificar potenciales variables lingüísticas susceptibles de alterarse en la fase incipiente de Alzheimer

Variables:

For instance, suppose we have a speech sample of Harold Wilson

Depresión: Estado anímico muy negativo: Baja estima Falta de interés Hipomanía: Estado anímico muy positivo: Euforia y energía Creatividad

Variables: Técnicas/metodología de lingüística de corpus Medidas léxicas estándar de lingüística de corpus (8): Riqueza léxica: (1) Ratio tipo-token estándarizada (Tweedie and Baayen 1998) (2) Ratio palabras de contenido (Stubbs 2002) Rasgos léxicos del léxico mental: (3) Longitud media de palabras (Nam et al. 2004) (4) Palabras “largas” (>10 caractéres; Biber and Jones 2005) (5) Hapax legomena (Oaks 2009) (6) Hapax legomena exclusivas Dificultad léxico-semántica de los textos: (7) Longitud media oraciones (palabras: Kelih et al. 2006). (8) Automated readability index (Bruce and Rubin 1988).

Atención en … Datos “no” normales (más allá ± 2 DS) Grandes fluctuaciones

Abnormalities:

Conclusiones Periodo 1: alternaciones en léxico y sintaxis Periodo 2: gran variabilidad en las alternaciones Period 3: alternaciones en exclusión mutua en dos sub- periodos: (i) med (palabras “raras”) y (ii) fin – princ.1843 (variabilidad léxica) Period 4: alteraciones más notables; siguen patrón (menor especificidad léxica, variabilidad léxica y sintáctica)

Delta de Burrows: Medir diferencias léxicas entre textos (determinar autorías, lingüística forense…) Se basa en el perfil léxico de las frecuencias relativas de las palabras funcionales

Rank Word Main set Suspect Unknown play Mean SD Score Z-score Z-Score Diff. Abs.Diff 1 The 4.242 0.630 4.719 0.757 4.901 -0.239 -0.996 0.996 2 And 3.770 0.501 4.407 1.272 4.165 0.789 -0.483 0.483 3 Of 1.821 0.315 2.420 1.905 2.769 3.015 1.110 4 A 1.601 0.430 0.893 -1.645 0.696 -2.103 -0.458 0.458 5 To 1.419 0.272 1.247 -0.634 1.289 -0.480 0.154 …

Rank Word Main set Suspect Unknown play Mean SD Score Z-score Z-Score Diff. Abs.Diff 1 The 4.242 0.630 4.719 0.757 4.091 -0.239 -0.996 0.996 2 And 3.770 0.501 4.407 1.272 4.165 0.789 -0.483 0.483 3 Of 1.821 0.315 2.420 1.905 2.769 3.015 1.110 4 A 1.601 0.430 0.893 -1.645 0.696 -2.103 -0.458 0.458 5 To 1.419 0.272 1.247 -0.634 1.289 -0.480 0.154 … 1

Rank Word Main set Suspect Unknown play Mean SD Score Z-score Z-Score Diff. Abs.Diff 1 The 4.242 0.630 4.719 0.757 4.091 -0.239 -0.996 0.996 2 And 3.770 0.501 4.407 1.272 4.165 0.789 -0.483 0.483 3 Of 1.821 0.315 2.420 1.905 2.769 3.015 1.110 4 A 1.601 0.430 0.893 -1.645 0.696 -2.103 -0.458 0.458 5 To 1.419 0.272 1.247 -0.634 1.289 -0.480 0.154 … 1 2

Rank Word Main set Suspect Unknown play Mean SD Score Z-score Z-Score Diff. Abs.Diff 1 The 4.242 0.630 4.719 0.757 4.091 -0.239 -0.996 0.996 2 And 3.770 0.501 4.407 1.272 4.165 0.789 -0.483 0.483 3 Of 1.821 0.315 2.420 1.905 2.769 3.015 1.110 4 A 1.601 0.430 0.893 -1.645 0.696 -2.103 -0.458 0.458 5 To 1.419 0.272 1.247 -0.634 1.289 -0.480 0.154 … 1 3 2

Burrows’ Delta Suspects ∆ Candidate 1 0.6402 1st 2 1.205 4th 3 1.075 2nd 4 1.087 3rd 5 2.632 5th …

Linguistic Inquiry and Word Count (LIWC; Pennebaker, Francis y Booth, 2001): 2.200 palabras y raíces léxicas agrupadas en 75 categorías y Clasificadas en cuatro grandes dimensiones: Procesos lingüísticos estándares Procesos psicológicos Relatividad y Asuntos personales

Medida F1 (media armónica de precisión y exhaustividad): Dimensión 2 (procesos psicológicos 68,3%); mejor clasificador independiente (verdad: pensar/saber; mentira: siempre/nunca). Dimensión 3: bajo rendimiento como dim. única. Dimensión resulta más exitosa (73,1%) Los mejores resultados obtenidos sobre el conjunto de datos de las corridas de toros se consiguen con la combinación 1_3 (68%) Saturación factorial de las cuatro dimensiones y su correlato con la temática juegan un papel importante

Ingeniería lingüística
Objetivo: Facilitar la comunicación hombre-máquina y máquina-máquina Se nutre de diferentes disciplinas: Terminología Lingüística computacional Traducción Otras disciplinas relacionadas con la informática y la lengua

Se orienta a aplicaciones diversas: Generación de textos Localización de ontologías Recuperación de información Traducción automática o asistida Analizadores sintácticos Análisis de contenido multilingüe ….etc.

Memorias de traducción: Depósito de textos en una lengua con sus correspondientes traducciones a una o más lenguas Memorias de traducción = corpora paralelos Una memoria de traducción es básicamente un tipo especial de base de datos

Memorias de traducción: Traducción automática: Crea traducciones automáticas a partir de segmentos Recupera traducciones anteriores

Memorias de traducción: Evita tener que traducir de nuevo un segmento ya traducido Ayuda notable para la traducción de textos repetitivos Manuales técnicos, documentos administrativos, partes meteorológicos o financiares,... → Reducción de los costes de uso

Memorias de traducción: Aumento de la productividad (10-30%) Ahorro de tiempo y de dinero Aumento de la coherencia: ayuda para traducir los segmentos de la misma manera que han sido traducidos antes Plazo de entrega reducido

Traducción automática Google Translate: No utiliza algoritmo de traducción No extrae el significado de las frases a partir del vocabulario y de normas gramaticales Parte de la suposición de que toda frase ha podido ser dicha/traducida antes No funcionaría sin el trabajo de miles de horas de quienes ya han traducido en el pasado.

Traducción automática Google Translate: Dispone de enorme base de datos (corpus) para consultar frases registradas anteriormente en el idioma requerido: Documentos UE, ONU, agencias (varios idiomas oficiales) Incluyen distintos registros (tribunales internacionales, informes de empresa, etc.) Artículos y libros en formato bilingüe

Traducción automática Google Translate: Busca en toda esa información Si encuentran varias traducciones para un texto: Selecciona la versión más aceptable a través de métodos estadísticos Ofrece traducciones hasta en 58 idiomas (doble vía)

Resumen automático de textos Localizar los fragmentos más relevantes (según las necesidades del usuario): Segmentos, oraciones, párrafos o pasajes Ordenación de estos fragmentos por relevancia Producción del resumen

Resumen automático de textos Tres pasos: Identificación temática: extracción de términos/palabras clave Identificación de oraciones/segmentos con dichos términos/palabras clave Generación del resumen (coherencia…)

Minería de textos Tecnología emergente Objeto: Descubrir a partir de texto/datos Conocimiento/información no trivial, desconocida y potencialmente útil; que no está literalmente en dichos documentos Buscar tendencias, opiniones, promedios, desviaciones, dependencias, etc.

Minería de textos Área multidisciplinar, convergen diferentes paradigmas de computación: Construcción de árboles de decisión Inducción de reglas Redes neuronales artificiales Descubrimiento basado en instancias Programación lógica Algoritmos estadísticos, etc.

Minería de textos: ejemplos Comercio/Marketing Identificación de patrones de compra de los clientes Búsqueda de asociaciones entre clientes y características demográficas Predicción de respuesta a campañas de correo Análisis de cestas de la compra

Minería de textos: ejemplos Banca Detección de patrones de uso fraudulento de tarjetas de crédito Identificación de clientes leales Predicción de clientes con probabilidad de cambiar su afiliación Determinación del gasto de tarjeta de crédito por grupos

Minería de textos: ejemplos Medicina Identificación de terapias médicas adecuadas para diferentes enfermedades Asociación de síntomas y clasificación diferencial de patologías Estudio de factores (genéticos, precedentes, hábitos, alimenticios, etc.) de riesgo

Big Data Disciplina que se ocupa de todas las actividades relacionadas con los sistemas que manipulan grandes conjuntos de datos Dificultades más habituales: Captura Almacenamiento Búsqueda Análisis Visualización

“There are more things in heaven and earth, Horatio, than are dreamt of in your philosophy.” (Hamlet, Act 1, Scene V)

Epílogo El estudio de la lengua real/en uso para potenciales aplicaciones comerciales precisa irremediablemente de los corpus lingüísticos. No se concibe una industria del lenguaje sin corpus lingüísticos y/o grandes conjuntos de datos lingüísticos.

Muchas Gracias

Los corpus lingüísticos y la industria del lenguaje

Presentaciones similares

Presentación del tema: "Los corpus lingüísticos y la industria del lenguaje"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

Los corpus lingüísticos y la industria del lenguaje

Presentaciones similares

Presentación del tema: "Los corpus lingüísticos y la industria del lenguaje"— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback