Proyecto Fin de Carrera - II

Presentación del tema: "Proyecto Fin de Carrera - II"— Transcripción de la presentación:

1 Proyecto Fin de Carrera - II
Actualización del Multilingual Central Repository (MCR) Alumno: Daniel Artázcoz Núñez Director: German Rigau Claramunt Septiembre FISS

2 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

3 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

4 Introducción Se enmarca dentro del área de investigación de la Inteligencia Artificial, y más concretamente, de la semántica en el Lenguaje Natural. Objetivo: actualizar el MCR incluyendo una nueva versión de WordNet para mantener actualizada la herramienta. Cada nueva versión de WordNet incorpora nuevas palabras, nuevos significados, nuevas relaciones, etc. y es necesario recogerlas en el MCR

5 Introducción Antecedentes Redes semánticas WordNet EuroWordNet
Proyecto Meaning MCR

6 Antecedentes Redes Semánticas
La semántica léxica es un área de la lingüística que cubre las teorías de la clasificación y la descomposición del significado de la palabra, las diferencias y las semejanzas en estructura semántica léxica entre diversos idiomas, y la relaciones de las mismas. Una red semántica es una forma de representación de conocimiento semántico con forma de un grafo. Diversos tipos de relaciones semánticas como la sinonimia, antonimia, hiponimia, hiperonimia, la meronimia … Muy utilizadas en Inteligencia Artificial para representar el conocimiento

7 Antecedentes Redes Semánticas Ejemplo:

8 Antecedentes WordNet Creada por un grupo de psicólogos y lingüistas del Cognitive Science Laboratory de la Universidad de Princeton, esta red semántica organiza la información léxica por significados y no por la forma de las unidades léxicas como sucede en los diccionarios convencionales. Los nodos son los synsets (synonym sets) que constituyen la unidad básica de significado. Los arcos son las relaciones léxico-semánticas que se establecen entre los diferentes synsets. index.noun sweep n 6 ~ #p + ; data.noun n 02 sweep 0 expanse n v v 0104 | a wide scope; "the sweep of the plains“

9 Antecedentes EuroWordNet
Es una extensión multilingüe de WN, compuesta por bases de datos léxicas para 8 idiomas (inglés, holandés, español, italiano, francés, alemán, checo y estonio). Después se desarrollaron wordnets para idiomas como el catalán, vasco, portugués, griego, búlgaro, ruso y sueco (Global WordNet Organization). Un índice general de conceptos, InterLingual Index (ILI) permite conectar entre sí las unidades consideradas equivalentes en su significado en bases de datos de lenguas diferentes. El punto de referencia para todos los wordnets locales fue WN1.5, pero EWN fue creado como un conjunto de módulos independientes.

10 Antecedentes EuroWordNet

11 Antecedentes Proyecto Meaning Objetivos:
Adquisición automática del conocimiento lingüístico a partir de la WWW. Construcción de recursos léxicos multilingües que sirvan de soporte para una desambiguación semántica automática. Se centró en los wordnets para 5 idiomas europeos: inglés, italiano, español, catalán y vasco. Con el fin de mantener la compatibilidad entre los diferentes wordnets y sus distintas versiones se utilizó el Repositorio Central Multilingüe (MCR), a través del cual el conocimiento semántico adquirido para un idioma particular se puede exportar de forma consistente al resto de los wordnets.

12 Antecedentes

13 Antecedentes MCR Un repositorio estándar de significados proporcionado por WordNet que se llevó a cabo en el proyecto MEANING. Está integrado por wordnets para cinco idiomas diferentes (inglés, italiano, español, catalán y vasco). Los sentidos de las palabras de diferentes idiomas se pueden relacionar por medio del ILI (InterLingual Index). Para poder interactuar con el MCR se desarrolló WEI (Web Eurowordnet Interface), una interfaz web que permite realizar consultas en este sistema. Actualmente contiene 137 tablas y registros

14 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

15 Objetivos del Proyecto
Actualizar el MCR incluyendo la versión inglesa de WordNet 2.1 para mantener actualizada la herramienta. Actualizar, verificar y crear los programas de carga de una versión de wordnet en el MCR. Actualizar la interfaz web WEI para reflejar el resultado de la importación de la versión inglesa de wordnet 2.1. Importación de la versión inglesa de wordnet 3.0.

16 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

17 Método de Trabajo Métodos de desarrollo de software: Proceso Unificado de Desarrollo (PDU) Dirigido por casos de uso Centrado en la arquitectura (3 capas: presentación-dominio-datos) Iterativo e incremental Fases de cada iteración Gestión del proyecto Reuniones, selección de herramientas, DOP Análisis del entorno Búsqueda de información, formación Desarrollo técnico Captura requisitos, análisis, diseño, implementación, pruebas Cierre iteración Entregables, instalación, manual usuario, memoria Organización del trabajo: Trabajo de desarrollo (2 iteraciones). Reuniones periódicas con el director del proyecto. Seguir plan de contingencia y planificación temporal para evitar problemas.

18 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

19 Funcionalidades: Casos de Uso

20 Funcionalidades: Casos de Uso

21 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

22 Modelo de Dominio

23 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

24 Diseño Arquitectónico
Estructura Arquitectónica lógica de 3 capas

25 Diseño Arquitectónico
Capa de Presentación El modo en el que el usuario interactúa con la aplicación es mediante una interfaz web. La tecnología utilizada para el desarrollo de esta capa ha sido la tecnología PHP. Para poder mostrar esta capa es necesario tener instalado un navegador web. Capa de Dominio Gestiona la lógica de negocio con todas sus operaciones para que se haga de forma transparente para el usuario. Para el desarrollo de esta capa se ha utilizado la tecnología PERL. Capa de Gestión de Datos Se ha implementado la gestión de los datos sobre un sistema de gestión de base de datos (SGBD) relacional, multihilo y multiusuario, como es MySQL, el cual ha sido elegido por la propia naturaleza del proyecto. Ha sido necesario instalar el controlador adecuado DBI para MySQL con el objetivo de poder operar con los datos utilizando código PERL. Se ha utilizado el gestor phpMyAdmin para realizar las pruebas pertinentes. Sistema Operativo El sistema operativo utilizado ha sido Linux.

26 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

27 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Captura de Requerimientos Se cargan en la base de datos todos los datos procedentes de los ficheros data.* del wordnet (data.noun, data.verb, data.adv, data.adj) en las tablas wei_CODE_synset, wei_CODE_variant, wei_CODE_examples y wei_CODE_relations. Análisis

28 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Cargar_Synsets: Ejemplo de data.noun: n 02 sweep 0 expanse n v v 0104 | a wide scope; "the sweep of the plains“ wei_en21_synset offset pos sons gloss n a wide scope

29 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Cargar_Variants: Ejemplo de data.noun: n 02 sweep 0 expanse n v v 0104 | a wide scope; "the sweep of the plains“ wei_en21_variant word offset pos sweep n expanse

30 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Cargar_Examples: Ejemplo de data.noun: n 02 sweep 0 expanse n v v 0104 | a wide scope; "the sweep of the plains“ wei_en21_examples word example pos offset sweep the sweep of the plains n

31 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Cargar_Relations: Ejemplo de data.noun: n 02 sweep 0 expanse n v v 0104 | a wide scope; "the sweep of the plains“ wei_en21_relation relation sourceSynset sourcePos targetSynset targetPos 64 n v

32 Caso de uso: Cargar_Datos_Nuevo_Wordnet
Actualizar_Synsets: n 01 event n 0000 ~ n 0000 ~ n 0000 ~ n 0000 ~ n 0000 ~ n ~ n 0000 ~ n 0000 ~ n 0000 ~ n ~i n 0000 ~ n 0000 | something that happens at a given place and time Ejemplo de updateSynset.txt: update wei_en21_synset set instance='1' where offset= and pos='n‘ wei_en21_synset offset pos instance n 1

33 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

34 Pruebas WordNet 2.1 WordNet 3.0 Se han creado 5 tablas:
wei_en21_synset  registros wei_en21_variant  registros wei_en21_examples  registros wei_en21_relation  registros wei_en21_to_ili  registros WordNet 3.0 wei_en30_synset  registros wei_en30_variant  registros wei_en30_examples  registros wei_en30_relation  registros wei_en30_to_ili  registros

35 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

36 Gestión

37 Gestión Planificado Real

38 Gestión Se habían planificado un total de 330 horas, sin embargo el número real de horas consumidas ha sido 405 horas. Esto supone una desviación total del 22,7%. Las principales causas son: formación (52%), implementación (27%), pruebas (47%) y elaboración de la memoria (33%)

39 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

40 Conclusiones La realización de este proyecto me ha supuesto un reto importante: Es la primera vez que he abordado un proyecto desde el principio hasta el final. Desconocimiento de las herramientas utilizadas: Sistema operativo (Linux) La base de conocimiento (MCR) La base de datos (MySQL) Gestor phpMyAdmin Trabajar con un lenguaje de programación que no ha sido tratado durante la carrera (PERL, PHP) Me siento orgulloso de haber podido sacarlo adelante y de haber afrontado todos los problemas que han ido surgiendo. He descubierto un tema que me parece muy interesante, como es el de las redes semánticas, utilizadas para la Inteligencia Artificial, el Procesamiento del Lenguaje Natural y la representación de conocimiento.

41 Índice Introducción Objetivos del Proyecto Método de Trabajo
Funcionalidades Modelo de Dominio Diseño Arquitectónico Caso de uso: Cargar_Datos_Nuevo_Wordnet Pruebas Gestión Conclusiones Demo

42 Demo PhpMyAdmin WEI Distancia Conceptual
WEI Distancia Conceptual