Cynthia Fresno 1 QUESTION ANSWERING. Cynthia Fresno2 Índice: 1) ¿Qué es el question answering?. 2) Sistema de question answering. 3) TREC vs. CBC. 4)

Presentación del tema: "Cynthia Fresno 1 QUESTION ANSWERING. Cynthia Fresno2 Índice: 1) ¿Qué es el question answering?. 2) Sistema de question answering. 3) TREC vs. CBC. 4)"— Transcripción de la presentación:

1 Cynthia Fresno 1 QUESTION ANSWERING

2 Cynthia Fresno2 Índice: 1) ¿Qué es el question answering?. 2) Sistema de question answering. 3) TREC vs. CBC. 4) Acontecimientos de respuesta por cada pregunta. 5) Funciones de puntuación en las respuestas candidatas. 6) Limites en funciones que utilizan el traslapo de palabras. 7) Apariciones de multiples respuestas en una frase. 8) Conclusiones del análisis. 9) Aplicar Q/A a la web.

3 Cynthia Fresno3 ¿Qué es question answering? Técnicas IR: Eficaces para localizar información en grandes colecciones de datos. Técnicas IR: Eficaces para localizar información en grandes colecciones de datos. ¿Cuándo necesitamos respuestas específicas? De resolver esto se encarga el sistema de question answering. ¿Cuándo necesitamos respuestas específicas? De resolver esto se encarga el sistema de question answering.

4 Cynthia Fresno4 Sistema de Q/A 1. Acontecimiento de múltiples respuestas 2. Traslapo de palabras para funciones de puntuación. 3. Sets de traslapo 4. Confusión de respuestas Colección de documentos Extracción de respuesta corta Recuperación de sentencias Recuperación de documentos Propiedades de los datos Análisis de características Realización de límites SISTEMA IDEALIZADO TÉCNICA TIPO DE ANÁLISIS

5 Cynthia Fresno5 Se desarrollan cuatro técnicas para poder llevar a cabo los tres tipos de análisis: propiedades inherentes de los datos, análisis de características y los limites. Se desarrollan cuatro técnicas para poder llevar a cabo los tres tipos de análisis: propiedades inherentes de los datos, análisis de características y los limites. 1) Impacto de tener multiples respuestas para una pregunta. 2) Funciones de puntuación que se utilizan para recuperar regiones de texto que se supone que obtendrán la respuesta. Recuperación de información.

6 Cynthia Fresno6 3) Si un sistema asigna en el traslapo diferentes pesos a las palabras, que tal se desarrollará el sistema? 4) La extracción de la respuesta corta. Habilidad del set de tipo de respuesta para discriminar entre diferentes tipos de respuestas.

7 Cynthia Fresno7 TREC vs. CBC TREC: Colección: 500.000 documentos. Colección: 500.000 documentos. Preguntas: 198 Preguntas: 198 Respuestas: 5 y clasificadas (+ el documento en el que aparecen). Respuestas: 5 y clasificadas (+ el documento en el que aparecen). Asesores de TREC juzgaban las respuestas en el entorno del documento. Asesores de TREC juzgaban las respuestas en el entorno del documento.

8 Cynthia Fresno8 CBC: 259 documentos. 259 documentos. 8 a 12 preguntas. 8 a 12 preguntas. Varias respuestas aceptables Varias respuestas aceptables 1 llave respuesta. 1 llave respuesta.

9 Cynthia Fresno9 Acontecimientos de respuesta por cada pregunta Diferentes respuestas para una pregunta: Diferentes respuestas para una pregunta: - Porque tiene varias respuestas. - Una respuesta se puede explicar de diferentes maneras. Hipótesis: Q/A trabaja mejor con preguntas que tienen muchos acontecimientos de respuesta que los que sólo tienen uno. Hipótesis: Q/A trabaja mejor con preguntas que tienen muchos acontecimientos de respuesta que los que sólo tienen uno.

10 Cynthia Fresno10 TRECCRC Respuestas por pregunta 31 1 respuesta por pregunta 26%80% Pregunta con más respuestas 676 Correctas (1 respuesta por preg.) 27%--- Correctas (7 respuestas por preg.) 50%---

11 Cynthia Fresno11 Deducción: Mayor número de apariciones de respuestas → mejor desarrollo del sistema. Mayor número de apariciones de respuestas → mejor desarrollo del sistema.

12 Cynthia Fresno12 Funciones de puntuación en las respuestas candidatas Muchos sistemas Q/A generan unas cuantas respuestas y las clasifican con una función de puntuación que sitúa cada una en un rango de números. Muchos sistemas Q/A generan unas cuantas respuestas y las clasifican con una función de puntuación que sitúa cada una en un rango de números. Una de las funciones más importantes: la función de traslapo de palabras entre la pregunta y las respuestas candidatas. Una de las funciones más importantes: la función de traslapo de palabras entre la pregunta y las respuestas candidatas. Sistemas que utilizan el traslapo de palabras: problemas para juzgar si hay respuesta o no. Sistemas que utilizan el traslapo de palabras: problemas para juzgar si hay respuesta o no.

13 Cynthia Fresno13 Traslapo de palabras: muy eficaz para clasificar respuestas. Traslapo de palabras: muy eficaz para clasificar respuestas. ¿Cómo clasificar la absoluta cualidad de los candidatos? ¿Cómo clasificar la absoluta cualidad de los candidatos? - En CRC y TREC no hay problema. - Tenemos que tener en cuenta que en el mundo real nos aparecerán preguntas que no obtengan respuesta en determinados documentos.

14 Cynthia Fresno14 Limites en funciones que utilizan el traslapo de palabras Función de puntuación: cuenta cuantas palabras en común tienen la pregunta y la respuesta. Función de puntuación: cuenta cuantas palabras en común tienen la pregunta y la respuesta. Modificación: poner pesos más fuertes en unas palabras. Modificación: poner pesos más fuertes en unas palabras. Muchas respuestas tienen el mismo número de palabras traslapadas → están el la misma clase de equivalencias (tienen el mismo peso) Muchas respuestas tienen el mismo número de palabras traslapadas → están el la misma clase de equivalencias (tienen el mismo peso) Un candidato cuyo traslapo es un subset de otro candidato no podrá tener mayor puntuación. Un candidato cuyo traslapo es un subset de otro candidato no podrá tener mayor puntuación.

15 Cynthia Fresno15 CBCTRAC Preguntas que pueden responderse correctamente 79 % 65 % Preguntas imposibles de contestar correctamente 21 % 35 % Mínimo de acierto de preguntas 24 % 10 % Máximo de acierto de preguntas 72.7 % 48.8 %

16 Cynthia Fresno16 En definitiva, el límite superior es algo bajo y el límite inferior algo alto. En definitiva, el límite superior es algo bajo y el límite inferior algo alto. Se necesitan métodos que amplíen las características que se utilizan para puntuar las respuestas candidatas. Se necesitan métodos que amplíen las características que se utilizan para puntuar las respuestas candidatas.

17 Cynthia Fresno17 Apariciones de múltiples tipos de respuestas en una frase Muchos sistemas Q/A primero deciden que tipo de respuesta esperan de una pregunta, y luego identifican estas instancias en una frase. Muchos sistemas Q/A primero deciden que tipo de respuesta esperan de una pregunta, y luego identifican estas instancias en una frase. Pero una función de puntuación utiliza criterios adiccionales. Pero una función de puntuación utiliza criterios adiccionales. Supondremos que dos respuestas cortas que tienen el mismo tipo de respuesta y son de la misma frase → son indistinguibles para el sistema. Supondremos que dos respuestas cortas que tienen el mismo tipo de respuesta y son de la misma frase → son indistinguibles para el sistema.

18 Cynthia Fresno18 Muestra las limitaciones del set de tipo de respuesta: Muchas frases tienen instancias del mismo tipo, como listas y rangos. Muestra las limitaciones del set de tipo de respuesta: Muchas frases tienen instancias del mismo tipo, como listas y rangos. Para mejor efectividad: los sistemas de Q/A necesitan utilizar características que precisen mejor la respuesta. Para mejor efectividad: los sistemas de Q/A necesitan utilizar características que precisen mejor la respuesta. CBCTRAC Acierto esperado 61 % 59 %

19 Cynthia Fresno19 Conclusiones del análisis Múltiples respuestas en una colección de datos → fuertemente atado al éxito del sistema. Múltiples respuestas en una colección de datos → fuertemente atado al éxito del sistema. Traslapo de palabras más efectivo que el traslapo absoluto. Traslapo de palabras más efectivo que el traslapo absoluto. Utilizar el set de tipo puede no ser suficiente. Utilizar el set de tipo puede no ser suficiente.

20 Cynthia Fresno20 Aplicar el Q/A a la web: Pueden extenderse las técnicas de Q/A a la web? Hoy en día hay ciertos sistemas que lo hacen: Pueden extenderse las técnicas de Q/A a la web? Hoy en día hay ciertos sistemas que lo hacen: –MULDER es uno de ellos. Manda ciertas preguntas a google y utiliza la información que de ello obtiene para resolver la respuesta. –AskJeeves…

21 Cynthia Fresno21 Objetivos para la web: 1) Formar las preguntas correctas. 2) Ruido (apartar las páginas que no digan nada). 3) Evitar los engaños. 4) Mejorar la limitación de recursos.

22 Cynthia Fresno22 Sistema web de Q/A MULDER:

23 Cynthia Fresno23 ANALIZADOR DE PREGUNTAS: Determina la estructura sintáctica de las preguntas. ANALIZADOR DE PREGUNTAS: Determina la estructura sintáctica de las preguntas. CLASIFICADOR DE PREGUNTAS: Permite a MULDER reducir el número de respuestas candidatas en la fase de extracción. CLASIFICADOR DE PREGUNTAS: Permite a MULDER reducir el número de respuestas candidatas en la fase de extracción. FORMULACIÓN DE QUERYS: Este módulo convierte la pregunta en un grupo de querys de palabras clave que se mandarán a la máquina de búsqueda para una evaluación paralela. FORMULACIÓN DE QUERYS: Este módulo convierte la pregunta en un grupo de querys de palabras clave que se mandarán a la máquina de búsqueda para una evaluación paralela. - MULDER implementa unas cuantas estrategias de renombramiento: conversión de verbos, expansiones query… - MULDER implementa unas cuantas estrategias de renombramiento: conversión de verbos, expansiones query…

24 Cynthia Fresno24 Máquina de búsqueda: Se han considerado diferentes motores de búsqueda pero el más utilizado es google. Máquina de búsqueda: Se han considerado diferentes motores de búsqueda pero el más utilizado es google. Extracción de respuestas: 2 pasos Extracción de respuestas: 2 pasos 1) Se extraen “sumarios” de los textos que supuestamente contendrán la información. 2) Analiza los sumarios y obtiene frases del tipo esperado de respuesta. Selección de respuestas: Selección de respuestas: 1) Clasifica las respuestas en función de las palabras clave.

25 Cynthia Fresno25 2) Hace una agrupación entre similares respuestas. 3) Se hace una votación a todas las agrupaciones y gana la que tiene más puntos. El proceso de agrupación de candidatos tiene varios efectos favorables: El proceso de agrupación de candidatos tiene varios efectos favorables: - Reduce el ruido. - Permite respuestas alternativas. - Separa hechos de la ficción.