La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester.

Presentaciones similares


Presentación del tema: "EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester."— Transcripción de la presentación:

1 EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester Boldrini & Patricio Martínez-Barco, Alexandra Balahur & Andrés Montoyo 1

2 EmotiBlog …otras del modelo Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A EmotiBlog: an Annotation Scheme for Emotion Detection and Analysis in Non-traditional Textual Genre. The 2009 World Congress in Computer Science, Computer Engineering, and Applied Computing. Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A EmotiBlog: a fine-grained annotation schema for labelling subjectivity in the new-textual genres born with the Web 2.0. SEPLN. 2

3 Por qué Información subjetiva Compleja de extraer y clasificar basándose en reglas Espontánea Nuevas maneras de expresión (coloquialismos, frases hechas, colocaciones, anomalías en puntuación, etc) Grande variabilidad semántica 3

4 Por qué Recuperar la info en blogs es complejo: Detección de los objetos del discurso Su clasificación de polaridad Determinación de los interlocutores y si la opinión expresada es de este tópico o se refiere a algo previamente dicho DATOS ANOTADOS (para el entrenamiento de sistemas de ML) 4

5 Qué mejoro Contribuir a la creación de corpus que son escasos en más lenguas que el inglés mejorar los que están en inglés Creación de un modelo de anotación más detallado Incluye la anotación de la fuente referencias anafóricas a nivel de cross-document 5

6 EmotiBlog el Corpus Corpus en 3 lenguas: italiano español inglés Sobre 3 temas: Protocolo de Kyoto Elecciones en Zimbabwe Elecciones en EEUU palabras para cada lengua y tema Extraído de entradas de blogs LAW IV - ACL 2010, July 156

7 EmotiBlog el esquema <

8 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 8

9 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 9 Confidence, comment, source, target. George Bush was one of the United States presidents

10 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 10 Confidence, comment, category, polarity, degree, source, target, emotion This is a great initiative.

11 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 11 Confidence, comment, category, polarity, degree, source, target, emotion Bush repeatedly refused to sign the Kyoto Protocol.

12 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 12 Confidence, comment, polarity, degree, source, target, emotion This pack of wolves

13 Experimentos EmotiBlog: anota palabras individuales+ expresiones multipalabra + frase Polaridad+ intensidad + emoción experiments show how the annotated elements can be used as training for the opinion mining and polarity classification task and for emotion detection. EmotiBlog anota la intensidad de los elementos anotados Realizamos un breve experimento para determinar la intensidad de las emociones expresadas: alta, media, baja 13

14 Experimentos Corpus empleados La coleccción del JRC (discurso indirecto) de periódicos (Balahur et al., 2010), eniquecido con la anotación de EmotiBlog La colección de titulares de periódicos del SemEval 2007 tarea14 – Affective Text ISEAR copus: a corpus of self-reported emotional response (Scherer and Walbott, 1999). 14

15 Experimentos Creación de los modelos de entrenamiento Extraemos las NEs Parseamos los datos anotados (frases) Para cada palabra de la frase: POS Capitalization Opinionatedness /intensity Syntactic relatedness with other opinion word Polarity/intensity and emotion of this word Role in 2-word, 3-word and 4-word annotations: opinionatedness, intensity, emotion, direct dep. 15

16 Primer modelo– EmotiBlog I: Vector de características en cada frase Weka SVM SMO Segundo modelo- EmotiBlog II: Añadiendo la colección de las palabras de opinión/emocióm anotadas en EmotiBlog: Opinion Finder MicroWordNet General Inquirer WordNet Affect Experiments Creación de los modelos de entrenamiento 16

17 Experimentos Evaluación de los modelos 2 evaluaciones: Polaridad and intensidad: Emotiblog I and II modelos 2 set de test– the JRC y SemEval 2007 Task Number 14 test set Detección de emoción Emotiblog I and II modelos 3 set de test – JRC, SemEval 2007 Task Number 14 test set, ISEAR 17

18 Experimentos Clasificación de polaridad e intensidad Test Corpus Evaluation type PrecisionRecall JRC quotes I Polarity Intensity JRC quotes II Polarity Intensity SemEval IPolarity Intensity SemEval IIPolarity Intensity Best SEPolarity

19 3 corpus: JRC (anotado con EmotiBlog) SemEval 2007 Task No.14 test set (anotado con una pequeña colección de emociones) ISEAR (anotado con una pequeña colección de emociones) Verificar el renidiemto del sistema usando anotación general y más detallada especifico para EmotiBlog Experimentos Clasificación de la emoción 19

20 Experimentos Clasificación de la emoción Test corpus Evaluation type PrecisionRecall JRC quotes I Emotions JRC quotes II Emotions SemEval IEmotions SemEval IIEmotions ISEAR IEmotions ISEAR IIEmotions BEST SEEmotions

21 Experimentos Clasificación de la emoción Mejores resultados enanger Precisión 35% y recall of 19%. Peores resultados para la categoría shame en el ISEAR precisión 12 %, y recall of 15%. Los textos sacados de News obtienen mejores resultados En ISEAR la emoción es más escondida Nuestra aproximación: robusta para distintos géneros textuales y relevante para OM 21

22 EmotiBlog el acuerdo Inter-annotator agreement usando agr (Sp) 22

23 EmotiBlog en QA Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P Opinion and Generic Question Answering systems: a performance analysis. To appear in Proceedings of ACL, 2009, Singapore. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P Opinion Question Answering: Towards a Unified Approach. To appear in proceedings of the ECAI conference. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P A Unified Proposal for Factoid and Opinionated Question Answering. To appear in proceedings of the COLING conference. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P A Comparative Study of Open Domain and Opinion Question Answering Systems for Factual and Opinionated Queries. To appear in Proceedings of RANLP Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P Towards the Definition of Requirements for Mixed Fact and Opinion Question Answering Systems. In Proceedings of Topic Semantic Analysis. CIKM

24 EmotiBlog en QA Técnicas para el buen rendimiento de QA pero con contenido subjetivo Evaluamos el rendimiento de OQA con (EAT, EPT, ES, ET) Proponemos un método para atacar los problemas (SRL, topic-sentiment retrieval, paraphrasing) Medimos el impacto de incluir recursos adicionales Las mejorías obtenidas son estadísticamente relevantes 24

25 EmotiBlog on OM y OM in real time Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco P. Cross- topic Opinion Mining for Real-time Human-Computer Interaction. ICEIS Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco Fact versus Opinion Questions Classification and Answering: Challenges and Keys. ICAI

26 EmotiBlog feature selection experiments Evaluamos la utilidad de las características anotadas con combinaciones y usando técnicas de selección de características. Encontramos problemas como el ruido y el pequeño tamaño del corpus, la granularidad e la anotación y el español (con menos recursos que el inglés). 26

27 EmotiBlog feature selection experiments Ester Boldrini, Javi Fernández, José M. Gómez and Patricio Martínez-Barco. Machine Learning Techniques for Automatic Opinion Detection in Non-Traditional Textual Genres. WOMSA

28 EmotiBlog en resúmenes automáticos Método para resumir textos subjetivos basado en la intensidad de la opinión expresada. Promedio de 79% de los resúmenes es comprensible. 28

29 EmotiBlog en resúmenes automáticos Balahur, A., Lloret, E., Boldrini, E., Montoyo, A., Palomar, M., Martínez- Barco, P Summarizing Threads in Blogs Using Opinion Polarity. In proceedings of Emerging Text Types Workshop. RANLP

30 EmotiBlog en competiciones Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P The OpAL System at NTCIR 8 MOAT. NTICR 8 MOAT. 30

31 EmotiBlog aplicado a business Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco. OpAL: a System for Mining Opinion from Text for Business Applications. To appear in Business Intelligence Applications and the Web: Models, Systems and Technologies 31

32 Qué estamos haciendo EmotiBlog para el análisis de emociones en eventos (con CNR, Pisa) EmotiBlog para análisis de productos (Javi, JM) EmotiBlog para prever los movimientos de acciones (Alex) 32

33 Eventos WASSA 2010 at ECAI WASSA 2011 at ACL Propuesta para tarea de evaluación: IBEREVAL 33

34 Más publicaciones Boldrini, E., Puchol-Blasco, M., Navarro, B., Martínez- Barco, P., Vargas-Sierra, C AQA: a multilingual Anaphora annotation scheme for Question Answering. SEPLN Nº 40. Boldrini, E., Ferrández, S., Izquierdo, R., Tomás, D.,Vicedo, J.L A Parallel Corpus Labelled Using open and Restricted Domain Ontologies. CICLING Boldrini, E., Ferrández, S., Izquierdo, R., Ferrández, O., Tomás, D.,Vicedo, J.L A proposal of Expected Answer Type and Named Entity annotation in a Question Answering context. Human System Interaction


Descargar ppt "EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester."

Presentaciones similares


Anuncios Google