La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester.

Presentaciones similares


Presentación del tema: "EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester."— Transcripción de la presentación:

1 EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester Boldrini & Patricio Martínez-Barco, Alexandra Balahur & Andrés Montoyo 1

2 EmotiBlog …otras del modelo Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A. 2009. EmotiBlog: an Annotation Scheme for Emotion Detection and Analysis in Non-traditional Textual Genre. The 2009 World Congress in Computer Science, Computer Engineering, and Applied Computing. Boldrini, E., Balahur, A., Martínez-Barco, P., Montoyo, A. 2009. EmotiBlog: a fine-grained annotation schema for labelling subjectivity in the new-textual genres born with the Web 2.0. SEPLN. 2

3 Por qué Información subjetiva Compleja de extraer y clasificar basándose en reglas Espontánea Nuevas maneras de expresión (coloquialismos, frases hechas, colocaciones, anomalías en puntuación, etc) Grande variabilidad semántica 3

4 Por qué Recuperar la info en blogs es complejo: Detección de los objetos del discurso Su clasificación de polaridad Determinación de los interlocutores y si la opinión expresada es de este tópico o se refiere a algo previamente dicho DATOS ANOTADOS (para el entrenamiento de sistemas de ML) 4

5 Qué mejoro Contribuir a la creación de corpus que son escasos en más lenguas que el inglés mejorar los que están en inglés Creación de un modelo de anotación más detallado Incluye la anotación de la fuente referencias anafóricas a nivel de cross-document 5

6 EmotiBlog el Corpus Corpus en 3 lenguas: italiano español inglés Sobre 3 temas: Protocolo de Kyoto Elecciones en Zimbabwe Elecciones en EEUU 30.000 palabras para cada lengua y tema Extraído de entradas de blogs LAW IV - ACL 2010, July 156

7 EmotiBlog el esquema <

8 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 8

9 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 9 Confidence, comment, source, target. George Bush was one of the United States presidents

10 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 10 Confidence, comment, category, polarity, degree, source, target, emotion This is a great initiative.

11 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 11 Confidence, comment, category, polarity, degree, source, target, emotion Bush repeatedly refused to sign the Kyoto Protocol.

12 EmotiBlog el esquema Obj. speech Subj. speech Adjectives Adverbs Verbs Anaphora Capital letter Punctuation Names Phenomenon Reader Interpretation Author Interpretation Emotions 12 Confidence, comment, polarity, degree, source, target, emotion This pack of wolves

13 Experimentos EmotiBlog: anota palabras individuales+ expresiones multipalabra + frase Polaridad+ intensidad + emoción experiments show how the annotated elements can be used as training for the opinion mining and polarity classification task and for emotion detection. EmotiBlog anota la intensidad de los elementos anotados Realizamos un breve experimento para determinar la intensidad de las emociones expresadas: alta, media, baja 13

14 Experimentos Corpus empleados La coleccción del JRC (discurso indirecto) de periódicos (Balahur et al., 2010), eniquecido con la anotación de EmotiBlog http://langtech.jrc.it//JRC_Resources.html La colección de titulares de periódicos del SemEval 2007 tarea14 – Affective Text ISEAR copus: a corpus of self-reported emotional response (Scherer and Walbott, 1999). 14

15 Experimentos Creación de los modelos de entrenamiento Extraemos las NEs Parseamos los datos anotados (frases) Para cada palabra de la frase: POS Capitalization Opinionatedness /intensity Syntactic relatedness with other opinion word Polarity/intensity and emotion of this word Role in 2-word, 3-word and 4-word annotations: opinionatedness, intensity, emotion, direct dep. 15

16 Primer modelo– EmotiBlog I: Vector de características en cada frase Weka SVM SMO Segundo modelo- EmotiBlog II: Añadiendo la colección de las palabras de opinión/emocióm anotadas en EmotiBlog: Opinion Finder MicroWordNet General Inquirer WordNet Affect Experiments Creación de los modelos de entrenamiento 16

17 Experimentos Evaluación de los modelos 2 evaluaciones: Polaridad and intensidad: Emotiblog I and II modelos 2 set de test– the JRC y SemEval 2007 Task Number 14 test set Detección de emoción Emotiblog I and II modelos 3 set de test – JRC, SemEval 2007 Task Number 14 test set, ISEAR 17

18 Experimentos Clasificación de polaridad e intensidad Test Corpus Evaluation type PrecisionRecall JRC quotes I Polarity32.1354.09 Intensity36.0053.2 JRC quotes II Polarity36.451.00 Intensity38.757.81 SemEval IPolarity38.5751.3 Intensity37.3950.9 SemEval IIPolarity35.858.68 Intensity32.350.4 Best SEPolarity31.1866.38 18

19 3 corpus: JRC (anotado con EmotiBlog) SemEval 2007 Task No.14 test set (anotado con una pequeña colección de emociones) ISEAR (anotado con una pequeña colección de emociones) Verificar el renidiemto del sistema usando anotación general y más detallada especifico para EmotiBlog Experimentos Clasificación de la emoción 19

20 Experimentos Clasificación de la emoción Test corpus Evaluation type PrecisionRecall JRC quotes I Emotions24.715.08 JRC quotes II Emotions33.6518.98 SemEval IEmotions29.0318.89 SemEval IIEmotions32.9818.45 ISEAR IEmotions22.3115.01 ISEAR IIEmotions25.6217.83 BEST SEEmotions16.2326.27 20

21 Experimentos Clasificación de la emoción Mejores resultados enanger Precisión 35% y recall of 19%. Peores resultados para la categoría shame en el ISEAR precisión 12 %, y recall of 15%. Los textos sacados de News obtienen mejores resultados En ISEAR la emoción es más escondida Nuestra aproximación: robusta para distintos géneros textuales y relevante para OM 21

22 EmotiBlog el acuerdo Inter-annotator agreement usando agr (Sp) 22

23 EmotiBlog en QA Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Opinion and Generic Question Answering systems: a performance analysis. To appear in Proceedings of ACL, 2009, Singapore. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Opinion Question Answering: Towards a Unified Approach. To appear in proceedings of the ECAI conference. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. A Unified Proposal for Factoid and Opinionated Question Answering. To appear in proceedings of the COLING conference. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. A Comparative Study of Open Domain and Opinion Question Answering Systems for Factual and Opinionated Queries. To appear in Proceedings of RANLP 2009. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2009. Towards the Definition of Requirements for Mixed Fact and Opinion Question Answering Systems. In Proceedings of Topic Semantic Analysis. CIKM 2009. 23

24 EmotiBlog en QA Técnicas para el buen rendimiento de QA pero con contenido subjetivo Evaluamos el rendimiento de OQA con (EAT, EPT, ES, ET) Proponemos un método para atacar los problemas (SRL, topic-sentiment retrieval, paraphrasing) Medimos el impacto de incluir recursos adicionales Las mejorías obtenidas son estadísticamente relevantes 24

25 EmotiBlog on OM y OM in real time Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco 2009. P. Cross- topic Opinion Mining for Real-time Human-Computer Interaction. ICEIS 2009. Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco 2009. Fact versus Opinion Questions Classification and Answering: Challenges and Keys. ICAI 2009 25

26 EmotiBlog feature selection experiments Evaluamos la utilidad de las características anotadas con combinaciones y usando técnicas de selección de características. Encontramos problemas como el ruido y el pequeño tamaño del corpus, la granularidad e la anotación y el español (con menos recursos que el inglés). 26

27 EmotiBlog feature selection experiments Ester Boldrini, Javi Fernández, José M. Gómez and Patricio Martínez-Barco. Machine Learning Techniques for Automatic Opinion Detection in Non-Traditional Textual Genres. WOMSA 2010. 27

28 EmotiBlog en resúmenes automáticos Método para resumir textos subjetivos basado en la intensidad de la opinión expresada. Promedio de 79% de los resúmenes es comprensible. 28

29 EmotiBlog en resúmenes automáticos Balahur, A., Lloret, E., Boldrini, E., Montoyo, A., Palomar, M., Martínez- Barco, P. 2009. Summarizing Threads in Blogs Using Opinion Polarity. In proceedings of Emerging Text Types Workshop. RANLP 2009. 29

30 EmotiBlog en competiciones Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco, P. 2010. The OpAL System at NTCIR 8 MOAT. NTICR 8 MOAT. 30

31 EmotiBlog aplicado a business Balahur, A., Boldrini, E., Montoyo, A., Martínez-Barco. OpAL: a System for Mining Opinion from Text for Business Applications. To appear in Business Intelligence Applications and the Web: Models, Systems and Technologies 31

32 Qué estamos haciendo EmotiBlog para el análisis de emociones en eventos (con CNR, Pisa) EmotiBlog para análisis de productos (Javi, JM) EmotiBlog para prever los movimientos de acciones (Alex) 32

33 Eventos WASSA 2010 at ECAI WASSA 2011 at ACL Propuesta para tarea de evaluación: IBEREVAL 33

34 Más publicaciones Boldrini, E., Puchol-Blasco, M., Navarro, B., Martínez- Barco, P., Vargas-Sierra, C. 2008. AQA: a multilingual Anaphora annotation scheme for Question Answering. SEPLN Nº 40. Boldrini, E., Ferrández, S., Izquierdo, R., Tomás, D.,Vicedo, J.L. 2009. A Parallel Corpus Labelled Using open and Restricted Domain Ontologies. CICLING 2009. Boldrini, E., Ferrández, S., Izquierdo, R., Ferrández, O., Tomás, D.,Vicedo, J.L. 2009. A proposal of Expected Answer Type and Named Entity annotation in a Question Answering context. Human System Interaction 2009. 34


Descargar ppt "EmotiBlog: a finer-grained and more precise learning of subjectivity expression models (Publicado en: Linguistic Annotation Workshop –ACL- 2010) Ester."

Presentaciones similares


Anuncios Google