DEFT 2017

Défi Fouille de Textes@TALN/RECITAL 2017

Analyse d'opinion et langage figuratif dans des tweets en français

Motivations

L’analyse des sentiments est un domaine de recherche extrêmement actif en traitement automatique des langues. En effet, ces dernières années ont vu se multiplier les sources de données textuelles porteuses d'opinion disponibles sur le web. Devant cette abondance de données et de sources, l'automatisation de la synthèse des multiples avis devient cruciale pour obtenir efficacement une vue d'ensemble des opinions sur un sujet donné. Globalement, les systèmes actuels ont obtenu de bons résultats sur la classification automatique du caractère subjectif ou objectif d’un document (Liu, 2015). En revanche, les résultats sur la tâche d’analyse de polarité restent encore peu concluants. La raison principale de cet échec est l’incapacité des algorithmes actuels à comprendre toutes les subtilités du langage humain. Parmi ces subtilités, nous nous focalisons sur le langage figuratif.

Contrairement au langage littéral, le langage figuratif détourne le sens propre pour lui conférer un sens dit figuré ou imagé, comme l'ironie, le sarcasme, l'humour, la métaphore ou encore les jeux de mots. La détection automatique du langage figuratif est un sujet de recherche extrêmement actif principalement en raison de son importance pour améliorer les performances des systèmes d'analyse d'opinions (Maynard and Greenwood 2014; Ghosh et al. 2015, Benamara et al, 2017). Pour ce défi, nous nous intéressons en particulier à l'ironie, au sarcasme et à l'humour.

L'ironie est un phénomène complexe largement étudié en philosophie et en linguistique (Grice 1975; Sperber and Wilson 1981; Utsumi 1996). Globalement, l'ironie est définie comme une figure de rhétorique par laquelle on dit le contraire de ce qu'on veut faire comprendre. Par exemple, pour exprimer une opinion négative envers son téléphone portable, on peut utiliser une forme littérale ("Ce téléphone est un désastre") ou alors une forme imagée ("Quel super téléphone !"). En linguistique computationnelle, l'ironie est un terme générique employé pour désigner un ensemble de phénomènes figuratifs incluant le sarcasme, même si ce dernier s'exprime avec plus d'aigreur et d’agressivité (Clift 1999).

La détection du langage figuratif et son rôle dans l'analyse de sentiment a fait l'objet de plusieurs campagnes d'évaluation ces dernières années. Citons notamment la campagne SemEval 2015 Task 11 (Ghosh et al. 2015) sur des tweets anglais et les campagnes SENTIPOLC@Evalita dans leurs éditions de 2014 et 2016 sur des tweets italiens (Basile et al., 2014; Barbieri et al., 2016). Grâce à cette édition de DEFT, nous mettons en place une 1ère campagne d'évaluation autour de ces thèmes pour le français. La tâche est ouverte aux équipes de recherche académiques et industrielles.

Description des tâches

Pour cette nouvelle édition du défi, nous proposons trois tâches d'analyse des tweets centrées sur l'analyse d'opinion et du langage figuratif. Le défi est divisé en trois tâches de niveaux de complexité croissants. Les participants peuvent choisir de s'inscrire à une ou plusieurs tâches :

  1. Tâche 1 : Classification des tweets non figuratifs selon leur polarité
    Étant donné un tweet n'utilisant pas de langage figuratif, cette tâche consiste à le classer selon l’opinion/sentiment/émotion exprimé par son auteur, en : objectif, positif, négatif ou mixte (si le tweet contient à la fois des opinions positives et des opinions négatives).

  2. Tâche 2 : Identification du langage figuratif
    Étant donné un tweet, cette tâche consiste à identifier s'il contient du langage figuratif ou non. On s'intéresse ici à trois types de langage figuratif : l'ironie, le sarcasme et l'humour.

  3. Tâche 3 : Classification des tweets figuratifs et non figuratifs selon leur polarité
    Étant donné un tweet utilisant du langage figuratif (ironie ou sarcasme, en excluant les tweets humoristiques) ou non, cette tâche consiste à le classer, selon l’opinion/sentiment/émotion exprimé par son auteur en : objectif, positif, négatif ou mixte (si le tweet contient à la fois des opinions positives et des opinions négatives).

Références

--(Basile et al, 2014). Valerio Basile, Andrea Bolioli, Malvina Nissim, Viviana Patti, and Paolo Rosso. 2014. Overview of the Evalita 2014 SENTIment POLarity Classification Task. In Proc. of EVALITA 2014, pages 50–57, Pisa, Italy. Pisa University Press.
--(Barbieri et al, 2016). Francesco Barbieri, Valerio Basile, Danilo Croce, Malvina Nissim, Nicole Novielli, and Viviana Patti. 2016. Overview of the Evalita 2016 SENTIment POLarity Classification Task. In Proceedings of Third Italian Conference on Computational Linguistics (CLiC-it 2016) and Fifth Evaluation Campaign of Natural Language Processing and Speech Tools for Italian. Final Workshop (EVALITA 2016), Napoli, Italy, December 5-7, 2016., volume 1749 of CEUR Workshop Proceedings. CEUR-WS.org.
--(Benamara et al, 2017). Farah Benamara, Maite Taboada, Yannick Mathieu. Evaluative language beyond bags of words: Linguistic insights and Computational Applications. To appear in Computational Linguistics.
--(Clift, 1999). Rebecca Clift. 1999. Irony in conversation. Language in Society, 28:523–553.
--(Grice, 1975). Herbert Paul Grice, Peter Cole, and Jerry L Morgan. 1975. Syntax and semantics. Logic and conversation, 3:41–58.
--(Ghosh et al, 2015). Aniruddha Ghosh, Guofu Li, Tony Veale, Paolo Rosso, Ekaterina Shutova, John Barnden, and Antonio Reyes. 2015. Semeval-2015 task 11: Sentiment Analysis of Figurative Language in Twitter. In Proceedings of SemEval 2015, Co-located with NAACL, page 470-478.
--(Liu 2015) Bing Liu. Sentiment Analysis: Mining Opinions, Sentiments, and Emotions. 2015. Cambridge University Press, Cambridge
--(Maynard and Greenwood, 2014). Diana Maynard and Mark A Greenwood. Who cares about sarcastic tweets? Investigating the impact of sarcasm on sentiment analysis. In Proceedings of the Ninth International Conference on Language Resources and Evaluation, LREC 2014, pages 4238–4243.
--(Sperber and Wilson, 1981). Dan Sperber and Deirdre Wilson. Irony and the use-mention distinction. Radical pragmatics, 49:295–318.
--(Utsumi, 1996). Akira Utsumi. 1996. A unified theory of irony and its computational formalization. In Proceedings of COLING, the 16th conference on Computational Linguistics-Volume 2, pages 962–967.

Données et évaluation

Données

Les participants disposeront d'un ensemble de tweets rédigés en français pour l'entraînement dans un premier temps, puis d'un deuxième ensemble de tweets pour la phase de test.

Les tweets portent sur des sujets d'actualité et ont été collectés entre 2014 et 2016 (politique, sport, cinéma, émissions TV, artistes, etc.). Les retweets, doublons et les tweets contenant des images ont été supprimés.

Lors des phases de développement et de test, les participants auront à disposition le texte des tweets. Les emojis et symboles ont été remplacés par leur code Unicode dans le texte des tweets.

Format des fichiers d'entraînement pour chaque tâche : (voir la page Guide d'annotation pour des exemples de tweets)
Pour chaque tâche, sera fourni un fichier csv contenant tous les tweets sous la forme :

(Les identifiants sont propres à la campagne)

  • Tâche 1 (4882 tweets) :
    id  tweet  objective
    id  tweet  positive
    id  tweet  negative
    id  tweet  mixed

  • Tâche 2 (7317 tweets) :
    id  tweet  figurative
    id  tweet  nonfigurative

  • Tâche 3 (6399 tweets) :
    id  tweet  objective
    id  tweet  positive
    id  tweet  negative
    id  tweet  mixed

Évaluation

Pour chaque tâche, les participants devront fournir un fichier csv au même format que les données d'entraînement.

Il n'y a pas de limite quant au nombre de tâches auxquelles peut participer une équipe.

Le nombre maximum de systèmes différents présentés par une équipe pour une tâche donnée est limité à 3. Si une équipe souhaite présenter plus de 3 systèmes différents elle doit contacter au préalable les organisateurs.

Les mesures classiques de précision, rappel, F-mesure seront utilisées pour l'évaluation.

À partir du moment où une équipe aura reçu le corpus de test, elle s'engage moralement à effectuer l'évaluation complètement en retournant les données annotées et en participant à l'atelier de clôture, où elle présentera les méthodes utilisées et les résultats.

Les participants pourront utiliser toutes les ressources complémentaires qu'ils souhaitent. Les participants devront mentionner les ressources qu'ils auront utilisées avec leur provenance lors de la présentation des résultats.

Les articles soumis devront respecter le style de la conférence TALN (Téléchargez les fichiers de style).

Guide d'annotation

Pendant la campagne d'annotation, les annotateurs se sont appuyés exclusivement sur le texte du tweet sans pouvoir recourir à des informations contextuelles additionnelles telles que le profil de l'auteur du tweet, les retweets, le fil de conversation, les hashtags indicateurs de langage figuratif (#ironie, #humour, ...), etc. Pour ces raisons, il est demandé aux participants d'utiliser le texte des tweets fourni par les organisateurs et non le tweet publié sur Twitter. Les annotateurs ont pu cependant utiliser les URLs présents dans le tweet (les pages web pointées par les URLs peuvent avoir disparu depuis la collecte).

Tâche 1 : Classification des tweets non figuratifs selon leur polarité

On s'intéresse à l'opinion/sentiment/émotion exprimé par l'auteur du tweet envers un sujet. Le tweet peut contenir plusieurs opinions et également plusieurs sujets. L'opinion peut être explicite (avec l'utilisation de mots d'opinion explicitement positifs ou négatifs) ou alors implicite. La polarité globale du tweet peut prendre une valeur parmi les classes mutuellement exclusives suivantes :

  • Objectif : l'auteur du tweet relate des faits ou événements d'actualité, cite une déclaration ou un extrait (titre de journal, etc.) sans donner son opinion
    Syrie: Le Pentagone affirme avoir tué le chef de Khorasan - Monde - lematin.ch
    #Poutine critique les Etats-Unis sur la question des frappes en #Syrie  #SaveSyria
    Cécile Duflot: "je ne crois pas que DSK soit en mesure de donner des leçons"
    Je reprends le replay de #DALS
  • Positif : l'auteur du tweet exprime une opinion personnelle uniquement positive sur des faits, des événements ou une citation
    A voir ce soir sur Fr3 l'excellent doc sur l'affaire du #Carlton #dsk 
    Ce soir la reprise du #MeilleurPatissier @M6 @LMP_M6 je dis oui 👍
  • Négatif : l'auteur du tweet exprime une opinion personnelle uniquement négative sur des faits, des événements ou une citation
    "La Russie ne va pas imposer la paix à coup de bombes" Ok Obama l'hôpital la charité tout ça. 
    #Valls n'est pas le super héros qu'il s'imagine être
  • Mixte : l'opinion de l'auteur n'est pas exprimée explicitement, elle est sous-entendue ou bien mitigée, à la fois positive et négative
    Fillon qui souhaite bonne chance à Valls. Je sais pas si je pleure ou si je ris. J'hésite.
    C'est un mal pour un bien si la hollande va pas a l'EURO, les joueurs pourront profiter des coffee shop de leur pays au moins
    J'ai faillit pleurer devant la fin de fast and furious 7
    Et #Sarkozy qui veut nous refaire le coup du nouveau traité comme en 2005

Tâche 2 : Identification du langage figuratif

Il s'agit ici de détecter si un tweet utilise du langage figuratif ou non. On s'intéresse à trois phénomènes : l'ironie, le sarcasme et l'humour. Si un tweet contient au moins une expression relevant de ces phénomènes, il est considéré comme figuratif, sinon il est considéré non figuratif.

Figuratif

Humour

  • Jeu de mot :
    Si  Morandini meurt subitement dans son émission "vous êtes en direct" on pourra dire qu'il est morandirect? #MDRRRR
    #USElection A force de claironner, Trump-pete
  • Blague :
    L'Angleterre le seul pays qui quitte deux fois l'euro en 4 jours #Brexit #Angleterre #ANGISL
  • Parodie :
    #Remaniement Franck Ribéry : «Je n’ai jamais pensé être ministre de l’éducation » [Interview] - https://edukactus.wordpress.com/2014/03/27/

Ironie-sarcasme

    Ca va bien en Corée du Nord, ils ouvrent un super parc aquatique ! #northkorea 
    Les arbitres étaient digne de la ligue 1 de football tellement ils étaient bons 
    J'adore le taff , manger en 5 minutes et travailler jusqu'a 20h c'est top 😄

Non figuratif

    C'est dommage, Émilie avait l'air bien #adp #ADP2016
    Le régime de Bachar al-Assad regagne du terrain en #Syrie ►
    Olivier Besancenot invité politique de #ONPC ! 👍

Tâche 3 : Classification des tweets figuratifs et non figuratifs selon leur polarité

Cette tâche est similaire à la tâche 1 sauf que des tweets figuratifs sont présents dans les données d'entrainement et de test. Les tweets figuratifs contiennent de l'ironie et/ou du sarcasme. Les tweets humoristiques ont été supprimés.

Voici quelques exemples de tweets figuratifs annotés en polarité (pour des exemples d'annotation de tweets non figuratifs voir ceux donnés en tâche 1).

  • Objectif : l'auteur relate un ou des faits dont la situation est ironique (ironie situationnelle, ironie du sort, etc.) ou exprime des faits/événements objectifs qui peuvent être ironiques (citation ironique, parodie ironique, titres de journaux ironique, etc.)
    #DSK songe à déménager en Ontario s'il est libéré des accusations de proxénétisme... http://www.ledevoir.com/societe/justice/345944/maisons-closes-la-cour-d-appel-de-l-ontario-invalide-la-loi-federale
  • Positif : l'auteur du tweet exprime une opinion personnelle uniquement positive sur des faits, des événements ou une citation
    @lesinrocks La pollution n'est pas une si mauvaise chose : gratuité des transports et journalistes inspirés http://ow.ly/uClzW
  • Négatif : l'auteur du tweet exprime une opinion personnelle uniquement négative sur des faits, des événements ou une citation
    #Hollande est vraiment un très bon diplomate… #Algérie http://www.leparisien.fr/international/blague-de-hollande-des-officiels-algeriens-denoncent-une-provocation-21-12-2013-3430495.php
    Bonne nouvelle! #chômage "@lemondefr: Alerte : le taux de chômage atteint son plus haut depuis juillet 1997
                        
  • Mixte : l'opinion de l'auteur n'est pas exprimée explicitement, elle est sous-entendue ou bien mitigée, à la fois positive et négative
    Un truc avec DSK, mais quoi ? Aucun site internet n'en parle. Surement parce qu' on ne sait rien de ce qu'il s'est réellement passé ?
    #Sarkozy contre le droit du sol ? Modifier le nom d'un parti vous change un homme ! 

Comités

Comité scientifique

  • Patrice Bellot, LSIS, Aix-Marseille Université
  • Caroline Brun, XRCE-XEROX, Grenoble
  • Béatrice Daille, LINA, Université de Nantes
  • Guy Lapalme, RALI, Université de Montréal
  • Patrick Paroubek, LIMSI, CNRS, Université Paris-Saclay

Comité d'organisation

  • Farah Benamara, IRIT, Université de Toulouse
  • Cyril Grouin, LIMSI, CNRS, Université Paris-Saclay
  • Jihen Karoui, IRIT, Université de Toulouse
  • Véronique Moriceau, LIMSI, CNRS, Univ. Paris-Sud, Université Paris-Saclay
  • Isabelle Robba, LIMSI, CNRS, UVSQ, Université Paris-Saclay