DEFT2014

accueilprésentationcorpusinscriptionFAQactes

Présentation

Tâche 1 – Catégoriser le genre littéraire de courtes nouvelles

La tâche 1 a pour but d'évaluer la capacité d'un système à classer un court texte littéraire (publié par le site Short Edition) selon le genre qui lui correspond. La liste des genres littéraires sera fournie et contient une trentaine de catégories (poésie, nouvelle, policier, etc.). La mise en œuvre de cette classification revêt différents aspects : les aspects stylistiques (vers, mise en forme du texte, etc.), sémantiques (champs sémantiques utilisés, etc.), et syntaxiques.

Tâche 2 – Évaluer la qualité littéraire

La tâche 2 propose d'évaluer la qualité littéraire de chacun de ces textes en prédisant la note attribuée par le comité de relecture à chacun des textes littéraires. La référence de cette tâche est constituée par l'ensemble des notes attribuées par le comité de relecture de l'éditeur Short Edition. Ces notes seront fournies avec le corpus d'entraînement.

Tâche 3 – Déterminer si une œuvre fait consensus

La tâche 3 consiste à déterminer si un texte littéraire fait consensus auprès des différents membres du comité de relecture. La distribution des notes attribuées à chaque œuvre sera fournie avec le corpus d'entraînement.

Tâche 4 – Déterminer la session scientifique dans laquelle un article de conférence a été présenté

La tâche 4 se démarque des précédentes car elle concerne les articles scientifiques présentés lors des dernières conférences TALN. Le corpus se composera des articles présentés en communication orale (ni poster, ni conférence invitée). Pour chaque édition, seront fournis : un ensemble d'articles (titre, résumé, mots-clés, texte), la liste des sessions scientifiques de cette édition, et la correspondance article/session (sauf pour le test). Le corpus de test se composera d'une édition complète de TALN (articles et liste des sessions) pour laquelle il faudra identifier dans quelle session chaque article a été présenté.

Déroulement

Il n'y a pas de limite quant au nombre de pistes auxquelles peut participer une équipe.

Le nombre maximum de systèmes différents présentés pour une tâche donnée est limité à 3. Si une équipe souhaite présenter plus de 3 systèmes différents elle doit contacter au préalable les organisateurs.

À partir du moment où une équipe aura reçu le corpus de test, elle s'engage moralement à effectuer l'évaluation complètement en retournant les données annotées et en participant à l'atelier de clôture, où elle présentera le détails des algorithmes et méthodes utilisées.

Les équipes participant à DEFT2014 devront s'inscrire à l'aide du formulaire en ligne, et signer les accords de restriction d'usage des corpus.

À l'exclusion ressources utilisées par les organisateurs pour servir de base à la constitution des corpus (par ex. Short Edition et Archives TALN) ainsi que tout autre source reproduisant tout ou partie de ces informations telle qie sites des conférences ou annonces des programmes, les participants pourront utiliser toutes les ressources complémentaires qu'ils souhaitent, à condition de les mentionner avec leur provenance, lors de la présentation de leurs résultats.

Des corpus d'apprentissage seront fournis aux participants inscrits à partir du 17 février 2014. Le test aura lieu du 21 au 25 avril 2014. À partir de la date qu'ils auront choisie dans cet intervalle, les participants auront trois jours pour appliquer, sur les corpus de test, les méthodes mises en œuvre sur les corpus d'apprentissage.