DEFT2013

accueilprésentationFAQactes

Présentation

Tâche 1 – Niveau de difficulté de réalisation d'une recette

La tâche 1 a pour but d'évaluer la capacité d'un algorithme à inférer la difficulté d'une recette de cuisine en se basant sur toutes les informations qu'il est possible d'extraire à partir du texte de la recette et de son titre. Les données d'apprentissage seront constituées d'un corpus de recettes associées à leur appréciation de difficulté sur une échelle à 4 valeurs :

La mesure d'évaluation sera calculée à partir de la distance entre la réponse du système et la bonne réponse.

Tâche 2 – Type de plat

La tâche 2 propose de classer les recettes en fonction du type de plat préparé, selon une partition en trois classes :

Les sources d'information à considérer seront le titre et le texte de la recette. La mesure d'évaluation sera calculée comme la moyenne des précisions par classe, chacune calculée avec une micro-moyenne.

Tâche 3 – Appariement titre/recette

La tâche 3 demandera au système de retrouver pour chaque texte de recette du corpus à traiter, son titre original dans une liste de titres de recettes. Pour chaque texte de recette, le système devra fournir une liste de titres par ordre de pertinence décroissante. La mesure d'évaluation sera basée sur un calcul de Mean Average Precision (MAP) ou de Mean Reciprocal Rank (MRR). Notez que l'emploi de mesures annexes (non prises en compte pour le classement final) sera exploré afin de prendre en compte de similarité textuelle ou sémantique entre les titres.

Tâche 4 – Ingrédients d'une recette

La tâche 4 se démarque des précédentes car elle ne concerne pas la classification des recettes, mais l'extraction d'information. Il s'agit en effet dans cette tâche d'identifier la liste des ingrédients de la recette. L'évaluation se fera en comparant les listes d'ingrédients fournies par les auteurs des recettes à la liste fournie par le système. Une liste normalisée globale de libellés d'ingrédients sera fournie aux participants. Cette liste contiendra au moins tous les ingrédients présents dans la base des textes de recettes, mais pourra aussi contenir des ingrédients qui ne sont pas présents dans les recettes. La mesure d'évaluation sera basée sur un calcul de Mean Average Precision (MAP) ou de Mean Reciprocal Rank (MRR).

Déroulement

Il n'y a pas de limite quant au nombre de pistes auxquelles peut participer une équipe.

Le nombre maximum de systèmes différents présentés par une équipe pour une tâche donnée est limité à 3. Si une équipe veut présenter plus de 3 systèmes différents elle doit contacter au préalable les organisateurs.

À partir du moment où une équipe a reçu le corpus de test, elle s'engage moralement à effectuer l'évaluation complètement en retournant les données annotées et en participant à l'atelier de clôture.

Les équipes participant à DEFT2013 devront s'inscrire à l'aide du formulaire en ligne, et signer les accords de restriction d'usage des corpus.

À l'exclusion des sites WEB et corpus qui auront servi de base à la constitution des corpus de test et dont la liste sera communiquée aux participants par les organisateurs, les participants pourront utiliser toutes les ressources qu'ils souhaitent à condition de les mentionner avec leur provenance lors de la présentation de leurs résultats.

Des corpus d'apprentissage seront fournis aux participants inscrits à partir du 28 février 2013. Ces corpus sont composés de 60% des corpus d'origine. Les 40% de corpus restants seront utilisés pour le test. Le test aura lieu du 22 au 28 avril 2013. À partir de la date qu'ils auront choisie dans cet intervalle, les participants auront trois jours pour appliquer, sur les corpus de test, les méthodes mises en œuvre sur les corpus d'apprentissage.