DEFT'09
Chiamata       Compito       Comitati e calendario       Corpo
Risultati e pubblicazione       Programma ed atti
 
  [Aiuto]

Risultati

Presentazione

I risultati dei partecipanti dovrebbe essere scritto in un risultato entro un determinato formato XML per ciascuno dei tre compiti. I partecipanti possono inviare fino a tre risultati diversi file per posto di lavoro.

I partecipanti avranno 3 giorni dal Mercoledì 18 marzo, una finestra di 4 settimane per attuare i loro algoritmi di test sul corpo. Ogni squadra partecipante si è fissata il primo giorno della prova, si tornerà ai suoi risultati il terzo giorno (mezzanotte al più tardi) attraverso il modulo di presentazione. Sabato e Domenica rientrano nel décompte questi giorni: se un partecipante ha scelto un team di Venerdì come uno dei primi giorni di prova, si può accedere al corpus prova su Venerdì dalle ore 9 e invierà le proprie conclusioni entro e non oltre Domenica sera a mezzanotte. L'ultimo giorno utile per la presentazione dei risultati è Venerdì, 17 aprile.

Ogni squadra partecipante informa il Comitato Organizzatore prima Lunedi 16 marzo, il giorno che ha scelto come il primo giorno di prove.

I risultati e le soluzioni saranno distribuiti ai partecipanti dagli organizzatori sulla Venerdì, 24 aprile 2009.

Contenuto file risultati

Compiti 1 e 3 richiedono una valutazione complessiva su un testo, mentre il compito 2 richiede una segmentazione del testo stesso. La presentazione dei risultati sarà diverso per 2 del compito che per altri due compiti.

Nome file risultati

Il nome del file dei risultati deve avere il seguente formato:

equipe_numeroEquipe_tache_numeroTache_langue_codeLangue_execution_numeroExecution.xml

Ci sono tre compiti (numerati 1,2,3) e tre possibili esecuzioni.

Esempi:

equipe_12_tache_1_langue_fr_execution_1.xml
equipe_12_tache_2_langue_en_execution_1.xml

Valutazione

Definizione di F-score per la classifica finale

Ogni risultato sarà valutata calcolando F-cliente per l'elemento che doveva essere chiuso automaticamente,

con

Un elemento è classificato qui:

Quando l'F-score è utilizzato per valutare le prestazioni in ciascuna delle classi di n una classificazione, la media globale di precisione e di ricordare a tutte le classi può essere valutata mediante la macro-media prima di calcolare l' precisione e richiamo per ogni classe I, quindi di fatto la media su n classi. Ogni classe, grandi o piccole, ma ugualmente conto, nel calcolo della precisione e richiamo.

(2)

Dal momento che ogni classe i:

(3)

(4)

Classificare un elemento è assegnato alla classe I se:

Ai fini del calcolo del F-score, l'indice di fiducia è preso in considerazione per selezionare la classe (categoria) assegnato ad un documento.

F-cliente-ponderata indice di fiducia

Un sistema di classificazione può assegnare automaticamente un elemento di chiudere una probabilità di distribuzione sulle varie classi, invece di darle una singola classe. L'indice di fiducia è la probabilità di un elemento per essere classificati come appartenenti ad una classe.

F-cliente-ponderata indice di fiducia sarà utilizzato come guida per il confronto di metodi complementari sviluppate dai team.

In F-ponderata del cliente, la precisione e richiamo per ciascuna classe sono ponderati con la fiducia indice. Che cosa offre:

(3 bis)

(4 bis)

con:
NbreAttribuéCorrecti:
Numero di oggetti attribuéCorrecti vale a dire effettivamente appartenenti alla classe I, e che il sistema ha assegnato un indice di fiducia non-zero per questa classe.
NbreAttribuéi:
Numero di oggetti attribuéi che il sistema ha assegnato un indice di fiducia per i non-zero di classe i.

F-score ponderata viene quindi calcolato utilizzando le formule (1) e (2) di cui sopra, il classico F-score.

Pubblicazione

Ogni squadra partecipante è richiesto di presentare un articolo non superiore a 10 pagine che descrive con precisione i metodi utilizzati per le diverse prestazioni:

I metodi utilizzati per classificare il testo dovrebbe essere automatica e riproducibile. Gli articoli devono rigorosamente dettaglio le tecniche utilizzate. Ricordiamo che solo l'apprendimento corpus sono ammessi a condizione per la formazione nel compito. In particolare, l'uso di testi da fonti corpo di DEFT'09 è vietata. Qualsiasi uso del corpo supplementari a quelli forniti da DEFT'09 dovrebbe essere citato in questo articolo.

Gli articoli saranno pubblicati in Atti del seminario e distribuito ai partecipanti. Tutti gli articoli saranno pubblicati sul sito DEFT'09.

Per ulteriori informazioni, articoli da precedenti edizioni di abile sono disponibili all'indirizzo:

DEFT'05: Atti del seminario
DEFT'06: Atti del seminario
DEFT'07: http://deft07.limsi.fr/actes.php
DEFT'08: http://deft08.limsi.fr/actes.php