96

Les thésaurus distributionnels sont utiles à de nombreuses tâches du traitement automatique des langues. Dans cet article, nous abordons les problèmes de leur construction et de leur évaluation sous l’angle de la recherche d’information. Deux contributions sont proposées. D’une part, en poursuite des travaux initiés par Claveau et al., 2014, nous montrons comment les techniques de RI peuvent être utilisées avec succès pour construire ces thésaurus. Au moyen d’une évaluation directe par comparaison avec des lexiques de référence et au travers de plusieurs expérimentations, nous montrons que les résultats obtenus par des modèles de RI dépassent les performances des systèmes état de l’art. D’autre part, nous utilisons la RI comme cadre applicatif pour proposer une évaluation indirecte des thésaurus produits. Là encore, cette évaluation valide l’approche. Mais surtout, elle permet de mettre en regard les performances obtenues sur cette tâche avec celles des évaluations directes utilisées dans la littérature. Les différences constatées remettent en cause en partie ces pratiques d’évaluation.

Distributional thesauri are useful in many tasks of Natural Language Processing. In this paper, we address the problem of building and evaluating such thesauri with the help of Information Retrieval concepts. Two main contributions are proposed. First, in the continuation of the work of Claveau et al., 2014, we show how IR tools and concepts can be used with success to build thesaurus. Through several experiments and by evaluating directly the results with reference lexicons, we show that some IR models outperform state-of-the-art systems. Secondly, we use IR as an application framework to indirectly evaluate the generated thesaurus. Here again, this task-based evaluation validate the IR approach used to build the thesaurus. Moreover, it allows us to compare these results with those from the direct evaluation framework used in the literature. The observed differences question these evaluation habits.