78

Les campagnes telles que Text REtrieval Conference (TREC) offrent un cadre qui permet d’évaluer des systèmes de recherche d’information (RI). L’évaluation utilise des mesures qui se basent sur une moyenne des résultats obtenus pour un ensemble de besoins en information : les succès et échecs sur chacun des besoins sont masqués. Dans un premier temps, cet article propose une analyse qui prend en compte la diversité des résultats et qui a pour but de sélectionner le système de RI le plus apte à traiter les besoins selon leur difficulté. L’évaluation montre un gain maximal en robustesse de 68 % et de 10 % sur les performances. Dans un second temps, nous montrons qu’il est possible d’apprendre la meilleure configuration de système en s’appuyant sur un sous-ensemble de documents dont la pertinence est connue.

Evaluation campaigns such as Text REtrieval Conference (TREC) offer a framework to evaluate information retrieval (IR) systems. Generally, these evaluation results are averaged over information needs so successes and failures on specific needs are hidden. At first, this article proposes an analysis which takes into account the diversity of results and select the IR system best suited to address the information needs according to their difficulty. An experiment is driven in order to select the best systems according to the information need difficulty. Evaluation results show a maximum gain of 68% in reliability and of 10% on performances. In a second step, we show that it is possible to learn the best system configuration based on a subset of documents which relevance is known.