Impact du « biais des ex aequo » dans les évaluations de recherche d'information (notice n° 370071)
[ vue normale ]
| 000 -LEADER | |
|---|---|
| fixed length control field | 02649cam a2200301 4500500 |
| 005 - DATE AND TIME OF LATEST TRANSACTION | |
| control field | 20250118081213.0 |
| 041 ## - LANGUAGE CODE | |
| Language code of text/sound track or separate title | fre |
| 042 ## - AUTHENTICATION CODE | |
| Authentication code | dc |
| 100 10 - MAIN ENTRY--PERSONAL NAME | |
| Personal name | Cabanac, Guillaume |
| Relator term | author |
| 245 00 - TITLE STATEMENT | |
| Title | Impact du « biais des ex aequo » dans les évaluations de recherche d'information |
| 260 ## - PUBLICATION, DISTRIBUTION, ETC. | |
| Date of publication, distribution, etc. | 2011.<br/> |
| 500 ## - GENERAL NOTE | |
| General note | 20 |
| 520 ## - SUMMARY, ETC. | |
| Summary, etc. | RésuméCet article considère la problématique de l’évaluation en recherche d’information, en particulier dans le cadre de Trec avec le programme trec_eval. Nous montrons que les systèmes de RI ne sont pas uniquement évalués en fonction de la pertinence des documents qu’ils restituent. En effet, dans le cas de documents ex aequo (trouvés avec le même score) leur nom est utilisé pour les départager. Nous assimilons cette façon de départager les ex aequo à un biais expérimental qui influence les scores attribués aux systèmes, et argumentons en faveur d’une stratégie pour les départager plus équitablement. L’étude de 22 éditions de Trec révèle une différence significative entre la stratégie conventionnelle et inéquitable de trec_eval et les stratégies équitables proposées. Ces résultats expérimentaux suggèrent l’intégration des stratégies proposées dans trec_eval afin d’encourager la réalisation d’expérimentations plus équitables. |
| 520 ## - SUMMARY, ETC. | |
| Summary, etc. | We consider Information Retrieval evaluation in the Trec framework with the trec_eval program. It appears that IR systems obtain scores regarding not only the relevance of retrieved documents, but also according to document names in case of ties, i.e., documents retrieved with a same score. We consider this tie-breaking strategy as an uncontrolled parameter influencing measure scores, and argue the case for fairer tie-breaking strategies. A study of 22 Trec editions reveals significant difference between the conventional unfair trec_eval strategy and the fairer strategies that we propose. This experimental result advocates integrating these fairer strategies into trec_eval for conducting fairer experiments. |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | recherche d'information |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | évaluation |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | biais expérimental |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | expérimentation |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | measurement |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | uncontrolled parameter |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | information retrieval |
| 690 ## - LOCAL SUBJECT ADDED ENTRY--TOPICAL TERM (OCLC, RLIN) | |
| Topical term or geographic name as entry element | experiment |
| 700 10 - ADDED ENTRY--PERSONAL NAME | |
| Personal name | Hubert, Gilles |
| Relator term | author |
| 700 10 - ADDED ENTRY--PERSONAL NAME | |
| Personal name | Boughanem, Mohand |
| Relator term | author |
| 700 10 - ADDED ENTRY--PERSONAL NAME | |
| Personal name | Chrisment, Claude |
| Relator term | author |
| 786 0# - DATA SOURCE ENTRY | |
| Note | Document numérique | 14 | 2 | 2011-09-01 | p. 149-168 | 1279-5127 |
| 856 41 - ELECTRONIC LOCATION AND ACCESS | |
| Uniform Resource Identifier | <a href="https://shs.cairn.info/revue-document-numerique-2011-2-page-149?lang=fr&redirect-ssocas=7080">https://shs.cairn.info/revue-document-numerique-2011-2-page-149?lang=fr&redirect-ssocas=7080</a> |
Pas d'exemplaire disponible.
Réseaux sociaux