• Türkçe
    • English
  • Türkçe 
    • Türkçe
    • English
  • Giriş
Öğe Göster 
  •   DSpace@Muğla
  • Araştırma Çıktıları | TR-Dizin | WoS | Scopus | PubMed
  • Scopus İndeksli Yayınlar Koleksiyonu
  • Öğe Göster
  •   DSpace@Muğla
  • Araştırma Çıktıları | TR-Dizin | WoS | Scopus | PubMed
  • Scopus İndeksli Yayınlar Koleksiyonu
  • Öğe Göster
JavaScript is disabled for your browser. Some features of this site may not work without it.

Risk-sensitive evaluation and learning to rank using multiple baselines

Tarih

2016

Yazar

Dinçer, B.T.
Macdonald, C.
Ounis, I.
Article has an altmetric score of 2

See more details

Posted by 2 X users
18 readers on Mendeley

Üst veri

Tüm öğe kaydını göster

Özet

A robust retrieval system ensures that user experience is not damaged by the presence of poorly-performing queries. Such robustness can be measured by risk-sensitive evaluation measures, which assess the extent to which a system performs worse than a given baseline system. However, using a particular, single system as the baseline suffers from the fact that retrieval performance highly varies among IR systems across topics. Thus, a single system would in general fail in providing enough information about the real baseline performance for every topic under consideration, and hence it would in general fail in measuring the real risk associated with any given system. Based upon the Chi-squared statistic, we propose a new measure ZRisk that exhibits more promise since it takes into account multiple baselines when measuring risk, and a derivative measure called GeoRisk, which enhances ZRisk by also taking into account the overall magnitude of effectiveness. This paper demonstrates the benefits of ZRisk and GeoRisk upon TREC data, and how to exploit GeoRisk for risk-sensitive learning to rank, thereby making use of multiple baselines within the learning objective function to obtain effective yet risk-averse/robust ranking systems. Experiments using 10,000 topics from the MSLR learning to rank dataset demonstrate the efficacy of the proposed Chi-square statistic-based objective function. © 2016 ACM.

Kaynak

SIGIR 2016 - Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval

Bağlantı

https://doi.org/10.1145/2911451.2911511
https://hdl.handle.net/20.500.12809/5942

Koleksiyonlar

  • Scopus İndeksli Yayınlar Koleksiyonu [6219]



DSpace software copyright © 2002-2015  DuraSpace
İletişim | Geri Bildirim
Theme by 
@mire NV
 

 




| Politika | Rehber | İletişim |

DSpace@Muğla

by OpenAIRE
Gelişmiş Arama

sherpa/romeo

Göz at

Tüm DSpaceBölümler & KoleksiyonlarTarihe GöreYazara GöreBaşlığa GöreKonuya GöreTüre GöreDile GöreBölüme GöreKategoriye GöreYayıncıya GöreErişim ŞekliKurum Yazarına GöreBu KoleksiyonTarihe GöreYazara GöreBaşlığa GöreKonuya GöreTüre GöreDile GöreBölüme GöreKategoriye GöreYayıncıya GöreErişim ŞekliKurum Yazarına Göre

Hesabım

GirişKayıt

DSpace software copyright © 2002-2015  DuraSpace
İletişim | Geri Bildirim
Theme by 
@mire NV
 

 


|| Politika || Rehber|| Yönerge || Kütüphane || Muğla Sıtkı Koçman Üniversitesi || OAI-PMH ||

Muğla Sıtkı Koçman Üniversitesi, Muğla, Türkiye
İçerikte herhangi bir hata görürseniz, lütfen bildiriniz:

Creative Commons License
Muğla Sıtkı Koçman Üniversitesi Institutional Repository is licensed under a Creative Commons Attribution-NonCommercial-NoDerivs 4.0 Unported License..

DSpace@Muğla:


DSpace 6.2

tarafından İdeal DSpace hizmetleri çerçevesinde özelleştirilerek kurulmuştur.