추천 시스템 공정성의 평가는 점점 더 중요해지고 있으며, 특히 공정하고 책임 있는 인공지능 개발을 강조하는 최근의 법률과 함께 더욱 그러합니다. 이로 인해 다양한 공정성 평가 측정이 등장했으며, 이는 서로 다른 정의에 따라 공정성을 정량화합니다. 그러나 이러한 측정 중 많은 수가 그 강건성에 대한 추가 분석 없이 제안되고 사용됩니다. 결과적으로, 측정의 한계에 대한 이해와 인식이 부족합니다. 여러 문제 중에서, 어떤 모델 출력이 (불)공정한 점수를 생성하는지, 측정 점수가 경험적으로 어떻게 분포되는지, 계산할 수 없는 경우(예: 0으로 나누기) 등이 알려져 있지 않습니다. 이러한 문제들은 측정 점수를 해석하는 데 어려움을 주며 특정 사례에 어떤 측정 방법을 사용해야 하는지 혼란을 야기합니다. 이 논문은 기존 추천 시스템 공정성 평가 측정의 다양한 이론적, 실증적, 개념적 한계를 평가하고 극복하는 일련의 논문을 제시합니다. 우리는 평가 주제(사용자 및 항목)에 따라 분류되고 다양한 평가 세분화(주제 그룹 및 개별 주제)에 대해 다른 공정성 개념을 위한 광범위한 오프라인 평가 측정을 조사합니다. 첫째, 우리는 측정에 대한 이론적 및 실증적 분석을 수행하여 그 해석 가능성, 표현력 또는 적용 가능성을 제한하는 결함을 노출합니다. 둘째, 이러한 제한을 극복하는 새로운 평가 접근법과 측정을 개발합니다. 마지막으로, 측정의 한계를 고려하여 적절한 측정 사용에 대한 지침을 권장함으로써 실제 시나리오에서 공정성 평가 측정의 보다 정확한 선택을 가능하게 합니다. 전반적으로, 이 논문은 추천 시스템의 공정성에 대한 최신 오프라인 평가를 발전시키는 데 기여합니다.
Theresia Veronika Rampisela (Mon,)이 이 질문을 연구했습니다.