Ansprechen von Mängeln in fairen Graph-Lern-Datensätzen: Auf zu einem neuen Benchmark

Faires Graph-Lernen spielt eine entscheidende Rolle in zahlreichen praktischen Anwendungen. Kürzlich wurden viele Methoden für faires Graph-Lernen vorgeschlagen; jedoch beruht ihre Evaluierung oft auf schlecht konstruierten semi-synthetischen Datensätzen oder minderwertigen realen Datensätzen. In solchen Fällen kann selbst ein einfacher Multilayer Perceptron (MLP) in Bezug auf Nützlichkeit und Fairness besser abschneiden als Graph Neural Networks (GNNs). In dieser Arbeit zeigen wir, dass viele Datensätze es versäumen, bedeutungsvolle Informationen in den Kanten bereitzustellen, was die Notwendigkeit der Verwendung von Graphstrukturen in diesen Problemen in Frage stellen könnte. Um diese Probleme anzugehen, entwickeln und führen wir eine Sammlung von synthetischen, semi-synthetischen und realen Datensätzen ein, die ein breites Spektrum an Anforderungen erfüllen. Diese Datensätze sind sorgfältig gestaltet, um relevante Graphstrukturen und Bias-Informationen zu enthalten, die für die faire Evaluierung von Modellen entscheidend sind. Die vorgeschlagenen synthetischen und semi-synthetischen Datensätze bieten die Flexibilität, Daten mit kontrollierbaren Bias-Parametern zu erstellen, wodurch die Generierung gewünschter Datensätze mit benutzerdefinierten Bias-Werten erleichtert wird. Darüber hinaus führen wir systematische Bewertungen dieser vorgeschlagenen Datensätze durch und etablieren einen einheitlichen Bewertungsansatz für faire Graph-Lern-Modelle. Unsere umfangreichen experimentellen Ergebnisse mit fairen Graph-Lern-Methoden über unsere Datensätze demonstrieren deren Wirksamkeit bei der Benchmarking der Leistung dieser Methoden. Unsere Datensätze und der Code zur Reproduktion unserer Experimente sind verfügbar unter https://github.com/XweiQ/Benchmark-GraphFairness.