व्यवहारिक रूप से भिन्नतापूर्ण निजी संवेदनशील समतल अनुकूलन की ओर

उपयोगी भविष्यवाणी मॉडल बनाना अक्सर संवेदनशील डेटा से सीखने में शामिल होता है। भिन्नतापूर्ण गोपनीयता के साथ मॉडल का प्रशिक्षण ऐसे संवेदनशील डेटा की गोपनीयता की गारंटी दे सकता है। समतल अनुकूलन कार्यों के लिए, कई भिन्नतापूर्ण निजी एल्गोरिदम ज्ञात हैं, लेकिन वर्तमान में इनमें से कोई भी व्यावहारिक रूप से लागू नहीं हुआ है। इस काम में, हम व्यवहारिक भिन्नतापूर्ण निजी समतल अनुकूलन की दिशा में दो प्रमुख योगदान करते हैं। सबसे पहले, हम अनुमानेक न्यूनतम विक्षेपण प्रस्तुत करते हैं, एक नवीन एल्गोरिदम जो किसी भी ऑफ-द-शेल्फ ऑप्टिमाइज़र का लाभ उठा सकता है। हम दिखाते हैं कि इसे किसी भी हाइपरपैरामीटर ट्यूनिंग के बिना लागू किया जा सकता है, जिससे यह व्यावहारिक तैनाती के लिए एक आकर्षक तकनीक बन जाती है। दूसरा, हम भिन्नतापूर्ण निजी समतल अनुकूलन के लिए अत्याधुनिक एल्गोरिदम का व्यापक अनुभवात्मक मूल्यांकन करते हैं, जो सार्वजनिक रूप से उपलब्ध बेंचमार्क डेटा सेट की एक श्रृंखला, और औद्योगिक सहयोग के माध्यम से प्राप्त वास्तविक विश्व डेटा सेट पर आधारित है। हम सभी भिन्नतापूर्ण निजी समतल अनुकूलन एल्गोरिदम पर ओपन-सोर्स कार्यान्वयन जारी करते हैं, और नौ सार्वजनिक डेटा सेट पर बेंचमार्क, जिनमें से चार उच्च-आयामी हैं, प्रदान करते हैं।