एक स्टोकास्टिक वेरिएंस कम करने की ग्रेडिएंट विधि जिसमें स्टोकास्टिक अनुकूलन के लिए अनुकूलित कदम है

सार इस पत्र में, हम एक स्टोकास्टिक वेरिएंस कम करने की ग्रेडिएंट विधि का प्रस्ताव करते हैं जिसमें अनुकूल जैसे आकार है, जिसे SVRG‐New BB विधि के रूप में संदर्भित किया जाता है, समतल स्टोकास्टिक अनुकूलन समस्या को हल करने के लिए। इस विधि को SVRG एल्गोरिदम और एक नई BB कदम तंत्र के संकर के रूप में देखा जा सकता है। इस शर्त के तहत कि उद्देश्य कार्य मजबूत समतल है, हम इस एल्गोरिदम का रैखिक अभिसरण प्रमाण प्रदान करते हैं। संख्यात्मक प्रयोग के परिणाम दिखाते हैं कि SVRG‐New BB एल्गोरिदम का प्रदर्शन अन्य मौजूदा एल्गोरिदम को पार कर सकता है यदि एल्गोरिदम में पैरामीटर सही ढंग से चुने जाते हैं।