एक विभेद्य फ़ोर्थ इंटरप्रेटर के साथ प्रोग्रामिंग

यह देखते हुए कि व्यवहार में प्रशिक्षण डेटा सभी समस्याओं के लिए बहुत कम है, एक मूल प्रश्न यह है कि किसी मॉडल में पूर्व ज्ञान को कैसे शामिल किया जाए। इस पेपर में, हम तंत्रिका नेटवर्क के लिए पूर्व प्रक्रियागत ज्ञान के मामले पर विचार करते हैं, जैसे यह जानना कि एक प्रोग्राम को अनुक्रम को कैसे पार करना चाहिए, लेकिन यह नहीं कि प्रत्येक चरण पर कौन-से स्थानीय क्रियाएँ की जानी चाहिए। इस उद्देश्य के लिए, हम प्रोग्रामिंग भाषा फ़ोर्थ के लिए एक एंड-टू-एंड विभेद्य इंटरप्रेटर प्रस्तुत करते हैं जो प्रोग्रामर को प्रोग्राम स्केच लिखने की अनुमति देता है जिनमें ऐसे स्लॉट होते हैं जिन्हें प्रोग्राम इनपुट-आउटपुट डेटा से प्रशिक्षित व्यवहार से भरा जा सकता है। हम उपयोगकर्ता द्वारा निर्दिष्ट उद्देश्यों पर ग्रेडिएंट डीसेंट तकनीकों के माध्यम से इस व्यवहार को सीधे अनुकूलित कर सकते हैं, और साथ ही प्रोग्राम को किसी भी बड़े तंत्रिका गणना ग्राफ में एकीकृत भी कर सकते हैं। हम अनुभवजन्य रूप से दिखाते हैं कि हमारा इंटरप्रेटर विभिन्न स्तरों की पूर्व प्रोग्राम संरचना का प्रभावी ढंग से लाभ उठाने में सक्षम है और अनुक्रम क्रमबद्धता और योग जैसे जटिल व्यवहार सीखने में सक्षम है। जब इसे एक LSTM के आउटपुट से जोड़ा जाता है और संयुक्त रूप से प्रशिक्षित किया जाता है, तो हमारा इंटरप्रेटर प्राकृतिक भाषा की कहानियों में व्यक्त मात्राओं के बारे में अंत-से-अंत तर्क के लिए अत्याधुनिक सटीकता प्राप्त करता है।