ईएचआर फाउंडेशन मॉडल समयात्मक वितरण परिवर्तन की उपस्थिति में robustness में सुधार करते हैं

समयात्मक वितरण परिवर्तन क्लिनिकल प्रिडिक्शन मॉडल के प्रदर्शन पर नकारात्मक प्रभाव डालता है। इलेक्ट्रॉनिक स्वास्थ्य रिकॉर्ड (EHR) पर आत्म-निगरानी अधिगम का उपयोग करके फाउंडेशन मॉडल का प्रीट्रेनिंग सूचना-समृद्ध वैश्विक पैटर्नों को हासिल करने में प्रभावी हो सकता है जो कार्य-विशिष्ट मॉडलों की मजबूती को सुधार सकता है। उद्देश्य EHR फाउंडेशन मॉडल की उपयोगिता का मूल्यांकन करना था ताकि क्लिनिकल प्रिडिक्शन मॉडल के इन-डिस्ट्रीब्यूशन (ID) और आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) प्रदर्शन में सुधार हो सके। ट्रांसफार्मर और गेटेड रिकरेंट यूनिट-आधारित फाउंडेशन मॉडल्स को 1.8 मिलियन मरीजों (382 मिलियन कोडेड इवेंट्स) के EHR पर प्री-निर्धारित वर्ष समूहों (जैसे, 2009-2012) के भीतर प्रीट्रेन किया गया और फिर इन्हें अस्पताल में भर्ती मरीजों के लिए प्रतिनिधित्वों को निर्माण करने के लिए उपयोग किया गया। इन प्रतिनिधियों का उपयोग अस्पताल मृत्यु दर, लंबे ठहराव की अवधि, 30-दिन की पुन: भर्ती, और आईसीयू भर्ती का पूर्वानुमान लगाने के लिए लॉजिस्टिक रिग्रेशन मॉडल को प्रशिक्षित करने के लिए किया गया। हमने अपने EHR फाउंडेशन मॉडल की तुलना आईडी और ओओडी वर्ष समूहों में गिनती-आधारित प्रतिनिधित्वों पर सीखे गए बेसलाइन लॉजिस्टिक रिग्रेशन मॉडल (गिनती-एलआर) के साथ की। प्रदर्शन को रिसीवर-ऑपरेटिंग-करैक्टरिस्टिक कर्व (AUROC), प्रिसिजन-रिकॉल कर्व, और संपत्ति कैलिब्रेशन एरर का उपयोग करके मापा गया। ट्रांसफार्मर और रिकरेंट-आधारित फाउंडेशन मॉडल्स सामान्यत: गिनती-एलआर की तुलना में बेहतर आईडी और ओओडी भेदभाव दिखाते हैं और अक्सर उन कार्यों में प्रदर्शन के भेदभाव में अवलोकनीय गिरावट के साथ कम गिरावट प्रदर्शित करते हैं (ट्रांसफार्मर-आधारित फाउंडेशन मॉडल के लिए औसत AUROC गिरावट 3% बनाम 5-9 वर्ष के बाद गिनती-एलआर के लिए 7%)। इसके अतिरिक्त, ट्रांसफार्मर-आधारित फाउंडेशन मॉडल का प्रदर्शन और मजबूती प्रीट्रेन सेट के आकार के बढ़ने के साथ सुधारना जारी रहा। इन परिणामों से यह सुझाव मिलता है कि बड़े पैमाने पर EHR फाउंडेशन मॉडलों का प्रीट्रेनिंग एक उपयोगी दृष्टिकोण है ताकि क्लिनिकल प्रिडिक्शन मॉडलों को विकसित किया जा सके जो समयात्मक वितरण परिवर्तन की उपस्थिति में अच्छी तरह प्रदर्शन करें।