Key points are not available for this paper at this time.
हम DocFormer प्रस्तुत करते हैं - दृश्य दस्तावेज़ समझने (VDU) के कार्य के लिए एक मल्टी-मोडल ट्रांसफार्मर आधारित आर्किटेक्चर। VDU एक चुनौतीपूर्ण समस्या है जिसका लक्ष्य विभिन्न प्रारूपों (फॉर्म, रसीदें आदि) और लेआउट में दस्तावेज़ों को समझना है। इसके अलावा, DocFormer को सावधानीपूर्वक डिज़ाइन किए गए कार्यों का उपयोग करके अवलोकन मुक्त तरीके से पूर्व-प्रशिक्षित किया गया है जो मल्टी-मोडल इंटरैक्शन को प्रोत्साहित करते हैं। DocFormer पाठ, दृष्टि और स्थानिक विशेषताओं का उपयोग करता है और उन्हें एक नए मल्टी-मोडल आत्म-ध्यान परत का उपयोग करके जोड़ता है। DocFormer समान मोडालिटीज़ के बीच सीखे गए स्थानिक एम्बेडिंग भी साझा करता है जो मॉडल के लिए पाठ का दृश्य टोकनों के साथ और इसके विपरीत संदर्भित करना आसान बनाता है। DocFormer को 4 विभिन्न डेटासेट्स पर परीक्षण किया गया है जिनमें प्रत्येक में मजबूत बेंचमार्क हैं। DocFormer सभी पर अत्याधुनिक परिणाम प्राप्त करता है, कभी-कभी इसके आकार (पैरामीटर्स की संख्या में) के 4 गुना मॉडल को मात देते हुए।
Appalaraju et al. (शुक्रवार,) ने इस प्रश्न का अध्ययन किया।
Synapse has enriched 3 closely related papers on similar clinical questions. Consider them for comparative context: