स्थानिक रूप से अनुकूल Instance सामान्यीकरण द्वारा न्यूरल पोज ट्रांसफर

पोज ट्रांसफर दशकों से अध्ययन का विषय रहा है, जिसमें एक स्रोत मेष की पोज़ एक लक्ष्य मेष पर लागू की जाती है। विशेष रूप से इस पेपर में, हम स्रोत मानव मेष की पोज़ को लक्ष्य मानव मेष को विरूपित करने के लिए स्थानांतरित करने में रुचि रखते हैं, जबकि स्रोत और लक्ष्य मेष में विभिन्न पहचान जानकारी हो सकती है। पारंपरिक अध्ययन मानते हैं कि जोड़ीदार स्रोत और लक्ष्य मेष उपयोगकर्ता द्वारा एनोटेट किए गए लैंडमार्क/मेष बिंदुओं के बिंदु-वार संबंधों के साथ मौजूद होते हैं, जिसके लिए भारी लेबलिंग प्रयासों की आवश्यकता होती है। दूसरी ओर, जब स्रोत और लक्ष्य मेष की पहचान अलग-अलग होती है, तब गहरे मॉडलों की सामान्यीकरण क्षमता सीमित होती है। इस सीमा को तोड़ने के लिए, हम पहला न्यूरल पोज ट्रांसफर मॉडल पेश करते हैं जो छवि शैली ट्रांसफर के लिए नवीनतम तकनीक के माध्यम से पोज ट्रांसफर को हल करता है, नए प्रस्तावित घटक - स्थानिक रूप से अनुकूल Instance सामान्यीकरण का उपयोग करते हुए। हमारा मॉडल स्रोत और लक्ष्य मेष के बीच कोई संबंध नहीं मांगता है। व्यापक प्रयोग बताते हैं कि प्रस्तावित मॉडल स्रोत से लक्ष्य मेष में विरूपण को प्रभावी ढंग से स्थानांतरित कर सकता है, और मेष की अनदेखी पहचान या पोज़ को संभालने की अच्छी सामान्यीकरण क्षमता है। कोड उपलब्ध है https://github.com/jiashunwang/Neural-Pose-Transfer पर।