PIPformers: Patch-basierte Inpainting mit Vision Transformers für generalisierte Malerei

Abstract Bild-Inpainting ist ein Bereich, der traditionell im Bereich der Computer Vision angegangen wurde. Nach der Entwicklung des Deep Learning hat sich das Bild-Inpainting unaufhörlich zusammen mit konvolutionalen neuronalen Netzwerken und generativen adversarialen Netzwerken weiterentwickelt. Danach wurde es auf verschiedene Bereiche wie die Bildfüllung durch Führungen und das Bild-Inpainting unter Verwendung verschiedener Maskierungen ausgeweitet. Darüber hinaus wurde auch das Feld, das als Bild-Out-Painting bezeichnet wird, initiiert. In der Zwischenzeit wurde nach der jüngsten Ankündigung des Vision Transformers versucht, verschiedene Probleme der Computer Vision mit dem Vision Transformer zu lösen. In diesem Papier versuchen wir, das Problem der Bildgeneralisierungsmalerei unter Verwendung des Vision Transformers zu lösen. Dies ist ein Versuch, Bilder mit Malerei zu füllen, unabhängig davon, ob die Bereiche, in denen die Malerei fehlt, innerhalb oder außerhalb der Bilder liegen, und ohne Führung. Zu diesem Zweck wurde das Malproblem als Problem definiert, Bilder in Patch-Einheiten fallen zu lassen, um die Verwendung im Vision Transformer zu erleichtern. Und wir haben das Problem mit einer einfachen Netzwerkstruktur gelöst, die durch eine leichte Modifikation des Vision Transformers an das Problem angepasst wurde. Wir nannten dieses Netzwerk PIPformers. PIPformers erzielte bessere Werte als andere Arbeiten im Vergleich zu PSNR, RMSE und SSIM.