DiffusionMTL: Lernen eines Multi-Task-Denoising-Diffusionsmodells aus teilweise annotierten Daten

In letzter Zeit hat das praktische Problem, mehrere Aufgaben des dichten Szenenverständnisses aus teilweise annotierten Daten zu erlernen, gestiegenes Interesse geweckt, wobei jede Trainingsprobe nur für eine Teilmenge der Aufgaben gekennzeichnet ist. Das Fehlen von Aufgabenlabels im Training führt zu qualitativ minderwertigen und verrauschten Vorhersagen, wie sie bei modernen Methoden zu beobachten sind. Um dieses Problem anzugehen, formulieren wir die teilweise gekennzeichnete multi-task dichte Vorhersage als ein pixelbasiertes Denoising-Problem um und schlagen ein neuartiges Multi-Task-Denoising-Diffusionsframework vor, das als DiffusionMTL bezeichnet wird. Es entwirft ein gemeinsames Diffusions- und Denoising-Paradigma, um eine potenzielle verrauschte Verteilung in den Aufgaben-Vorhersagen oder Merkmalskarten zu modellieren und korrigierte Ausgaben für verschiedene Aufgaben zu generieren. Um die Multi-Task-Konsistenz im Denoising zu nutzen, führen wir außerdem eine Multi-Task-Conditioning-Strategie ein, die die komplementäre Natur der Aufgaben implizit nutzen kann, um bei der Erlernung der unlabeleten Aufgaben zu helfen, was zu einer Verbesserung der Denoising-Leistung der verschiedenen Aufgaben führt. Umfangreiche quantitative und qualitative Experimente zeigen, dass das vorgeschlagene Multi-Task-Denoising-Diffusionsmodell die Multi-Task-Vorhersagekarten erheblich verbessern und die modernen Methoden bei drei herausfordernden Multi-Task-Benchmarks unter zwei verschiedenen Evaluierungseinstellungen mit teilweiser Kennzeichnung übertreffen kann. Der Code ist verfügbar unter https://prismformore.github.io/diffusionmtl/.