Ein leichtgewichtiges verbessertes RT-DETR für die Erkennung von Baggerhaltungen basierend auf Stereo-Vision

In intelligenten Baggeranwendungen stehen traditionelle Methoden zur Erkennung von Baggerhaltungen vor zwei wesentlichen Herausforderungen: begrenzte Erkennungsgenauigkeit und unzureichende Rechenressourcen auf Edge-Geräten. Um diese Probleme anzugehen, schlägt diese Studie eine Methode zur Erkennung von Baggerhaltungen vor, die auf einem verbesserten Real-Time Detection Transformer (RT-DETR) basiert. Zunächst wird ein neues Backbone-Netzwerk basierend auf dem Reparameterized Vision Transformer entworfen, um die Effizienz der Merkmalsnutzung zu verbessern und gleichzeitig den Rechenaufwand zu reduzieren. Anschließend wird die Gesamtarchitektur optimiert, indem leichte Dynamic Upsamplers eingeführt werden, die den Informationsverlust während des Upsamplings verringern und die Fusion mehrerer Merkmale verbessern. Darüber hinaus wird ein Cross-Attention Fusion Module übernommen, um die lokale Merkmalsextraktion zu stärken, während die globale Modellierungsfähigkeit des Transformers erhalten bleibt, was die Unterscheidung zwischen Vordergrund und Hintergrund verbessert. Schließlich wird ein Multi-Scale Fusion Network eingeführt, um die Mehrskalenerkennungsfähigkeit von RT-DETR weiter zu verbessern. Experimentelle Ergebnisse zeigen, dass die vorgeschlagene Methode eine mittlere durchschnittliche Präzision (mAP) von 94,29 % für die Erkennung kleiner Objekte erreicht, was 7,96 % höher ist als bei der Baseline RT-DETR, während die Anzahl der Modellparameter um 34,95 % reduziert wird. Im Vergleich zu YOLO-Serienmodellen verbessert die vorgeschlagene Methode die mAP um 8,62 % bis 12,75 %. Diese Ergebnisse zeigen, dass die vorgeschlagene Methode bestehende Methoden sowohl in der Erkennungsgenauigkeit als auch in der Recheneffizienz übertrifft und eine effiziente und praktikable Lösung für die Echtzeit-Erkennung von Baggerhaltungen bietet.