Khoury, Walaa: Entwicklung einer effizienten Echtzeit 3D-Rekonstruktion auf dem NVIDIA Jetson Nano

Abstract in Deutsch:

Im Rahmen dieser Arbeit wurde eine 3D-Rekonstruktion in Echtzeit auf dem NVIDIA Jetson Nano Kit realisiert. Der Begriff 3D-Rekonstruktion bedeutet, dass 3D-Bilddaten mit Hilfe von zwei Kameras und 3D-Bildverarbeitungsalgorithmen gewonnen werden können. Die Einsatzgebiete dieser Technologie sind vielfältig. Dazu gehören bspw. autonomes Fahren, Fertigungsprozesse und Industrieroboter. Dieses Ziel ist jedoch nicht einfach zu erreichen, da Bildverarbeitungsalgorithmen aufgrund der hohen Bilderfassungsrate einen großen Verbrauch an Prozessorressourcen erfordern. Dies erhöht die Belastung des Prozessors und erschwert die Ausführung von Anwendungen, die Echtzeitberechnungen erfordern. Eine mögliche Lösung für dieses Problem liegt in der Verwendung eines zusätzlichen Prozessors, der den Hauptprozessor bei zeitaufwändigen Rechenaufgaben wie Fließkommaoperationen, Grafik-Funktionen sowie Signalverarbeitung unterstützt und entlastet. Heutzutage gibt es viele Hardwareplattformen auf dem Markt, unter anderem GPU, FPGA und ASIC. Jede Hardwareplattform hat ihre eigenen Eigenschaften, Vorteile und Einsatzgebiete. Zur Realisierung eines passiven Stereosystems wurde in dieser Arbeit das NVIDIA Jetson Nano Entwicklerkit verwendet, das einen Quad-Core-ARM A57 CPU sowie einen NVIDIA Grafikprozessor GPU enthält. Auf diesem Kit wurde der Semi-Global Matching Algorithmus ausgeführt. Die Implementierungsschritte wurden zwischen der CPU und der GPU aufgeteilt, um Berechnungen in Echtzeit durchzuführen. Nach der Implementierung wurde die Laufzeiten des Gesamtsystems (Bildeinzug bis Tiefenkartenberechnung) für die Bildauflösung von 1280 px × 720 px und für einen Disparitätsbereiche von 256 px, 128 px und 64 px mit 4 und 8 Pfadrichtungen ermittelt. Das Gesamtsystems erreicht bspw. eine Laufzeit von 230,98 ms für einen Disparitätsbereich von 128 px und 4 Pfaden. Wird die Bildauflösung auf 640 px × 480 px reduziert, wird hingegen eine Latenzzeit von 98 ms erreicht. Aufgrund der geringen Leistung und des geringen Speicherplatzes des Jetson Nano Moduls, können keine Tiefenkarten für eine Bildauflösung von 1280 px × 720 px und einem Disparitätsbereich von 256 px mit 8 Pfaden berechnet werden. Um eine einfache Steuerung des Stereosystems zu ermöglichen, wurde eine grafische Benutzeroberfläche erstellt. Neben den Ergebnissen werden auch Faktoren diskutiert, die die Genauigkeit des entwickelten Stereokamerasystems negativ beeinflussten. Um die Effizienz des Systems mit dem Stand der Technik zu vergleichen, wurde der SGM Algorithmus von Hernandez-Juarez et al. auf dem Jetson Nano Modul umgesetzt. Hierbei ist die Laufzeit auf dem Jetson Nano Entwicklungskit 3,77 ms langsamer, als die in der Veröffentlichung.