Eine der größten Herausforderungen bei der Bedienung eines Gabelstaplers ist die eingeschränkte Sicht des Fahrers auf seine Umgebung, insbesondere bei der Ein- und Auslagerung von Ladungsträgern oder dem Transport sperriger Lasten. Unterschiedliche Kamera- und Assistenzsysteme werden an den Fahrzeugen verwendet, um den Fahrer und seine Umgebung zu unterstützen und die Betriebssicherheit des Fahrzeugs zu steigern. Bedienelemente und Bildschirme zur Anzeige von Auftragsdaten, Fahrzeugparametern oder der Wiedergabe von Rückfahr- oder Gabelzinkenkameras, wie sie heute bei den meisten Fahrzeugen verwendet werden, stellen aber auch eine zusätzliche Sichteinschränkung dar.
Einen neuen Ansatz verfolgen Wissenschaftlerinnen und Wissenschaftler des Instituts für Integrierte Produktion Hannover (IPH) gGmbH und des Instituts für Transport- und Automatisierungstechnik (ITA) der Leibniz Universität Hannover im gemeinsamen Forschungsprojekt ViSIER – Virtuelle Sichtverbesserung und intuitive Interaktion durch Erweiterte Realität an Flurförderzeugen (IGF-Vorhaben 20158 N).
Ihr Ziel ist es, ein Bedienerassistenzsystem für Gabelstapler zu realisieren, das mit Hilfe von Erweiterter Realität (Augmented Reality, AR) Sichteinschränkungen des Fahrers durch Fahrzeugkomponenten und Ladung ausgleicht.
Umgebungsaufnahme
Die Umgebungsaufnahme stellt die wesentliche Grundlage für das Assistenzsystem dar. Das ITA hat hierfür RGB-D-Kameras strategisch an einem Demonstratorfahrzeug montiert. Der Demonstrator, ein Linde E16 Gegengewichtsstapler, wurde durch die Firma Kion bereitgestellt.
Die RGB-D Kameras liefern neben den Farbwerten für jeden Pixel die korrespondierenden Tiefeninformationen. In der Kamera ist ein Field Programmable Gate Array (FPGA) integriert, dieser übernimmt die Konvertierung der USB-Schnittstelle auf den in der Industrie verwendeten Ethernet-Standard. Die Spannungsversorgung erfolgt mittels Power-over-Ethernet (PoE). Für die Versorgung des dafür notwendigen PoE-Switches wurde ein Spannungswandler mit der Staplerbatterie verbunden.
In Zusammenarbeit mit der Firma Vetter hat das ITA Gabelzinken mit integrierten Kameras entwickelt. Durch verschiedene Adapter lässt sich der Neigungswinkel der Kameras im Projektverlauf variieren.
Kamerakalibrierung
Für die Umgebungsaufnahme wird die Position und Orientierung (Pose) der Kameras in einem Referenzkoordinatensystem benötigt. Diese Pose wird bildbasiert in einem Kalibrierungsprozess ermittelt. Der Kalibrierungsprozess lässt sich in einen On-/Offline-Prozess unterteilen. Der Offline-Kalibrierungsprozess beinhaltet eine intrinsische Kalibrierung der einzelnen Kameras sowie eine initiale extrinsische Kalibrierung der Kamerasysteme.
Das ITA hat die Algorithmen für die initiale Kalibrierung ausgewählt und implementiert. Für die Kalibrierung werden Aufnahmen der Kalibriermuster in unterschiedlichen Positionen und Orientierung gemacht. Hierbei muss das jeweilige Muster immer von einer definierten Basiskamera, die das Referenzkoordinatensystem repräsentiert, und der aktuell zu kalibrierenden Kamera gesehen werden. Durch eine Zuordnung der Bildmerkmale wird die Pose der jeweiligen Kamera bezüglich der Basiskamera bestimmt.
Neben der initialen extrinsischen Kalibrierung wird eine dynamische extrinsische Kalibrierung benötigt. Dies ist notwendig, da sich die Pose der Kamerasysteme zueinander ändern kann, beispielsweise durch ein Anheben der Gabelzinken oder durch das Neigen des Hubmastes. Die dynamische extrinsische Kalibrierung soll basierend auf dem Prinzip der visuellen Odometrie erfolgen.
Positionsbestimmung
Die Positionsbestimmung des Bedienerkopfes beziehungsweise der AR-Brille erfolgt kamerabasiert, dafür werden die internen Kameras der AR-Brille verwendet. Das IPH hat hierfür Marker so im Gabelstapler platziert, dass immer mindestens einer von der Kamera der AR-Brille erkannt wird. Die Software muss anschließend die Marker detektieren und identifizieren. Daraus kann die Pose der Marker relativ zur Kamera berechnet werden. Die Position der Marker relativ zum Staplerkoordinatensystem ist bekannt, sodass Transformationsmatrizen aufgestellt werden und zur Koordinatentransformation ins Referenzkoordinatensystem verwendet werden können.
Im Demonstrationsstapler mussten über 3D-gedruckte Adapterplatten planare Oberflächen geschaffen werden, um eine sichere Detektion der Marker zu gewährleisten. Die Verwendung mehrerer kleinerer Marker auf einer Platte anstatt eines großen erwies sich als vorteilhaft für die Robustheit der Erkennung. Zudem müssen die Marker einen ausreichend großen Kontrast zum Hintergrund aufweisen. Während die Detektion der Marker stabil läuft, werden die Achsen teilweise fehlerhaft platziert, wodurch auch die berechnete Pose nicht korrekt ist. Um die fehlerhaft orientierten Achsen auszusortieren, wurden zulässige Bereiche für die Translation in Richtung der einzelnen Achsen im Staplerkoordinatensystem sowie für die Rotation um diese Achsen gemäß der Bewegungsfreiheit des Fahrers festgelegt.
Sichteinschränkungskompensation
Der vom ITA implementierte Algorithmus verwendet für die Erkennung der Sichteinschränkungen 2D-Bilddaten. Die sichteinschränkenden Komponenten werden durch einen Abgleich von Farbinformationen aus dem Bedienersichtfeld mit Farbinformationen aus einem zuvor ermittelten korrespondierenden Bereich einer rekonstruierten Szene erkannt. Für die eigentliche Sichteinschränkungskompensation findet im nächsten Schritt eine maskenbasierte Überlagerung mit Informationen aus der rekonstruierten Szene statt.
In einem weiteren Schritt wurde vom IPH eine markerbasierte Sichteinschränkungsdetektion implementiert. Die Detektion der Sichteinschränkungen erfolgt über QR-Codes, die im Inneren des Staplers angebracht sind. Anhand dieser Codes findet die Ausrichtung eine Überlagerung mit einem 3D-Modell des Staplers statt, indem die sichteinschränkenden Komponenten definiert wurden.
Nächste Schritte
Das ITA und das IPH arbeiten derzeit an der Zusammenführung der Teilergebnisse. Das Assistenzsystem wird zunächst in der Versuchshalle des ITA getestet. Anschließend erfolgt die Validierung beim Projektpartner China Logistic Center in Itzehoe.
Ziel des Forschungsprojekts ist es, Staplerfahrern eine freie Sicht zu ermöglichen – mit Hilfe einer AR-Brille können sie durch Hindernisse einfach hindurchsehen.
Weitere Informationen zum Projekt sind unter visier.iph-hannover.de zu finden.
