Projektvorstellung

Im Rahmen des ADFEX-Projektes (Adaptive föderative 3D-Exploration mit Multi-Roboter-Systemen) sollen Schlüsseltechnologien für den teilautonomen Betrieb eines luftgestützten Multi-Roboter-Systems zur 3D-Exploration von ausgedehnten Objekten entwickelt werden. Es soll insbesondere für Brücken eine Möglichkeit der Überwachung des Bauzustandes und der Dokumentation von Schäden geschaffen werden.

Beispielszenario

Die mobile Datenaufnahme erfolgt mit Flugroboterplattformen, die neben der bildgebenden Sensorik über eine leistungsfähige Bordrechnerarchitektur verfügen. Die Flugplattform (Octocopter-Rahmensystem + Flugrechner)  dienen als mobile Träger für die Nutzlastkomponenten (Sensorik und Bordrechner). Im Zuge der Nutzdatenakquisition kommen neben handelsüblichen Kameras eine Reihe weiterer bildgebender Sensoren zum Einsatz: Laserscanner ermöglichen die schnelle und zuverlässige Generierung hochwertiger 3D-Modelle, thermische Kameras werden insbesondere für eine Oberflächentemperaturüberwachung eingesetzt, während Infrarotkameras beispielsweise für die Beurteilung von Vegetation bzw. Vegetationsgüte oder -schädigung verwendet werden. Die bordseitige Informationsverarbeitung umfasst die Algorithmen zur teilautonomen Bewegungssteuerung der Flugplattform (Navigation bzw. simultane Lokalisierung und Kartographierung) sowie zur bordseitigen Vorverarbeitung der bildgestützten Sensordaten und 3D-Modellierung des Explorationsobjektes. Diese Daten werden ebenfalls von der Navigation genutzt. Die vorverarbeiteten Bilddaten bzw. 3D-Modelldaten werden über eine Funkschnittstelle an die stationäre Basisstation zur weiteren Verarbeitung geschickt. Aufgrund der hohen Datenraten (hochauflösende Bildsensorik) müssen auch Techniken der bordseitigen Datenreduktion bzw. -kompression betrachtet werden.

Grundlegendes Zusammenwirken

In der Basisstation erfolgen die Präzisionsrekonstruktion eines 3D-Modells des Explorationsobjektes sowie eine nutzerfreundliche Darstellung des rekonstruierten 3D-Objektmodells. Ausgehend von der Rekonstruktionsgüte des Modells werden in der Basisstation die Flugbahnen der Flugplattformen für eine bestmögliche Rekonstruktionsgüte optimiert. Eine besondere Herausforderung stellt dabei die Mehrzieloptimierung mehrerer Flugplattformen mit nichtlinearen Nebenbedingungen dar. Prinzipiell erlaubt der gleichzeitige Betrieb von mehreren Flugplattformen, bevorzugt mit unterschiedlichen Sensoren ausgestattet, eine höhere Modellgüte unter Nutzung von Datenfusionsansätzen.

Komponentenübersicht

Das Projekt umschließt unter anderem folgende Innovationen:

  • Technologien für die 3D-Exploration in Echtzeit mit ausgedehnten und für Menschen schwer zugänglichen Umgebungen: Mithilfe einer Flotte von Flugrobotern, die mit unterschiedlichen Sensoren ausgestattet sind, soll es möglich sein, Bereiche von Brücken zu erfassen, die für einen Menschen schwer oder nur mit technischen Hilfmitteln wie Hubkränen erreichbar sind. Die gewonnenen Daten umfassen ein breites Spektrum, etwa 3D-Messungen, Fotografien oder Wärmebilder.
  • Nutzerfreundliche Mensch-Maschine-Lösungen für 3D-Explorationsaufgaben: Nutzer der entstehenden Lösung sind hauptsächlich Industriepartner. Um ihnen einen effizienten Umgang ohne langwierige Schulungsmaßnahmen zu ermöglichen, wird besonderer Wert auf Nutzerfreundlichkeit der für den Verwender sichtbaren Endanwendung gelegt. Das umschließt mehrere Bestandteile, wie zum Beispiel eine übersichtliche Anwendung zur Live-Überwachung der Flugroboter am Boden oder eine Möglichkeit zur Auswertung der 3D-Daten im Büro. Darüber hinaus wird es möglich sein, über Stereokameras, die an einem Flugroboter angebracht sind und eine Videobrille, von der Position des Roboters aus zu sehen. Durch überblendete Sensorinformationen behält der Nutzer dabei die Kontrolle über die Roboter.
  • Verarbeitung von 3D-Daten in Echtzeit auf kompakten Rechnerplattformen: Ein Hauptziel ist die 3D-Vermessung der beflogenen Objekte, speziell eine Echtzeitverarbeitung eines Teils der gemessenen Daten und die Synthese von 3D-Daten zu einem 3D-Modell, das dann auf der Bodenstation angezeigt wird. Die Herausforderung besteht insbesondere in der zuverlässigen Kommunikation zwischen den Flugrobotern, sowie der Bodenstation und der Registrierung, also dem Zusammenfügen von Teilscans zu einer 3D-Darstellung. Die Generierung eines hochauflösenden 3D-Modells und die Integration weiterer Sensordaten erfolgt in einem zeitlich intensiveren Nachverarbeitungsschritt nach der Akquise aller Daten. Normalerweise wird es mehr als eine Befliegung eines Objektes geben. Auch hier stellt die Integration eines bereits berechneten hochauflösenden Modells und weiterer Sensordaten eine Herausforderung dar.
  • Steuerungskonzepte für koordiniert arbeitende Multi-Roboter-Systeme: Die Grundaufgabe der Bewegungsführung beinhaltet die
    Umsetzung von benutzerdefinierten Explorationswünschen in konkrete Flugbahnen in Form von zeitveränderlichen Sollwerten für die Pose jedes einzelnen Flugroboters unter Berücksichtigung von flugtechnischen und anwendungsspezifischen Randbedingungen. Ein besonderes Spezifikum des ADFEX-Systems und damit eine höchst innovative Eigenschaft ist die Adaptionsfähigkeit der optimierten Flugbahnen über die Rückkopplung der aktuell ermittelten Explorationsgüte. Dazu werden spezielle Lenkgesetze für einen Einzelroboter entwickelt, die dann mit Basisfunktionen für eine Konstellation von mehreren Flugrobotern erweitert werden. Hierfür müssen zunächst geeignete Bewegungsprimitive gelöst werden, mit denen einerseits eine benutzerfreundliche Spezifikation von Explorationsszenarien erfolgen kann und andererseits flugtechnisch einfach zu realisierende Elementarbewegungen der Flugroboter möglich sind.
  • Automatische Umsetzung rechenintensiver und zugleich energieeffizienter Anwendungen durch compiler-gestütztes HW/SW-Co-Design: Durch die starke Einschränkung der zur Verfügung stehenden Energiemenge muss der Bordrechner der Flugroboter besonders energieeffizient arbeiten. Im Hinblick auf die benötigte Rechenleistung für die zu erwartenden Regelungs- und Bildverarbeitungsalgorithmen soll eine mobile adaptive Computing-Plattform entwickelt werden, die insbesondere hohe Rechenleistung energieeffizient bereitstellen kann. Die höchste Energieeffizienz weisen heute immer noch spezialisierte Mikrochips auf, die eine vorgegebene Aufgabe komplett in Hardware realisieren. Insbesondere Field Programmable Gate Arrays (FPGAs) stellen eine Möglichkeit dar, Aufgaben in Hardware zu realisieren, lassen sich aber dynamisch zur Laufzeit der Anwendung rekonfigurieren und sind somit hochgradig adaptiv. Das Ziel ist die Abbildung rechenintensiver Teile auf entsprechende Hardware-Komponenten, um die Berechnung komplexer Algorithmen zu beschleunigen und so die Prozessoren der Computing-Plattform zu entlasten.
  • Technisch-ökonomische Einbindung der Multi-Roboter-Syseme in bauspezifische Prozesse: Es existiert eine Vielzahl von Szenarien für den Einsatz der Multi-Roboter-Systeme in Bauprozessen und in der Diagnostik von Bauteilen oder Bauwerke. Im Lebenszyklus von Bauwerken wird zwischen unterschiedlichen Lebenszyklusphasen unterschieden, die sich stark voneinander abgrenzen. Somit unterscheiden sich auch die Anforderungen an den Einsatz der Flugroboter in den jeweiligen Phasen, wie beispielsweise der Planung, der Herstellung oder des Betreibens eines Bauwerks. Im Vergleich zu bisher bekannten und allgemein verbreiteten Prozessen im Rahmen der Planung, Herstellung, Überwachung und Inspektion von Bauwerken werden durch den Einsatz der Flugroboter Optimierungspotenziale oder neuartige Prozessabläufe und zahlreiche Verbesserungen möglich. Es ist davon auszugehen, dass sich somit ebenfalls Effekte der Kosten- und Zeitersparnis bei der Realisierung von Bauvorhaben und bei dem Betreiben von Bauwerken ergeben. Damit eng verbunden ist die Untersuchung des Marktpotenzials für Multi-Roboter-Systeme in der Bauwirtschaft.

 

Das ADFEX-Projekt bietet die Möglichkeit einer interdisziplinären Zusammenarbeit verschiedener Institute und besteht aus Informatikern, Elektrotechnikern, Geodäten und Bauingenieuren. Eine Liste der beteiligten Mitarbeiter ist hier zu finden.