Die elektronischen Augen der TFH Georg Agricola sehen mehr

Augmented Reality (Ergänzte Realität) eröffnet einen intelligenteren Blick in unsere Umgebung 

Die farbigen Bildeinblendungen in Fussballübertragungen zur Aufdeckung von Abseitsstellungen und unglaubliche Bildverschmelzungen in Kinofilmen und in der Werbung sind uns als Anwendungen von Augmented Reality (AR) wohl vertraut. Augmented Reality verknüpft reale (Video-)daten mit abstrakten Modelldaten in Echtzeit. Sie hilft zu messen, aufzufinden, zu verdeutlichen, zu erklären und zu warnen. Diese Technik steht somit zwischen erdachter 3D Virtual Reality und realen Stereo-Videodaten. Den Ursprung hat Augmented Reality bereits im Bluebox-Verfahren aus den Anfängen des Farbfernsehens in den 70er-Jahren zur Einblendung zusätzlicher Videoquellen in Bildsequenzen erfahren. Und doch steht diese Technologie erst am Anfang. 

Mit Augmented Reality werden neue Anwendungen in Verkehrstelematik- und Assistenz-Systemen für Fußgänger und in Kraft- und Luftfahrzeugen erschlossen, Entwicklungs-, Service- und Reparaturaufgaben werden erleichtert, Fernüberwachung und Leittechnik in betrieblichen Gefahrenbereichen werden transparenter und sicherer. Komplexe Szenarien in der Wehrtechnik und in der Medizin können zuverlässiger unterstützt werden.

Im Labor für Informationstechnik des Wissenschaftsbereichs für Elektro- und Informationstechnik der TFH Georg Agricola wird eine Forschungsplattform betrieben, die eine Infrastruktur für Augmented-Reality-Technologien bietet.

Die Mensch-Maschine-Schnittstelle des Demonstrators besteht im Wesentlichen aus einer Videoerfassung und einer Visualisierung.

Für den Kamerateil stehen vier Kamerasysteme zur Verfügung. Diese Kamerasysteme können über WLAN oder Analog-Funk drahtlos räumlich getrennt vom restlichen System betrieben werden:

• Stereo-Kamerasystem: zwei hochauflösende Gigabit-Ethernet-Farbkameras mit fester Brennweite sind auf einem schnellen Schwenk-Neigekopf montiert.
• Doppelkamera-System: zwei Videokonferenz-Kameraeinheiten bilden ein Kamerasystem. Je Kameraeinheit setzt sich aus Composite-Video-Farbkameras mit einem Schwenk-Neigekopf zusammen.
• Mini-Kamerasystem: zwei Mini-PCB-Module wahlweise mit Schwenk-Neigekopf besitzen Composite-Video-Ausgänge. Die kompakte und leichte Bauweise erlaubt den Einsatz in Flugdrohnen oder Modellautos.
• USB-Kamerasystem: zwei kostengünstige USB-Webcams wahlweise mit Schwenk-Neigekopf können angeschlossen werden.

Anstelle von Kameras ist es ebenfalls möglich, aufgezeichnete oder simulierte Echtzeit-Videosequenzen unter Beibehaltung des Zeitverhaltens einzuspielen über: 

• Dateien
• Pipes
• Netzwerkschnittstellen 

Für die Visualisierung stehen zwei Möglichkeiten in unterschiedlicher Immersionswirkung offen:  

• Head-Mounted Display: Die erste Variante besteht aus einem Head-Mounted Display (Helmsichtbrille) mit eingebauten Lautsprechern in Stereo-SVGA-Auflösung und einem Head Tracker (Kopforientierungssensor), der die Winkelstellung des Kopfes misst. Hierdurch können in Abhängigkeit von der Kopfstellung stets die passenden Bilddaten eingespielt werden. Der Betrachter genießt eine direkte Kopplung mit dem Demonstrator.
• Stereo-Projektion: Die 3D-Stereo-Videodaten können ebenfalls über eine Stereo-Projektion, die mit polarisiertem Licht arbeitet, auf einer Silberleinwand für mehrere Betrachter visualisiert werden. Über Lautsprecher wird der Nutzer akustisch mit synthetischer Sprachinformation versorgt. Die Betrachter sind unnatürlicherweise gezwungen, immer geradeaus zu schauen.

Die Sensoren und Aktoren werden über einen Linux-basierten PC verbunden, der zwei Videoaufnahme- und eine leistungsfähige 3D-Stereografikkarte enthält. Auf dem PC sind die Gerätetreiber und die Basissoftware in den Programmiersprachen C, C++ und Java implementiert. Zur grafischen 3D-Stereo-Darstellung wird das weitgehend plattformunabhängige OpenGL genutzt. Der Demonstrator ist in der Lage, ein aktives oder passives Stereo-SVGA-Signal zu liefern. Weitere Schnittstellen wie z.B. eine Spracheingabe für einfache Kommandos stehen zur Verfügung. 

Die Software-Architektur ist als verteiltes System ausgelegt. So können prinzipiell steuerungs- oder rechenintensive Prozesse zur inhärenten Parallelverarbeitung ausgelagert werden, um die Video-Echtzeitbedingung zu gewährleisten. Die Kommunikation der beteiligten Prozesse erfolgt über einen Austausch von Nachrichten (Messages) in dynamischer Größe. Die Messages sind plattformunabhängig. 

Eine netzwerkfähige LabVIEW-Schnittstelle ist in einem Steuerknoten implementiert. Damit kann über eine Graphikoberfläche die Überwachung, die Analyse und die Steuerung des Systems durchgeführt werden. 

Eine besondere Herausforderung stellt die Transformation und die Kalibrierung der Koordinatensysteme der Informationsquellen und -senken dar.

Erst moderne Hochgeschwindigkeitsverfahren der Videoübertragung und latenzzeitarme Videodatenkompressionen erlauben auch eine Übermittlung der Bilddaten an verteilte Bilderkennungsprozesse.

Die Anwendungen, die zunächst auf dem Demonstrator für vereinfachte Umwelten entwickelt und getestet werden, sind die automatische Ansteuerung der Schwenk-Neige-Köpfe (Augenbewegung) und die Ergänzung bzw. Ersetzung eines teilverdeckten Objektes im 3D-Stereobildes (Objektergänzung bzw. Objektsubstitution). 

Fünf Verhaltensweisen können für die Kameraansteuerung durch den Demonstrator abgebildet werden: 

• Autokalibierung: Die Kameras bestimmen durch Verändern der Blickrichtungen und durch Analyse eines Kalibrierungsmusters initial essentielle Kamera- und Systemparameter.
• Joysticksteuerung: Die Kamerablickrichtungen bzw. die Positionen in einer Szene werden durch Joystickbewegungen vorgeben.
• Telepräsenz: Die Kamerablickrichtungen werden mit der Kopfausrichtung über den Kopforientierungssensor gekoppelt. Die Kameras folgen der Kopfbewegung.
• Objektverfolgung: Die Kameras verfolgen ein bewegtes Objekt im Sichtfeld durch visuelle Mustererkennung. Hierdurch wird das Objekt in einer Szene für die nachfolgenden Erkennungsschritte lageinvariant.
• Vorlesen: Die Kameras erfassen visuell einen maschinengeschriebenen Text. Der Text, den die optische Zeichenerkennung liefert, wird durch eine computer-synthetisierte Stimme auditiv über die Lautsprecher ausgegeben.

Weitere, insbesondere wissensbasierte Verhaltensweisen sind in Vorbereitung. Die Softwarearchitektur erlaubt eine weitgehend modulare Erweiterung. 

Für die Objektsubstitution müssen mehrere Teilaufgaben gelöst werden: Das Objekt muss im 3D-Stereobild lokalisiert und segmentiert werden. 

Demonstration einer Objektdetektion durch eine lernende Farbsegmentierung. Erkannte Bildpunkte im Suchbereich (grüne Ecken) werden blau gekennzeichnet. Die geschätzte Objektmitte wird über ein Fadenkreuz markiert.

Demonstration einer grafischen 3D-Tiefendarstellung. Tiefer gelegene Bildpunkte sind grau eingezeichnet. Weiße Bildpunkte befinden sich im Vordergrund.

Die anschließende Mustererkennung kann das Objekt identifizieren und dessen Ausrichtung schätzen. Das Objekt wird abschließend aus der Szene durch Einfügen von Hintergrundinformation oder neuen Modellobjekten gelöscht. Die eingesetzten Algorithmen müssen selbstkalibrierend, anpassungs- und lernfähig sein. Dabei werden Erkenntnisse aus der Verhaltensbiologie und der Hirnforschung technisch umgesetzt.

Die untenstehenden Abbildungen zeigen eine einfache Objektergänzung. Das gesuchte Objekt (roter Kegel) ist dem AR-System bekannt und wird durch ein abgespeichertes 3D-OpenGL-Modell grafisch in einer Szene unter Berücksichtigung der Verdeckung und der Tiefeninformation ergänzt. 

Das Leporello eines Maulwurfs in einem Einheitswürfel dient als Modellobjekt zur Objektergänzung. Der Maulwurf trägt hier zur Erhöhung seiner Sehkraft eine Lesebrille für den Nahbereich.

Demonstration einer Objektergänzung. Das Leporello eines Maulwurfs wird positions- und tiefengerecht um einen Kegel gefaltet. Die Szene besteht aus einem bekannten Satz von Stereotestbildern.

Geometrische Standardkörper aber auch sehr komplexe Objektmodelle aus Videospielen können z.B. im 3ds-Max-Format zur Objektergänzung bzw. Objektersetzung im Augmented-Reality-Demonstrator verwendet werden.

Darstellung der internen 3D-Bild-repräsentation mit einem eingeblendeten Gitternetz und Detektionsinformationen. Das eingeblendete Leporello des Maulwurfs durchdringt die 2,5D-Szenen-Ebene.

Andere Modellobjekte wie z.B. ein Zylinder können alternativ eingeblendet werden.

Das nachfolgende Systemschaubild verdeutlicht das Zusammenspiel der einzelnen Verarbeitungsschritte mit den speziellen Augmented-Reality-Hardwarekomponenten. Je nach gewählter Verhaltensweise der Kameraansteuerung ergeben sich Regelkreise in Kaskadenstruktur.

Vereinfachtes Systemschaubild der Augmented Reality Plattform. Je nach gewählter Verhaltensweise der Kameraansteuerung ergeben sich Regelkreise in Kaskadenstruktur.

"Durch die enormen, stetig wachsenden Rechnerleistungen können bestehende AR-Systeme über den Einsatz für eingeschränkte Umwelten hinaus verbessert und neue Anwendungen in der Augmented Reality erschlossen werden. Dies sind Anwendungen, die noch vor wenigen Jahren als nicht machbar galten. Die Hard- und Softwarelösungen aus der Rechnervernetzung, Multimedia und anspruchsvollen Spielsimulationen schaffen Standards und erlauben kostengünstige Entwicklungsplattformen für Industrie und Hochschulen. Der Immersionseffekt steigt kontinuierlich durch besser tragbare und integrierte Mensch-Maschine-Schnittstellen. So ist es absehbar, dass AR-Systeme ein fester Bestandteil mobiler Multimedia-Endgeräte mit hohem Marketingeffekt werden.", so Prof. Dr. Giefing.

Gefordert sind in der Entwicklung von Augmented-Reality-Systemen Ingenieurinnen und Ingenieure, die interdiziplinär denken können, die sich bei Bits und Bytes genauso wohl fühlen wie in der Systemintegration von Hardware, der Systemtheorie und der Simulation physikalischer Systeme.

Die Weiterentwicklung der AR-Anwendungen geschieht unter anderem durch TFH-interne Forschungsaktivitäten sowie Master-, Bachelor- und Diplomarbeiten. Der Demonstrator ist auch offen für eine Zusammenarbeit mit Kooperationspartnern aus der Industrie. 

Zahlreiche Themenstellungen bieten sich an: Taktile Datenhandschuhe und weitere Sensoren für bildgebende Verfahren wie Laserscanner, Infrarotkameras und multifokale Kameras werden integriert. Die Träger des Augmented-Reality-Systems können mobile Roboter-Plattformen wie Raupen, gehende, tauchende oder schwimmende Roboter und Flugdrohnen sein. Durch Aktoren wie z.B. spezialisierte Greifer wird das Einsatzspektrum erheblich erweitert. Ein entsprechender Stereo-Basisabstand der Sensoren wandelt einen Fernbereich in bestimmten Anwendungen in einen Nahbereich mit atemberaubenden und informationstragenden Stereoeffekten um.