Exploratives Lernen mit AR

Selbsgesteuertes Lernen mit Hilfe von Augmented Reality

Exploratives Lernen mit Hilfe von Augmented Reality

Einleitung

Exploratives und damit entdeckendes Lernen ist eine Methode zur Aneignung von Wissen sowie von physischen und technischen Fertigkeiten. Dem Nutzer wird dabei kein fester “Lernpfad”, Ablauf oder Weg vorgeschrieben. Vielmehr kann sie oder er Ablauf und Reihenfolge selbst wählen. Im Projekt ARSuL wurde dabei exemplarisch das explorative Erlernen von Funktion und Montage der verschiedenen Bauteile einer Heizung vermittelt.

Dazu wurde in einem ersten Schritt eine Anwendung für die Datenbrille Hololens von Microsoft entwickelt, die es dem Nutzer ermöglicht, die Funktion der zentralen Komponenten eines Wärmesystems zu erlernen. In einem nächsten Schritt wurde das explorative Lernen durch eine detaillierte Explosionsdarstellung der Bauteile erweitert. So kann der Aufbau eines komplexen Gerätes oder einer einzelnen Komponente im Detail gezeigt werden. Die Grundidee wurde dabei von den als „Explosionszeichnungen“ bekannten Darstellungen übernommen. Im Gegensatz zu einer Zeichnung kann in VR/AR aber nicht nur eine statische Darstellung erfolgen, sondern die „Explosionszeichnung“ dynamisch auf- und wieder zurückgefahren werden.

Avatar

Der Avatar ist der zentrale Anlaufpunkt der AR-Anwendung. Er dient zur Orientierung, stellt Informationen bereit und erlaubt es, die AR-Anwendung über entsprechende Schaltflächen zu steuern und zu konfigurieren. Er bewegt sich automatisch etwa auf Kopfhöhe des Betrachters, damit er vom Nutzer leicht gefunden werden kann, was insbesondere für die Hololens-Datenbrille mit ihrem relativ eingeschränkten Darstellungsbereich wichtig ist.

{{ .Text }}
Avatar
{{ .Text }}
Avatar mit Konfigurationseinstellungen

Aufbau der Heizung untersuchen

Der erste Schritt beim Kennelernen eines Wärmesystems ist, den groben Aufbau des Geräts zu untersuchen. Dazu werden die verschiedenen Komponenten der Heizung mit farblichen Umrissen gekennzeichnet und durch das „Anschauen“ der Komponenten können Details über ihren Zweck und Aufbau abgefragt werden. Detaillierte Informationen erscheinen dabei in Form eines “Info-Textes” neben dem Bautail und werden gleichzeitig auch auf Wunsch vorgelesen.

{{ .Text }}
Wärmegerät mit umrissenen Komponenten
{{ .Text }}
Detailinformationen
{{ .Text }}
Info-Box

Um eine Komponente der Heizung weiter zu untersuchen, wird sie mit einer “Klick-Geste” aktiviert. Sobald dies geschehen ist, bewegt sich ein „virtueller Zwilling“ dieser Komponente vor das Gerät und kann dort weiter untersucht werden. So kann der Nutzer z.B. die Posistion der Komponente im Raum verändern, sie vergrößern oder verkleinern, die Lage anpassen oder auch eine animierte Explosionsdarstellung der Komponente aktivieren.

{{ .Text }}
{{ .Text }}
{{ .Text }}

{{ .Text }}
{{ .Text }}

Zwei Filme, die die Abläufe demonstrieren, können hier heruntergeladen werden: Exploration in AR - Film 1 und Exploration in AR - Film 2

Animierte Explosionsdarstellung

Um den Aufbau des Geräts oder einer Komponente im Detail kennen zu lernen, ist eine automatische Explosionsdarstellung der Bauteile in die AR-Anwendung integriert worden. Die Grundidee wurde dabei von den als Explosionszeichnungen bekannten 2D-Darstellungen übernommen. Im Gegensatz zu einer Zeichnung kann in VR/AR aber nicht nur eine statische Darstellung erfolgen, sondern die „Explosionszeichnung“ dynamisch auf- und wieder zurückgefahren werden, so dass man den Aufbau einer Komponente direkt beobachten kann. Die Nachfolgende Abbildung zeigt den Aufbau der gesamten Heizung in einer Explosionsdarstellung:

{{ .Text }}

Im Detail läuft eine animierte Explosionsdarstellung wie folgt ab: Nach der Auswahl „Exploration“ durch den Nutzer kann die Explosionszeichnung mithilfe zweier Buttons gestartet werden. Beide Buttons lösen je eine Explosionsdarstellung aus, welche sich in ihrer Relation zu den restlichen Bauteilen unterscheiden. Verweilt der Cursor längere Zeit über einem Bauteil in der Explosionsdarstellung, so werden weitere Informationen wie z.B. der Name des Bauteils angezeigt.

{{ .Text }}

Neben der Explosionszeichnung der gesamten Heizung kann auch eine entsprechende Ansicht von einzelnen Bauteilen gezeigt werden. Dafür muss das jeweils gewünschte hervorzuhebende Bauteil in der Gesamtübersicht angeklickt werden und es erscheint eine (virtuelle) Kopie des Bauteils vor der Heizung. Der Aufbau dieser Kopie kann dann wiederum mit Hilfe einer animierten Explosionsdarstellung verdeutlicht werden:

{{ .Text }}

Ein paar ausgesuchte Details zur AR-Anwendung

Heizungs-Modell und reale Heizung

Sowohl der AR- wie auch der VR-Anwendung liegt ein detailliertes CAD-Modell der Heizung zugrunde. Damit die AR-Brille “weiss” wo sich die verschiedenen Komponenten der Heizung befinden, muss die “virtuelle” (CAD-Modell) und die “reale” Heizung in Deckung gebracht. Dies geschieht in der aktuellen Anwendung mit Hilfe der oben auf der Heizung platzierten Marker.

{{ .Text }}
Auf der Heizung platzierte Marker (oben rechts und links auf der Heizung)

Das Erfassen der Marker findet dabei nur einmal statt, wenn die AR-Anwendung gestartet ist. Danach können die Marker entfernt werden und das Tracken von Heizung und Umgebung wird von der Hololens durchgeführt. Allerdings haben die Experimente gezeigt, dass dieses Tracken nicht immer perfekt arbeitet und es somit vorkommt, dass die Positionen von “virtueller” und realer Heizung nach einer Zeit signifikant abweichen. In solchen Fällen muss die Kalibirierung nochmal durchgeführt werden.

Erkennen von ausgebauten Bauteilen

Die Erkennung von Bauteilen funktioniert nur dann, wenn sie sich in der Heizung an der vorgesehenen Stelle befinden. Um diese Schwachpunkt zu adressieren, sind in ARSuL daher auch Ansätze entwickelt worden, wie man auch z.B. ausgebaute Bauteile der Heizung erkennen kann. Aufgrund der aktuellen Leistungsfähigkeit von künstlichen Neuronalen Netzen für die Bildverarbeitung bietet es sich dabei an, solche Neuronale Netze auch für die Bauteilerkennung zu verwenden.

Im einfachsten Fall hat das Neuronale Netz dabei die Aufgabe zu entscheiden, ob in einem Bild das gesuchte Bauteil zu sehen ist oder nicht. Leider benötigen solche Netze eine Vielzahl von Trainingsbildern. Während für klassische Anwendungen wie der Erkennung von Personen oder Fahrzeugen in Bildern sehr viele Bild-Datensätze im Internet verfügbar sind, gibt es so etwas für die spezifischen Bauteile einer Heizung im Normalfall nicht. Daher wurde nach effizienten Wegen gesucht, wie man solche Bilder für das Trainieren eines Neuronalen Netzes aus CAD-Modellen erzeugen kann.

Für das Training müssen dabei sowohl negative (die Bilder enthalten das gesuchte Objekt nicht), wie auch positive Bilder (die Bilder enthalten das gesuchte Objekt) generiert werden. Besonders günstig bei der künstlichen Generierung von Trainingsbildern ist dabei, dass man denselben Hintergrund einmal mit dem gesuchten Objekt und einmal ohne verwenden kann. So ist das Netz besser in der Lage die Unterschiede zwischen “Objekt vorhanden” und “Objekt fehlt” herauszuarbeiten.

{{ .Text }}
Für das Training Neuronaler Netze generierte negativ (links) und postiv (rechts) Bilder

Um die Trainingsbilder zu erzeugen wurde eine Unity-Anwendung entwickelt, die die zu erkennenden Bauteile mit passenden Hintergründen versieht. Als Szenen-Hintergrund wurden im Laufe der Bildgenerierung unterschiedlich Videos auf eine Ebene hinter dem 3D-Objekt des Bauteils projiziert. Diese Videos haben eine Länge von 20 Sekunden und sind aus Youtube extrahiert worden. Hierzu wurden Videos aus unterschiedlichen Bereichen verwendet, wie Dokumentationen, Werkführungen und First-Person-Videos. Die Datenmenge der Videos umfasst mehrere Tausend kurze Video-Sequenzen, was zu einer Gesamtlaufzeit von etwa 40 Stunden Videomaterial führte. Vor diesem Hintergrund sind dann die Bauteile in verschiedenen Größen und Ausrichtungen sowie mit unterschiedlichen Belichtungssituationen automatisiert “aufgenommen” worden.

Das nachfolgende Bild zeigt eine mit der Programmierumgebung Unity erstellte Szene, die den Hintergrund sowie ein davor befindliches Bauteil zeigt.

{{ .Text }}
Unity-Szene zur Erzeugung der Trainingsbilder

Neben realistischen Materialen zur Darstellung der Bauteiloberflächen sind als Besonderheit auch welche mit transparenter (Glas) Oberfläche generiert worden. Eine Kombination aus Bauteilen mit realen Materialen sowie transparenten Bauteilen hat sich dabei als besonders gut erweisen, um Neuronale Netze mit einer hohen Erkennungsgüte zu erzeugen. Weitere Details können der nachfolgenden Veröffentlichung entnommen werden:

Marcus Weberskirch, Edwin Naroska (2020). "Erzeugung von Trainingsbildern für künstliche Neuronale Netze aus CAD-Daten mit Hilfe von transparenten Shadern". To appear in Proceedings of the AAL Congress 2020.

Vorteile, Schwächen und Limitationen

Im Gegensatz zu Anwendungen in der virtuellen Realität wird bei AR das Wärmegerät benötigt. Optional kann die AR-Brille aber auch das komplette Gerät virtuell darstellen, so dass man eine Erfahrung ähnlich zu VR-Anwendungen erhält. Vorteilhaft ist natürlich, wenn man mit dem realen Gerät interagieren, also dabei insbesondere die Komponenten berühren kann und damit auch haptisches Feedback erhält. Weiterhin ist die begrenzte Leistung der Datenbrille manchmal problematisch, wenn z.B. komplizierte Modelle mit vielen Komponenten dargestellt werden sollen.