Zwei Phasen der Erprobung und Evaluation des Lernerfolges durch das ARSuL System sind geplant. Die erste wurde im Sommer/Herbst 2018 durchgeführt und ergab Folgendes:

In Evaluation 1 sollten insbesondere ein VR-Training, AR-Training und ein klassisches Training im direkten Vergleich evaluiert werden. Eine strukturierte Literaturanalyse zeigte, dass in der Literatur bisher kein ganzheitliches Evaluationskonzept für AR- und VR-Trainings zu finden ist. Auf Basis weiterer Literatur zu AR und VR konnten erste wichtige Aspekte und Impulse für die Evaluation identifiziert und kategorisiert werden. Eines der wichtigsten Ziele bei der Erstellung von AR- und VR-Systemen ist ein nutzerzentriertes Interaktionsdesign, sodass der Nutzer intuitiv und ohne Frustrationen mit der Anwendung arbeiten kann. Daher sind die interaktive Erfahrung, wie auch die Lernerfahrung der Nutzer von großer Wichtigkeit, wenn ein hoher Lernerfolg und eine hohe Akzeptanz des Systems erreicht werden sollen.

Ziel der ersten Evaluation war es, die verschiedenen Trainingstypen hinsichtlich ihrer Akzeptanz und der resultierenden Lernergebnisse zu vergleichen. Außerdem sollten Probleme und Verbesserungsmöglichkeiten für die AR- und VR-Trainings aufgezeigt werden.

Es kam ein erster Demonstrator in Bildungszentren der Handwerkskammern zum Einsatz: Auszubildende, aber auch Gesellen und Meister durchliefen den Austausch eines Gebläses in einem VR-, AR und einem klassischen Setting. Letzteres wurde von Martin Küpper, Trainingsingenieur von Vaillant, durchgeführt. Der Einsatz der drei Varianten wurde u. a. im Hinblick auf Lernerfolg, Lernzufriedenheit und Usability evaluiert.

Es wurden vier Testrunden mit insgesamt 58 SHK-Handwerkern und -Auszubildenden durchgeführt. Dafür wurden drei verschiedene Trainings (AR/VR/Klassisch) mit demselben Lerninhalt vorbereitet. Die Evaluation verlief anonym. Die Pre-/Post-Fragebögen zum Wissenserwerb füllten die Teilnehmer nur vor bzw. nach dem ersten Training aus, das sie durchliefen, um den Einfluss durch Lernkurven auszuschließen.

Die Zuordnung der Testpersonen zum ersten Training in VR, AR oder Klassisch erfolgt zufällig. Abbildung 2 zeigt Ausschnitte aus den durchgeführten Trainings.

Atrainings in Evaluation

Abbildung 2: Trainings in Evaluation

Die ersten Auswertungen der durchgeführten Test-Settings zeigen, dass nur wenige der Versuchsteilnehmer Erfahrungen mit AR- und VR-Brillen hatten. Insgesamt gefielen den Versuchsteilnehmer alle Trainings gut bis sehr gut (Gefallen), fanden sie durchaus nützlich für ihre Arbeit (Nützlichkeit), sind aber etwas skeptischer, wenn es darum geht AR- und VR-Trainings für ihre Aus- und Weiterbildung zu verwenden (Nutzungsbereitschaft) (vgl. Abbildung 3).

Ergebnisse zur Zufriedenheit

Abbildung 3: Ergebnisse zur Zufriedenheit mit dem Training

Es konnte außerdem gezeigt werden, dass es in allen drei Trainingsarten zu einem Wissenszuwachs gekommen ist, wenngleich der Wissenszuwachs in den AR- und VR-Trainings kleiner als im klassischen Training ausfiel. Auch bei den Ergebnissen der Wissenstests am Ende der Trainings fiel auf, dass die Versuchspersonen, welche das VR-Training durchlaufen hatten, weniger wussten, als die, die das AR- oder klassische Training besuchten (vergleiche dazu auch Abbildung 4).

Lernergebnisse und Wissenszuwachs in der ersten Evaluation

Abbildung 4: Lernergebnisse und Wissenszuwachs in der ersten Evaluation

Insgesamt deuten diese ersten Ergebnisse auf Schwachstellen in den AR- und VR-Trainings hin. Mithilfe einer qualitativen Inhaltsanalyse konnte die FH SWF aus den offenen Fragen zu Problemen und Verbesserungsvorschlägen der Teilnehmer erste Anhaltspunkte für Verbesserungen gewinnen. Abbildung 5 zeigt die nach Kategorien geclusterten Probleme und Verbesserungsvorschläge, welche von den Teilnehmern erwähnt wurden.

Erwähnte Probleme und Verbesserungsvorschläge nach Kategorien

Abbildung 5: Erwähnte Probleme und Verbesserungsvorschläge nach Kategorien

Betrachtet man in Abbildung 5 die erwähnten Verbesserungsvorschläge, so fallen die Punkte Navigation/Interaktion und die Brille auf. Die Teilnehmer haben die AR-Brille als zu schwer und unbequem empfunden und die Navigations-/Interaktionsgesten nicht als intuitiv und praktikabel empfunden. Das Feedback des VR-Szenarios zeigt, dass hier ebenfalls die Navigation/ Interaktion erwähnt wurde und zusätzlich das Design. Diese Punkte werden nun für den nächsten Prototypen überarbeitet. Auffällig ist ebenfalls der Faktor Lerninhalt. Dieser ergibt sich daraus, dass in VR-Szenario die einzelnen Schritte zu schnell abgearbeitet werden konnten und daher die Prozesse nicht intensiv genug erlebt wurden. Hier ist nun die Aufgabe die Prozesse in VR neu zu gestalten, damit diese bewusster erlebt werden.

Referenzen

Beckmann, Jennifer; Menke, Katharina; Weber, Peter (2018): AR and VR meet Boiler Suits: Deriving Design Elements for AR / VR Trainings in the HVAC Industry. In: Proceedings of EdMedia + Innovate Learning 2018. Amsterdam, Netherlands: Association for the Advancement of Computing in Education (AACE), S. 1533–1542.

Beckmann, Jennifer; Menke, Katharina; Weber, Peter (2019): Holistic Evaluation of AR/VR-Trainings in the ARSuL-Project. In: Proceedings of INTED2019 Conference. 13th International Technology, Education and Development Conference. Valencia, Spain, 11.-13.03.2019: IATED, S. 4317–4327.

Beckmann, Jennifer; Menke, Katharina; Weber, Peter (2019): AR/VR-Trainings in the ARSuL-Project. Results from a Prototype Evaluation. In: Proceedings of INTED2019 Conference. 13th International Technology, Education and Development Conference. Valencia, Spain, 11.-13.03.2019: IATED, S. 4353–4362.

Menke, Katharina; Beckmann, Jennifer; Weber, Peter (in Druck): Universal Design for Learning in Augmented and Virtual Reality Trainings. In: Susie L. Gronseth und Elizabeth M. Dalton (Hg.): Universal Access Through Inclusive Instructional Design. International Perspectives on UDL: Routledge.