Ergebnisse der zweiten Evaluation

VR-Anwendung versus Schulungs-Video

Einleitung

Dieser Text fasst Teile der Ergebnisse der zweiten Evaluationsstufe des Projekts ARsuL zusammen. Er wurde auf Grundlage des Dokuments “Auswertung der durchgeführten Tests–Teil VR & Lern-App” (Deliverable 7.2) der Autoren Jennifer Beckmann, Katharina Menke und Peter Weber erstellt.

Die Evaluation II des ARSuL-Projektes gliedert sich in mehrere Teilbereiche. Zum einen wurde die VR-Anwendung im Vergleich mit einem Lernvideo getestet, zum anderen wurde die entwickelte Lern-App evaluiert. Inhalt dieses Dokuments ist die Evaluation der VR-Anwendung.

Ablauf Evaluation II

Für die zweite Evaluationsrunde im Projekt ARSuL hat sich das Projektkonsortium darauf geeinigt, ein VR-Training gegen ein klassisches Lernvideo zu testen. Lernvideo und VR-Training behandelten somit denselben Lerngegenstand. Hierbei sollte die Frage geklärt werden, ob eine in einer VR-Umgebung durchgeführte Schulung im Bezug auf den Wisseneserwerb einen Vorteil gegenüber einem klassischen Schulungs-Video besitzt.

Das Lernvideo wurde dabei von Vaillant bereitgestellt. Ein erfahrener Trainingsingenieur erklärt darin am Gerät wie die Inbetriebnahme des ecoTEC exclusive von Vaillant abläuft. Das für Evaluation II genutzte Evaluationskonzept stützt sich stark auf das bereits in Evaluationsrunde I angewandte Konzept.

Die Evaluation wurde in drei der Handwerkskammer angeschlossenen Bildungszentren mit Auszubildenden durchgeführt. Um den Wissenzuwachs der Probanden zu testen, wurde ihr Wissen jeweils vor und nach der Trainingsheinheit (also vor/nach dem Durchlaufen der VR-App bzw. Betrachten des Schulungs-Videos) abgefragt. Alle Befragungen, außer den Pre- und Post-Wissens-Tests für VR bzw. für das Lernvideo, waren papierbasiert. Die genannten Pre- und Post-Wissens-Tests waren semi-praktisch: Mithilfe genauer Leitfäden, einiger Bauteile und einem Poster des ecoTEC exclusive ermittelten vorab geschulte Projektmitarbeiter/innen den Wissensstand jeweils vor und nach dem ersten Training.

Demografie

An der Studie nahmen insgesamt 41 Probanden teil, die alle männlich waren. Das Durchschnittsalter betrug 22,3 Jahre (eine Person gab ihr Alter nicht an), der jüngste Proband war 18 und der älteste 38 Jahre alt. Als höchsten Schulabschluss gaben 21 der Befragten (51,2%) einen Realschulabschluss, 16 (39%) einen Hauptschulabschluss, 3 (7,3%) die allgemeine Hochschulreife und eine Person Ökonom an. Im Durchschnitt gaben die Studienteilnehmer eine Note von 2,9 in den Fachkunde-Fächern an (5 Personen machten keine Angabe), wobei einige der Befragten dies nicht eindeutig notierten.

Bewertung

Die Probanden schätzten für das VR-Training und das Training mit dem Video den Nutzen für ihre Arbeit bzw. ihren Beruf ein (5-Punkt-Likert-Skala) und beantworteten mehrere weitere Fragen zu ihrer persönlichen Lernerfahrung. Die Abbildung unten fasst die Bewertungen für die folgenden drei Aussagen zusammen:

1.„Das Training hat mir generell gefallen.“ (Gefallen)

2.„Ich finde das Training nützlich für meinen Beruf.“ (Nützlichkeit)

3.„Ich kann mir vorstellen einen Großteil meines Ausbildungs-/Weiterbildungs-Lernstoffs mit (VR-Training / Lernvideo) zu lernen.” (Nutzungsbereitschaft)

Allgemein sind die Ergebnisse für die obigen Aussagen sehr nah beieinanderliegend (siehe Abbildung unten). Die Probanden zeigen dabei bezogen auf Nützlichkeit und Nutzungsbereitschaft eine Präferenz für das Videotraining, während beim Gefallen VR vorne liegt. Eine mögliche Erklärung für diese Auffassung könnte die fehlende Erfahrung mit der VR-Technologie, vor allem im Zusammenhang mit der Ausbildung, und das damit verbundene neue Erlebnis sein. Da 73,2% der Teilnehmer noch nie eine VR-Anwendung getestet haben und die Probanden, die bereits Erfahrungen gemacht haben, VR aus dem Bereich der Unterhaltung und des Gamings kennen, könnte die VR-Technologie in diesem Kontext (auch) aufgrund der Abwechslung positiver bewertet werden.

{{ .Text }}
Positive Erfahrung, Nützlichkeit und Nutzungsbereitschaft für VR und Lernvideo

Lernerfolg

Wie bei der ersten Evaluation des Projektes wurde hier der subjektive sowie der objektive Lernerfolg der Probanden gemessen. Dazu wurde mithilfe von Wissenstests (Pre-/ Post-Test) der objektive und mithilfe des Trainings Evaluations Inventar nach Ritzmann et al. (2014) der subjektive Lernerfolg gemessen.

VR-Training und Video

Aus organisatorischen Gründen war es nicht möglich, den Lernerfolg der Probanden basierend auf dem Lerntransfer in einem Praxistest an einer realen Heizungsanlage zu beurteilen. Daher wurde im Falle von VR und dem Einsatz des Videos ein Test entwickelt, der mündlich mithilfe von Bauteilen und einem Poster mit der Innenansicht der Heizung durchgeführt wurde. Jeder Proband wurde einzeln von einem Mitglied des Projektteams getestet und sollte beispielsweise mit einzelnen Bauteilen der Heizung zeigen, wie diese angeschlossen werden. Zur Bestimmung des Wissenszuwachses jedes Probanden gab es einen Pre- und einen Post-Test, die inhaltlich identisch waren (Maximalpunktzahl 29) und jeweils vor und nach dem ersten Training durchgeführt wurden. Der Unterschied zwischen den beiden Tests stellt den Wissenszuwachs dar. Die Fragen sowie die Musterlösung wurden mit Hilfe eines erfahrenen Schulungsingenieurs (Vaillant) erstellt. Die Auswertung wurde ebenfalls vom selben Ingenieur durchgeführt. Die nachfolgende Tabelle und Abbildung geben einen Überblick über die Ergebnisse.

{{ .Text }}
Ergebnisse der Pre- und Posttests (Punkte)

{{ .Text }}
Vergleich der durchschnittlich erreichten Punkte

Wissenszuwachs

Für die Untersuchung des Wissenszuwachses wird die Differenz zwischen dem Wissens-Pre- und Post-Test berechnet. Gemäß Shapiro-Wilk-Test haben sich sowohl die Pre- als auch die Postergebnisse für das Lernvideo als normalverteilt erwiesen (Pre: W=0,93806; p=0,1995; Post: W=0,93547; p=0,1771). Die Differenz zwischen den Pre- (M=12,05; SD=3,905) und Postwerten (M=18; SD=2,168) wurden mithilfe eines gepaarten t-Tests ermittelt und hat sich als signifikant (F=37.3; df=1; p<0.001) erwiesen. Für die VR-Anwendung hat sich keine Normalverteilung der Daten ergeben (Pre: W=0,90266; p=0,04; Post: W=,82432; p=0,002). Eine logarithmische Transformation hat dies nicht lösen können, weshalb es sich generell empfiehlt einen nichtparametrischen Test anzuwenden (z.B. Wilcoxon-Test). Allerdings haben sich die Daten als ungeeignet hierfür erwiesen und es wurde stattdessen ebenfalls ein gepaarter t-Test angewandt. Die Ergebnisse zeigen einen signifikanten Unterscheid (F=22,852; df=1; p< 0,001) zwischen den Pre- (M=12,9; SD=3,243) und Post-Werten (M=16,95; SD=2,212).

Nach dem Eliminieren von Ausreißern bei den VR-Daten (ein Proband zeigte eine Verbesserung von 4 auf 19 Punkte), erwies sich die Differenz (Post-Pre) der VR-Anwendung als normalverteilt (W=0,96365; p=0,646). Die Differenz zwischen dem Wissenszuwachs des Lernvideos und dem der VR-Anwendung war jedoch nicht normalverteilt nach Shapiro-Wilk-Test (W=0,9343; p=0,02011). Eine logarithmische Transformation der Daten hat dies nicht ändern können. Somit wurde ein nicht-parametrischer Test (Mann-Whitney) angewandt. Die Hypothesen lauten somit wie folgt:

  • H0: Die durchschnittliche Differenz zwischen Pre- und Post-Tests von VR ist gleich oder größer als die des Lernvideos (gemessen in Punkten).

  • H1: Die durchschnittliche Differenz zwischen Pre- und Post-Tests von VR ist kleiner als die des Lernvideos (gemessen in Punkten).

Mit einem Ergebnis von W=134 und p=0,0476 ist der Unterscheid zwischen dem Wissenszuwachs vom Lernvideo und dem der VR-Anwendung signifikant. Die H0-Hypothese wird somit verworfen, womit der Lerneffekt des Lernvideos signifikant größer (besser) ist. Obwohl der durchschnittliche Pre-Wissenstand der Probanden beim Lernvideo geringer war als bei VR (Lernvideo=12,05; VR=12,90) haben die Teilnehmer im Post-Wissenstest besser abgeschnitten (Lernvideo=18,00; VR=16,95) – der Wissenszuwachs bezogen auf das Lernvideo ist größer. Hinzu kommt, dass bei der VR Anwendung mehr Beteiligte bereits Vorerfahrung mit der Installation hatten als beim Lernvideo.

Diskussion der Ergebnisse und Ausblick

Aus den Ergebnissen kann man nicht ableiten, dass klassische Videos entsprechenden VR-Anwendungen grundsätzlich überlegen sind. Dazu muss berücksichtigt werden, dass die Anzahl der Probanden realtiv gering war. Außerdem existieren noch keine umfangreichen Erfahrungen in der Entwicklung von entsprechend effektiven VR-Anwendungen. Daher ist zu ewarten, dass der Lern-Effekt in VR durch eine Optimierung des VR-Erlebnisses verbessert werden kann. Zudem ist die VR-Anwendung insbesondere für jüngere Anwender interessant, was natürlich die Bereitschaft steigert sich mit einer Lernanwendungs zu beschäftigen.

Trotzdem ist deutlich geworden, dass der Einsatz einer VR-Anwendung kein “Selbstläufer” ist! Allein durch die prinzipelle Möglichkeit selbst in der Anwendung aktiv werden zu können, kann nicht automatisch ein verbesserter Lerneffekt erreicht werden. Offensichtlich ist “Lernen durch Zuschauen” ein sehr effektives Prinzip. Interessant wäre es daher die beiden Ansätze zu verknüpfen, also z.B. in VR einem Techniker bei der Montage/Reparatur zuschauen und dabei seine eigene Zuschauer-Perspektive frei wählen zu können. Interessant wäre weiterhin zu untersuchen, durch welche Maßnahmen der Lerneffekt in der VR-Anwendung gesteigert werden kann.