[Computer-based training (CBT) in an undergraduate medical curriculum]

 Josef Smolle <sup>1

1</sup> Medizinische Universit?t Graz, Institut f?r Medizinische Informatik, Statistik und Dokumentation, Graz, ?sterreich

Abstract

Background: Computer based training (CBT) is based on chunking of the learning content and follows a highly structured instructional design. The question is addressed whether verbally expressible knowledge can be acquired by CBT in a learning content example in human medicine.

Methods: 43 students of human medicine (31 females, 12 males) studied a CBT learning object on general tumour pathology comprising 32 frames for three times and wrote short essays on the topic. The main goal was to assess the increase of the frequency of terms and concepts of general tumour pathology between the essays as determined by content analysis.

Results: Frequency analysis showed 28 +- 25 hits in the first, 40 +- 19 hits in the second and – after two weeks intermission – 35 +- 17 hits in the third essay, with the increase being highly significant (p < 0.01) The hits in the essay correlated significantly with the performance in the CBT learning object. In the qualitative feedback, positive remarks prevailed (p < 0.01).

Conclusion: Computer based training does not simply drill the performance in predefined frames, but facilitates the achievement of knowledge which can be verbally expressed. Performance of the individual student in the CBT learning objects is significantly correlated to the quality of the short essay on the same topic.

---

---

Einleitung

Computer-based Training (CBT) geh?rt zu den tutoriellen Methoden und hat sich aus der Tradition des programmierten Lernens entwickelt. Gemeinsam mit diesem hat es das Chunking, d.h. die Untergliederung des Lernstoffs in kleine Einzelschritte [1]. In Anlehnung an die verzweigten Programme von Crowder ("branching tutorial programs“) [2] bietet jeder Auswahlframe im CBT mindestens zwei Optionen, von denen eine die richtige ist. Ein entscheidender Punkt im Gegensatz zum behaviouristischen ?ben nach Skinner [2] ist die differenzierte R?ckmeldung mit einer entsprechenden Begr?ndung und weiterf?hrenden Hinweisen.

An der Medizinischen Universit?t Graz (MUG) werden seit 2003 systematisch CBT-Lernobjekte entwickelt [3]. Diese Lernobjekte bestehen in der Regel aus 10 – 30 Frames. Derzeit sind an der MUG mehr als 500 CBT-Lernobjekte in Gebrauch. Voruntersuchungen haben ergeben, dass Lernstoff, der ?ber CBT vermittelt wurde, in Multiple-Choice-Tests signifikant besser gekonnt wurde als der zum Vergleich herangezogene Pr?senzunterricht [4].

Die vorliegende Studie geht der Frage nach, ob es lediglich zu einem Drill von Frames kommt oder ob durch CBT sprachlich ausdr?ckbares, explizites Wissen erworben werden kann.

Methoden

Studiendesign

Den an der Studie teilnehmenden Studierenden wurde ein Stoffgebiet aus der Humanmedizin (Allgemeine Tumorpathologie [5]) ausschlie?lich durch ein CBT-Lernobjekt mit 34 Frames vermittelt und der damit erreichbare Wissenszuwachs untersucht. Zu jeder Auswahl bot das Programm ein differenziertes, inhaltlich weiterf?hrendes Feedback. Erst nach richtiger Bearbeitung gelangte man zum n?chsten Frame. Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2] zeigen ein Frame-Beispiel. Das Vorhaben wurde der zust?ndigen Ethikkommission gemeldet, die keinen Einwand erhob.

Kohorte

An der Studie nahmen 43 Studierende (31 Frauen, 12 M?nner) im Rahmen eines freien Wahlfachs im Studium Humanmedizin teil.

Intervention

Der Ablauf der Studie war f?r alle teilnehmenden Personen gleich: Verfassen des ersten Short Essays, zweimalige Absolvierung des CBT-Lernobjekts, Verfassen des zweiten Short Essays, optionale Formulierung von Feedback, zwei Wochen Pause, Verfassen des dritten Short Essays, einmalige Absolvierung des CBT-Lernobjekts, und nochmalige optionale Formulierung von Feedback. Das Lernobjekt und das Arbeitsformular wurden digital ?ber das Lernsystem VMC (Virtueller Medizinischer Campus) der Medizinischen Universit?t Graz bereit gestellt. Die Studierenden bearbeiteten den Arbeitsauftrag einschlie?lich Short Essays und Feedback Zeit- und Orts-unabh?ngig an ihren eigenen Arbeitspl?tzen und ?bermittelten das ausgef?llte elektronische Formular an den Studienleiter. Die Vorgabe f?r die Short Essays war "10 – 20 Zeilen“, ggf. in Stichw?rtern. F?r das Feedback gab es lediglich den Hinweis „Anmerkungen aus Ihrer pers?nlichen Erlebnissicht (optional)“ im Arbeitsblatt. In den Short Essays wurde die Frequenz von Begriffen und Konzepten der allgemeinen Tumorpathologie mittels Inhaltsanalyse manuell durch den Studienleiter ausgewertet. Die Inhaltsanalyse bezog sich auf die Liste der Begriffe, die im CBT-Lernobjekt angesprochen wurden. Bei den CBT-Absolvierungen wurden Trefferquote und Zeitaufwand protokolliert. Die Feedbacks wurden wiederum mittels Inhaltsanalyse anhand einer vorab definierten Liste von Kategorien untersucht.

Zielgr??en

Hauptzielgr??e war der Zuwachs der Frequenz an Begriffen und Konzepten der Allgemeinen Tumorpathologie vom ersten zum dritten Short Essay. Nebenzielgr??en waren die Unterschiede zwischen allen drei Essays, die Entwicklung der Trefferquoten in den CBT-Durchg?ngen, der Zeitaufwand, das qualitative Feedback und schlie?lich die Zusammenh?nge dieser Merkmale untereinander.

Fallzahlabsch?tzung

Bei einer Standardabweichung von 10.6 f?r die Differenz zwischen erstem und drittem Essay bei der Frequenzanalyse, ermittelt aus einer ersten Stichprobe von 15 Probanden, und dem Ziel, einen durchschnittlichen Zuwachs von 5 zu erfassen (alpha = 0.05, beta = 0.10), errechnete sich eine Mindestfallzahl von 40 [6].

Statistik

Die Hauptzielgr??e wurde mit einem t-Test f?r gepaarte Stichproben untersucht. Abgesehen von Basisstatistik (Mittelwert, Standardabweichung) wurden f?r die Nebenzielgr??en weiters die lineare Korrelation nach Pearson und der Wilcoxon-Test angewandt. Die statistischen Untersuchungen wurden mit dem SPSS f?r Windows 11.0-Programmpaket (SPSS Inc., Sunnyvale, USA) durchgef?hrt [7].

Ergebnisse

Trefferquoten

Vom ersten zum zweiten und vom ersten zum dritten – nach 2 Wochen erfolgten – Durchgang ergaben sich jeweils hoch signifikante Steigerungen (siehe Tabelle 1 [Tab. 1]), vom zweiten zum dritten dagegen eine leichte Verschlechterung. Im dritten Durchgang waren die Ergebnisse der Frauen signifikant besser als die der M?nner. Das Ausma? der Verbesserung der Trefferquote vom ersten zum dritten Durchgang korrelierte negativ mit der Trefferquote des ersten Durchgangs (p < 0.001).

Zeitbedarf

Der Zeitbedarf war f?r den ersten Durchgang am gr??ten, f?r den zweiten am geringsten (siehe Tabelle 1 [Tab. 1]), wobei die Unterschiede zwischen allen drei Durchg?ngen signifikant waren. In allen Durchg?ngen korrelierte der Zeitaufwand negativ mit der erzielten Trefferquote (r < 0.01).

Short Essays

Die Frequenzanalyse der Begriffe und Konzepte der allgemeinen Tumorpathologie in den Short Essays (siehe Tabelle 1 [Tab. 1]) ergab eine hochsignifikante Verbesserung zwischen erstem und zweitem Essay (t = 6.1, p < 0.001) und zwischen erstem und drittem Essay (t = 5.1, p < 0.001), w?hrend zwischen zweitem und drittem Essay eine eben nachweisbare Verschlechterung zu verzeichnen war (t = 2.1, p < 0.05). Bei den Frauen waren die ersten beiden Unterschiede ebenso hoch signifikant, der dritte Essay dagegen zeigte keine Einbu?e gegen?ber dem zweiten. Bei den M?nnern dagegen waren alle drei Unterschiede signifikant.

Der erste Essay zeigte eine hoch signifikante Korrelation mit der Trefferquote im ersten CBT-Durchgang (r = 0.68, p < 0.001). F?r den zweiten und dritten Durchgang war diese Korrelation deutlich geringer ausgepr?gt (r = 0.37, p < 0.05 und r = 0.45, p < 0.01).

Feedback

Generell zeigte sich ein signifikantes ?berwiegen positiver Eindr?cke gegen?ber negativen (siehe Tabelle 2 [Tab. 2]; p < 0.01). Bemerkenswert ist der Befund, dass 23 Mal der Erwerb expliziten Wissens angesprochen wurde, und dass sich 6 Personen dar?ber „?berrascht“ gezeigt hatten. Dagegen wurde 14 Mal die Meinung ge?u?ert, dass man kein verwertbares Wissen erworben h?tte. Einige Male wurde auch festgestellt, dass sich CBT gut zur ?berpr?fung vorhandenen Wissens eigne [6] und dass das bereits existierende Vorwissen eine betr?chtliche Bedeutung f?r das Abschneiden h?tte [7]. Die positiven bzw. negativen Stellungnahmen zeigten keine Korrelation mit den erzielten Leistungen der einzelnen Studierenden.

Diskussion

Die Ergebnisse zeigen wie zu erwarten eine hoch signifikante Zunahme bei den erzielten Trefferquoten im CBT-Lernobjekt, wobei dieser Trainingseffekt auch nach einer zweiw?chigen Pause noch nachweisbar war. Weniger selbstredend ist der Zuwachs an explizitem Wissen, der sich in der Inhaltsfrequenzanalyse der Short Essays manifestierte. Gerade Zweifel daran, dass durch CBT explizites Wissen erworben werden kann, haben ja in den letzten Jahrzehnten die behaviouristischen Konzepte nach Skinner in Misskredit gebracht [2]. Das positive Ergebnis unserer Studie k?nnte darauf zur?ckzuf?hren sein, dass durch die differenzierten R?ckmeldungen im Sinne von Musch eine kognitivistische Wissensverarbeitung in Gang gesetzt wurde [8]. Bessere Lernergebnisse f?r die weiblichen Teilnehmerinnen, wie sie diese Studie gerade bei den Short Essays nach einem zweiw?chigen Intervall zeigt, wurden zwar auch andernorts beobachtet, konnten aber z.B. nicht durch unterschiedliche Lernstile erkl?rt werden [9].

Eindrucksvoll ist die hohe Korrelation zwischen dem Inhaltsreichtum der Essays und der Trefferquote im CBT. Dies zeigt, dass die Performanz im CBT in engem Zusammenhang mit dem vorhandenen expliziten Wissen zum Thema steht und somit zur Wissens?berpr?fung geeignet ist. Die geschlossenen Aufgabenstellungen im CBT und die offene in den Short Essays weisen Parallelen zur Studie von Schuwirth et al. (1996) [10] auf. Dieser verglich Multiple-Choice-Fragen mit offenen Kurzantwortfragen und fand dabei eine hohe Korrelation zwischen beiden Testverfahren, wobei der Cueing-Effekt der Multiple-Choice-Fragen geringer war als erwartet. Die Zusammenh?nge zwischen Leistung im CBT und aufgewandter Zeit – je geringer die Performanz, desto gr??er der Zeitaufwand – illustrieren das je nach Vorwissen individuelle Lerntempo.

In der pers?nlichen Einsch?tzung des Lernens mit CBT durch die Studierenden f?llt die wiederholte Anmerkung, dass explizites Wissen erworben wurde und dass mancher dar?ber "?berrascht“ war, auf. Allerdings ist auch festzuhalten, dass die Angaben im Feedback nicht mit den Leistungsdaten korrelieren – somit der subjektive Eindruck des Lernerfolgs oder Lernmisserfolgs nicht Ausdruck des objektivierbaren Ausma?es derselben ist. Dass lediglich viermal explizit "Freude“ ausgedr?ckt wurde, k?nnte mit der gew?hlten Form des optionalen Feedbacks anstelle eines standardisierten Fragebogens zusammenh?ngen. Auch Motivation und Computervorkenntnisse d?rften eine Rolle spielen. Insgesamt ?berwiegen die positiven Aussagen jedoch deutlich gegen?ber den negativen. Bei einer fr?heren standardisierten Befragung von mehr als 900 Studierenden nach einem virtuellen Eingangssemester erhielt CBT mehr als 90 % positive Einsch?tzungen [11].

CBT in der gew?hlten Form scheint nach diesen Befunden ein gangbarer Weg zur Wissensvermittlung zu sein. Zur weiteren Evidenz-basierten Entwicklung von E-Learning-Modellen wird es aber notwendig sein, randomisierte Vergleichsuntersuchungen zwischen dem CBT einerseits und alternativen E-Learning-Methoden andererseits, aber auch gegen?ber traditionellen Formaten (Vorlesung, problembasiertes Lernen, Printmedien) durchzuf?hren. Unter den E-Learning-Methoden werden vor allem das kollaborative Arbeiten im Netz [12], [13], [14] und die Patienten-orientierten Systeme auf der Basis des "goal-based scenarios“ [15], [16] zu ber?cksichtigen sein. Interessant ist in diesem Zusammenhang die aktuelle Feststellung von Grunwald, dass aufw?ndige Produktionen nicht unbedingt h?here Lerneffizienz bringen als einfache Lernobjekte [17].

Schlussfolgerungen

Unsere Ergebnisse weisen darauf hin, dass Computer-based Training mit differenzierten R?ckmeldungen nicht nur zum Drillen von Frames, sondern auch zum Aufbau expliziten Wissens geeignet ist, und dass eine entsprechende subjektive Akzeptanz seitens der Studierenden gegeben ist. Vergleichsstudien hinsichtlich Aufwand und Ergebnissen bei anderen E-Learning-Formaten sind jedoch notwendig, um eine Evidenz-basierte didaktische Weiterentwicklung gew?hrleisten zu k?nnen.

Danksagung

Frau Pamela Bauer sei f?r die exakte Aufbereitung des Datenmaterials gedankt.

---

Literatur

[1] Orwig GW. Creating computer programs for learning. Reston, Virginia: Reston Publishing Company, Inc.; 1983.
[2] Niegemann HM, Hessel S, Hochscheid-Mauel D, Aslanski K, Deimann M, Kreuzberger G. Kompendium e-Learning. Berlin, Heidelberg: Springer; 2004.
[3] Smolle J, Staber R, Jamer E, Reibnegger G. Aufbau eines universit?tsweiten Lern- Informationssystems parallel zur Entwicklung innovativer Curricula - zeitliche Entwicklung und Synergieeffekte. In: Tavangarian D, N?lting K, editors. Auf zu neuen Ufern - E-Learning heute und morgen. M?nster, New York, M?nchen, Berlin: Waxmann. 2005:217-226.
[4] Smolle J, Staber R, Neges H, Reibnegger G. Computer-based training in dermatooncology - a preliminary report comparing electronic learning programs with face-to-face teaching. J Dtsch Dermatol Ges. 2005;3(11):883-888.
[5] B?cker W, Kleihues P, H?fler HK, Lax S, Poremba C, Moll R. Allgemeine Tumorpathologie. In: B?cker W, Denk H, Heitz PU, editors. Pathologie. M?nchen, Jena: Urban & Fischer. 2004:169-218.
[6] R?ssler P. Inhaltsanalyse. Konstanz: UVK Verlagsgesellschaft; 2005.
[7] Brosius F. SPSS 8.0. Professionelle Statistik unter Windows. Bonn: MITP-Verlag; 1998.
[8] Musch J. Die Gestaltung von Feedback in computergest?tzten Lernumgebungen: Modelle und Befunde. Z Padagog Psychol. 1999;13:148-160.
[9] Cook DA, Thompson WG, Thomas KG, Thomas MR, Pankratz VS. Impact of self-assessment questions and learning styles in web-based learning: a randomized, controlled, cross-over trial. Acad Med. 2006;81(3):231-238.
[10] Schuwirth L, van der Vleuten CP, Donkers HH. A closer look at cueing effects in multiple-choice questions. Med Educ. 1996;30(1):44-49.
[11] Smolle J, Neges H, Staber R, Macher S, Reibnegger G. Virtuelles Eingangssemester im Studium der Humanmedizin. Kontext, Nutzung, Ergebnisse. In: Seiler Schiedt E, K?lin S, Sengstag C, editors. E-Learning - alltagstaugliche Innovation? M?nser, New York, M?nchen, Berlin: Waxmann. 2006:287-295.
[12] Balzer E, M?hlpfordt M. Die ALBA-Suite. In: M?nzer S, Linder U, editors. Gemeinsam Online Lernen. Vom Design bis zur Evaluation kooperativer Online-?bungen. Bielefeld: W. Bertelsmann Verlag. 2004:74-90.
[13] M?nzer S, Linder U, Hoffmann A, Balzer E. Gemeinsam online Lernen: Das Prozessmodell f?r Konzeption, Durchf?hrung und Qualit?tssicherung. In: M?nzer S, Linder U, editors. Gemeinsam Online Lernen. Vom Design bis zur Evaluation kooperativer Online-?bungen. Bielefeld: W. Bertelsmann Verlag 2004:92-223.
[14] H?fele H, Maier-H?fele K. 101 e-le@rning Seminarmethoden. Bonn: Manager Seminare Verlags-GmbH; 2004.
[15] M?ller C, Boeker M, Cla?en J, Klar R, Lutterbach J. Oncocase - Fallbasiertes Lernen in der Neuroonkologie. GMS Z Med Ausbild. 2006;23(1):Doc07.
[16] Sch?fer A, Cla?en J. Prometheus - Ein interbasiertes Lernmanagementsystem f?r die medizinische Aus- und Weiterbildung. GMS Z Med Ausbild. 2006;23(1):Doc03.
[17] Grunwald T, Corsbie-Massay C. Guidelines for cognitively efficient multimedia learning tools: educational strategies, cognitive load, and interface design. Acad Med. 2006;81(3):213-223.