Einsatz eines fallbasierten Computerpr?fungsinstruments in der klinischen Lehre

Veronika Kopp ¹
Sibyl Herrmann ¹
Tim M?ller ¹
Petra Vogel ²
Hubert Liebhardt ³
 Martin R. Fischer <sup>1

1</sup> Klinikum der Universit?t M?nchen, Medizinische Klinik - Innenstadt, M?nchen, Deutschland
² Institut f?r medizinische und pharmazeutische Pr?fungsfragen (IMPP), Mainz, Deutschland
³ Studiendekanat der medizinischen Fakult?t, Universit?t Ulm, Deutschland

Zusammenfassung

In der vorliegenden Studie wurde die Akzeptanz des fallbasierten Pr?fens am Computer erhoben. 32 Studierende bearbeiteten zwei computerbasierte Pr?fungsf?lle und beantworteten die darin gestellten Fragen. Dabei wurde das Antwortformat dieser Fragen variiert: eine Bedingung bestand aus Multiple-Choice (MC) Fragen, die andere aus Freitext-Fragen. Im Anschluss daran hatten die Studierenden einen Fragebogen zu beantworten. Es zeigte sich, dass die Studierenden fallbasierten Pr?fungen am Computer nicht ablehnend gegen?berstehen. Auch das Pr?fungsinstrument, eine Modifikation des computerbasierten Lernsystems CASUS, wurde akzeptiert - in der Bedingung mit MC-Fragen in h?herem Ma?e als mit Freitext-Fragen. Hohe Akzeptanz fand sich beim Lernen mit Computern. Bei der Einsch?tzung des Schwierigkeitsgrads der beiden Formate empfanden die Probanden das Bearbeiten von MC-Fragen als leichter als das Beantworten offener Fragen.

Insgesamt ermutigen die Akzeptanzdaten zu einem Einsatz von computerbasierten F?llen mit CASUS im Rahmen von fakult?tsinternen Pr?fungen.

---

---

Einleitung

Um die Qualit?t medizinischer Versorgung zu sichern, bedarf es der Ausbildung kompetenter ?rzte. ?rztliche Kompetenz besteht nicht nur aus umfangreichem medizinischen Fachwissen, sondern zudem aus klinischen und technischen Fertigkeiten und professionellen Einstellungen [1], [2]. Die Schulung dieser F?higkeiten wird nun in einer l?ngst f?lligen Reformierung der medizinischen Ausbildung gefordert. Die bisherige medizinische Ausbildung zeigte Defizite insbesondere hinsichtlich des Praxisbezuges und der Vermittlung anwendbaren Wissens und machte in ihrer verschulten Form die Studierenden vornehmlich zu passiven Rezipienten [3]. Die am 1. Oktober 2003 in Kraft getretene neue Approbationsordnung f?r ?rzte [4] will dem durch die Forderung nach mehr Fall- und Problemorientierung in der medizinischen Ausbildung Abhilfe schaffen.

Neben der Orientierung an fall- und problemorientiertem Lernen wird auch in der Wissens?berpr?fung Fallorientierung gefordert. Die Universit?ten sind damit vor die Schwierigkeit gestellt, ein geeignetes Assessment zu entwickeln, das auf die vermittelten Inhalte abgestimmt ist und die Schl?sselkompetenzen valide misst [1]. Um den Anforderungen der neuen Approbationsordnung nach mehr Problem- und Fallorientierung gerecht zu werden, liegt es nahe, computerbasierte Pr?fungsinstrumente zum Einsatz zu bringen, die durch den Einsatz von Medien Praxisn?he standardisiert simulieren k?nnen und zudem den Organisations- und Korrekturaufwand in Grenzen halten. In der vorliegenden Studie wurde daher das Lernsystem CASUS als Pr?fungsinstrument eingesetzt. CASUS ist an mehreren medizinischen Fakult?ten in die Ausbildung integriert [5] und erfreut sich hoher Akzeptanz [6], [7]. In der vorliegenden Studie kam es zum ersten Mal als Pr?fungsinstrument zum Einsatz.

Theorie

Mit der Einf?hrung neuer Technologien seit 1980 hat sich die Akzeptanzforschung zu einem wichtigen Forschungsfeld entwickelt, da nicht alles technisch Realisierbare auch einen objektiven Gewinn f?r den Menschen verhei?t [8]. Im Zuge dessen entstanden verschiedenste Akzeptanzdefinitionen [9]. Lucke [9] definierte Akzeptanz f?r wissenschaftliche Zwecke als „die Chance, f?r bestimmte Menschen, Ma?nahmen, Vorschl?ge und Entscheidungen bei einer identifizierbaren Personengruppe ausdr?ckliche oder stillschweigende Zustimmung zu finden und unter angebbaren Bedingungen aussichtsreich auf deren Einverst?ndnis rechnen zu k?nnen". Im Zusammenhang mit der Einf?hrung neuer Technologien wird von Akzeptanz oft auch als einer Art Sozialvertr?glichkeit [10] gesprochen i.S. der „Eigenschaft einer Innovation, bei ihrer Einf?hrung positive Reaktionen der davon Betroffenen zu erreichen" [11]. Der Begriff Akzeptanz l?sst sich auf folgenden Ebenen betrachten: auf Individualebene (zwischen Student und Computerpr?fsystem), auf Organisationsebene (Implementierung an der Universit?t) und auf Gesellschaftsebene (bundesweiter Einsatz solcher Pr?fungen). Diese Studie beschr?nkt sich auf die Individualebene. Zus?tzlich unterscheidet Lucke [9] drei Komponenten, auf denen Akzeptanz basiert: auf Einstellungen und affektiven Reaktionen, auf Werten und Zielen und schlie?lich auf Handlungen. Betrachtet man Akzeptanz auf der Basis von Einstellungen und affektiven Reaktionen, werden Befunde zur Pr?fungsangst und anderen in einer Pr?fung wirksamen Emotionen wichtig. Diese haben gezeigt, dass sich Emotionen auf die Leistung auswirken, da sie die Form von kognitiven Prozessen wie Strategien der Informationsverarbeitung, des Langzeitged?chtnisses und des Arbeitsged?chtnisses sowie die Form von Motivation beeinflussen [12]. Eine grundlegende Ablehnung beim Einsatz neuer Technologien in medizinischen Pr?fungen k?nnte sich somit negativ auf die Pr?fungsergebnisse auswirken. Die handlungsorientierte Komponente der Akzeptanz dr?ckt die Bereitschaft zur Anwendung aus [9]. In der vorliegenden Studie wird das Hauptaugenmerk auf die Einstellung gelegt, da bei einem Einsatz neuer Technologien in medizinische Pr?fungen diese verpflichtend sind und somit eine Entscheidung zur Handlung nicht m?glich w?re.

Bei der Einf?hrung neuer Technologien beeinflussen nach Anstadt [13] sowohl technische als auch personale Determinanten die Akzeptanz. Eine der personalen Determinanten ist das Geschlecht, das in der vorliegenden Studie besondere Ber?cksichtigung fand.

Methoden

Untersuchungsteilnehmer und Ablauf

An der Studie nahmen 32 Studierende (17 Frauen und 15 M?nner) teil, die kurz vor dem 2. Staatsexamen standen. Das Durchschnittsalter lag bei knapp 26 Jahren (zwischen 23 und 33 Jahren). Die Teilnahme war freiwillig und wurde mit einem Honorar von 30.- € verg?tet. Die Untersuchung fand in M?nchen und in Ulm statt. Der Untersuchungszeitpunkt f?r M?nchen war Juli 2001 und M?rz 2002, f?r Ulm M?rz 2002.

In der Studie hatten sich die Studierenden mit zwei Pr?fungsf?llen im Rahmen des Computerlernprogramms CASUS auseinander zu setzen [14], wobei eine Gruppe Fragen im MC-Format erhielt und eine Gruppe Freitext-Fragen. Anschlie?end wurden die Pr?flinge gebeten, einen Fragebogen mit 14 Items zur Akzeptanz zu beantworten.

Instrumente

Fragebogen

F?r diese Untersuchung kam ein eigens f?r die Studie erstellter Fragebogen zum Einsatz, der nach Bearbeitung der beiden F?lle von den Studierenden auszuf?llen war. Erfragt wurde die Akzeptanz auf der Einstellungsebene. Im Einzelnen waren das die Akzeptanz von Lernen mit Computern allgemein (z.B. „Ich kann mir vorstellen, k?nftig ?ber Computer-Netze zu lernen"), die Akzeptanz von Pr?fungen mit dem Computer (z.B. „Computer-Lernf?lle sollten bei studienbegleitenden Pr?fungen wie z.B. Klausuren eingesetzt werden") und die Akzeptanz des Pr?fungsinstruments (z.B. „Die Bearbeitung der F?lle war abwechslungsreich"). Zudem wurden die Studierenden gebeten, die Schwierigkeit der Antwort-Formate einzusch?tzen. Die Likert-Skala reichte von 1 bis 5, wobei 1 „trifft voll und ganz zu" und 5 „trifft ?berhaupt nicht zu" bedeuten.

Fallbasiertes Pr?fungsinstrument CASUS

Untersuchungsgegenstand dieser Studie war das als Pr?fungsinstrument eingesetzte, computergest?tzte Lernsystem CASUS, das bereits seit mehreren Jahren in die medizinische Ausbildung integriert ist. Dieses Lernsystem beinhaltet multimodale Lernf?lle zu verschiedenen Krankheitsbildern und basiert auf der Didaktik des problemorientierten Lernens. Jeder Lernfall ist als realit?tsnaher Patientenfall zu verstehen, anhand dessen der Lerner Diagnose- und Therapieschleifen durchl?uft. Die F?lle bestehen aus multimodalen Elementen, Expertenkommentaren und interaktiven Elementen. Diese Elemente wurden genutzt, um verschiedene Antwortformate in den Pr?fungsf?llen zu realisieren. Die Studierenden arbeiteten in der Pr?fung einen Fall durch und hatten entweder MC- oder Freitext-Fragen zu beantworten. Nach Beantwortung der Frage bekamen die Studierenden sofort R?ckmeldung ?ber die Korrektheit ihrer Antwort, die nicht mehr ver?ndert werden konnte. So konnten alle Studierenden w?hrend der Fallbearbeitung immer wieder auf den aktuellen Wissensstand gebracht werden und aufeinander bezugnehmende Fragen gestellt werden.

Pr?fungsf?lle

Die in der Studie eingesetzten F?lle geh?ren dem Themengebiet der H?matologie/Onkologie an. Bei Fall 1 handelte es sich in der Enddiagnose um einen Morbus Hodgkin (MH), bei Fall 2 um eine Polycyth?mia vera (PV). Der MH-Fall bestand aus 5 Kapiteln mit insgesamt 28 Bildschirmkarten, die neben Text mehrere Bilder und Grafiken enthielten. Die Studierenden mussten 12 Fragen mittels MC oder Freitext-Format beantworten. Der PV-Fall setzte sich aus 4 Kapiteln mit 21 Bildschirmkarten zusammen (ebenfalls Text, Bilder und Grafiken). Es mussten 11 Fragen in beiden Antwortformaten bearbeitet werden.

Antwortformat

MC-Format

Beim MC-Format wurden die Fragen jeweils so gestellt, dass es eine richtige Antwort gab (Typ A). Diese Antwort war aus f?nf Antwortalternativen auszuw?hlen und anzukreuzen. Eine richtige Antwort erbrachte einen Punkt.

Freitext-Format

Im Freitext-Format waren die Fragen offen formuliert. Auf eine Frage gab es mehrere Antworten, die die Studierenden zu formulieren und in die daf?r vorgesehenen freien Zeilen einzutragen hatten. Die Antworten der Studierenden wurden vom CASUS-System mittels fehlertoleranter Freitextanalyse - einem Vergleich der Antwort des Studenten mit der hinterlegten Expertenantwort - bewertet. Mit dieser Analyse konnten bereits ca. 50% der richtigen Antworten erkannt werden. Im Anschluss wurden die Antworten der Studierenden manuell von einem Experten bewertet.

Auswertung

Die Auswertungen wurden mit dem Statistikprogramm SPSS durchgef?hrt. Bei der Reliabilit?tsanalyse der einzelnen Dimensionen wurde Cronbachs Alpha bestimmt. Die Mittelwertsunterschiede wurden mittels einseitiger ANOVA und t-Test f?r unabh?ngige Stichproben auf Signifikanz ?berpr?ft.

Ergebnisse

?berpr?fung der Reliabilit?t

F?r die Skala zur Erfassung der „Akzeptanz von Pr?fungen mit Computern", die aus zwei Items bestand, ergab sich eine Reliabilit?t von α = .84 (nach Cronbach). Die Skala „Akzeptanz von Lernen mit Computern" wurde mit 4 Items erhoben und hat eine Reliabilit?t von α = .77. Zudem wurde die Skala „Akzeptanz des Pr?fungsinstruments" erfasst. Diese Skala umfasste sechs Items. Es ergab sich eine Reliabilit?t von α = .71. Hinsichtlich der Einsch?tzung der „Schwierigkeit des Antwortformats" betrug die Reliabilit?t der beiden Items α = .79.

Akzeptanz

In der vorliegenden Studie ging es haupts?chlich um die Akzeptanz der Studierenden hinsichtlich des Einsatzes von Pr?fungen am Computer und um die Akzeptanz des Pr?fungsinstruments CASUS und die Akzeptanz des Lernens mit Computern allgemein. Im Folgenden werden die einzelnen Skalen genauer betrachtet (vgl. Tabelle 1 [Tab. 1]).

Akzeptanz von Lernen mit Computern

Allgemein war die Akzeptanz hinsichtlich des Lernens mit computerbasierten Lernprogrammen in der untersuchten Gruppe hoch. Der Mittelwert von allen Studierenden betrug 1.7 (SD = 0.7).

Akzeptanz von fallbasierten Pr?fungen am Computer

In dieser Skala wurde gefragt, inwiefern die Studierenden dem Einsatz von fallbasierten Pr?fungen am Computer zustimmen. In der Gesamtgruppe ergab sich ein Mittelwert von 2.8 (SD = 1.1). Betrachtet man die einzelnen Items genauer, zeigt sich folgendes Bild: bei der Fragestellung, ob Computer-Lernf?lle bei studienbegleitenden Pr?fungen wie z.B. bei Klausuren eingesetzt werden sollten, ergab sich ein Mittelwert von 2.6 (SD = 1.2). Die H?ufigkeiten verteilen sich dabei wie in Abbildung 1 [Abb. 1] wiedergegeben. Die H?lfte der 32 befragten Studierenden stimmen dieser Aussage v?llig oder mit leichten Einschr?nkungen zu. Acht Studierende sind unentschlossen, sechs Studierende stimmen dieser Aussage eher nicht und zwei gar nicht zu.

Bei der Frage nach dem Einsatz von Computer-Lernf?llen im Staatsexamen war die Akzeptanz geringer. Der Mittelwert lag bei 3.0 (SD = 1.3). 11 Studierende waren daf?r, Computer-Lernf?lle auch im Staatsexamen einzusetzen. 11 Studierende waren unentschieden und die restlichen 10 Studierenden sprachen sich dagegen aus. Wenngleich die Akzeptanz im Vergleich zur Frage nach dem Einsatz in Klausuren geringer ist, entspricht der Mittelwert dem statistischen Mittel. Ein Drittel der Studierenden ist offensichtlich eindeutig gegen den Einsatz von Computer-Lernf?llen in Staatsexamina.

Zus?tzlich interessierte, inwieweit die Akzeptanz abh?ngig von den beiden Antwortformaten ist. Im MC-Format lag die Zustimmung im Mittel bei 2.6 (SD = 1.2). Im Freitext-Format stimmte der Mittelwert (M = 3.0; SD = 1.1) mit dem statistischen Mittel ?berein. Der Unterschied zwischen den Gruppen ist nicht signifikant (F(1,30) < 1.0; n.s.). Da die Stichprobe jedoch relativ klein ist, wurde zus?tzlich die Effektst?rke bestimmt [15]. Diese betr?gt d = .34, was einem schwachen Effekt entspricht.

Akzeptanz des Pr?fungsinstruments

Bei dieser Dimension interessierte die Frage, inwiefern die Studierenden die Art der Pr?fung, die Bearbeitung von F?llen und die Orientierung an realen Problemsituationen, abwechslungsreich und anregend finden. Der Mittelwert lag bei 2.0, die Streuung war gering (SD = 0.6). Betrachtet man die einzelnen Gruppen getrennt nach der Art des Antwortformats zeigt sich Folgendes: In der MC-Gruppe ergab sich ein Mittelwert von 1.8 (SD = 0.6). Die Akzeptanz des Pr?fungsinstruments war demnach unter MC-Bedingungen recht hoch. In der Freitext-Bedingung war die Akzeptanz etwas geringer (M = 2.2; SD = 0.5), lag aber immer noch ?ber dem statistischen Mittel. Der Unterschied zwischen diesen beiden Gruppen ist nicht signifikant (F (1,30) = 4.8; n.s.), aber praktisch bedeutsam (d = .80).

Geschlechtsunterschiede

Signifikante Unterschiede zwischen Frauen und M?nnern lassen sich bei den einzelnen Skalen zur Akzeptanz nicht feststellen (Akzeptanz von fallbasierten Pr?fungen am Computer: F(1,30) < 1; Akzeptanz von Lernen mit Computern: F(1,30) = 1.1; n.s.; Akzeptanz des Pr?fungsinstruments: F(1,28) < 1). Lediglich beim Lernen mit Computern zeigt sich ein schwacher Effekt (d = .37): M?nner lernen dem Befund zufolge etwas lieber mit Computern als Frauen.

Subjektive Einsch?tzung des Schwierigkeitsgrads

Neben den bereits beschriebenen Akzeptanzma?en wurden zudem Fragen zu den eingesetzten Antwortformaten gestellt. Hier stand vor allem die Einsch?tzung des Schwierigkeitsgrads im Zentrum. Die Studierenden sollten einsch?tzen, wie schwer sie die Beantwortung der Fragen im jeweiligen Format empfanden. Die MC-Bedingung wurde von den Studierenden im Mittel mit 1.8 (SD = 0.6) eingesch?tzt. Die Studierenden empfanden die Beantwortung der MC-Fragen als leicht. In der Freitext-Bedingung betrug der Mittelwert dieser Skala 3.6 (SD = 0.9). Die Studierenden empfanden das Bearbeiten der Fragen eher als schwer. Hier zeigte sich ein signifikanter Unterschied zwischen den beiden Gruppen (F(1,29) = 47.1; p < .01). Dieser Effekt hat auch praktische Relevanz (d = 2.48).

Objektive Einsch?tzung des Schwierigkeitsgrads

Ein Vergleich im Abschneiden der Studierenden in den einzelnen F?llen im jeweiligen Format ergab Folgendes:

Die Gruppe, die MC-Fragen zu beantworten hatte, erzielte im ersten Fall durchschnittlich 63.0% (SD = 21.6) und im zweiten Fall 74.5% (SD = 20.1) richtige L?sungen.

Die Studierenden der Freitext-Bedingung erreichten im ersten Fall im Schnitt 62.2% (SD = 15.5) und im zweiten 51.1% (SD = 18.5). Ein deutlicher Unterschied zwischen der Performanz der beiden Gruppen ist nur beim zweiten Fall festzustellen (t(27,8) = 3,33; p < .01).

Diskussion

Insgesamt zeigte sich, dass die Studierenden Lernen mit Computern und computerbasierte Lernf?lle in hohem Ma?e akzeptieren. Dieser Befund geht einher mit Ergebnissen anderer Studien [16], in denen die hohe Beliebtheit auf Orts- und Zeitunabh?ngigkeit des Lernens, frei w?hlbare Lerneinheiten und ein individuelles Lerntempo zur?ckgef?hrt wurde [16]. Einschr?nkend muss gesagt werden, dass es in der vorliegenden Studie zu einer Positiv-Selektion gekommen sein kann, da sich die Studierenden freiwillig zur Teilnahme an der Untersuchung meldeten.

Die Durchf?hrung von fallbasierten Pr?fungen am Computer wird von den Studierenden in mittlerem Ausma? akzeptiert, bei Klausuren etwas mehr als beim Staatsexamen. Dieser Befund darf insofern als positiv interpretiert werden, als diese Art der Pr?fungsdurchf?hrung g?nzlich neu ist und eine v?llige Ablehnung durchaus denkbar gewesen w?re. Die Akzeptanz fallbasierter Pr?fungen am Computer wurde (trotz Freitext-Problem bei der Erkennung) nicht von den Antwortformaten beeinflusst.

Die Akzeptanz des Pr?fungsinstruments war jedoch sehr wohl vom Antwortformat abh?ngig: Studierende des MC-Formats akzeptierten dieses Pr?fungsinstrument eher als dies Studierende mit Freitext-Format getan haben. Dieser Befund ist insofern wichtig, als durch den Einsatz des MC-Formats die Akzeptanz erh?ht werden kann. M?gliche Gr?nde k?nnen zum einen das Freitexterkennungssystem der Antworten sein, welches nicht immer alle richtigen Antworten auch als richtig erkennt. Zum anderen kann auch die Gew?hnung der Studenten an MC-Fragen durch die staatlichen Pr?fungen eine Rolle gespielt haben. Dass der Mittelwert dennoch ?ber dem statistischen Mittel liegt, deutet darauf hin, dass diese Pr?fumgebung grunds?tzlich als gut empfunden wurde.

In der Beurteilung der Schwierigkeit der Formate zeigte sich ein deutlicher Unterschied: Das Beantworten von MC-Fragen wurde im Vergleich zu offenen Fragen als einfacher eingesch?tzt. Dieser Befund ist umso erstaunlicher als die Studierenden der MC-Bedingung nur in einem der beiden F?lle objektiv deutlich besser als die Freitext-Gruppe abschneiden; im anderen Fall schneiden beide Gruppen ?hnlich gut ab. Kompetenz?bersch?tzung als Erkl?rung ist in diesem Fall unwahrscheinlich, da die Antworten sofort korrigiert wurden und das Ergebnis den Studierenden r?ckgemeldet wurde. M?glicherweise liegt eine Erkl?rung in der Art der Informationsverarbeitung. Die Beantwortung der Freitext-Fragen findet auf einem h?heren kognitiven Niveau statt als bei MC-Fragen [17], [18], da die richtige L?sung aktiv generiert werden muss, w?hrend es bei der Beantwortung von MC-Fragen lediglich um das Erkennen der richtigen L?sung geht. Dieses Erkennen wurde den Ergebnissen zufolge als einfacher empfunden. Diese Empfindung kann aber auch daher r?hren, dass die Studierenden durch die Gew?hnung an MC-Fragen, die ihnen in vielen Pr?fungen begegnen, diese als leichter einsch?tzen. Denkbar ist auch, dass die Studierenden sich in ihrer Bewertung des Schwierigkeitsgrads haupts?chlich auf den letzten Fall bezogen; der vorherige Fall war mit seinem Ergebnis weniger im Ged?chtnis pr?sent.

Zusammenfassend sind weitere Untersuchungen zu fallbasierten computergest?tzten Pr?fungsverfahren erforderlich, die sich auf die Reliabilit?t und Validit?t im Bezug zu anderen Pr?fungsformen konzentrieren sollten. Akzeptanzgesichtspunkte sollten dabei mit untersucht werden. Die Kl?rung der Frage nach einer Erh?hung der Akzeptanz bedeutet die Untersuchung weiterer damit in Zusammenhang stehender Variablen. Akzeptanzgesichtspunkte werden aber bei einer Einf?hrung dieses Pr?fungsinstrumentes im gr??eren Rahmen keinen wesentlichen Hinderungsgrund darstellen.

---

Literatur

[1] IAWF Institut f?r Aus-, Weiter- und Fortbildung, Medizinische Fakult?t Bern. Kompetent pr?fen. Bern/Wien: IAWF; 1999.
[2] Wozel G. Zur Einheit von Lehre, Lernen und Pr?fung in der Medizin. In: Westhoff K, ed. 1. Symposium zu Pr?fungen in der Medizin: Multiple Choice. Lengerich: Pabst Science Publisher; 1995. p. 15-20.
[3] Putz R, Christ F, Mandl H, Bruckmoser S, Fischer M, Peter K, Moore G. Das M?nchner Modell des Medizinstudiums (M?nchen-Harvard Educational Alliance). Med Ausbild. 1999;16:30-37.
[4] Approbationsordnung f?r ?rzte (?appO) vom 27.06.2002. Bundesgesetzblatt Jahrgang 2002, Teil 1, Nr. 44.
[5] Gerike TG, Baehring TU, Hentschel B, Fischer A, Scherbaum WA. Model trial: use and evaluation of a problem-oriented learning program in internal medicine. Med Klin. 1999;94:76-81.
[6] Franke C, Holzum A, B?hner H, Baehring T, Ohmann C. Computer-based case-study teaching in surgery. Chirurg. 2002;73:487-491.
[7] Simonsohn AB, Fischer M. Fallbasiertes computergest?tztes Lernen in der Inneren Medizin an der Universit?t M?nchen: Erfolgreiche Integration oder ?berfl?ssiger Zusatz?. In: Puppe F, Albert J, Bernauer J, Fischer M, Klar R, Leven J, eds. Rechnergest?tzte Lehr- und Lernsysteme in der Medizin. Proceedings zum 7. Workshop der GMDS AG Computergest?tzte Lehr- und Lernsysteme in der Medizin, Universit?t W?rzburg, 3.-4. April 2003. Aachen: Shaker; 2003.
[8] Kollmann T. Die Akzeptanz technologischer Innovationen. Trier: Eigenverlag des Lehrstuhls f?r Marketing an der Universit?t Trier; 1996.
[9] Lucke D. Akzeptanz. Legitimit?t in der "Abstimmungsgesellschaft". Opladen: Leske + Budrich; 1995.
[10] Lucke D. Riskante Annahmen - Angenommene Risisken. In: Lucke D, ed. Annahme verweigert. Beitr?ge zur soziologischen Akzeptanzforschung. Opladen: Leske + Budrich; 1998: 15-36.
[11] Endruweit G, Trommsdorf G, eds. W?rterbuch der Soziologie. Stuttgart, M?nchen: dtv; 1989.
[12] Molfenter S. Pr?fungsemotionen bei Studierenden [Dissertation]. Regensburg: Universit?t Regensburg; 1999.
[13] Anstadt U. Determinanten der individuellen Akzeptanz bei Einf?hrung neuer Technologien. Frankfurt am Main: Peter Lang; 1994.
[14] Fischer MR. CASUS - An authoring and learning tool supporting diagnostic reasoning. Z Hochschuldidaktik. 2000;1:87-98.
[15] Bortz J, D?ring N. Forschungsmethoden und Evaluation f?r Human- und Sozialwissenschaftler. Berlin: Springer; 2002.
[16] Cognos. Akzeptanz von E-Learning. Frankfurt: Cognos GmbH; 2002. Available from: http://support.cognos1.de/dach/schulung/studie_ueberblick.pdf [cited 09.09 2002]
[17] Elstein AE. Beyond multiple choice questions and essays: The need for a new way to assess clinical competence. Acad Med. 1993;68:244-48.
[18] Newbly DI, Baxter A, Elsmilie RG. A comparison of multiple-choice tests and free-response tests in examinations of clinical competence. Med Educ. 1979;13:263-268.