Einfluss des Fragenformates in Multiple-choice-Pr?fungen auf die Antwortwahrscheinlichkeit

 Johannes Schulze ¹
Stefan Drolshagen ¹
Frank N?rnberger ²
Falk Ochsendorf ³
Volker Sch?fer ⁴
Claudia Brandt <sup>4

1</sup> Johann Wolfgang Goethe-Universit?t Frankfurt, Fachbereich Medizin, Dekanat, Frankfurt/Main, Deutschland
² Johann Wolfgang Goethe-Universit?t Frankfurt, Fachbereich Medizin, Studiendekanat, Institut f?r Anatomie III, Frankfurt/Main, Deutschland
³ Johann Wolfgang Goethe-Universit?t Frankfurt, Fachbereich Medizin, Zentrum f?r Dermatologie und Venerologie, Frankfurt/Main, Deutschland
⁴ Johann Wolfgang Goethe-Universit?t Frankfurt, Fachbereich Medizin, Institut f?r Medizinische Mikrobiologie, Frankfurt/Main, Deutschland

Zusammenfassung

Multiple choice (MC)-Klausuren sind im deutschen Medizinstudium trotz weitgehend fehlender Daten zur Validit?t dieser Pr?fungsform zur Regelpr?fung geworden. . Dar?ber hinaus ist unklar, in welchem Ausma? die Studierenden - auch solche mit guten Pr?fungsergebnissen - den gepr?ften Lernstoff tats?chlich beherrschen. Am Fachbereich Medizin der Johann-Wolfgang-Goethe-Universit?t Frankfurt wurde am Ende des SS 2003 im Fach Mikrobiologie f?r die Studierenden des 2. klinischen Semesters eine MC-basierte Abschlusspr?fung geschrieben. Die Studierenden des 1. klinischen Semesters hatten - bedingt durch Umstellungen des Curriculums - eine identische Ausbildung. Diese wurde durch eine inhaltlich weitgehend identische, im Format aber andere Klausur abgeschlossen, in der sowohl offene Fragen enthalten waren als auch Fragen, bei denen die Studierenden jede Aussage einzeln auf Korrektheit bewerten mussten. Der Vergleich der Ergebnisse f?r inhaltlich gleiche Fragen zeigt, dass die Studierenden im MC-Format eine hohe Quote richtiger Antworten erzielen, diese jedoch durch ein ge?ndertes Fragenformat stark reduziert wird. So erreichten nur 20 - 30% der Studierenden ein vollst?ndig richtiges Ergebnis, wenn jede Aussage einzeln bewertet werden musste, w?hrend die inhaltlich gleiche Frage im MC-Format 80 - 90% richtige Ergebnisse erzielte. In freien Fragen konnten nur 30 - 40% der Studierenden die richtige Antwort aktiv niederschreiben, w?hrend 90 - 99% der Studierenden die richtige L?sung passiv erkannten. Wir interpretieren diese Ergebnisse dahin, dass der Entscheidungszwang in MC-basierten Fragen einen starken Einfluss auf die Quote richtiger Antworten hat, und die Pr?fungsergebnisse damit wesentlich durch das Format beeinflusst werden, das Wissen dagegen nicht beherrscht wird. Die Ergebnisse dieser Studie legen nahe, Sorgfalt bei der Auswahl des Pr?fungsverfahrens walten zu lassen und der Steuerung des studentischen Lernverhaltens durch das Pr?fungsformat wesentlich mehr Aufmerksamkeit zu widmen als bisher.

---

---

Einleitung

Medizinische Staatsexamina m?ssen in Deutschland in einem fest vorgegebenen Format durchgef?hrt werden. Aufgrund der leichten Auswertbarkeit und Objektivit?t hat sich das Multiple Choice (MC) Fragenformat in den letzten Jahren auch f?r universit?re Fachpr?fungen durchgesetzt. Dieses Fragenformat zeichnet sich durch eine sehr schnelle Auswertbarkeit aus und schont daher die f?r Pr?fungszwecke einzusetzenden Ressourcen.

Bisher ist die Frage ungekl?rt, welches Lernverhalten mit diesen stark formalisierten Pr?fungen gemessen wird. Zugunsten eines hohen Lernerfolges wird angef?hrt, dass die Studierenden durch viele "Altfragen" gezwungen werden, das gesamte Gebiet zu erlernen. Der Umfang der Fragensammlungen unterst?tzt dieses Argument.

Gegen einen Lernerfolg im eigentlichen Sinne, d.h. ob die Studenten das medizinische Wissen in einer Weise erlernen, der der sp?teren klinischen Realit?t entspricht, spricht die Notwendigkeit, richtige Antworten nur zu erkennen bzw. zwischen mehreren vorgegebenen M?glichkeiten in einem eingegrenzten Suchraum Entscheidungen zu treffen. Auch der Zwang, sich f?r eine und nur eine Antwort entscheiden zu m?ssen, entspricht nicht der sp?teren Situation, in der die "L?sungen" aktiv erarbeitet und h?ufig mehrere Alternativen untersucht werden m?ssen, die mit Wahrscheinlichkeiten, nicht aber mit absoluten Sicherheiten belegt sind. Die Erfahrungen aus m?ndlichen Pr?fungen in Fach- und Staatspr?fungen sprechen ebenfalls daf?r, dass die Studierenden zwar ein hohes passives Wissen (Wiedererkennen aus vorgegebenen M?glichkeiten) besitzen, nicht aber dieses Wissen umsetzen und aktiv pr?sentieren k?nnen.

F?r Pr?fungen wird u.a. gefordert, dass sie valide sind. Dies bedeutet, dass der Pr?fungserfolg anzeigt, dass die Studierenden ein dem Lernziel entsprechendes Wissen erworben haben. Wird das Lernziel definiert als eine gute Vorbereitung auf die sp?tere T?tigkeit im Praktischen Jahr bzw. im Arzt im Praktikum, ist eine Validierung prinzipiell m?glich. Bisher sind keine Daten zu einer Validierung von MC-Fragen anhand dieses Standards (oder eines anderen Standards) publiziert. Die vom IMPP vorgenommene Item-Analyse dient der ?berpr?fung der Konstruktvalidit?t; Inhalts-, ?bereinstimmungs- oder gar prognostische Validit?t kann sie nicht leisten. Sie kann daher wegen der Fragenstruktur nicht als erfolgsorientierte Validierung angesehen werden.

Am Fachbereich (FB) Medizin der JWG-Goethe-Universit?t Frankfurt haben wir versucht, die Wertigkeit von MC-Fragen der Mikrobiologie anhand des Kriteriums aktives Wissen bzw. passives Wissen zu validieren. Hierzu wurde 126 Studierenden des 2. klinischen Semesters (Regelsemester Mikrobiologie nach der alten Studienordnung des FB Medizin) mit einer 30 Fragen umfassenden MC-Fragen basierten Abschlussklausur gepr?ft. Bei 130 Studierenden des 1. klinischen Semesters, die nach der neuen Studienordnung des FB Medizin bereits im ersten klinischen Semester in Mikrobiologie unterrichtet wurden, wurde das mikrobiologische Wissen in einem anderen Fragenformat gepr?ft, bei der kein Entscheidungszwang zwischen Antwortalternativen bestand bzw. kurze Antworten frei niedergeschrieben werden mussten (short essay question-Format). Beide Kohorten erhielten eine identische Ausbildung; auch die Arbeitsbelastung aus anderen F?chern war f?r beide Kohorten fast identisch. Die Ergebnisse dieses Vergleichs werden im Folgenden dargelegt.

Methoden

Bedingt durch die ?nderung der Studienordnung des FB Medizin und durch die geforderten ?nderungen nach der neuen ?AppO vom 27. Juni 2002 wurden am Ende des SS 2003 die Studierenden des 2. klinischen Semesters im Fach Mikrobiologie/Virologie mit einer 30 MC-Fragen umfassenden Klausur gepr?ft. Die Fragen wurden vom Institut f?r Medizinische Mikrobiologie anhand des Praktikumslehrstoffs formuliert und entsprachen dem bekannten Typ der IMPP-Fragen (Auswahl aus f?nf M?glichkeiten, Vorgabe von Statements und Erkennen der richtigen Kombination sowie Begr?ndungsfragen - A weil B). Die Klausuren wurden am Ende der Pr?fung wieder eingesammelt. Die Studierenden des 2. klinischen Semesters hatten neben dem Fach Mikrobiologie im gleichen Semester die Scheine in Klinischer Chemie, Pathologie, Pharmakologie und Radiologie zu erwerben sowie sich auf das 1. Staatsexamen (1. SE) im August vorzubereiten. Wegen der ?nderungen der neuen ?AppO werden fast alle Studierenden am 1. SE teilnehmen.

130 Studierende des 1. klinischen Semesters wurden am Semesterende, zwei Wochen nach dem Klausurtermin des 2. klinischen Semesters, in einer schriftlichen Pr?fung neben der Mikrobiologie in den F?chern Pathologie, Pharmakologie, Radiologie, Untersuchungskurs der klinischen F?cher und Notfallmedizin gepr?ft. Die Pr?fung wurde als Semesterabschluss-Sammelklausur mit 30 Fragen aus dem Bereich der Mikrobiologie durchgef?hrt. Als Fragentypen wurden offene Fragen verwendet (die richtige Antwort bzw. richtigen Antworten mussten frei geschrieben werden; 15 Fragen), als Auswahlfragen, wobei den Studierenden nicht bekannt war, wie viele der M?glichkeiten anzukreuzen sind (zwischen null und f?nf; 12 Fragen) bzw. als Reihungsaufgaben (vier vorgegebene Aussagen m?ssen in die richtige Reihenfolge gebracht werden; 3 Fragen). Die Fragentypen sind in Schulze et al. [1] beschrieben. Acht Wochen vor der Semesterabschlussklausur wurden die Studierenden in einer Testklausur mit 100 Fragen- davon 20 Fragen aus dem Bereich der Mikrobiologie- mit dem neuen Fragenformat vertraut gemacht.

Beide Studierendenkohorten absolvierten im SS 2003 ein Praktikum der Mikrobiologie und Virologie mit identischem Inhalt und Umfang. F?r die Studierenden des 2. klinischen Semesters enthielt das vorhergehende Semester die Hauptvorlesung in Mikrobiologie. Unterschiede im sonstigen Veranstaltungsumfang bestanden in klinischer Chemie (nur Studierende des 2. klinisches Semesters) sowie in Prop?deutik, Biomathematik und Notfallmedizin (2. klinisches Semester: Veranstaltungen des Vorsemesters; 1. klinisches Semester: Veranstaltungen des SS 2003). In Pharmakologie wurde f?r Studierende des 2. klinischen Semesters im Vorsemester eine Vorlesung angeboten, das Praktikum fand zu Beginn des SS 2003 als Blockpraktikum statt. Die Studierenden des 1. klinischen Semesters hatten eine Vorlesung in Pharmakologie w?hrend des Semesters sowie das Praktikum der Pharmakologie als Blockpraktikum am Semesterende.

Zur Adaptation des Schweregrades wurden 20 Fragen aus der MC-Klausur als zu schwierig angesehen und bei der Fragenformulierung f?r das alternative Format modifiziert. Zehn Fragen wurden in identischer oder fast identischer Formulierung gepr?ft; in drei Fragen war die richtige Antwort frei niederzuschreiben, in 7 Fragen wurde der Lerninhalt ebenfalls als passives Wissen gepr?ft (Ankreuzen der richtigen Aussagen). Bei 20 Fragen bestanden deutlichere Unterschiede in der Formulierung; f?r die Fragestellung im alternativen Format wurden aus den MC-Fragen speziellere Aussagen herausgenommen und durch Inhalte mit basalem Wissen ersetzt. Bei 28 der 30 Fragen blieb das der Fragestellung zugrunde liegende mikrobiologische Wissen unver?ndert.

F?r alle MC-Fragen wurde der Prozentsatz der Markierungen f?r alle Antwortm?glichkeiten errechnet (Studierende des 2. klinischen Semesters). Auswahlfragen (Studierende des 1. klinischen Semesters) wurden in gleicher Weise ausgewertet. Bei offenen Fragen (Studierende des 1. klinischen Semesters) wurden alle Antworten anhand eines L?sungsthesaurus ausgewertet; als richtig wurden in der Regel mehrere Antworten anerkannt. Schreibfehler wurden nur dann ber?cksichtigt, wenn diese einen wesentlichen Einfluss auf die L?sung hatten, i.e. es andere medizinische Begriffe gibt, die dem Schreibfehler entsprechen. F?r alle Fragentypen werden bei vollst?ndig richtiger Beantwortung 5 Punkte vergeben; teilweise richtige Antworten werden mit geringeren Punktzahlen bewertet.

Ergebnisse

Aktives Wissen kann nur durch frei zu formulierende Antworten gepr?ft werden. Ein Vergleich zeigt, dass die Studierenden die richtige Antwort zwar kennen m?gen, aber nicht aktivreproduzieren k?nnen. In Abbildung 1 und 2 [Abb. 1] [Abb. 2] sind die Ergebnisse f?r zwei Beispiele dargestellt, bei denen der Zusammenhang zwischen Papillomavirus-Infektionen und Cervixkarzinom (siehe Abbildung 1, Beispiel 1 [Abb. 1]) bzw. sexuell ?bertragtragbaren Viren (siehe Abbildung 2, Beispiel 2 [Abb. 2]) erkannt werden mussten. W?hrend 80% der Studierenden (100/127) den Zusammenhang zwischen Papillomaviren und Cervixkarzinom sowie Warzen erkannten und einen Zusammenhang mit Harnblasenkarzinom verneinten (der fehlende Zusammenhang zum Kaposi-Sarkom bzw. M. Whipple war aufgrund der vorgegebenen Kombinationen nicht relevant), konnten nur 42% Papillomaviren als ausl?sendes Agens benennen (56/130). Noch deutlicher ist der Unterschied im zweiten Beispiel. W?hrend fast 100% der Studierenden Clostridium perfringens als Erreger des Gasbrandes erkannten (126/127), waren nur 31,5% der Studierenden in der Lage, Bordetella pertussis als Keuchhustenerreger aktiv zu benennen.

Analoge starke Diskrepanzen zwischen dem passiven und aktiven Wissen zeigten sich in drei anderen Beispielen. W?hrend alle Studierenden erkannten, dass HIV sexuell ?bertragen werden kann und immerhin 42% auch das Herpes simplex Virus 1 als richtige Antwortm?glichkeit erkannten, konnten nur 88,5% (115 von 130 Studenten) HIV aktiv benennen (gefordert wurde die Benennung von 3 Viren, die typischerweise durch Sexualkontakte ?bertragen werden). Hepatitis B-Virus wurde von 39 Studierenden (49/130) benannt, daneben wurden weitere 23 verschiedene Viren angegeben, u. a. wurden Candida, Chlamydien, Gonokokken und Treponemen als sexuell ?bertragbare "Viren" aufgelistet. Die PCR wurde nur von 30% der Studierenden als Nachweismethode f?r eine pr?natal erworbene HIV-Infektion bei Neugeborenen angegeben, w?hrend 35% der Studierenden den ELISA als Methode der Wahl angaben. Dagegen bejahten 87% der Studierenden diese Aussage in einer MC-Frage (Aussage A in einer Weil-Frage).

Gro?e Unterschiede zeigten sich auch beim Vergleich der Ergebnisse zwischen MC-Fragen und Auswahlfragen, bei denen zwischen null und f?nf Aussagen als zutreffend markiert werden konnten. In den Abbildungen 3-5 [Abb. 3] [Abb. 4] [Abb. 5] sind drei Beispiele aufgef?hrt, in denen identische bzw. sehr ?hnliche Lerninhalte gepr?ft werden. Der Vergleich zeigt deutlich, dass die Anzahl vollst?ndig richtig beantworteter Fragen sehr stark vom Fragenformat gepr?gt ist. W?hrend im Beispiel 1 die einzig richtige Antwort von 89% der Studierenden angekreuzt wurde (Antwort mit Falsch-Aussage), haben nur 17% der Studierenden in der alternativen Frage die richtigen M?glichkeiten 1, 3 und 4 vollst?ndig angekreuzt. Nur M?glichkeiten 3 und 4 haben 36% der Studierenden angekreuzt (siehe Abbildung 3-5 [Abb. 3] [Abb. 4] [Abb. 5]), d.h. das Wissen um den ?bertragungsweg war bei einem betr?chtlichen Anteil der Studierenden nicht vorhanden. In ?hnlicher Weise f?hrte der Entscheidungszwang in den Beispielen 2 und 3 der MC-Fragen zu sehr hohen Quoten richtiger Antworten, w?hrend bei der alternativen Fragenform f?r jede einzelne richtige Aussage die Zustimmungsquote wesentlich niedriger lag, und der Prozentsatz derjenigen Studierenden, die die Frage vollst?ndig richtig beantworteten, nur 30% bzw. 27% betrug. Bedingt durch den Entscheidungszwang in MC-Fragen, liegt die Quote richtiger Antworten wesentlich h?her, als dem tats?chlichen, gefestigten Wissen der Studierenden entspricht. Analoge Aussagen lassen sich aus den Ergebnissen der ?brigen Fragen ablesen, die in beiden Klausuren identisch oder sehr ?hnlich gestellt wurden.

Diskussion

Die Ergebnisse der vorliegenden Studie belegen, dass f?r den Erfolg in MC-basierten Pr?fungen neben dem Fachwissen weitere Faktoren einen wesentlichen Einfluss haben. Es kann aus MC-Fragen basierten Pr?fungen nicht automatisch abgelesen werden, dass die Studierenden das abgefragte Wissen tats?chlich beherrschen. Aus den in den Abbildungen 3-5 [Abb. 3] [Abb. 4] [Abb. 5] dargestellten Beispielen zeigt sich, dass in MC-Fragen 80 - 90% richtige Antworten erzielt werden k?nnen, obwohl durch die alleinige ?nderung, dass mehr als eine Antwort richtig sein kann, die Quote der vollst?ndig richtigen Antworten auf 17 - 30% f?llt. Unter Zugrundelegung dieser Zahlen - die zwar repr?sentativ sein k?nnen, jedoch Fragen- und Aussagen-spezifische Variationen beinhalten - ergibt sich, das der Pr?fungserfolg in MC-Fragen basierten Klausuren zum wesentlichen Teil durch das Fragenformat und den damit verbundenen Entscheidungszwang f?r eine und nur eine richtige L?sung bedingt ist.

Auch eine Absch?tzung aus dem Vergleich zwischen MC-Fragen und Fragen mit freien Antworten zeigt, dass die richtige Antwort nur von einer Minderheit aktiv (d.h. ohne Wahlantwortm?glichkeiten) benannt werden kann, obwohl sie bei MC-Fragen von fast allen Studierenden erkannt wird, obwohl die Studierenden fr?hzeitig auf das ge?nderte Pr?fungsformat vorbereitet wurden. Dem entspricht auch die Erfahrung aus m?ndlichen Pr?fungen, in denen selbst bei einfachen Fragen nur wenige Studierende schnell und prompt die richtige Antwort aktiv wissen; die meisten Studierenden m?ssen h?ufig l?nger ?berlegen und bieten unpr?zise, zum Teil widerspr?chliche bzw. offensichtlich geratene Aussagen als Antwort an.

Diese Ergebnisse sollten auch hinsichtlich der Validit?t von Pr?fungen beachtet werden. Als ein Kriterien einer guten Ausbildung kann beispielsweise dienen, dass die Ausbildung dazu bef?higen soll, wichtige Sachverhalte zu beherrschen (aktiv wiedergeben werden k?nnen) oder richtig zu interpretieren (richtige oder falsche Aussagen ohne weitere Entscheidungshilfen zu identifizieren,). Dieses Kriterium bedingt, dass das Pr?fungsformat angemessen ist, wenn die Pr?fungsfragen und geforderten Antworten den sp?teren beruflichen Anforderungen entsprechend gestaltet werden.

Die Forderung einer frei hinzuschreibenden Antwort entspricht dabei h?ufigen klinischen Situationen, z.B. bei der Anamnese oder der Anforderung diagnostischer Ma?nahmen. Sie bedingt aktives Wissen f?r ein Handeln ohne wesentliche Vorgaben. M?gliche Vorgaben hierzu w?ren lediglich Leitlinien zum strukturierten klinischen Vorgehen (z.B. Standard-Vorgehensweisen), die zur Zeit in verst?rktem Ma?e entwickelt werden. Das MC-Fragenformat erscheint nach den Ergebnissen dieser Studie nicht geeignet, diesen Wissensbereich ad?quat abzudecken.

Die Beurteilung der Richtigkeit einer Aussage entspricht am ehesten der Interpretation von Befunden und Ergebnissen; sie ist im klinischen Alltag in der reinen Form nur selten zu identifizieren und findet sich am ehesten in der Bewertung der Untersuchungsresultate, d.h. entspricht der erhaltene Befund dem Erwartungsergebnis bei der vermuteten Krankheit. Auch hierf?r ist zu fordern, dass die Entscheidungsfindung richtig/falsch nicht durch Formatprobleme beeinflusst wird. MC-Fragen enthalten durch den Entscheidungszwang zu einer und nur einer richtigen Angabe zu einem hohen Masse Entscheidungshilfen, die nicht auf medizinischem Wissen basieren.

Gro?e systematische Untersuchungen zur Validit?t von MC-Fragen liegen f?r Deutschland nicht vor; lediglich eine Studie von Gebert [2] zeigt, dass Studierende im Physikum zwar in der Lage sind, die Fragen zur Physik in ausreichendem Ma?e richtig "anzukreuzen", dass jedoch das den Fragen zugrunde liegende Wissen nur selten in hinreichendem Ma?e verf?gbar oder gar gefestigt ist. Diese Ergebnisse unterst?tzen in hohem Ma?e unsere Interpretation, dass nur eine Minderheit der Studierenden in der Lage ist, medizinische Sachverhalte zuverl?ssig zu beurteilen. Die hohe Quote richtiger Ergebnisse in MC-basierten Pr?fungen beruht vermutlich auch darauf, sich entscheiden zu m?ssen und Altfragen oder vorgegebene Aussagen als richtig wiederzuerkennen. Die Ergebnisse unserer Studie zeigen, dass der Anteil der durch den Entscheidungszwang richtig getroffener Entscheidungen wahrscheinlich hoch ist.

Offen bleibt das Problem der Validit?t einer Pr?fung. F?r MC-Fragen existieren bisher keine Daten, die zeigen, dass MC-Pr?fungen valide sind. Hierbei soll nicht bestritten werden dass gute Examensergebnisse positiv mit guten Ergebnissen in m?ndlichen Pr?fungen korrelieren. In dieser Hinsicht sind die Staatsexamensergebnisse wertvoll, sie scheinen aber nicht unbedingt anzuzeigen, dass die Pr?flinge den Lernstoff beherrschen, der den Pr?fungsfragen zugrunde liegt. Offensichtlich zeigen gute MC-Pr?fungsergebnisse eher an, dass erfolgreiche Studierende in der Lage sind, "richtige" Entscheidungen zu treffen (welches ebenfalls ein Ausbildungsziel unter vielen sein sollte). Sie belegen nicht, dass der Lernstoff im Sinne der o.a. Kriterien beherrscht wird.

Alle in der Ausbildung Involvierten sollten sich dieses Dilemmas bewusst sein. Der Einfluss der Pr?fungsgestaltung auf das Lernverhalten der Studierenden kann gar nicht hoch genug eingesch?tzt werden. Es ist daher unumg?nglich, dass durch eine entsprechende Pr?fungsgestaltung versucht wird, die angestrebten Lernziele einer Fakult?t auch tats?chlich zu erreichen. Auch wenn die ideale Pr?fungsform noch nicht gefunden ist, k?nnen alternative Wege beschritten werden. Die am Fachbereich Medizin der JWG-Universit?t Frankfurt eingeschlagene Richtung ist anderenorts genauer dargelegt (Schulze et al. [3]). Das bisher vorherrschende MC-Format allein erscheint nach den Ergebnissen dieser Studie nicht geeignet, die von Fakult?ten oder dem Gesetzgeber geforderten Ausbildungsziele zu pr?fen. Es sollte durch andere Modelle ersetzt bzw. erg?nzt und damit zu einer Pr?fungsform unter vielen werden. Auf keinen Fall sollte, wie es bisher der Fall ist, dass Lernverhalten der Studierenden in wesentlichem Ausma? von der Vorbereitung auf MC-Pr?fungen gesteuert werden.

---

Literatur

[1] Schulze J, Drolshagen S, N?rnberger F, Siegers CP, Syed Ali S. Pr?fen und Pr?fungen nach der neuen Approbationsordnung - Grunds?tze und Rahmenbedingungen. Med Ausbild. 2004;21:30-34.
[2] Gebert G. Medizinstudium: Naturwissenschaftliche Grundkenntnisse nach der Vorklinik. Dtsch Arztebl. 2002;99:A-252.
[3] Schulze J, Kersken-N?lens U, Drolshagen S, N?rnberger F. Struktur des Medizinstudiums nach der neuen ?rztlichen Approbationsordnung (?AppO). in: Quo vadis medice? - Neue Wege in der Medizinerausbildung. Bonn: Stifterverband f?r die Deutsche Wissenschaft; 2004. S. 36-38.