Der Progress Test Medizin

 Katrin Osterberg ¹
Sebastian K?lbel ¹
Katrin Brauns <sup>1

1</sup> Charit? - Universit?tsmedizin Berlin, AG Progress Test Medizin, Berlin, Deutschland

Zusammenfassung

Seit 1999 wird an der Charit? - Universit?tsmedizin Berlin ein f?cher?bergreifender, formativer Progress Test f?r Medizinstudierende durchgef?hrt. Er beinhaltet 200 MC-Fragen auf Absolventenniveau und wird zu Anfang jedes Semesters durchgef?hrt.

Die erhobenen Daten werden detailliert in bezug auf die Vergleichsgruppe ausgewertet und als R?ckmeldung an die Teilnehmer ausgegeben.

Nach anf?nglichen Schwierigkeiten vor allem bei der Gewinnung neuer Fragenautoren und der effizienten Verwaltung der Testfragen ist der Progress Test Medizin an der Charit? mittlerweile ein etabliertes und anerkanntes Feedbackinstrument.

Die Ergebnisse der letzten Jahre haben gezeigt, dass mit dem Progress Test der Wissenszuwachs ?ber mehrere Semester und verschiedene Curricula dargestellt werden kann.

Seit 2000 kooperiert die Arbeitsgruppe Progress Test Medizin mit der Universit?t Witten/Herdecke und seit Herbst 2003 wird der Progress Test an vier weiteren deutschen Fakult?ten durchgef?hrt. Dies minimiert den Aufwand pro Testteilnehmer deutlich und erm?glicht die konsequente Weiterentwicklung und Forschung auf diesem Gebiet.

---

---

Einleitung

Pr?fungen, die nicht bestehensrelevant sind, haben an den medizinischen Hochschulen in Deutschland keinen nennenswerten Stellenwert. Gerade nach der Umsetzung der neuen Approbationsordnung in den Fakult?ten, dem Ausarbeiten von f?cher?bergreifenden Leistungsnachweisen und langen Diskussionen ?ber die Benotung und Gewichtung von Teilscheinen, wird oft der Feedback-Aspekt von Pr?fungen an die Studierenden vergessen. Pr?fungen sollten nicht nur verschiedene H?rden im Studentenleben darstellen. Sie k?nnen den Studierenden zur Selbsteinsch?tzung wichtige Informationen zu ihrem Wissen und ihrem Lernerfolg liefern und so motivierend wirken [1].

Ziele eines Progress Tests sind f?r die Teilnehmer: Ermittlung des eigenen Wissensstands, Darstellung des Wissenszuwachses ?ber die Semester und Feedback ?ber die eigene Leistung in bezug auf das eigene Semester differenziert nach F?chern und Organsystemen. Hervorzuheben ist, dass der aktuelle Wissensstand gemessen wird ohne dass sich die Studierenden gezielt auf den Test vorbereiten k?nnen oder sollen. Eine Verf?lschung durch kurzfristig memoriertes Wissen ist so nicht gegeben [2].

F?r die Curriculumsplaner und die gesamte Fakult?t bietet ein solcher Test die M?glichkeit, einen ?berblick ?ber das Wissen von verschiedenen Kohorten zu erhalten und verschiedene Semester, Curricula oder gar Fakult?ten miteinander zu vergleichen [3]. Im Reformstudiengang Medizin ist der Progress Test zum Zweck der Evaluation und der Vergleichsm?glichkeit in der Studienordnung festgeschrieben.

An der Charit? wurde der Progress Test Medizin (PTM) erstmals im Wintersemester 1999/2000 mit Beginn des Reformstudiengangs Medizin durchgef?hrt. Im April 2000 begann eine Kooperation mit der Universit?t Witten/Herdecke. An der Charit? sind zum jetzigen Zeitpunkt alle Semester des Reformstudiengangs und die klinischen Semester des Regelstudiengangs zur Teilnahme am Progress Test verpflichtet.

Seit Herbst 2003 findet der PTM zus?tzlich an vier weiteren Universit?ten statt: Rheinisch-Westf?lische Technische Hochschule Aachen, Ruhr-Universit?t Bochum, Universit?t zu K?ln und die Westf?lische Wilhelms-Universit?t M?nster.

Progress Tests an anderen Universit?ten

Der erste Progress Test an einer medizinischen Fakult?t wurde im Jahre 1972 an der University of Missouri (Kansas City, USA) entwickelt [4]. Die intensivste Forschung und Entwicklung in Europa unternimmt die Universiteit Maastricht (Niederlande), wo der Progress Test seit 1977 ein fester Bestandteil des Curriculums ist [5], [6]. Von dort ist er auf andere niederl?ndische Fakult?ten ausgedehnt worden. Der Maastrichter Progress Test war auch Vorbild f?r die Entwicklung des Berliner Progress Test Medizin. Einige weitere europ?ische Universit?ten haben Progress Tests in ihre Curricula aufgenommen, so z.B. die University of Manchester, die Newcastle University (Gro?britannien) und die Universit?t in Tampere (Finnland). Auf dem amerikanischen Kontinent wird er u.a. an der McMaster University in Ontario (Kanada) und an der Universidad San Francisco De Quito (Ecuador) durchgef?hrt.

Methoden

Testerstellung

F?r die Erstellung des Tests steht eine internetbasierte Datenbank mit ?ber 4000 Pr?fungsfragen zur Verf?gung, welche seit Beginn des Projekts 1998 von Dozenten der Charit? und der Universit?t Witten-Herdecke f?r den Progress Test eingereicht wurden. Mittlerweile liefern ca. 200 Autoren aus ganz Deutschland neue Fragen in die Datenbank. F?r deren Bewertung hat die AG Progress Test Medizin der Charit? Berlin Richtlinien entwickelt und einen Leitfaden zur Erstellung qualitativ hochwertiger Fragen herausgegeben [7]. Es werden ausschlie?lich Multiple-Choice-Items vom Einfachauswahl-Typ (Typ A) verwendet. Zu jeder Fragestellung, der zum Teil eine kurze Fallbeschreibung vorausgeht, werden drei bis acht Antwortoptionen zur Wahl gestellt, die Erfahrungen der letzten Jahre haben gezeigt, dass die Autoren 4-5 Antwortm?glichkeiten bevorzugen (97% der Fragen). Eine Besonderheit ist die Wei?-Nicht-Option in jeder Frage. Sie soll angekreuzt werden, wenn die Frage nicht beantwortet werden kann. Damit soll vermieden werden, dass Teilnehmer bei Fragen, die ihren Ausbildungsstand ?bersteigen, eine Antwortoption raten [8].

Jede der Fragen ist einem von 14 Organsystemen zugeordnet. Die inhaltliche Zusammensetzung eines 200 Items umfassenden Tests ist durch eine bestimmte Anzahl Fragen zu jedem Organsystem festgelegt (siehe Tabelle 1 [Tab. 1]).

Der Test beinhaltet Fragestellungen aus allen medizinischen Fachgebieten auf dem Niveau eines Absolventen. Alle Studierenden erhalten beim Progress Test unabh?ngig von ihrem Fachsemester die gleichen Pr?fungsfragen.

Zu Beginn der Vorbereitung eines Tests werden aus der Datenbank 200 Pr?fungsfragen nach dem in Tab.1 angegebenen Schema randomisiert ausgew?hlt. Fragen, die innerhalb der letzten zwei Jahre verwendet wurden, werden dabei nicht ber?cksichtigt. Die ausgew?hlten Fragen werden dann von einem interdisziplin?ren Gremium aus 5-8 Hochschullehrern, dem Review-Komitee, nach den vorgegebenen formalen und inhaltlichen Gesichtspunkten gepr?ft. Zur Zeit gibt es zwei dieser Komitees an der Charit? und eines an der Universit?t Witten/Herdecke, die parallel Fragen f?r den n?chsten Progress Test bearbeiten. Kann eine Frage aus ihrer Sicht durch eine Ver?nderung verbessert werden, treten sie, oft mit einem konkreten Vorschlag, an den Autor heran. Die Review-Komitees der Charit? werden durch Studierende betreut, welche die Sitzungen vorbereiten und mit den Autoren kommunizieren. Erst wenn eines der Review-Komitees eine Frage akzeptiert hat, wird sie im folgenden Test verwendet. Die in den Komitees vertretenen Dozenten werden durch die AG Progress Test Medizin vor Aufnahme ihrer T?tigkeit geschult.

Durchf?hrung

Der Progress Test findet zu Beginn jedes Semesters statt. Die Teilnahme ist f?r alle Jahrg?nge des Reformstudiengangs einschlie?lich des Praktischen Jahres, sowie f?r den klinischen Studienabschnitt des Regelstudiengangs verpflichtend. Den Studierenden der Vorklinik des Regelstudiengangs wird freigestellt, ob sie am Progress Test teilnehmen. Bisher hat ein gro?er Teil der Studienanf?nger von diesem Angebot Gebrauch gemacht, jedoch nur ein kleinerer Teil der Studierenden des 2.-4. Semesters.

F?r die Bearbeitung der 200 Fragen stehen maximal vier Stunden zur Verf?gung. Die Teilnehmer erhalten ein Testheft sowie einen computerlesbaren Erfassungsbogen, auf dem sie ihre Antworten notieren. Sie werden aufgefordert, nur bei den Fragen eine Antwortoption zu markieren, die sie auch sicher beantworten k?nnen.

Evaluation

Begleitend wird in einem Fragebogen die Einstellung der Studierenden zum Progress Test erfragt. Dieses Feedback f?r die Organisatoren des PTM ist eine wichtige Quelle der kontinuierlichen Qualit?tsverbesserung. Es besteht auch die M?glichkeit, die einzelnen Fragen des Tests zu kommentieren, welche aus der Sicht der Studierenden fehlerhaft sind. Diese Kommentare werden zusammen mit den Itemkennwerten bei der Auswertung des Tests ber?cksichtigt und an die Review Komitees weitergegeben.

Auswertung

Nach Erfassung und Aufbereitung der Daten werden die einzelnen Fragen zun?chst einer Itemanalyse unterzogen, mit der m?gliche fehlerhafte Fragen identifiziert werden sollen. Fragen mit einem auffallend h?ufig gew?hlten Distraktor und Fragen, die nur von einem kleinen Teil der fortgeschrittenen Teilnehmer beantwortet wurden, werden zusammen mit den statistischen Kennwerten und ggf. begr?ndeten Einwendungen von Studierenden aus der Evaluation erneut dem Review-Komitee vorgelegt. Vor der Erstellung der Ergebnisberichte f?r die Teilnehmer k?nnen somit noch Fragen aus der Wertung genommen werden.

Nach Abschluss dieses "Post-Review-Prozesses“ wird f?r jeden Teilnehmer ein zweiseitiger individueller Ergebnisbericht erstellt, welcher auszugsweise in Abbildung 1 [Abb. 1] dargestellt ist. Er enth?lt den Testwert (errechnet aus Anzahl der richtig beantworteten Fragen minus Anzahl der falsch beantworteten Fragen), die jeweilige Anzahl der richtig und der falsch beantworteten Fragen und die Anzahl der "Wei?-Nicht“-Antworten. Jeder Wert wird dem Mittelwert der Vergleichsgruppe (eigenes Semester) gegen?bergestellt und zu diesem in Beziehung gesetzt (Markierung bei mehr als einer Standardabweichung Unterschied mit + oder -). In der gleichen Weise erfolgt die Darstellung der Ergebnisse f?r die jeweils einem Organsystem zugeordneten Fragen. In einer Grafik wird der Verlauf der bisherigen Ergebnisse, einschlie?lich vorausgegangener Tests, der Vergleichsgruppe gegen?ber gestellt.

Eine weitere Aufstellung gliedert die 200 Fragen nach Fachgebieten. Der Ergebnisbogen enth?lt ferner die f?r jede Frage gew?hlte Antwortm?glichkeit. Falsche Antworten werden hervorgehoben, damit die Studierenden bei Abholung ihres Ergebnisses mit Hilfe eines L?sungsheftes die von Ihnen bearbeiteten Fragen einsehen k?nnen.

Auch die Autoren der im Test verwendeten Fragen erhalten eine detaillierte R?ckmeldung. Sie enth?lt eine Analyse des Antwortverhaltens aller Studierenden sowie eine nach Semestern getrennte und eine auf den erreichten Gesamttestwert bezogene Auswertung der von ihnen eingereichten Fragen (Trennsch?rfe). Zudem wird die Item-Schwierigkeit getrennt nach Semestern angegeben. Abbildung 2 [Abb. 2] zeigt einen ?berblick ?ber die verschiedenen Abl?ufe des PTM.

Ergebnisse

In Abbildung 3 [Abb. 3] sind die richtigen Antworten (in Prozent) der verschiedenen Kohorten des Regelstudiengangs (RSG) und des Reformstudiengangs (RSM) der Charit? zu den jeweiligen Testzeitpunkten abgebildet. Die Reliabilit?t des Progress Tests wurde seit 2002 nach Cronbachs Alpha mit durchschnittlich 0,97 berechnet (Range: 0,964 – 0,975).

Der kontinuierliche Anstieg der richtigen Antworten der einzelnen Kohorten ?ber die Zeit ist gut zu erkennen. Dies ist ein explizites Ziel des Progress Tests und somit ein Beleg f?r seine Validit?t [4].

Die Schwierigkeit der einzelnen Tests wird anhand von sog. Markerfragen indirekt kontrolliert. Dies sind Fragen, die sich in vorherigen Tests durch gute Itemstatistiken (Trennsch?rfe, Schwierigkeit, kaum Distraktoren) ausgezeichnet haben und erneut unver?ndert in den Test aufgenommen werden. Durch sie k?nnen die Tests verschiedener Messzeitpunkte miteinander verkn?pft und verglichen werden. Im Sommersemester 2006 werden die Tests der letzten vier Jahre durch Markerfragen verbunden sein.

W?hrend die Studierenden des Reformstudiengangs von dessen Start im Herbst 1999 an verpflichtend einmal im Semester am Progress Test teilgenommen haben, ist der Progress Test f?r den Regelstudiengang zun?chst nur auf freiwilliger Basis angeboten worden. Im Fr?hjahr 2002 wurde die Teilnahme auch f?r die neu immatrikulierten Studierenden des Regelstudiengangs der Charit? zur Pflicht.

In der nicht reformierten Vorklinik des Regelstudiengangs war im Progress Test ?ber die ersten vier Semester kein signifikanter Wissensanstieg in bezug auf das Absolventenwissen messbar. Die Teilnahmeverpflichtung ist daraufhin f?r die Studierenden des vorklinischen Studienabschnitts wieder aufgehoben worden.

Aus pers?nlichen Gespr?chen mit Studierenden und aus Kommentaren der Evaluation wird deutlich, dass der ?berwiegende Teil der Studierenden die R?ckmeldung aus dem Progress-Test-Ergebnis w?nscht. Auch die M?glichkeit der Nachbearbeitung des Tests mit einem L?sungsheft wird zunehmend genutzt.

Die Tatsache, dass die Teilnahme am Progress Test zwar verpflichtend, der Test jedoch nicht bestehensrelevant ist, f?hrt bei 10 - 25% der Studierenden dazu, dass sie den Test nicht vollst?ndig bearbeiten. Damit diese unmotivierten Teilnehmer nicht die Mittelwerte verf?lschen, m?ssen sie identifiziert und aus der Mittelwertberechnung herausgenommen werden. Zum einen sind das diejenigen Studierenden, welche alle Fragen mit „Wei? nicht“ beantworten, zum anderen zeigte ein Vergleich der Bearbeitungszeiten ?ber mehrere Tests eine zweigipflige Kurve mit einem Tief bei 30 Minuten. Zusammen mit speziellen Personen-Fit-Statistiken (im Rahmen einer IRT-Analyse) und pers?nlichen Gespr?chen bei der Ausgabe der Ergebnisse, bei denen 100% der als „Ausrei?er“ erkannten Studierenden best?tigten, den Test nicht vollst?ndig bearbeitet zu haben, wurden weniger als 30 Minuten Bearbeitungszeit als Ausrei?erkriterium festgelegt. Studierende, die sog. Muster kreuzen erhalten einen sehr niedrigen negativen Testwert und sie markieren Antwortenm?glichkeiten, welche durch die jeweilige Frage gar nicht in Betracht gezogen werden sollte, so w?hlen sie z.B. Antwort D obwohl die Frage nur drei Antwortm?glichkeiten bietet. Im Sommersemester 2006 wurden diese beiden Kriterien zus?tzlich festgelegt.

Durch die Ausweitung des PTM auf weitere Fakult?ten und die zunehmende Teilnahmeverpflichtung von Studierenden des Regelstudiengangs steigerten sich die Teilnehmerzahlen exponentiell: Im Sommersemester 2006 haben mehr als 4300 Studierende an sechs deutschen Fakult?ten - davon 2125 an der Charit? - teilgenommen.

Diskussion

Der Progress Test ist an der Charit? als formative Pr?fung und Feedback-Instrument gew?nscht und als Verfahren anerkannt. Die Erwartung, mit dem Progress Test einen kontinuierlichen Zuwachs des Wissens der Studierenden zu zeigen, hat sich erf?llt.

Die Erstellung des Progress Tests ist mit einem relativ hohen finanziellen und personellen Aufwand verbunden. Besonders hervorzuheben sind die Erstellung der Testfragen (Motivation der Autoren, Datenbankverwaltung, Betreuung und Schulung der Review Komitees), die Organisation und Durchf?hrung des Tests, sowie die Datenerfassung und -auswertung (Einscannen der Antwortb?gen, statistische Aufarbeitung der Ergebnisse und Ausgabe der pers?nlichen Ergebnisr?ckmeldungen).

Die Nutzung des Tests an mehreren Fakult?ten reduziert jedoch den finanziellen und personellen Aufwand pro Testteilnehmer enorm.

Der Einsatz des Progress Tests in der Vorklinik hat sich an der Charit? bislang nicht als sinnvoll und demotivierend erwiesen, da vornehmlich klinisches Wissen gepr?ft wird und diese Inhalte in der Vorklinik kaum gelehrt werden. Abzuwarten ist, ob nach Umsetzung der neuen Approbationsordnung an den verschiedenen Fakult?ten mit steigender Integration klinischer Inhalte in die Vorklinik der Einsatz des Progress Tests auch in diesem Studienabschnitt erwogen werden kann. In den ersten Semestern eines reformierten Studiengangs ist der Einsatz des Progress Tests sinnvoll und zu empfehlen, andere teilnehmende Fakult?ten setzen den Progress Test auch in der traditionellen Vorklinik ein.

Der mangelnden Motivation eines Teils der Studierenden kann mit verst?rkter Information ?ber den Sinn und Zweck des Progress Tests und den pers?nlichen Nutzen daraus teilweise begegnet werden. Aufgrund der Nichtbestehensrelevanz des Tests wird es jedoch weiterhin Teilnehmer geben, die aus unterschiedlichen Gr?nden den Test nicht, oder nicht vollst?ndig bearbeiten, und damit zu einer Verf?lschung der Mittelwerte ihres Semesters beitragen. Diese identifizierten Ausrei?er werden bei der Berechnung der Mittelwerte nicht ber?cksichtigt.

Ausblick

An der Charit? wird das Projekt PTM in den n?chsten Jahren noch mehr in das Curriculum eingebettet und mit ihm verkn?pft werden. Die Expertise, die aus den vergangenen 14 Testdurchl?ufen gewonnen wurde, wird nicht nur im Progress Test eingebracht und umgesetzt, sondern auch in anderen Pr?fungsbereichen innerhalb und au?erhalb der Fakult?t. Auch in einem Projekt der ?rztlichen Weiterbildung ist dies an der Charit? bereits gelungen

Im Rahmen von Diplom- und Doktorarbeiten werden zur Zeit mehrere Studien durchgef?hrt:

• Die Wei?-Nicht-Option soll verhindern, dass Antworten geraten werden. Hier stellt sich die Frage, welchen Effekt die Wei?-Nicht-Option als ungewohntes Verfahren auf das Antwortverhalten hat und ob diese Antwortoption von allen Studierenden in gleicher Weise genutzt wird. Erste Ergebnisse werden im Herbst 2006 erwartet.
• Ein Ziel des PTM ist die Evaluation der Lehre. Im Reformstudiengang Medizin teilt das Curriculum den Lehrstoff in Organsysteme ein. Der Anstieg bzw. die Stagnation der Ergebnisse eines dieser Organsysteme im Progress Test ist ein Feedback an die Lehre. Auch kann untersucht werden, ob der Anstieg dauerhaft ist.
• Der Progress Test soll das Wissen auf Absolventenniveau testen. Das bedeutet, dass ein fertig ausgebildeter Medizinstudent, der gut im Staatsexamen war, auch gute Ergebnisse im Progress Test haben m?sste. Durch einen Vergleich der Progress-Test-Ergebnisse mit den Ergebnissen der Staatsexamina wird diese Kriteriumsvalidit?t zur Zeit untersucht.

Aus datenschutzrechtlichen Gr?nden ist es uns verboten, pers?nliche Daten der Studierenden mit abzufragen, so dass Korrelationen der Testergebnisse mit Personendaten (Alter, Geschlecht, Vorbildung) nur in expliziten Studien durchgef?hrt werden k?nnen.

Fazit

Obwohl im Rahmen der neuen Approbationsordnung in vielen Fakult?ten die Kapazit?ten in der Lehre durch die gestiegenen Anforderungen noch knapper geworden sind, sollte das Ziel von Pr?fungen, Studierende zum Lernen zu motivieren, nicht aus den Augen verloren werden. Leider k?nnen einmalige Semesterabschlussklausuren h?ufig nur kurzfristig memoriertes Wissen abbilden und keine Auskunft ?ber die Nachhaltigkeit von Gelerntem geben.

Da die Studierenden wegen des Umfangs des Testinhalts sich nicht kurzfristig auf einen interdisziplin?ren Progress Test vorbereiten k?nnen, bildet er dauerhaft gespeichertes Wissen ab.

Ein nicht bestehensrelevanter Progress Test kann auch eine sinnvolle Erg?nzung von summativen Pr?fungen in einem Curriculum sein, um schwache Studierende fr?hzeitig zu erkennen oder herausragende Studierende zu honorieren. Er kann au?erdem zum eigenst?ndigen Lernen ?ber die vorgegeben Semesterinhalte hinaus motivieren.

Der PTM hat gezeigt, dass formatives Feedback von der Mehrzahl der Studierenden und Lehrenden gew?nscht wird und dass sich unterschiedliche Curricula vergleichen lassen. Eine Ausdehnung des Projekts auf weitere Universit?ten, vor allem mit Curricula, die klinische Inhalte bereits in den ersten Semestern lehren, ist sinnvoll.

---

Literatur

[1] Rushton A. Formative assessment: a key to deep learning? Med Teach. 2005;27(6):509-513.
[2] Blake JM, Norman GRN, Keane DR, Mueller CB, Cunnington J, Didyk N. Introducing Progress Testing in McMaster University's Problem.based Medical Curriculum: Psychometric Properties and Effect on Learning. Acad Med. 1996;71(9):1002-1007.
[3] Verhoeven BH, Snellen-Balendong HA, Hay IT, Boon JM, van der Linde MJ, Blitz-Lindeque JJ, Hoogenboom RJ, Verwijnen GM, Wijnen WH, Scherpbier AJ, van der Vleuten CP. The versatility of progress testing assessed in an international context: a start for benchmarking global standardization? Med Teach. 2005;27(6):514-520.
[4] Arnold L, Willoughby TL. The Quarterly Profile Examination. Acad Med. 1990;65(8):515-516.
[5] van der Vleuten CP, Verwijnen GM, Wijnen WH. Fifteen years of experience with progress testing in a problem-based learning curriculum. Med Teach. 1996;18:103-109.
[6] Verhoeven BH, Verwijnen GM, Scherpbier AJJ, Schuwirth LW, van der Vleuten CP et al. Quality assurance in test construction: the approach of a multidisciplinary central test committee. Educ Health. 1999;12:49-60.
[7] AG PTM. Leitfaden f?r Fragenautorinnen und -autoren des Progress Test Medizin. Berlin: Charit? Universit?tsmedizin Berlin; 2003.
[8] Anderson J. Multiple-choice questions revisited. Med Teach. 2004;26(2):110-113.