Wo Cronbach´s alpha nicht mehr reicht: Messzuverlässigkeit bei nicht-homogenen Prüfungen
Andreas Möltner 1Dieter Schellberg
Steffen Briem 2
Thomas Böker 3
Jobst-Hendrik Schultz 4
Jana Jünger 5
1 Universität Heidelberg, Kompetenzzentrum für Prüfungen in der Medizin, Heidelberg, Deutschland
2 Uniklinikum Heidelberg, Medizinische Klinik, Heidelberg, Deutschland
3 Universitätsklinik Heidelberg, Heidelberg, Deutschland
4 Universität Heidelberg, Vorklinik im Kompetenzzentrum Prüfungen Baden Würtemberg, Heidelberg, Deutschland
5 Medizinische Universitätsklinik Heidelberg, Innere Medizin, Heidelberg, Deutschland
Workshop
Das "Wissen" oder "Können", welches in einem medizinischen Fach geprüft wird, ist keine eindimensionale Grösse, sondern muss als aus verschiedenen Teilfertigkeiten zusammengesetzt aufgefasst werden. Diese werden z. B. auch durch unterschiedliche Prüfungsformen für theoretisches Wissen und praktische Fertigkeiten erfasst.
Damit stellt sich die Frage nach der Messzuverlässigkeit der Gesamtbewertung, die Verwendung der internen Konsistenz (Cronbachs alpha) als Reliabilitätsmaß kann bei diesen testtheoretisch "nicht-homogenen" Tests zu irreführenden Ergebnissen führen.
Geeignete Verfahren zur Analyse solcher Tests und zur Interpretation der erzielten Ergebnisse werden am Beispiel der Prüfungen im Fach Innere Medizin der Universität Heidelberg vorgestellt. Diese bestehen aus einer Klausur und einem OSCE, deren Einzelreliabilitäten zufrieden stellend gut waren (0.65 bzw. 0.74, r=0.6). Insgesamt ergibt sich für die Gesamtbewertung die sehr gute Reliabilität von 0.84.
Das Vorgehen zeigt, wie medizinische Prüfungen, die zur Gewährleistung einer hohen Validität als heterogene Tests konzipiert werden müssen, in Bezug auf ihre Reliabilität testtheoretisch angemessen zu analysieren sind.
