[Student?s self-assessment of clinical competence and objective clinical performance in OSCE evaluation]

 Jana J?nger ¹
Dieter Schellberg ¹
Christoph Nikendei <sup>1

1</sup> Universit?tsklinik Heidelberg, Klinik f?r Psychosomatische und Allgemeine Klinische Medizin, Heidelberg, Deutschland

Abstract

Overestimating one's clinical competence can be dangerous to patient's safety. Therefore the goal of this study was to identify students with high confidence in their own clinical competence but low performance in objective assessment.

171 students in the 14 week course in internal medicine completed the clinical skills-related self-assessment expectations (SE) and were tested in a 12 station OSCE. Both measures were obtained within three days.

In total we identified 16% of students who overestimated their performance in clinical skills compared to their OSCE-results. Male students significantly more oversestimated their clinical compltence (31%) than female students.

One possible cause may be the lack of corrective experiences during clinical traineeship leading to the misconception of own performance. Further validation and the integration of a counselling program for these students seem necessary.

---

---

Einleitung

Gute ?rzte m?ssen ihre ?rztliche Leistungsf?higkeit und ihre Fachkenntnisse selbst ad?quat einsch?tzen k?nnen. Eine gute Selbsteinsch?tzung erm?glicht die Reflexion und das Erkennen von Kompetenzdefiziten und motiviert zur Verbesserung der eigenen Leistung durch lebenslange Fortbildung.

Die bisherige Literatur (Zusammenfassung siehe Fitzgerald et al. [3]) weist darauf hin, dass Selbsteinsch?tzungen bez?glich bestimmter F?higkeiten relativ stabil ?ber die Zeit sind. Dies scheint insbesondere dann der Fall zu sein, wenn keine Konfrontation mit den Fehleinsch?tzungen stattfindet. Vielfache Lernerfahrungen k?nnen die F?higkeiten zur Selbsteinsch?tzung verbessern. Allerdings sind in den bisherigen klinischen Curricula wenig Ma?nahmen integriert, welche Studierenden die M?glichkeit geben, kontinuierlich und wiederholt aus formativem Feedback zu lernen.

Subjektive Kompetenzeinsch?tzungen k?nnen als Lernzielkontrolle dienen und den Studierenden auf einfache Art und Weise wichtige R?ckmeldungen ?ber ihre Kompetenzen und Kompetenzver?nderungen geben. Auch um curricul?re Ver?nderungen und Wirksamkeitseffekte abzubilden erweisen sich die subjektiven Kompetenzeinsch?tzungen als hilfreich [4], [6]. In einigen Studien konnte gezeigt werden, dass die subjektive Kompetenzeinsch?tzung und die tats?chliche klinische Leistung in klinisch-praktischen OSCE-Pr?fungen nicht miteinander korrelieren [2], [5]. Dies bedeutet, dass sich bei der subjektiven Kompetenzeinsch?tzung Studierende in ihren klinischen F?higkeiten entweder ?ber- oder untersch?tzen, so dass kein Zusammenhang mit der tats?chlichen klinischen Leistung besteht. Daneben gibt es Studierende, die ihre Kompetenz bzw. Inkompetenz zutreffend einsch?tzen. Abbildung 1 [Abb. 1] zeigt, dass von Studierenden mit einer ihnen bewussten Kompetenz oder bewussten Inkompetenz keine Gef?hrdung f?r den Patienten ausgeht. Diejenigen Studierenden, die bewusst Defizite bei sich erkennen, werden sich um eine Verbesserung ihrer F?higkeiten bem?hen. Von denjenigen Studierenden jedoch, die ihre klinische Kompetenz ?bersch?tzen geht eine Gef?hrdung f?r den Patienten aus - die Selbst?bersch?tzung kann zu Handlungen am Patienten f?hren, die Studierende nicht richtig beherrschen.

Zu den Charakteristika der sich einsch?tzenden Studierenden werden dabei in der Literatur unterschiedliche Angaben gemacht: Das Geschlecht und die ethnische Herkunft wirken sich nicht in der Selbsteinsch?tzung der Kompetenzen aus [3], [5]; von anderen Autoren wird angegeben, dass sich weibliche Studierende weniger gut einsch?tzen als m?nnliche [8].

Zur Identifikation von sich ?ber- oder untersch?tzenden Studierenden wurde an der Universit?tsklinik Heidelberg ein Fragebogeninstrument entwickelt, welches jeweils zu Beginn und am Ende der klinischen Ausbildung eingesetzt wird. Ziele der vorliegenden Arbeit sind:

1. Zu ?berpr?fen, ob eine Korrelation zwischen subjektiver Kompetenzeinsch?tzung und klinischer Performanze besteht.
2. Die sich selbst ?bersch?tzenden Studierenden zu identifizieren.

Methoden

Design und Stichprobe

171 Studierenden von insgesamt 177 Studierenden im 2. klinischen Jahr nahmen w?hrend des 14-Wochen-Blocks Interdisziplin?re Innere Medizin an der Untersuchung teil. Die Untersuchung fand von April 2004 bis Juli 2004 statt.

Messinstrumente: Fragebogen zur ?rztlichen Kompetenzerwartung

Zur Erfassung der Selbsteinsch?tzung setzten wir den Fragebogen zur ?rztlichen Kompetenzerwartung ein (siehe Anhang). Dieser Fragebogen umfasst 10 Fragen zu allgemeinen Personendaten und 36 Fragen zur ?rztlichen Kompetenzerwartung. Dabei befassen sich 19 Items mit dem Bereich medizinische Kompetenzen untergliedert in die Teilbereiche

1. klinisch-praktische Basistechniken,
2. Indikationen und Kontraindikationen stellen und
3. Befunde erkl?ren bzw. interpretieren.

Dreizehn Fragen haben sozialkommunikative Kompetenzen, darunter auch Team- und Organisationskompetenzen zum Inhalt. Vier Fragen werden zu Probleml?sungs- und Entscheidungsfindungskompetenzen gestellt. Die Studierenden werden in dem Fragebogen gebeten, auf einer 6 Punkte-Skala anzugeben, inwieweit sie zum jetzigen Zeitpunkt in der Lage sind, z.B. eine Magensonde zu legen. Die 6 er-Skala wurde verwendet, um eine mittlere Kategorie als Ausweichm?glichkeit zu vermeiden. Der Fragebogen weist ein Cronbach?s alpha von 0.93 f?r den Gesamtwert auf und hat sich als ver?nderungssensitiv gegen?ber curricularen Ver?nderungen erwiesen. D.h. in denjenigen Bereichen, in denen praktische ?bungen w?hrend des Semesters im Skills-Lab durchgef?hrt wurden, stieg die Selbsteinsch?tzung der Studierenden insgesamt an (z.B. Legen eines Blasenkatheters). Wurde diese praktische ?bung im n?chsten Semester nicht mehr vermittelt, blieb auch die Selbsteinsch?tzung der Studierenden zu Beginn und Ende des Semesters gleich [4].

Messinstrumente: OSCE

Die letzte Woche des Blocks interdisziplin?re Innere Medizin (Innere Medizin, Allgemeinmedizin, Klinische Chemie, Klinische Pharmakologie, Geriatrie) im Rahmen des Curriculums Heicumed [9], [10], [11] stellt die Pr?fungswoche dar. In ihr finden an den ersten beiden Tagen die Klausuren statt, an den letzten drei Tagen nachmittags werden 18 OSCE Durchl?ufe von je 72 min Dauer durchgef?hrt. Dabei sind zwei OSCE-Parcoure mit je 12 Stationen (Dauer pro Staton 5 min, 1 min Wechselzeit) parallel aufgebaut. Diese werden an einem Nachmittag dreimal wiederholt. D.h. an einem Nachmittag werden von 24 Pr?fern 72 Studierende gepr?ft. Die 12 Stationen des OSCE werden entsprechend eines von den Kurskoordinatoren der einzelnen F?cher festgelegten Blueprints gestaltet [6].

Neben der m?ndlichen-praktischen Pr?fung wurde das Faktenwissens mittels einer Klausur ?berpr?ft, die aus 45 Fragen bestand. Die Bestehensgrenze lag bei 60%. Die Dauer der Klausur betrug 68min.

R?ckmeldung an die Studierenden

Den Studierenden wurden die Ergebnisse ihrer Selbsteinsch?tzung bez?glich der ?rztlichen Kompetenzerwartung im Vergleich zum Mittelwert der Gesamtgruppe zu Beginn und am Ende des Semesters zur?ckgemeldet. Daraus konnten die Studierenden erkennen, ob sie sich im Verh?ltnis zu ihren Mitstudenten in ihren Kompetenzen eher besser oder eher schlechter einsch?tzten und wie die Selbsteinsch?tzung ihres pers?nlichen Lernfortschritts war.

Klassifizierung der Pr?fungsleistungen im Verh?ltnis zur Selbsteinsch?tzung

Diejenigen Studierenden, die sich mittels ihrer Kompetenzerwartung zu den 25% besten Studierenden z?hlten, im OSCE jedoch die Note vier erreichten oder nicht bestanden hatten, wurden als "Selbst?bersch?tzer" klassifiziert. Die anderen Studierenden stellten die Gruppe der sich realistisch einsch?tzenden bzw. untersch?tzenden Studierenden dar.

Statistische Analyse

Als Ma? f?r den Zusammenhang zwischen kontinuierlichen Variablen wurde die Rangkorrelation nach Spearman berechnet. Auf H?ufigkeitsunterschied wurde mittels Chi-Quadrat-Test gepr?ft. Mittelwertsunterschiede wurden mit dem t-Test f?r unabh?ngige Stichproben auf einem Alpha-Niveau von 5 % gepr?ft.

Ergebnisse

Stichprobe und Fragebogenr?cklauf

Von den teilnehmenden Studierenden waren 63 (37%) m?nnlich und 108 (63%) weiblich. Das mittlere Alter betrug bei den weiblichen Studierenden 23 Jahre und bei den m?nnlichen Studenten 24 Jahre. Von den 171 Studierenden, die den Fragebogen zum ersten Zeitpunkt ausf?llten, ergab sich zum zweiten Erhebungszeitpunkt direkt vor dem OSCE ein R?cklauf von 129 (70,6%).

Ergebnisse OSCE, Klausur und ?rztliche Kompetenzerwartung

Tabelle 1 [Tab. 1] veranschaulicht die Ergebnisse des OSCE, der Klausur und der ?rztlichen Kompetenzerwartung am Ende des Semesters. Die m?nnlichen Studenten schnitten beim OSCE signifikant schlechter ab als die weiblichen Studenten. In der Klausur ergab sich kein Unterschied bei den Pr?fungsergebnissen. In der ?rztlichen Kompetenzerwartung am Ende des Semesters sch?tzten sich die m?nnlichen Studenten als signifikant besser ein.

Korrelation mit OSCE-Daten

Es zeigte sich eine mittlere Korrelation zwischen dem OSCE und der schriftlichen Pr?fung (r = 0,46; p<0,0001). Keine signifikante Korrelation fand sich zwischen den OSCE-Ergebnissen mit dem Gesamt-Score zur ?rztlichen Kompetenzerwartung bzw. deren 5 Dimensionen.

Beziehung zwischen Selbsteinsch?tzung und OSCE-Ergebnissen

Insgesamt ?bersch?tzten 16% der Studierenden ihre klinische Kompetenz in Bezug zum erreichten OSCE-Pr?fungsergebnis. Dabei ?bersch?tzten sich signifikant mehr M?nner (31%) als Frauen (8%) (siehe Abbildung 2 [Abb. 2]).

Diskussion

In der vorliegenden Studie ergab sich keine signifikante Korrelation zwischen subjektiver Kompetenzerwartung und klinischer Performanz im OSCE. M?nnliche Studierende waren signifikant schlechter im OSCE, sch?tzten ihre Kompetenz aber signifikant h?her ein als weibliche Studierende. Insgesamt 16% der Studierenden wurden als Selbst?bersch?tzer klassifiziert, das hei?t, sie wiesen eine Performanz im unteren Leistungsbereich auf, obwohl sie sich selbst in den oberen Kompetenzbereich eingeordnet hatten. Damit best?tigt diese Studie Arbeiten von Barnsley [2] und Mavis [5], die ebenfalls keinen Zusammenhang zwischen objektiver Leistung und subjektiver Einsch?tzungen gefunden hatten.

Auch wenn hier somit die Ergebnisse im Bereich der medizinischen Ausbildung konsistent sind, erstaunt dies im Bezug zu der generellen Literatur zum Thema subjektive Kompetenzeinsch?tzung (Selbstwirksamkeit). So ist aus klinischen Studien bekannt, dass die Kompetenzerwartung von Patienten bez?glich einer zu erbringenden Leistung mit der tats?chlichen Leistung korreliert. Auch der Gr?nder der Selbstwirksamkeitstheorie Bandura [1] beschreibt Selbstwirksamkeit als eine ?berzeugung eine bestimmte pers?nliche oder professionelle Leistung erbringen zu k?nnen und legt dar, dass diese Erwartung deutlich mit der tats?chlichen Leistung korreliert. Spannend ist die Frage inwieweit die F?higkeit zur gelungenen Selbsteinsch?tzung vom Geschlecht oder der bisherigen Erfahrung mit der einzusch?tzenden Leistung zusammenh?ngt. Dies k?nnte z.B. bedeuten, dass die Selbsteinsch?tzung in Bezug auf eine Leistung, die man selten erbracht hat, eher von Pers?nlichkeitsfaktoren abh?ngt. Je ?fter man jedoch eine bestimmte Leistung erbracht hat und Feedback hierf?r erhalten hat, k?nnten sich objektive Leistung und subjektive Kompetenzeinsch?tzung aneinander ann?hren. Auch wenn diese Erkl?rung Gegenstand zuk?nftiger Forschung sein sollte, sehen wir es als notwendig und sinnvoll an, Feedbackprozesse in die medizinische Ausbildung zu integrieren. Die R?ckmeldung an Studierende ?ber eine Differenz zwischen Selbsteinsch?tzung und einem OSCE-Ergebnis kann hierzu einen wichtigen Beitrag leisten. Diese Art der R?ckmeldung ist auch in Studieng?ngen mit gro?er Studentenzahl relativ Ressourcen schonend durchzuf?hren. ?ber die R?ckmeldung hinaus ist es sinnvoll eine Beratung f?r sich selbst ?bersch?tzende Studierende anzubieten. Diese Beratung dient dazu, Faktoren, die zu der Fehleinsch?tzung f?hren, wie z.B. Pr?fungsangst aber auch die fehlende Auseinandersetzung mit den Pr?fungsinhalten zu identifizieren. Problematisch erscheint dabei, dass eine freiwillige Beratung, da sie nach Semesterabschluss und vor Beginn eines neuen Semesters angeboten wird, nur selten in Anspruch genommen wird. Au?erdem bleibt fraglich, inwieweit eine einmalige Beratung eine Selbstreflektion bei den sich selbst ?bersch?tzenden Studierenden aufweist.

Ausblick

Ein Ziel eines idealen Curriculums sollte es sein, korrekte studentische Kompetenzeinsch?tzung zu unterst?tzen. Das hei?t es sollten viele verschiedene Lernm?glichkeiten und h?ufig individuelles Feedback ?ber pers?nliche Lernerfahrungen gegeben werden.

Gerade f?r Regelstudieng?nge mit gro?er Studentenzahl bietet sich durch die einfache Anwendung des Fragebogens die M?glichkeit, Studenten mit potenziell patientengef?hrdendem Verhalten zu identifizieren. Durch das Erkennen der betroffenen Studenten in fr?hen klinischen Semestern, w?re die M?glichkeit zu wiederholten Interventionen zur F?rderung der Selbsteinsch?tzung gegeben.

Limitationen

Bei der freiwilligen Fragebogenerhebung konnten wir zum zweiten Zeitpunkt einen R?cklauf von 70,6 % erzielen. Hierbei ist nicht auszuschlie?en, dass es zu einem Selektionsbias gekommen ist. Jedoch liegt die R?cklaufquote im Bereich dessen, was bei freiwilligen Zweiterhebungen erreichbar ist. Der Fragebogen zur ?rztlichen Kompetenzerwartung bildet ein breites Spektrum an praktischen und kommunikativen F?higkeiten sowie Entscheidungskompetenzen in der Inneren Medizin ab. Die Items des Fragebogens decken sich nicht komplett mit den Pr?fungsinhalten im OSCE. Deshalb besteht theoretisch die M?glichkeit, dass F?higkeiten, die Studierende beherrschen und sich darin auch kompetent f?hlen, nicht im OSCE abgepr?ft werden. Dies k?nnte eine Verzerrung der Korrelation zwischen OSCE und Fragebogeninstrument f?hren. Jedoch bildet der OSCE durch seine 12 Stationen mit jeweils 5 Teilaufgaben der Inneren Medizin wie im Blueprint bei Nikendei und J?nger [6] dargestellt, generelle grundlegende F?higkeiten in vielen Feldern ab.

Fazit

Selbsteinsch?tzungen der ?rztlichen Kompetenzerwartung in Verbindung der objektiven Leistungsfeststellung mittels OSCE sind geeignet sich selbst ?bersch?tzende Studenten zu identifizieren und er?ffnet die M?glichkeit einer fr?hzeitigen gezielten Intervention zur F?rderung einer korrekten Einsch?tzung der eigenen Kompetenz.

Anhang

Fragebogen zur ?rztlichen Kompetenzerwartung (siehe Abbildung 3-6 [Abb. 3] [Abb. 4] [Abb. 5] [Abb. 6]).

---

Literatur

[1] Bandura A. Perceived self-efficacy in cognitive development and functioning. Educ Psychol 1993;28(2):117-148.
[2] Barnsley L, Lyon PM, Ralston SJ, Hibbert EJ, Cunningham I, Gordon FC, Field MJ. Clinical skills in junior medical officers: a comparison of self-reported confidence and observed competence. Med Educ. 2004;38(4):358-367.
[3] Fitzgerald JT, White CB, Gruppen LD. A longitudinal study of self-assessment accuracy. Med Educ. 2003 Jul;37(7):645-649.
[4] J?nger J, Schellberg D, Benkowitsch M, Sch?fer S, Zeuch A, Roth C, Nikendei C, M?ller T, Auler B, Herzog W. Influence of a reformed curriculum in internal medicine on self-efficacy in clinical skills of medical students. Lissabon: Association for Medical Education in Europe (AMEE). 2002:p. 4.6.
[5] Mavis B. Self-Efficacy and OSCE Performance Among Second Year Medical Students. Adv Health Sci Educ Theory Pract. 2001;6(2):93-102.
[6] Nikendei C, J?nger J. OSCE - praktische Tipps zur Implementierung einer klinisch-praktischen Pr?fung. GMS Z Med Ausbild. 2006;23(3): Doc.46.
[7] Nikendei C, Schilling T, Nawroth P, Hensel M, Ho AD, Schwenger V, Zeier M, Herzog W, Schellberg D, Katus HA, Dengler T, Stremmel W, M?ller M, J?nger J. Integriertes Skills-Lab-Konzept f?r die studentische Ausbildung in der Inneren Medizin. Dtsch Med Wochenschr. 2005;130(8):1133-1138.
[8] Probert CS, Cahill DJ, McCann GL, Ben-Shlomo Y. Traditional finals and OSCEs in predicting consultant and self-reported clinical skills of PRHOs: a pilot study. Med Educ. 2003;37(7):597-602.
[9] Seller H. Die Studienreform an der Medizinischen Fakult?t Heidelberg: Einf?hrung des neuen klinischen Curriculums Heicumed. Med Ausbild 2003;20:39-42.
[10] Sonntag HG. Heidelberg als Vorreiter. Dtsch Arztebl. 2003;7:337.
[11] Steiner T, J?nger J, Schmidt J, Bardenheuer H, Kirschfink M, Kadmon M, Schneider G, Seller H, Sonntag HG. HEICUMED: Heidelberger Curriculum Medicinale - Ein modularer Reformstudiengang zur Umsetzung der neuen Approbationsordnung. Med Ausbild. 2003;20:87-91.