[Checklist "Professional Communication in Medicine" in teaching and assessing of anamnesis and communication skills in medical education]

 Ingeborg Pucher-Matzner ¹
Andreas Gleiss ²
Michael Schmidts ³
Oskar Frischenschlager <sup>4

1</sup> Medizinische Universit?t Wien, Zentrum f?r Public Health, Institut f?r Medizinische Psychologie, Wien, ?sterreich
² Medizinische Universit?t Wien, Institut f?r Klinische Biometrie, Besondere Einrichtung f?r Med. Statistik und Informatik, Wien, ?sterreich
³ Medizinische Universit?t Wien, BEMAW - Methodik und Entwicklung, Wien, ?sterreich
⁴ Medizinische Universit?t Wien, Zentrum f?r Public Health, Wien, ?sterreich

Abstract

Objectives: The checklist „Professional Communication in Medicine“ serves as a tool for teaching and training medical students in communication skills, it has also been developed in order to evaluate the students’ performance at the end of their second year at the Medical University of Vienna. The checklist consists of three parts: 26 items referring to the contents of the interview according to George Engel’s ten step model of anamnesis, 10 items referring to the style of communication and 12 items deal with the relationship established.

Methods: Teachers of communication skills in medicine were asked to check the list for objectivity (interrater- reliability). In a first step (learning), after they got to know how to handle the list, they were trained in applying this checklist with the help of videos – each presenting a complete anamnesis. The testing that followed looked at the items in terms of their level of consensus.

Results: On the whole it can be said that a good level of consensus – in around 75 percent of all items - was reached in assessing all three parts, i.e. style of communication, contents and relationship. The highest levels of consensus were observed in part B: style of communication, the lowest in section C: relationship.

Conclusion: Results have turned out satisfactorily as far as they provide consistent forms of assessment for the major part of items. However, improvements need to be made in areas dealing with question-building, psychosocial aspects but also personal development. All in all, the checklist can be seen as an essential contribution to quality assurance in medical communication, involving both, students and teachers.

---

---

Einleitung

1. Einf?hrung

Bemerkenswerte 85% der Absolventen medizinischer Universit?ten nennen als elementare Voraussetzung f?r ihre sp?tere Berufsaus?bung soziale Kompetenzen, wie Kommunikation mit und Beziehung zum Patienten, noch vor dem Erwerb der allgemeinen ?rztlichen Kompetenz (medizinisches Wissen, praktische F?higkeiten, interdisziplin?re Denkweise). Nur wenige der Befragten hatten angegeben, in ihrem Studium ausreichend daf?r vorbereitet worden zu sein [1]. Komplexes ?rztliches Kommunikationsverhalten bedarf eines sorgf?ltigen Trainings, Wissen alleine zu vermitteln reicht nicht aus [2].

2. Problemstellung

Im, seit 2002 reformierten Medizinstudium MCW, der Medizinischen Universit?t Wien, werden zum Unterschied zum alten Curriculum, kommunikative Fertigkeiten explizit gelehrt. Neben der Reflexion der eigenen Einstellungen und Haltungen liegt der Schwerpunkt auf Erprobung und praktischer Umsetzung kommunikativer Fertigkeiten. In der Studieneingangsphase werden die Studierenden in einer Vorlesung zum Thema „Kommunikation und Gespr?chsf?hrung“ mit dem Thema vertraut gemacht und anschlie?end in Kleingruppen (3 Stunden) dazu animiert, sich damit eingehender auseinander zu setzen. Das im Medizinunterricht notwendige Vermitteln von Handlungswissen [3] verlangt den Einsatz von alternativen Methoden. Demzufolge wird im dritten und vierten Semester des Studiums (mit Dauer von insgesamt 18 Unterrichtseinheiten) Kleingruppenunterricht angeschlossen. Es wird erwartet, dass Anamnesen durchgef?hrt werden k?nnen, selbstverst?ndlich, ohne dass die entsprechende Diagnose gefunden werden soll. Ebenso wird erwartet, dass empathisches Eingehen und responsives Verhalten [4] ge?bt werden um f?r die nachfolgende Famulatur ger?stet zu sein. Im siebenten Semester erfolgt noch einmal f?r die Dauer von 14 Unterrichtseinheiten Kleingruppenunterricht, in dem auf spezielle Gespr?chssituationen, wie dem Umgang mit beeintr?chtigten Personen, eingegangen wird.

Probleme f?r den Unterricht an der MUW Wien ergeben sich unter anderem aus dem Wesen der Massenuniversit?t: So zum Beispiel begannen im Wintersemester 2005/06 1560 Studierende mit dem Studium der Medizin, f?r rund 600 von ihnen standen auch im zweiten Jahr Studienpl?tze zur Verf?gung. Werden je zehn Studierende in einer Gruppe zusammengefasst, bedeutet dies, dass 60 Kleingruppen parallel ablaufen m?ssen. Die f?r die Planung des Unterrichts Verantwortlichen sehen sich vor die Herausforderung gestellt, neben standardisierten Unterrichtsbedingungen mit objektiven und reliablen Messinstrumenten zur ?berpr?fung der Leistungen, eine homogene Gruppe an Lehrenden zu finden bzw. zu entwickeln. Unter den zur Verf?gung stehenden Lehrenden befinden sich solche, die aufgrund ihrer Ausbildung als kernkompetent einzustufen sind und solche, die diese Voraussetzungen in geringerem Ausma? mitbringen. Studien zur Evaluation klinischer Fertigkeiten wie Gespr?chsf?hrung zeigen aber, dass Vereinheitlichung und Strukturierung des Vorgehens unabdingbar sind. Subjektive Einsch?tzungen ?ber kommunikative Skills divergieren in unzul?ssiger Art und Weise [5]. Noel et al. empfehlen dringend ausf?hrliche Schulungen und oftmalige Beobachtungen und Bewertungen, die auf mehreren Ebenen ansetzen: Wiederholte Evaluierung der Leistung der geschulten Studierenden anhand einer Vielzahl an F?llen mit standardisierten Patienten, mittels strukturierter Checkliste. Eine solche Checkliste haben wir f?r den Unterricht erstellt. Die von uns entwickelte und hier vorgestellte Checkliste PK „professionelles ?rztliches Kommunikationsverhalten“ dient als Unterrichtsgrundlage f?r Anamnesen, in dem sie Handlungsanweisungen (wie z. B. „gr??t und stellt sich vor“) gibt und zugleich ein standardisiertes Evaluationskriterium darstellt.

3. Entwicklungsprozess der Checkliste

Das von uns angestrebte Instrument soll, auf Lernziele zugeschnitten, nicht nur Inhalt und Beziehung, sondern auch allgemeine Schritte einer Anamnese erfassen. Vorhandene Listen, wie die OSCE Checkliste (Objective Structured Clinical Examination/Exercise [6]), die ABS (Aufkl?rungsgespr?ch-Bewertungsskala [7]), basierend auf der BAS – Breaking Bad News Assessment Schedule [8]) oder der KEK (K?lner Evaluierungsbogen f?r Kommunikation [9]) wurden eingearbeitet, konnten aber nicht zu 100% ?bernommen werden. Zur Anpassung an gegebene Verh?ltnisse und eigene Bed?rfnisse, bedurfte es einer Neukonstruktion. Nach einer ersten Vorstellung samt Diskussion mit Lehrenden der Gespr?chsf?hrung folgte der erste Einsatz in deren Schulungen zum Unterricht. Inhaltliche wie stilistische Verbesserungsvorschl?ge wurden aufgegriffen und eingearbeitet. Einem neuerlichen Probedurchgang mit Lehrenden folgte die anschlie?ende dritte ?berarbeitung mit Auswertung der Daten, die in der Schulung gewonnen wurden. Im Sommersemester 2005 erfolgte der erstmalige Einsatz der Checkliste PK im Unterricht. Die Studierenden werden aufgefordert, mit einem standardisierten Patienten (Tutoren -->h?hersemestrige Studierende, die sich unter Anleitung eine Fallgeschichte erarbeitet haben und diese in der Ich-Form darstellen) auf Basis der Checkliste ein Anamnesegespr?ch zu f?hren. Die Ergebnisse wurden ausf?hrlich diskutiert.

Beschreibung der Checkliste

Die Checkliste PK vermittelt Hinweise f?r die Durchf?hrung einer Anamnese, ohne auf eine nachfolgende k?rperliche Untersuchung einzugehen (siehe Tabelle 1 [Tab. 1]). In der Konstruktion folgen wir dem Engel?schen Modell der bio-psycho-sozialen Anamnese in 10 Schritten [10], zit. n. [11]. Die 26 Items des Bereiches A (Gespr?chsinhalt) leiten sich davon ab. Weitere 10 Items (Bereich B: Gespr?chsstil) dienen zur Erfassung formaler Aspekte. Bereich C (Beziehung/ Kontakt) besteht aus 12 Items. Die Beurteilung de kommunikativen Leistungen erfolgt auf einer vierstufigen Skala von 0 (trifft nicht zu) bis 3 (trifft v?llig zu) und einer weiteren Kategorie (nicht anwendbar). Die Dauer der Durchf?hrung variiert je nach Einsatzzweck. In der Vermittlung der Checkliste im Unterricht hat sich bew?hrt, die Liste in die drei vorgegebenen Teilbereiche zu portionieren, und mit dem Bereich B –Gespr?chsstil - zu starten. F?r Anf?nger scheint es leichter, mit formalen Aspekten zu beginnen und dann mit Beziehungsaspekten und anamnesebezogenen Gespr?chsinhalten fortzusetzen. Als g?nstig hat sich die Mischung aus Diskussion von vorgef?hrten Videosequenzen f?r das jeweilige Item mit anschlie?endem Rollenspiel, in dem die Aufgabenstellung ge?bt wird, erwiesen.

Am Ende des Studienjahres werden die erlernten F?higkeiten im Rahmen einer OSCE (objective structured clinical evaluation) mit insgesamt f?nf Stationen (zwei Stationen ?rztliche Grundfertigkeiten, zwei Stationen physikalische Krankenuntersuchung und einer Station ?rztliche Gespr?chsf?hrung) ?berpr?ft. Die Studierenden haben die Aufgabe, an simulierten PatientInnen eine Anamnese zu erheben und werden mittels der Checkliste PK beurteilt. F?r die ?berpr?fung ben?tigen geschulte Personen in etwa 10 Minuten, wobei ein computerunterst?tztes System eingesetzt wird [12].

4. Fragestellung

Ziel der vorliegenden Untersuchung ist, neben der Vorstellung der Checkliste PK, die ?berpr?fung von Testg?tekriterien. In einem ersten Schritt wird die Objektivit?t (Interrater-Reliabilit?t) gepr?ft.

Methoden

1. Studiendesign

Zur testtheoretischen ?berpr?fung der Checkliste wurden zwei Gruppen von Lehrenden, die ?rztliche Gespr?chsf?hrung unterrichten (n=14) und daher mit der Checkliste vertraut sind, gebeten, in Videos gezeigte Anamnesegespr?che, anhand der Checkliste zu beurteilen. Das Ma? der Interrater?bereinstimmung dient der Bewertung der Items.

Ablauf: In einem ersten Schritt (Lernphase) wurden von den Lehrenden Einsch?tzungen auf der Checkliste vorgenommenen und diese zwecks Minimierung von Verst?ndnisproblemen diskutiert. In der darauf folgenden eigentlichen Testphase war ein zweiter Film zu beurteilen; die dabei erhobenen Daten flie?en in die Auswertung ein.

Die Reihenfolge der gezeigten Filme wurde in den beiden Gruppen umgekehrt damit ein potenzieller Lerneffekt nicht von einem „Filmeffekt“ ?berlagert wird.

2. Datengenerierung und -auswertung

Um ein Ma? f?r die ?bereinstimmung der Beurteiler anzugeben, wurde in jeder zu untersuchenden Untergruppe (in Schulungs- und Testphase, in jedem Item bzw. in jedem der Teilbereiche A/B/C) f?r jedes Paar von Untersuchern gez?hlt, wie oft diese auf einer dreiteiligen nominalen Skala (0 oder 1 vs. 2 oder 3 vs. „n. a.“) in ihrer Beurteilung ?bereinstimmen. Diese Anzahl wurde sodann durch die Anzahl der in der betrachteten Untergruppe befindlichen Items dividiert. Schlie?lich erh?lt man das gesuchte ?bereinstimmungsma? durch Mittelwertsbildung ?ber die so erhaltenen Quotienten aller m?glichen Paare von Beurteilern. Es ist zu beachten, dass hierbei keine Korrektur nach der alleine durch Zufall zu erwarteten ?bereinstimmung vorgenommen wurde. Die Berechnungen wurden mit SAS Version 9.1 (SAS Institute Inc., Cary, NC USA, 2001) durchgef?hrt.

Ergebnisse

1. In einer ersten Auswertung ?berpr?ften wir, inwieweit sich die ?bereinstimmung der Beurteilungen in den drei Bereichen A/B/C von der Lernphase zur Testphase ver?nderte. Wir fanden praktisch keineVer?nderung der ?bereinstimmung im Bereich A, eine geringf?gige Abnahme im Bereich B und C. Ein ?bungseffekt konnte nicht beobachtet werden, die ?bereinstimmung erachten wir jedoch als ausreichend (siehe Tabelle 2 [Tab. 2]). Das Gesamt-?bereinstimmungsma? (f?r alle drei Bereiche) ergab einen Wert von 75,6% f?r die Lernphase und 74,2% f?r die Testphase.

2. Die Berechnung der Urteiler-?bereinstimmung auf Einzel-Item-Ebene ergab, dass 35 der 48 Items eine ?bereinstimmung von mehr als 60% erreichten (siehe Tabelle 1 [Tab. 1]). Im Bereich C (Beziehung/Kontakt) war der Anteil der Items, die diese ?bereinstimmungsh?rde nicht erreichten, mit 33% (4 von 12 Items) am h?chsten, im Bereich B (Gespr?chsstil) mit 20% (2 von 10 Items) am geringsten. Bereich A (Gespr?chsinhalt) liegt mit 27% (7 von 26) in der Mitte.

Diskussion

Durch die Checkliste PK werden einerseits Unterrichtsinhalte und somit ein Standard f?r den Unterricht vorgegeben, andererseits liegt damit ein verbindliches Instrument f?r die Evaluierung der Studierenden vor.

Das Versuchsdesign, das durch den hohen administrativen und zeitlichen Aufwand mit nur zwei Filmen auskommen musste, erlaubt lediglich vorsichtige Schl?sse aus dieser Pilot-Untersuchung. Auf folgende Trends und Auff?lligkeiten soll jedoch hingewiesen werden: Die Ergebnisse zeigen, dass bei der Mehrzahl der Items eine hohe ?bereinstimmung der Beurteilungen in mehreren Testphasen erreicht wurde. Sie scheinen problemlos und eindeutig beantwortbar, dies k?nnte f?r die leichte Handhabbarkeit und Anwendbarkeit, sowie f?r die Verst?ndlichkeit des Gro?teils der Items der Checkliste sprechen.

Wir wollen im Sinne der Optimierung unser Hauptaugenmerk auf diejenigen Aussagen legen, die weniger eindeutig bewertet wurden. Die niedrigste ?bereinstimmung erzielten folgende vier Items:

Erkundet zeitliches Zusammentreffen der Symptome mit psychischen/sozialen Faktoren (z. B. stressful life events); Erkundet gegebenenfalls kulturelle Einfl?sse auf Krankheitsgeschehen; Nimmt Bezug auf nonverbale ?u?erungen des Patienten und kann ggf. Momente des Schweigens zulassen.

Sieht man von m?glichen Konstruktionsfehlern ab, k?nnen hierf?r verschiedene Ursachen angenommen werden. Auff?llig ist, dass es sich samt und sonders um Items handelt, die psychosoziale Faktoren ansprechen – potenzielle Krankheitsausl?ser, kulturelle Einfl?sse, nonverbales Verhalten und das Zulassen von Gespr?chspausen. Diese Gespr?chsbausteine bereiten erfahrungsgem?? auch im Unterricht Probleme, sie verlangen relativ kompetentes Gespr?chsverhalten. Auf das Zulassen von Gespr?chspausen wird im studentischen Gespr?ch leicht vergessen. Anf?nger neigen dazu, Interaktionen zu dominieren, wenig Zeit zu lassen und kaum auf nonverbale ?u?erungen einzugehen.

Warum aber sind sich die Beurteiler – Lehrende – gerade hier so uneinig in ihrer Bewertung? Auf welche Weise nimmt man Bezug auf nonverbales Verhalten? Angesichts der Datenlage ist es schwer zu unterscheiden ob das Item der Aufmerksamkeit der Bewerter entgangen ist oder von den Studierenden nicht durchgef?hrt wurde.

Die Evaluierung des Instruments konnte teils nur mit Lehrenden erfolgen, die sich ?berwiegend erst seit kurzer Zeit selbst mit den im Unterricht zu vermittelnden Inhalten und Methoden befasst haben, da die Schulungen nur wenige Stunden umfassten. Wir f?hren ?bereinstimmungsm?ngel auch auf diese Inhomogenit?t der Gruppe der Lehrenden zur?ck.

Sehen wir von der Einzelitemebene ab, und fokussieren auf die drei in der Checkliste angef?hrten Teilbereiche, dann zeigen sich Unterschiede in den ?bereinstimmungen. Wir k?nnen ein „Schichtenmodell“ mit sukkzessive abnehmenden ?bereinstimmungswerten generieren:

--> Im Bereich Gespr?chsstil liegt die h?chste ?bereinstimmung vor. Ist dieser „technische“ Teil der Kommunikation wie Wortwahl, Art der Fragen Blickkontakt etc. am leichtesten zu erlernen und somit ein guter Pr?diktor f?r ?bereinstimmung? M?glicherweise, Probleme finden sich lediglich bei „Bezugnehmen auf nonverbale ?u?erungen“. Ein Item, das man eigentlich als Beziehungsvariable verstehen k?nnte, wobei gerade diese Form von nonverbaler Sensibilit?t laut [13] neben zugewandter K?rperhaltung und Blickkontakt zu einer Steigerung der Patientenzufriedenheit beitr?gt.

--> Die ?bereinstimmungswerte der Umsetzung der einzelnen Anamneseschritte (Gespr?chsinhalt) liegen im mittleren Bereich. H?rden zeigen sich dann, wenn ?ber den organmedizinischen Kontext hinaus gehend psychische und soziale Faktoren zur Sprache kommen sollen, sei es in Zusammenhang mit dem Beginn der Erkrankung, mit relevanten Aspekte der psychischen Entwicklung oder der sozialen Unterst?tzung (siehe oben).

--> Beziehungsvariablen zu erfassen scheint am schwierigsten zu sein. Unsere Ergebnisse best?rken den internationalen Trend der letzten Jahre, der laut [14] dahin geht, Kommunikationsfertigkeiten gemeinsam mit klinischem Wissen zu lehren. Die Anameseerhebung in Kleingruppen zu erarbeiten und dabei zu probieren und diskutieren bringt Vorteile, die auf der Hand liegen: Studierende ?bernehmen nicht nur die Rolle des Arztes, sondern auch des Patienten – und trainieren so ihr Einf?hlungsverm?gen und ihr Beziehungsverhalten insgesamt. Untrainierte Studierende neigen dazu, die somatischen Aspekte der Anamnese zu fokussieren und verlieren damit wesentliche M?glichkeiten des Beobachtens und Wahrnehmens [15].

Eine Checkliste ist insofern hilfreich, als sie einheitliche Unterrichtsabl?ufe und Klarheit der Lernziele zu sichern vermag. Vorausgesetzt, geeignete Lehrende stehen zur Verf?gung. Ist die Prim?rqualifikation der Lehrenden keine psychosozial orientierte (Psychologen, Psychosomatiker, Psychotherapeuten), bedarf es intensiver Schulungen und Trainings [5], [15] mit besonderer Ber?cksichtigung von Feedbacks. Die Art des Feedbacks hat einen entscheidenden Einfluss auf den Lernerfolg [16].

Abschlie?end sei noch erw?hnt, dass wir derzeit die Gespr?chsf?hrung, in unserem OSCE, nur an einer Station beurteilen k?nnen. Daher focussieren wir auf das Erreichen einer m?glichst hohen Interrater-Reliabilit?t, obwohl uns sehr wohl bewusst ist, dass die intercase-reliabilit?t ein ebenfalls wesentlicher Hemmschuh zur Generalisierbarkeit des professionellen Kommunikationsverhaltens der Studierenden darstellt [17], [18]. International ?bliche Szenarien mit 10 – 15 OSCE-Stationen, gro?teils ausgestattet mit standartisierten Patienten und der damit verbundenen Erhebung der Gespr?chskompetenz an allen Stationen, sind daher ein f?r uns noch unerreichtes Zukunftsszenario.

Schlussfolgerung

In den Ergebnissen spiegeln sich neben der im Erprobungsstadium befindlichen Checklist weitere methodische Unsch?rfen. Lehrende stimmen in ihren Lernzielen und ihrem Unterrichtsverhalten manchmal nicht ?berein, weiters m?ssen die Unterrichtsmaterialen (Filme, Tutoren, etc.) teilweise erst an die neuen Gegebenheiten adaptiert werden. F?r eine weitere ?berpr?fung der Checkliste w?re es sinnvoll, weitere F?lle (d.h. Filme) einzusetzen. Man k?nnte diese dann im Vorfeld (ev. f?r jeden der drei Bereiche A, B, C getrennt) z.B. auf der von Holmboe et al. [19] vorgeschlagenen dreiteiligen Skala beurteilen und mit der dort vorgeschlagenen Methode ?berpr?fen, ob die Rater anhand der Checkliste diese Beurteilung nachvollziehen.

Man darf davon ausgehen, dass die Checkliste in weiterer Zukunft einen wesentlichen Beitrag zur Homogenisierung des Unterrichts leisten wird, bis dahin ist noch Entwicklungsarbeit zu leisten.

---

Literatur

[1] Jungbauer J, Alfermann D, Kamenik C, Br?hler E. Vermittlung psychosozialer Kompetenzen mangelhaft. Ergebnis einer Befragung ehemaliger Medizinstudierender an sieben deutschen Universit?ten. Psychother Psychosom Med Psychol. 2003;53:319-321.
[2] Petersen C, Busche W, Bergelt C, Huse-Kleinstoll G. Kommunikationstraining als Teil des Medizinstudiums: ein Modellversuch. GMS Z Med Ausbild. 2005;22(1):Doc08.
[3] Ryle G. The concept of mind. London: Penguin Books; 1990.
[4] Rosenfield P, Jones L. Striking a balance: training medical students to provide empathic care. Med Educ. 2004;38:927-933.
[5] Noel GL, Herbers JE Jr, Caplow MP, Cooper GS, Pangaro LN, Harvey J. How well do internal medicine faculty members evaluate the clinical skills of residents? Ann Intern Med. 1992;117(9):757-765.
[6] Kopp V, Schewe S. Kann durch Training Anamnese und klinische Untersuchung vermittelt werden? GMS Z Med Ausbild. 2005;22(1):Doc15.
[7] Wand S, Schildmann J, Burchardi N, Vollmann J. Die Aufkl?rungsgespr?ch-Bewertungsskala (ABS). Ein Messinstrument zur Fremdbeurteilung kommunikativer Kompetenzen beim ?berbringen schlechter Nachrichten. GMS Z Med Ausbild. 2005;22(4):Doc100.
[8] Miller SJ, Hope T, Talbot DC. The development of a structured rating schedule (the BAS) to assess skills in breaking bad news. Br J Cancer. 1999; 80(5-6):792-800.
[9] K?hle K. Manual ?rztliche Gespr?chsf?hrung und Mitteilung schwerwiegender Diagnosen. K?ln: Institut und Poliklinik f?r Psychosomatik und Psychotherapie der Universit?t zu K?ln; 2002.
[10] Engel G. The need for a new medical model: a challenge for biomedicine. Science. 1977;196:129-136.
[11] Adler R, Hemmeler W. Anamnese und K?rperuntersuchung. Stuttgart: Gustav Fischer; 1992.
[12] Schmidts M, Kemmerling M, H?nigschnabl S, Lischka M. Experiences with the use of a handheld based performance test (HaPerT) in ac practical clinical skills course. Med Ausbild. 2002;19(2):222-225.
[13] Beck RS, Daughtridge R, Sloane PD. Physician-patient communication in the primary care office: a systematic review. J Am Board Fam Pract. 2002;15:25-38.
[14] Benbassat J, Baumal R. A Step-wise role playing approach for teaching patient counseling skills to medical students. Patient Educ Couns. 2002;46:147-152.
[15] J?nger J, K?hler V. Integration eines Kommunikationstrainings in die klinische Lehre. Beispiele aus den Reformstudieng?ngen der Universit?ten Heidelberg und Dresden. Psychother Psychosom Med Psychol. 2003;53(2):56-64.
[16] Hewson MG, Little ML. Giving Feedback in Medical Education. Verification of Recommended Techniques. J Gen Intern Med. 1998;13(2):111-116.
[17] Regehr G, MacRae H, Reznick RK, Szalay D. Comparing the psychometric properties of checklists and global rating scales for assessing performance on an OSCE-format examination. Acad Med. 1998;73(9):993-997.
[18] Govaerts MJ, Van der Vleuten CP, Schuwirth LW. Optimising the reproducibility of a performance-based assessment test in midwifery Education. Adv Health Sci Educ Theory Pract. 2002;7(2):133-145.
[19] Holmboe ES, Huot S, Chung J, Norcini J, Hawkins RE. Construct validity of the miniclinical evaluation exercixe (miniCEX). Acad. Med. 2003;78(8): 826-830.