[Reduction of the need for personel with a computer-based histology examination]
Ulrich Woermann 11 Universit?t Bern, Institut f?r Medizinische Lehre IML, Abteilung f?r Unterrichtsmedien AUM, Bern, Schweiz
Abstract
OSCE (Objective Structured Clinical Examination) and OSPE (Objective Structured Preclinical/Practical Examination) are examinations that do not test factual knowledge but clinical and practical skills. They have a positive effect on the learning behaviour of students towards these skills. Because of their complex organisation and the big number of candidates in Bern, we were confronted with a shortage for examinators. To overcome this bottleneck, a computer based examination tool for Histology was developed. With this tool, we succeeded to reduce the demand for examinators by 10%. After an additional effort in the beginning, the necessary person days for the Histology examination sank from 21 to 6. With 2 PCs for the candidates and one server-PC, the technical needs were modest. Security problems were avoided by using a closed local network. Data loss was prevented by continuously saving the data to the server. Psychometrically, the computer based Histology examination was aequivalent to the formerly used structured oral examination.
Computers can reduce the high demand for human resources of OSCE and OSPE. Thus, computers can help that a valuable examination method is used more often.
Keywords
Examination, computer based, OSCE, OSPE, histology, saving of resources
Einleitung
Zur Pr?fung von Faktenwissen hat sich seit Jahrzenten im Medizinstudium das Multiple Choice-Verfahren etabliert. Um aber auch klinische Fertigkeiten pr?fen zu k?nnen, wurde in den 70iger Jahren das Format der Objective Structured Clinical Examination (OSCE) [1] entwickelt. Zu den Eigenarten dieser Pr?fungsform geh?rt, dass die Kandidaten und Kandidatinnen einen Parcours von 10 bis 20 Pr?fungsstationen absolvieren m?ssen, bei denen sie jeweils innerhalb weniger Minuten eine definierte Aufgabe wie zum Beispiel Blutdruck messen durchf?hren m?ssen und dabei von einem Examinator anhand einer Kriterienliste beurteilt werden. Durch dieses Ablaufschema entsteht ein grosser logistischer Aufwand, bei dem vor allem der Bedarf an R?umlichleiten und Personal ins Gewicht f?llt. Dieser grosse Ressourcenbedarf ist Gegenstand vieler Ve?ffentlichungen ?ber die OSCE [2], [3], [4].
In Bern wurde die OSCE bzw. OSPE (Objective Structured Preclinical/Practical Examination) [5] im Rahmen einer umfassenden Reform der drei ersten Jahre des Medizinstudiums eingef?hrt. Seit Mitte der 90iger Jahre ist das Curriculum dieser drei Jahre nach den Prinizipien des Problem-Based Learning (PBL) [6] aufgebaut. Mit der Reform wurden auch die Pr?fungen neu konzipiert. Diese erfolgen nun jeweils zu Semesterende und bestehen aus einer integrierten Multiple Choice-Pr?fung sowie in den beiden vorklinischen Jahren in einer OSPE und im ersten klinischen Jahr in einer OSCE. Die OSPE ist ein der OSCE verwandtes Pr?fungsverfahren, bei der das Schwergewicht auf praktischen bzw. pr?klinischen Fertigkeiten liegt. Um bei der OSPE die jeweils 240 (1. Studienjahr) bzw. 180 (2. Studienjahr) Kandidaten und Kandidatinnen durchschleusen zu k?nnen, muss der Parcours von 10 Stationen in drei Staffeln t?glich an vier bzw. drei Tagen parallel gef?hrt werden. Da nach Schweizer Gesetz bei m?ndlichen Pr?fungen zwei Examinatoren anwesend sein m?ssen, ergibt dies einen Bedarf von 40 Examinatoren w?hrend vier bzw. drei Tagen. Mit 40 Pr?fenden waren die personellen Ressourcen der vorklinischen Institute jedoch weitgehend ausgesch?pft und schon der Ausfall eines einzelnen Examinators drohte das System zum Einsturz zu bringen.
In dieser Situation wurde beschlossen, durch Einf?hrung einer computerbasierten Histologiepr?fung den personellen Bedarf f?r die OSPE zu reduzieren. Die neue Pr?fungsform sollte zudem ein gleichwertiger Ersatz der bisher durchgef?hreten m?ndlichen strukturierten Pr?fung sein.
Projektbeschreibung
Unter Verwendung von DHTML und JavaScript wurde ein Modul entwickelt, bei dem die Kandidaten den Mittelpunkt eines mit einer Nummer versehenen Kreises genau ?ber die zu bezeichnende Struktur ziehen m?ssen (siehe Abbildung 1 [Abb. 1] und Abbildung 2 [Abb. 2]). Das Bild selber bleibt so frei von Markierungen, die dem Kandidaten die Aufgabe erleichtern w?rden. Pro Bild werden sieben Strukturen angeboten, von denen aber nur f?nf im Bild vorkommen. Innerhalb von 8 Minuten m?ssen die Kandidaten drei histologische Bilder und ein elektronenemikroskopisches Bild auf diese Weise bearbeiten. Beim letzten Bild muss noch das Organ und die F?rbung erkannt werden. Der Ablauf der Pr?fung ist so organisiert, dass die drei Staffeln von Kandidaten und Kandidatinnen sich nicht untereinander austauschen k?nnen. Ein Austausch zwischen den verschiedenen Pr?fungstagen l?sst sich aber nicht verhindern. Darum muss pro Pr?fungstag ein eigenes Bilderset erstellt werden.
Im oben beschriebenen System der OSPE mit den parallel gef?hrten Staffeln sind nur zwei Pr?fungs-PCs notwendig. Diese sind mit einem Server im gleichen Raum verbunden und kommunizieren via Java Server Pages mit einer Datenbank, in der die Resultate gespeichert werden. Das Netzwerk ist rein lokal ohne jegliche Verbindung zu anderen Netzwerken. Bei den ersten Durchg?ngen wurden zur Dokumentation die Resultate jedes Bildes mit dem Ausdruck eines Screenshots festgehalten. Da jedoch nie technische Probleme auftraten, wurde inzwischen darauf verzichtet. Die Daten werden w?hrend der Pr?fung kontinierlich gespeichtert, so dass im Falle einer Computerst?rung der Kandidat oder die Kandidatin wieder an der Stelle fortfahren kann, wo er bzw. sie bei Auftreten der St?rung stand.
Damit bei der computerbasierten Pr?fung wirklich nur der verlangte Stoff und nicht zus?tzlich die Computerf?higkeiten (Computer literacy) gepr?ft wurden, hatten die Studierenden die M?glichkeit, im Voraus die Bedienung des Moduls kennen zu lernen
Ergebnisse
Das oben beschriebene Setting macht nicht mehr die Anwesenheit von insgesamt vier Examinatoren notwendig. Somit konnte der Bedarf an Fachexperten um 10% reduziert werden. Die Doppelstation kann in einem Raum aufgebaut und von einer einzigen, mehr technisch ausgerichteten, nicht unbedingt histologisch geschulten Person ?berwacht werden. Die technische Ausr?stung beschr?nkt sich auf zwei Pr?fungs-PCs sowie einen Server-PC.
Neben dem personellen Bedarf f?r die eigentliche Pr?fung haben wir auch den personellen Aufwand zur Vor- und Nachbereitung in unsere Berechnung aufgenommen. Bei der bisherigen Pr?fung waren 4 Personentage (PT) f?r die Vorbereitung der Pr?fung, 16 PT f?r die Durchf?hrung und 1 PT f?r die Auswertung n?tig (total 21 PT). Bei der ersten Durchf?hrung der computerbasierten Pr?fung waren 28 PT f?r die Entwicklung, 7 PT f?r die Vorbereitung der eigentlichen Pr?fung (Auswahl und Aufbereitung der Bilder) und 4 PT f?r die Pr?fung selbst n?tig (total 39 PT). Da die Auswertung bei der computerbasierten Pr?fung unmittelbar stattfindet, f?llt hier kein Arbeitsaufwand mehr an. Im Sommer 2005 kam das computerbasierte Pr?fungsmodul zum 6. Mal zum Einsatz. Da Bilder von fr?heren Pr?fungen wieder verwendet werden konnten, hat sich der Aufwand f?r die Vorbereitung inzwischen auf 2 PT reduziert. Somit konnte der Gesamtaufwand von 21 PT (altes System) auf 6 (neues System im wiederholten Einsatz) reduziert werden. Diese Berechnung bezieht sich auf eine 4 Tage dauernde OSPE. Bei einer 3 Tage dauernden OSPE lauten die Zahlen 17 bzw. 5 Personentage. Auf ein Jahr bezogen ergibt sich eine Einsparung von 54 PT (2 x 15 PT plus 2 x 12 PT).
Die psychometrischen Parameter (siehe Tabelle 1 [Tab. 1]) Schwierigkeit, Diskrimination und Zuverl?ssigkeit (Crohnbach ) fielen bei der computerbasierten Pr?fung gleich oder tendenziell besser aus als bei der im Vorjahr durchgef?hrten m?ndlichen strukturierten Pr?fung.
Diskussion
Die OSCE bzw. OSPE werden von den Berner Studierenden sehr gesch?tzt. Diese Art der Pr?fung vermittelt ihnen das Gef?hl, praktische Fertigkeiten nicht vergeblich erlernt zu haben. Somit setzen der OSCE und der OSPE wichtige Impulse f?r das Lernverhalten der Studierenden. Der hohe Ressourcenbedarf der OSCE bzw. OSPE ist jedoch eines der gewichtigen Argumente gegen diese Art von Pr?fung. In einer Zeit der knappen Geld- und Personalmittel wiegen diese Argumente besonders schwer. Mit dem von uns entwickelten computerbasierten Pr?fungsmodul ist es uns gelungen, den personellen Aufwand sowohl f?r die Durchf?hrung der Pr?fung als auch f?r die Vor- und Nachbereitung zu reduzieren.
Die Anspr?che an die technische Ausr?stung sind mit 2 Pr?fungs-PCs und einem Server-PC bescheiden. Eine entsprechende Ausr?stung l?sst sich an den meisten universit?ren Institutionen ohne grosse Probleme beschaffen und einrichten. Die Kosten belaufen sich im Falle einer Neuanschaffung auf h?chstens € 6.000. Sicherheitsprobleme wie Hacking k?nnen durch die Konfiguration mit einem in sich geschlossenen lokalen Netzwerk ausgeschaltet werden. Eine kontinuierliche Speicherung der Daten auf dem Server sch?tzt vor Datenverlust.
Computerbasierte Histologiepr?fungen wurden auch von Heidger [7] und Kumar [8] beschrieben. Bei Ihnen steht aber die logistische Vereinfachung im Vordergrund der Argumentation und nicht die Ressourceneinsparung. So wird bei Heidger das bisherige Pr?fungssystem beibehalten und einzig das reale Mikroskop durch ein virtuelles ersetzt. Die Studierenden beantworten die Fragen wie bisher auf Papierb?gen. Die Auswertung erfolgt von Hand. Heidger sieht den grossen Vorteil seines Systems in der dazugeh?rugen Bilddatenbank. Dank dieser lassen sich die Pr?fungen mit weniger Aufwand vorbereiten. Ein positiver Effekt, der auch bei unserem System zum Tagen kommt.
Kumar gibt keine detailierte Beschreibung seiner computerbasierten Histologiepr?fung. Bei seinem System ist aber der Einsatz von ?ber hundert Client-PCs n?tig, was entsprechende PC-Pools voraussetzt. Bei zeitgleicher Pr?fung aller Kandidaten und Kandidatinnen am Computer ist es unvermeidlich, dass gleich viel PCs, wie es zu Pr?fende gibt, bereitgestellt werden m?ssen. Hier erweist sich das Parcourssystem der OSPE als Vorteil. Da nur immer 2 Kandidaten oder Kandidatinnen gleichzeitig gepr?ft werden, sind auch nur zwei computerbasierte Pr?fungsstationen n?tig.
Beide Autoren haben das Abschneiden der Kandidaten und Kandidatinnen vor und nach Einf?hrung der computerbasierten Pr?fungsform verglichen. Sie konnten wie wir keinen signifikanten Unterschied feststellen. Die Histologiepr?fung mittels Computer darf somit den bisherigen Pr?fungsmethoden f?r Histologie gegen?ber als ebenb?rtig angesehen werden.
Ein immer wiederkehrender Diskussionspunkt im Zusammenhang mit der computerbasierten Histologiepr?fung ist der Wegfall des Mikroskops. Heidger und Kumar gehen nicht auf diesen Punkt ein. Der Vorwurf ist jedoch nicht berechtigt, da eine Histologiepr?fung nur Histologiewissen pr?fen sollte. Die Pr?fung der Fertigkeit im Umgang mit dem Mikroskop ist korrekterweise ein eigener Pr?fungsgegenstand, dem mit einer entsprechenden OSPE-Station Rechnung getragen werden muss.
Schlussfolgerung und Ausblick
Die computerbasierte Histologiepr?fung hat sich in Bern bew?hrt. Die personenellen Ressourceneinsparungen sind nach anf?nglichem Mehraufwand betr?chtlich. Da das Problem des personellen Engpass in Bern sich auch bei den OSCE im dritten Studienjahr stellt, wird der Einsatz dieser Pr?fungsform nun f?r die Pathologie und die Radiologie erwogen.
Das von uns entwickelte computerbasierte Pr?fungsmodul eignet sich ?berall, wo die Interpretation von Bildern von zentraler Bedeutung ist. Dies ist im Bereich der Medizin besonders bei der Pathologie, der H?matologie und der Radiologie der Fall. Es ist aber ohne weiteres vorstellbar, dass das Modul auch mit Bildern von Hautver?nderungen oder von Fundoskopien in der Dermatologie bzw. in der Ophthalmologie eingesetzt wird. Einer Nutzung des Moduls durch andere Universit?ten stehen wir offen gegen?ber. Die Bedingungen wurden bisher noch nicht definiert und sind somit verhandelbar. Eine kommerzielle Verwertung ist nicht geplant.
Durch den Einsatz von Computern kann der hohe Ressourcenbedarf von OSCE bzw. OSPE vermindert werden. Computerbasierte Pr?fungsstationen k?nnen somit mithelfen, dass das Argument beschr?nkter personeller Ressourcen gegen dieses wertvolle Pr?funsgverfahren abgeschw?cht wird.
Literatur
[1] Harden RM, Stevenson M, Downie W, Wilson G. Assessment of Clinical Competence Using an Objective Structured Clinical Examination (OSCE). Br Med J. 1975;1:447-451.[2] Frye AW, Richards BF, Philp EB, Philp JR. Is it worth it? A look at the costs and benefits of an OSCE for second-year medical students. Med Teach. 1989;11(3-4):291-293.
[3] Reznick RK, Smee S, Baumber JS, Cohen R, Rothman A, Blackmore D, Berard M. Guidelines for estimating the real cost of an objective structured clinical examination. Acad Med. 1993;68(7):513-517.
[4] Carpenter JL. Cost analysis of objective structured clinical examinations. Acad Med. 1995;70(9):828-833.
[5] Nayar U, Malik SL, Bijlani RL. Objective structured practical examination: a new concept in assessment of laboratory exercises in preclinical sciences. Med Educ. 1986;20(3):204-209.
[6] Barrows HS, Tamblyn RM. Problem-Based Learning - An Approach to Medical Education. In Springer Series on Medical Education. New York: Springer Publishing Company; 1980:ISBN 0-8261-2840-8.
[7] Heidger PM Jr, Dee F, Consoer D, Leaven T, Duncan J, Kreiter C. Integrated approach to teaching and testing in histology with real and virtual imaging. Anat Rec. 2002;269(2):107-112.
[8] Kumar RK, Velan GM, Korell SO, Kandara M, Dee FR, Wakefield D. Virtual microscopy for learning and assessment in pathology. J Pathol. 2004;204(5):613-618.
