[Teaching Evaluation at the Medical Faculty of Freiburg, part I: an overview]

 Verena Peus ¹
Gabriele Valerius ¹
Lars Sch?rer ²
Stefan Buchkremer ³
Ulrich Voderholzer ²
Mathias Berger <sup>2

1</sup> Albert Ludwigs-Universit?t Freiburg, Studiendekanat der Medizinischen Fakult?t, Freiburg, Deutschland
² Universit?tsklinik f?r Psychiatrie und Psychosomatik, Abteilung f?r Psychiatrie und Psychotherapie, Freiburg, Deutschland
³ Universit?t Mainz, 1. Medizinische Klinik, Mainz, Deutschland

Abstract

A comprehensive evaluation-based system for quality assurance was developed at the Medical Faculty of Freiburg during the course of several years. The system comprises the following levels:

Level-I: Annual summative evaluation of the entire curriculum (academic years 1 through 5 and separately the Practical Year). The primary goal is a deficit analysis of the teaching quality of the several disciplines, thereby mainly referring to structural parameters.

Level-II: Formative evaluation of the several courses/lectures with emphasis on didactic parameters. It allows a more detailed analysis of the quality of teaching. Especially those disciplines are examined that are identified by the level-I-evaluation as being in need of improvement. The intention of any form of evaluation is its use as an instrument for optimising the teaching quality. Therefore transferring the evaluation results in measures improving quality is resolutely pursued on all levels of evaluation.

---

---

Einleitung

„Die Fakult?t Freiburg kann ein hoch entwickeltes Evaluationskonzept aufweisen, das s?mtliche Pflichtveranstaltungen und Hauptvorlesungen umfasst und mit hohem Engagement und betr?chtlichem Aufwand von Fachschaft und Studiendekanat durchgef?hrt wird. Dar?ber hinaus werden Lehrevaluationen in speziellen Disziplinen vorgenommen. Wenn Evaluation so professionell eingesetzt wird, erf?llt sie auch die in sie gesetzten Erwartungen, d.h. sie schafft nachvollziehbare Grundlagen f?r eine Schwachstellenanalyse der Lehre einerseits und - im Zuge der Evaluationskonsequenzen - eine Verbesserung der Kommunikation zwischen Lehrenden und Lernenden andererseits" [1]. Mit diesen Worten fand das Freiburger Lehrevaluationssystem Eingang in den Bericht der vom Ministerium f?r Wissenschaft Forschung und Kunst eingesetzten Sachverst?ndigenkommission zur Bewertung der Medizinischen Ausbildung in Baden-W?rttemberg (BeMA).

Anspruch der Lehrevaluation an der Medizinischen Fakult?t Freiburg war seit jeher, die Qualit?t der Lehre nicht nur zu bewerten, sondern vor allem zu verbessern. Um dieses oberste Ziel m?glichst effektiv zu erreichen, sollten verschiedene Aspekte Beachtung finden:

• Generierung m?glichst detaillierter und pr?gnanter Aussagen zu St?rken und Schw?chen des Lehrangebotes und Verbesserungsm?glichkeiten;

• Ad?quate Abdeckung aller Ebenen der Lehrqualit?t: Lehre des Faches insgesamt, einzelne Lehrveranstaltungen und, separat betrachtet, das Praktische Jahr (PJ);

• Ver?ffentlichung der Ergebnisse zur Schaffung einer breiten Akzeptanz und Nutzung durch Studierende und Lehrverantwortliche;

• Umsetzung der Ergebnisse in qualit?tsverbessernde Ma?nahmen;

• ?berpr?fung der Wirksamkeit dieser Ma?nahmen anhand einer kontinuierlichen Evaluation;

• Fortw?hrende Qualit?tskontrolle der Frageb?gen (Aufrechterhaltung der G?tekriterien);

• Gr??tm?gliche Automatisierung und Standardisierung des Systems zur Begrenzung der Kosten, insbesondere der personellen Ressourcen, d.h. des zeitlichen Aufwandes.

Um diese Grundprinzipien zu verwirklichen, wurde in Freiburg ein aus zwei Ebenen bestehendes Evaluationssystem, das sowohl summative als auch formative Elemente beinhaltet, entwickelt. Die Ebene-I repr?sentiert die fakult?tsweite summative Jahresendevaluation, die f?r die ersten f?nf Studienjahre j?hrlich, f?r das PJ halbj?hrlich, durchgef?hrt wird. Ziel ist die Analyse der Lehrqualit?t aller F?cher schwerpunktm??ig unter strukturellen Gesichtspunkten zur Identifizierung von St?rken und Schw?chen des Lehrangebotes. Systematisch wird nach der Datenerhebung an der Umsetzung der Ergebnisse in qualit?tsverbessernde Ma?nahmen gearbeitet. Erg?nzend wird den Abteilungen die Durchf?hrung der Ebene-II, der formativen Lehrveranstaltungsevaluation, empfohlen. Diese vorrangig an didaktischen Variablen orientierte Evaluation erm?glicht eine dozentenbezogene bzw. veranstaltungsspezifische Defizitanalyse.

Das Kernst?ck des Freiburger Lehrevaluationssystems ist die summative Jahresendevaluation der ersten f?nf Jahre. Ihre Entstehung, ihre Zielsetzungen und ihr Ablauf sollen im Folgenden n?her erl?utert werden. Auf die Ebene II des Freiburger Evaluationssystems wird ebenfalls in dieser Ausgabe im Artikel „Lehrevaluation an der Medizinischen Fakult?t Freiburg Teil II - Formative Lehrveranstaltungsevaluation" n?her eingegangen.

Entstehung/Akteure/Gremien

Die erste systematische Lehrevaluation entstand in Freiburg 1997 durch eine Initiative der Studierenden. 1998 wurde das Projekt durch den Studiendekan aufgegriffen und wird seitdem als Kooperationsprojekt von Studiendekanat und der Projektgruppe „Lehrevaluation" der Fachschaft durchgef?hrt, der jeweils zwei Studierende jedes Studienjahres angeh?ren, und durch die Studienkommission bzw. den Fakult?tsrat getragen. Mit der Auswertung der B?gen und graphischen sowie statistischen Aufbereitung der Ergebnisse wird ein externes Software-Unternehmen beauftragt. Um die Koordination der Evaluation und der qualit?tsverbessernden Ma?nahmen effizienter zu gestalten, wurde 2001 die Evaluationskommission gegr?ndet. Mitglieder sind die Studiendekane, die Studierenden der Projektgruppe „Lehrevaluation" der Fachschaft, ein Vertreter der externen Software-Firma, die Lehrbeauftragten des Studiendekanates und der Abteilungen Innere Medizin und Chirurgie des Universit?tsklinikums.

Summative Jahresendevaluation (Ebene I)

Kernst?ck des Freiburger Lehrevaluationssystems ist die summative Jahresendevaluation. Deren Ziel ist eine Analyse der Lehrqualit?t aller F?cher und die konsequente Umsetzung der Ergebnisse in qualit?tsverbessernde Ma?nahmen.

Erhebungsinstrumente

Die Konstruktion des Evaluationsbogens ist an zwei globalen Zielen orientiert und entsprechend wurde ein aus zwei Teilen bestehender Fragebogen konstruiert (siehe Abbildung 1 [Abb. 1]):

1.) Ein Qualit?tsbewusstsein im Bereich Lehre soll geweckt bzw. die Abteilungen motiviert werden, auch in der Lehre st?rker leistungsorientiert zu handeln. Insofern wird im ersten Teil eine Gesamtbewertung des Faches bzw. der wesentlichen Komponenten des Lehrangebotes (Hauptvorlesung, Kurs/Praktikum, Seminar) erfragt.

2.) Durch die konkrete Abfrage bestimmter Kriterien von Lehrqualit?t soll eine St?rken-Schw?chen-Analyse als Grundlage f?r die Aufdeckung von Defiziten und die nachfolgende Einf?hrung qualit?tsverbessernder Ma?nahmen erfolgen. Entsprechend besteht der zweite Teil des Fragebogens aus Items, die konkrete Qualit?tsmerkmale des Lehrangebotes abdecken, wiederum untergliedert nach Hauptvorlesung, Kurs/Praktikum, Seminar.

Diese Kriterien der Lehrqualit?t wurden von der Projektgruppe Lehrevaluation der Fachschaft konzipiert, gest?tzt auf die Ergebnisse einer Umfrage unter den Studierenden. Anspruch war, dass die Items sich auf wesentliche organisatorische und strukturelle Aspekte der Lehrqualit?t eines Faches und nicht auf den einzelnen Dozenten beziehen sollen. Da sich die retrospektive Evaluation auf die verschiedenen Veranstaltungen eines Faches und damit in den meisten F?llen auf unterschiedliche Dozenten bezieht, h?tten globale Urteile ?ber die Dozentenqualit?t keine Aussagekraft. Das Dozentenverhalten ist Gegenstand der formativen Lehrveranstaltungsevaluation und wird durch diese detailliert analysiert. (s. Peus et al., Lehrevaluation an der Medizinischen Fakult?t Freiburg Teil II - Formative Lehrveranstaltungsevaluation in dieser Ausgabe). Nur f?r die Vorklinik wurde au?erdem ein aus einer Seite bestehender Dozentenfragebogen als Bestandteil der retrospektiven Evaluation entwickelt. Hier wird f?r jeden Dozenten der Vorklinik, der mindestens eine Woche lang eine Hauptvorlesung gehalten hat, eine Gesamtbewertung, eine Bewertung der Variablen „Gliederung", „Medieneinsatz", „Verst?ndlichkeit" und die Anwesenheitsh?ufigkeit erfragt. F?r die Klinik erschien dies aufgrund der vielen und h?ufig wechselnden Dozenten nicht sinnvoll. Nach einem ersten Probelauf wurde in den fachspezifischen Evaluationsb?gen eine Beschr?nkung auf die aussagekr?ftigsten Items vorgenommen, um die Motivation der Studierenden, an der Evaluation teilzunehmen, zu steigern. Die urspr?nglich einheitlichen Frageb?gen wurden 1999 individuell auf das jeweilige Lehrangebot der einzelnen F?cher unter Wahrung eines Standardfragenpools abgestimmt. Die B?gen werden jedes Jahr in Zusammenarbeit mit den jeweiligen Fachvertretern aktualisiert. Neben den geschlossenen Fragen, die auf einer Skala von 1-5 bewertet werden, und der Abfrage der Anwesenheitsh?ufigkeit, stehen Textfelder mit den ?berschriften „Besonders gut fand ich" und „Verbesserungsvorschl?ge" f?r freie Kommentare zur Verf?gung. In der Anleitung werden die Teilnehmer aufgefordert, lediglich die Veranstaltungen zu bewerten, zu deren Beurteilung sie sich bef?higt f?hlen. Damit soll verhindert werden, dass die Ergebnisse durch willk?rliche Beantwortung der Fragen verzerrt werden. F?r das PJ wurden gesonderte B?gen entwickelt [2]. Layout und Druck der B?gen obliegen dem in der Evaluationskommission vertretenen externen Softwareunternehmen.

Datenerhebung/-auswertung

Die Datenerhebung erfolgt allj?hrlich am Ende des Sommersemesters. Evaluiert werden alle f?r den Gegenstandskatalog relevanten Lehrveranstaltungen (Hauptvorlesungen und scheinpflichtige Kurse/Seminare). Zur Sicherung repr?sentativer R?cklaufzahlen wird die Datenerhebung in jedem Studienjahr an eine Scheinausgabe gekoppelt. Zur zus?tzlichen Motivation wurde ein Preisausschreiben eingef?hrt, das bei Abgabe der ausgef?llten B?gen zur Wahrung der Anonymit?t getrennt von diesen eingesammelt wird. Auf diese Weise konnten in den vorklinischen F?chern R?cklaufzahlen von ?ber 90% der Studierenden, im ersten klinischen Abschnitt von ca. 75% und im zweiten klinischen Abschnitt von ca. 50% erreicht werden (Durchschnittswerte ?ber die Jahre). Diese Prozentangaben beziehen sich auf ca. 310 Studierende pro Studienjahr.

Die erhobenen Daten werden von dem externen Software-Unternehmen zeitnah ausgewertet. Ermittelt werden f?r jedes Item Mittelwert, Standardabweichung, Rang (im Vergleich zu allen F?chern, f?r die dieses Item bewertet wurde) und die Anzahl der Bewertungen. Weiterhin wird ein Histogramm zur Darstellung der Streuung erstellt (Ergebnisgesamt?bersicht s. Abbildung 1 [Abb. 1]). Anhand eines Rechenschl?ssels zur Gewichtung der einzelnen Lehrveranstaltungen eines Faches wird dann eine Gesamtnote f?r jedes Fach aus den Gesamtbewertungen der einzelnen Lehrveranstaltungen berechnet. Hier flie?en die Semesterwochenstunden von Vorlesung, Kurs und/oder Seminar im Verh?ltnis 1:2:2 ein. Urspr?nglich wurde die Gesamtbewertung des Faches explizit von den Studierenden erfragt. Die seit dem Studienjahr 1999/2000 existierende errechnete Gesamtnote gew?hrleistet eine Einbeziehung aller Kurse und Hauptvorlesungen eines Faches, auch wenn sie in verschiedenen Studienjahren gelehrt werden. Jedes Fach erh?lt eine Gesamt?bersicht seiner Ergebnisse (s. Abbildung 1 [Abb. 1]).

Konsequenzen

Damit die Lehrevaluation ihrem Zweck, eine Verbesserung der Lehre herbeizuf?hren, gerecht werden kann, wird in Freiburg intensiv daran gearbeitet, Konsequenzen aus den Ergebnissen zu ziehen. Hier kommen verschiedene Ans?tze zum Einsatz.

Es erfolgt eine fakult?tsweite Ver?ffentlichung der Ergebnisse in einer Brosch?re, die von der Fachschaft in Zusammenarbeit mit dem Studiendekanat herausgegeben wird (Auszug s. Abbildung 2 [Abb. 2]). Pr?sentiert werden die Gesamtnoten der F?cher, die Vorlesungsnoten, die Kurs-/Seminarnoten und die zehn besten Dozenten der Vorklinik („Top Ten"). Die Darstellung erfolgt jeweils nach Notenr?ngen (s. Abbildung 2 [Abb. 2]). F?r die Publikation der Dozentenergebnisse wird aus Gr?nden des Datenschutzes deren Einverst?ndniserkl?rung eingeholt. Die Ver?ffentlichung der Ergebnisse zielt auf mehrere Wirkungen ab.

• Das Qualit?tsbewusstsein der Lehrenden soll auf diese Weise gesteigert werden.

• Die Transparenzerh?hung im Bereich der Lehre soll eine Steigerung des Interesses der Abteilungsleiter bewirken, an der kontinuierlichen Qualit?tsverbesserung der Lehrstruktur ihres Faches zu arbeiten.

• Die Ver?ffentlichung soll die Motivation der Studierenden steigern, an der Evaluation teilzunehmen.

• Die Ergebnisse k?nnen als Entscheidungshilfe f?r die Studierenden bei ihrer Studienplanung dienen.

Mit den Abteilungsleitern und Lehrbeauftragten der F?cher, bei denen die Evaluationskommission Defizite in der Lehrqualit?t sieht, werden Gespr?che gef?hrt. Grundlage dieser vom Studiendekan und zwei Fachschaftsvertretern aus dem jeweiligen Studienjahr gef?hrten Gespr?che bilden von der Fachschaft verfasste Lehrcharakteristiken. Dies sind schriftliche Zusammenfassungen der Lehre des Faches, die eine St?rken-Schw?chen-Analyse mit daraus resultierenden konstruktiven Verbesserungsvorschl?gen auf der Basis der deskriptiven Ergebnisse unter Einbeziehung der Freitextkommentare enthalten. Die Fachschaft f?hrt dar?ber hinaus mit den Dozenten der Vorklinik Einzelgespr?che, um die durch die Lehrevaluation ermittelte R?ckmeldung auf ihre Lehre zu intensivieren und in konkrete Handlungsperspektiven umzusetzen.

Um eine detailliertere Analyse der einzelnen Lehrveranstaltungen bzw. der Lehre der einzelnen Dozenten zu erhalten und dadurch Defizite gezielter identifizieren zu k?nnen, wird den Abteilungen bzw. Dozenten die im Jahr 2000 entwickelte formative Lehrveranstaltungsevaluation (Ebene-II) angeboten (s. Peus et al. Lehrevaluation an der Medizinischen Fakult?t Freiburg Teil II - Formative Lehrveranstaltungsevaluation in dieser Ausgabe). Die Ergebnisse dieser Evaluation k?nnen als Grundlage einer hochschuldidaktischen Weiterbildung der Dozenten dienen.

An das beste Fach der Klinik, das beste Fach der Vorklinik und die drei besten Dozenten der Vorklinik werden Lehrpreise in Form von Pokalen und im Rahmen von bei Bewerbungen verwertbaren Urkunden vergeben. Au?erdem wird eine von der Evaluationskommission festgelegte Person, Institution o. ?. mit einem „Preis f?r besonderes Engagement in der Lehre" ausgezeichnet.

Seit dem Wintersemester 2002/03 wird ein „Tag der Lehre" mit anschlie?endem Medizinerball veranstaltet. Ein solcher Tag soll Raum f?r Diskussionen ?ber Ver?nderungen, Verbesserungen, Ziele, Probleme etc. der medizinischen Lehre in Freiburg bieten.

Diskussion

Die St?rken der Lehrevaluation der Medizinischen Fakult?t Freiburg liegen in ihrer konsequenten und kontinuierlichen Einbettung in ein umfassendes System zur Lehrqualit?tsoptimierung. Dieser Grundgedanke wird verwirklicht durch:

• die ad?quate Abdeckung der verschiedenen Ebenen der Verantwortlichkeit f?r die Lehre durch die summative und formative Evaluation;

• die konsequenten Interventionen zur Umsetzung der Ergebnisse in qualit?tsverbessernde Ma?nahmen;

• die Kontinuit?t der Evaluation;

• die enge Kooperation von Studiendekanat und Fachschaft.

Durch die sehr konsequente Umsetzung der Ergebnisse in qualit?tsverbessernde Ma?nahmen konnte mit dem Lehrevaluationssystem eine betr?chtliche Sensibilisierung f?r die Qualit?t der Lehre sowohl auf Seiten der f?r die Lehre Verantwortlichen als auch auf Seiten der Studierenden erreicht werden. Diese Entwicklung spiegelt sich auch in Kennzahlen wie z.B. der Einstellung von Lehrbeauftragten in mehreren Abteilungen, der Zunahme des Kursangebotes im Praktischen Jahr und dem Einsatz der formativen Lehrveranstaltungsevaluation in vielen Abteilungen wider. Ein Anreiz zur noch konsequenteren Nutzung dieses Instrumentes sollte in Zukunft in Form einer leistungsorientierten Mittelvergabe unter Ber?cksichtigung der Evaluationsergebnisse geschaffen werden. Eine solche Honorierung bzw. Sanktionierung der Lehrleistung wird aber auch zu einer verst?rkten Kritik an den Evaluationsergebnisse f?hren. Daraus ergibt sich die Notwendigkeit, weiterhin konsequent an der inhaltlichen Validierung der Evaluationsinstrumente zu arbeiten. M?gliche weitere Untersuchungen sind z.B. eine Absolventenbefragung und eine Befragung externer Experten. F?r die Studienreform im Zuge der Umsetzung der neuen ?AppO liefern die bisherigen Evaluationsergebnisse wichtige Hinweise. Au?erdem bietet das elaborierte Evaluationssystem die M?glichkeit, von vornherein sowohl summativ als auch formativ die Qualit?t der Neuerungen zu ?berpr?fen und zu optimieren. Zur weiteren ?konomisierung der Evaluation ist eine Umstellung der Datenerhebung auf ein Internetsystem in Planung.

---

Literatur

[1] Ministerium f?r Wissenschaft, Forschung und Kunst Baden-W?rttemberg (Hrsg.). Bericht der Sachverst?ndigenkommission zur Bewertung der Medizinischen Ausbildung (BeMA). Medizinische Ausbildung in Baden-W?rttemberg. 2001: 87.
[2] Wiese L, Briel M, Gerke W. Ein Curriculum f?r das Praktische Jahr (PJ). Entwicklung im Universit?tsklinikum Freiburg am Beispiel des Wahlfachs Neurologie. Med Ausbild. 2003;20:46-53.