[Arbeitsbasierte Bewertung und Modell der Co-Produktion in der postgraduierten medizinischen Weiterbildung]

 Eric S. Holmboe <sup>1

1</sup> Akkreditierungsrat für die medizinische Weiterbildung, Chicago, USA

Zusammenfassung

Prüfungen waren schon immer ein wesentlicher Bestandteil der postgraduierten medizinischen Weiterbildung und haben sich über viele Jahre vorwiegend auf verschiedene Prüfungsformen konzentriert. Durch die Prüfung medizinischen Wissens und neuerdings klinischer Fertigkeiten mit Hilfe von standardisierten Patienten können die Leistungen des Lernenden unter kontrollierten Bedingungen bewertet und eine gewisse Qualitätssicherung für die Öffentlichkeit gewährleistet werden. Anhaltende und wachsende Bedenken bezüglich der Versorgungsqualität und Patientensicherheit weltweit haben die Bedeutung und Notwendigkeit von besseren arbeitsbasierten Bewertungen erhöht. Effektiv durchgeführt können diese die Fähigkeit der Lernenden, eine sichere, wirksame und patientenorientierte Versorgung durchzuführen, verlässlicher erfassen. Außerdem befinden wir uns in einem Zeitalter der interprofessionellen medizinischen Versorgung, in der effektive Teamarbeit zwischen verschiedenen Gesundheitsberufen ganz im Vordergrund steht. Arbeitsbasierte Bewertungsmethoden sind in einer interprofessionellen Welt der Gesundheitsversorgung unverzichtbar.

Um Lernende besser auf diese neuen Kompetenzen und die zunehmende Komplexität der Gesundheitsversorgung vorzubereiten, haben viele postgraduierte medizinische Weiterbildungssysteme weltweit Outcome-basierte Weiterbildungsmodelle aufgegriffen, die sich an kompetenzorientierten Rahmenstrukturen orientieren. Dieser Artikel bietet einen kurzen Überblick über Schlüsselmethoden der arbeitsbasierten Bewertung, wie etwa die direkte Beobachtung, Multisource-Feedback, Patientenerfahrungsumfragen und Leistungsbewertungen, die in einer kompetenzbasierten Weiterbildung erforderlich sind, in der klinischen und bildungsorientierten Ergebnissen (Outcomes) ein besonderer Wert zukommt. Allerdings wird das volle Potenzial arbeitsbasierter Bewertungen erst dann ausgeschöpft, wenn postgraduierte Lernende selbst eine aktive Rolle in ihrem Prüfungsprogramm übernehmen. Voraussetzung ist ein entscheidender Kulturwandel, der nur durch aktives Handeln und eine Verhaltensänderung eintreten kann. Das Modell der Co-Produktion bietet eine praktische und philosophische Herangehensweise, um postgraduierte Lernende für eine aktive und intrinsisch motivierte Partizipation an ihrer eigenen professionellen Entwicklung zu gewinnen, dadurch die Lernkultur zu verändern und zur Verbesserung eines programmatischen Prüfungskonzeptes für die postgraduierte Weiterbildung beizutragen.

---

---

Hintergrund

Prüfungen kam schon immer eine elementare Bedeutung für das Lernen in allen Gesundheitsberufen zu. Die Überprüfung des Lernens, oder genauer des Wissens, dominierte die medizinische Aus- und Weiterbildung im letzten Jahrhundert [1]. Im letzten Viertel des 20. Jahrhunderts wurden wichtige Fortschritte in der Simulation erzielt, die dazu beitrugen, dass Ansätze einer strukturierten praktischen Prüfung, wie „Objective Structured Clinical Examinations“ (OSCEs), ein zentraler Bestandteil einiger nationaler Zulassungsprozesse für Gesundheitsberufe wurden [2]. 1990 publizierte George Miller seine Prüfungspyramide, die die Ebenen „weiß“, „weiß wie“, „zeigt wie“ und „macht“ (knows, knows how, shows how and does) abbildet und mittlerweile Kultcharakter besitzt [3]. Prüfungsformate wie Kenntnisprüfungen und OSCEs adressieren die Ebenen „weiß“, „weiß wie“, und „zeigt wie“ und wurden bedeutsam, um für die Öffentlichkeit eine Mindestanforderung an Kompetenz unter Angehörigen der Gesundheitsberufe sicherzustellen.

Mit zunehmendem Einsatz von Prüfungen und OSCEs wurden allerdings auch Hinweise auf ernsthafte Probleme und Mängel in der Gesundheitsversorgung evident. In den vergangenen vierzig Jahren haben zahlreiche Studien wesentliche Belange der Patientensicherheit, Behandlungsfehler, den fehlenden Einsatz evidenzbasierter Therapieformen, einen Mangel an Patientenzentrierung sowie einen übermäßigen Einsatz medizinischer Tests, Prozeduren und Therapien mit einem begrenzten oder fehlenden medizinischen Nutzen gezeigt [4], [5], [6], [7]. Der Commonwealth Fond, zum Beispiel, veröffentlicht routinemäßig Vergleichsdaten aus verschiedenen Ländern, die zeigen, dass in allen Gesundheitssystemen beträchtliches Verbesserungspotenzial besteht [8]. Kürzlich fanden Makary und Daniel heraus, dass Behandlungsfehler möglicherweise die dritthäufigste Todesursache in den Vereinigten Staaten darstellen [9].

Vor dem Hintergrund dieser Qualitäts- uns Sicherheitsbelange begann die Bewegung der Outcome-basierten Ausbildung in einer Reihe von Ländern Fuß zu fassen [10], [11], [12], [13]. Die medizinische Aus- und Weiterbildung durchlief einen Wandel von einem Prozessmodell (d.h. einfaches Absolvieren von Kursen mit Anteilen von Instruktion und erfahrungsbasiertem Lernen) hin zu einem Outcome-basierten Modell, das festlegt, was Absolventen tatsächlich im Kontext der Versorgung von Patienten und Angehörigen können sollen. Diese Entwicklung wurde besonders deutlich in postgraduierten Weiterbildungsprogrammen, wo das Erfahrungslernen durch die Betreuung von Patienten und deren Angehörigen die vorherrschende Lernform darstellt. Die Outcome-basierten Ziele der postgraduierten Weiterbildung wurden schließlich als Kompetenzen formuliert [12], [13]. Eine Kompetenz ist dabei eine beobachtbare Fähigkeit, die mehrere Komponenten wie Wissen, Fähigkeiten und Fertigkeiten, Werte und Haltungen integriert [14]. Kompetenzen bilden die Rahmenstruktur für Curricula und Prüfungen, die sicherstellt, dass Angehörige der Gesundheitsberufe die zentralen klinischen Aktivitäten und Handlungen ihrer Fachdisziplin ausführen können.

Die rasch zunehmende Komplexität der medizinischen Grundlagenwissenschaften wie auch der Gesundheitsversorgung erforderte eine neuerliche Überprüfung, welche Fähigkeiten Ärzte und Gesundheitsfachpersonal für die moderne und zukünftige Praxis benötigen. In den Vereinigten Staaten findet die postgraduierte ärztliche Spezialisierung („Residency“ = Facharztweiterbildung) nach einem vierjährigen Collegestudium und weiteren vier Jahren Studium an einer medizinischen Hochschule statt. Seit 2001 orientiert sich die Facharztweiterbildung in den Vereinigten Staaten an sechs allgemeinen Kompetenzen und Kompetenzbereichen: Patientenversorgung, medizinische Kenntnisse, Professionalität, Fertigkeiten in zwischenmenschlichem Umgang und in der Kommunikation, praxisbasiertes Lernen und kontinuierliche Verbesserung sowie systembasierte Praxis [13]. Die Kompetenzen praxisbasiertes Lernen und kontinuierliche Verbesserung sowie systembasierte Praxis wurden speziell definiert, um stärker auf Bereiche wie evidenzbasierte Praxis und Nutzung klinischer Entscheidungsunterstützungssysteme und -ressourcen, Qualitätsverbesserung, Patientensicherheit, Koordinierung der Versorgung, interprofessionelle Teamarbeit, wirksame Nutzung der Gesundheitsinformationstechnologie und Umgang mit Ressourcen abzuzielen. Größere Aufmerksamkeit wurde auch der Kommunikationsfähigkeit, etwa in den Bereichen fundierte partizipative Entscheidungsfindung und allgemeine Gesundheitskompetenz, gewidmet.

Es wurde zunehmend deutlich, dass die traditionellen Prüfungsmethoden, die die Ebenen „weiß“, „weiß wie“ und „zeigt wie“ adressieren, nicht ausreichten, um diese wichtigen neuen Kompetenzen zu bewerten und den Bedürfnissen von Patienten gerecht zu werden [15], [16]. Darüber hinaus hat das jahrzehntelange Vernachlässigen einer adäquaten Beobachtung und Bewertung klinischer Kernfähigkeiten, wie Anamneseerhebung, körperliche Untersuchung, fundierte klinische Entscheidungsfindung und klinisches Denken (Clinical Reasoning), eine erhebliche negative Auswirkung auf die Qualität der Gesundheitsversorgung hinterlassen [17], [18]. Das war auch Teil von George Millers Botschaft, dass gerade der Ebene ‚macht‘ der Miller-Pyramide, eine besondere Wichtigkeit zukommt, indem sie das, was Angehörige der Gesundheitsberufe tatsächlich tun, als oberstes Ziel von Aus- und Weiterbildung und Prüfungen definieren [3].

Kompetenzen als Kern von Aus- und Weiterbildung sind bisher schwierig zu implementieren. Fakultäten gewichten Kompetenzen häufig idiosynkratisch. Zu viele Prüfungsinstrumente, die vermutlich für einen kompetenzbasierten Ansatz konzipiert wurden, sind übermäßig reduktionistisch (z.B. Liste zum Abhaken), und bisher fehlte eine an Zielen orientierte Herangehensweise an ein Prüfungskonzept [19], [20]. Schließlich treten auch neue kulturelle Aspekte und Faktoren hinzu, die die aktive Teilhabe von Lernenden an Prüfungen ermöglichen. Sie werden maßgeblich Einfluss nehmen auf die Art und Weise wie bereitwillig Lernende ihre Rolle als aktive Teilnehmer in Prüfungen annehmen [21], [22]. Diese Faktoren haben unter anderen zu der Forderung nach mehr und besseren arbeitsbasierten Bewertungen geführt.

Entwicklung arbeitsbasierter Bewertungen (AbB)

Obwohl arbeitsbasierte Bewertungen (AbB) seit langem genutzt werden, wurden sie häufig schlecht und nicht effektiv eingesetzt – und das ist auch heute in vielen Fällen noch so [17]. Ein Beispiel dafür ist der Fakultätsbewertungsbogen, der typischerweise am Ende einer klinischen Erfahrung oder Rotation ausgefüllt wird. Zahlreiche frühere Studien belegen Probleme in der Beurteilung, wie Varianzeinschränkungen, Halo-Effekte und Mildefehler, die oft noch begleitet werden von wenigen bis gänzlich fehlenden Freitextkommentaren als Feedback [16], [23]. Viele der Beurteilungen basieren immer noch auf Ersatzindikatoren, wie z.B. Fallpräsentationen und Visiten abseits vom Krankenbett, die wenig direkte Beobachtung der Interaktion des Lernenden mit Patienten und ihren Familien beinhalten. Dieser Mangel an effektiven Prüfungen kann auch zum „Failure-to-Fail“-Phänomen führen, wenn Assistenzärzte trotz patientengefährdender fehlender Kompetenzen gefördert werden [24].

In den letzten 15 Jahren wurden allerdings eine Reihe neuer arbeitsbasierter Bewertungsinstrumente und -ansätze entwickelt (siehe Abbildung 1 [Abb. 1]). Die Forschung zur Prüferkognition und -wahrnehmung hat zum einen unser Verständnis dafür vertieft, wodurch Beobachtungen von Fakultätsmitgliedern beeinflusst werden, und weiterhin einige vielversprechende Verfahren hervorgebracht, die effektivere Beobachtungen unterstützen [25]. Kogan und Kollegen konnten zum Beispiel zeigen, dass die Verwendung von interaktiven, dialogorientierten Methoden zur Vertiefung des Verständnisses für klinische Kernkompetenzen, sog. Leistungsdimensions- und Bezugsrahmentraining, den Fakultätslehrkörper zu einer effektiveren Beobachtung von Weiterbildungsassistenten befähigen und sogar zu einer Verbesserung der eigenen klinischen Fähigkeiten und Fertigkeiten beitragen kann [26] Obwohl noch viele wissenschaftliche Fragen offen sind, ergeben sich aus den bisherigen Forschungsdaten erste hilfreiche Ansätze, um den Fakultätslehrkörper besser auf Prüfungen durch direkte Beobachtung vorzubereiten.

Eine weitere wichtige Entwicklung ist die Verwendung von Konstrukt-angepassten Skalen, welche insbesondere Anker für Entscheidungen des Anvertrauens nutzen, die sich entweder an Entwicklungsstadien und/oder am Ausmaß der notwendigen Supervision orientieren. Crossly und Kollegen stellten zum Beispiel fest, dass die Verwendung von Skalen, die sich auf die Konstrukte „Entwicklung von klinischer Erfahrenheit und Unabhängigkeit oder ‚Anvertraubarkeit‘“ in drei Bewertungsinstrumenten für das „United Kingdom Foundation Program“ (zweijähriges Weiterbildungsprogramm nach Abschluss des Humanmedizinstudiums) konzentrierten, zu höherer Reliabilität und Zufriedenheit bei den Nutzern führte [27]. Weller und Kollegen fanden ähnliche Effekte in der Weiterbildung im Fach Anästhesiologie bei der Verwendung einer Supervisionsskala zur Beurteilung der Anvertraubarkeit [28].

Multi-Source-Feedback (MSF) einschließlich der zunehmenden Verwendung von Patientenerfahrungsumfragen ist eine weitere wichtige Entwicklung im Bereich arbeitsbasierter Bewertungen [29]. Peer-Feedback, sowie Feedback von Patienten, Angehörigen und anderen Mitgliedern des Behandlungsteams, können eine nützliche und bedeutsame Hilfe für die professionelle Entwicklung sein und sind besonders wichtig in einer neu gestalteten Gesundheitsversorgung, in der interprofessioneller Teamarbeit für eine sichere und effektive Patientenversorgung entscheidende Bedeutung beigemessen wird. Zunehmende Wichtigkeit erlangen auch „Patient-Reported-Outcome-Measures“ (PROMs = Ergebnisse aus Patientenbefragungen), die speziell auf subjektiv empfundene funktionelle Patientenergebnisse ausgerichtet sind [30]. Während zum Beispiel die Vermeidung einer tiefen Venenthrombose und Infektion in der perioperativen Periode nach einer Gelenkendoprothetik vorrangig ist, bleibt das oberste Ziel, die Verbesserung der körperlichen Funktion. Die Oxford Hüft- und Knieskalen sind Beispiele für derzeit verwendete PROMs und können hilfreiche Ergänzungen zu einem Prüfungsprogramm sein [30].

Leistungsmessungen in der postgraduierten Weiterbildung

Leistungsmessungen „sind so gestaltet, dass Versorgungssysteme gemessen werden können; sie sind von klinischen oder Praxisleitlinien abgeleitet. Daten, die spezifisch messbare Elemente abbilden, ermöglichen Organisationen, ihre Betreuungsqualität zu messen.“ [31]. Leistungsmessungen lassen sich typischerweise in vier Kategorien einteilen (siehe Tabelle 1 [Tab. 1]) [32], [31]. Neben Patientenerfahrungserhebungen ist die Messung und Bewertung der klinischen Leistung heute ein wesentlicher Bestandteil sowohl der Qualitätssicherung als auch der Verbesserungsbemühungen und sollte verstärkt in die Aus- und Weiterbildung in Gesundheitsberufen integriert werden. Eine Methode zur Bewertung der klinischen Leistung neben der direkten Beobachtung, Patientenbefragungen und MSF ist die Überprüfung von Krankenakten [33]. Sie erfüllen verschiedene wichtige Funktionen:

1. als Archiv für wichtige Patienteninformationen zur Nutzung durch andere Gesundheitsdienstleiter und Patienten;
2. als Datenquelle, um die Leistung in der Praxis zu bewerten, wie etwa bei chronischen Erkrankungen (z.B. Diabetes), in der postoperativen Versorgung und Prävention;
3. Überwachung von Patientensicherheit und Komplikationen; und
4. Dokumentation von diagnostischen und therapeutischen Entscheidungen.

Es ist leicht zu erkennen, wie Krankenakten für Bildungs- und Bewertungszwecke verwendet werden können [33], [34], [35], [36], [37].

Die ersten drei Messkategorien sind für gesundheitsberufliche Weiterbildungsprogramme wichtig, um die Beziehung zwischen der gebotenen Versorgungsqualität und den Aus- und Weiterbildungszielen zu analysieren und sicherzustellen, dass die Lernumgebung optimal funktioniert. Für fortgeschrittene Weiterbildungsprogramme könnten zusätzliche Erfahrungen in ausgleichenden Messungen („Balanced Scorecards“) [31] hilfreich sein. Für den individuellen Lernenden sind Prozess- und Ergebnismessungen am hilfreichsten für seine Bewertung, Feedback und kontinuierliche professionelle Entwicklung.

In dem allgemeinen kompetenzbasierten Bezugssystem der Vereinigten Staaten [13] sind Praxisbewertungen eine wesentliche Bewertungsmethode für die Kompetenzen des praxisorientierten Lernens und der ständigen Verbesserung (Practice-Based Learning and Improvement (PBLI)) sowie der systembasierten Praxis (Systems-Based Practice (SBP)) und spielen die führende Rolle in CanMEDS [38]. Diese Kompetenzen verlangen, dass Assistenzärzte aktiv in das Monitoring ihrer eigenen klinischen Praxis eingebunden sind und die Qualität ihrer ärztlichen Versorgung auf Grund einer systematischen Überprüfung ihrer aktuellen Patientenversorgung verbessern. Die Verwendung von Krankenakten für die Praxisbewertung kann die Selbstreflektion fördern und die Autonomie des Lernenden unterstützen, beides wichtige Fertigkeiten für ein lebenslanges Lernen. Die Kernaussage ist, dass Lernende die Überprüfung der eigenen klinischen Leistung potenziell selbstbestimmt durchführen können.

Neue Konzepte als Leitlinie für Bewertungen

Während die beschriebenen arbeitsbasierten Bewertungsmethoden sich ständig verbessern und zunehmend eingesetzt werden, haben Weiterbildungsprogramme sich darum bemüht, all diese Bewertungsdaten zusammenzuführen und sie in die Beurteilungen des Fortschritts der Weiterzubildenden einzubinden. Vier wesentliche Entwicklungen haben sich als Grundlage für die Gestaltung sowohl des Curriculums als auch der Prüfungskonzepte herausgebildet (siehe Abbildung 2 [Abb. 2]). Das erste neuere Konzept ist das der „Anvertraubaren professionellen Tätigkeiten“ (APTs) [39], [40], [41]. Wie von ten Cate definiert, kann eine APT als „eine Einheit der beruflichen Tätigkeit beschrieben werden, die gänzlich einer/m Weiterzubildenden anvertraut werden kann, sobald er oder sie die nötigen Kompetenzen nachgewiesen hat, um diese Tätigkeit unbeaufsichtigt auszuführen.“ [39], [40], [41]. Das zweite neue Konzept ist die Verwendung von Meilensteinen, um die Entwicklungsstadien individueller Kompetenzen beschreibend darzustellen [42], [43]. APTs beschreiben die tatsächlichen Tätigkeiten des Gesundheitspersonals, während Meilensteine die Fähigkeiten des Weiterzubildenden beschreiben, um die professionelle Tätigkeit effektiv auszuführen (z.B. APT). APTs und durch Meilensteine beschriebene Kompetenzen können bestens kombiniert werden, um den Verlauf einer Weiterbildung zu definieren und festzulegen, welche Prüfungen und Bewertungen notwendig sind, um den Lernfortschritt zu bestimmen [44]. Die dritte bedeutsame Entwicklung ist die Bemühung um ein programmatisches Prüfungs- und Bewertungskonzept, das mehrfache Bewertungen effektiv in Entscheidungen und Beurteilungen einbindet und einen Gruppenprozess nutzt, um den Lern- und Trainingsfortschritt zu bewerten [45], [46]. Die Kombination von APTs, Meilensteinen und einem programmatischen Prüfungskonzept liefert nützliche Rahmenstrukturen und Ansätze, um die Entwicklung und effektive Nutzung arbeitsbasierter Bewertungen zu verbessern. Portfolios, die nicht unbedingt ein neues Konzept darstellen, finden zunehmend Anwendung als ein effektives Mittel, um die programmatische Bewertung zu ermöglichen und zu verwalten, sowie die individuellen Weiterbildungsfortschritte durch ATPs und Meilensteine zu verfolgen [47]. Portfolios können auch den individuellen Einsatz des Lernenden fördern. Allerdings wurde bisher trotz der Fortschritte im Bereich arbeitsbasierter Bewertungsmethoden und -konzepte, die geholfen haben die Outcome-basierte Aus- und Weiterbildung voranzutreiben, der Rolle des/der Lernenden in Prüfungen und Bewertungen zu wenig Aufmerksamkeit gewidmet.

Aktivierung der Lernenden durch Co-Produktion

Um ein hohes Maß an Können und Überlegenheit in der Praxis zu erreichen, benötigen Lernende spezifische Fähigkeiten zu Reflexion und achtsamer Praxis, zu selbstgesteuertem Lernen und fundierter Selbsteinschätzung. Die Reflexion eigenen Praxis erfordert eine bewusste und umsichtige Überprüfung der eigenen bisherigen Leistungen (z.B. Überprüfung von Krankenakten oder MSF) und ist oft im Gespräch mit einem vertrauten Peer oder Berater am besten umzusetzen. Hier kann die arbeitsbasierte Bewertung besonders hilfreich sein, da ein klarer Bezug zur authentische Arbeit im klinischen Kontext besteht, die so kontinuierlich und longitudinal bewertet werden kann.

Selbstgesteuertes Lernen setzt voraus, dass Lernende sich während ihrer Weiterbildung spezifische Ziele setzen, strategische Pläne entwickeln, sich selbst überwachen und beurteilen. Auf diese Weise sind Lernende in den drei wesentlichen Elementen Voraussicht, eigentliche Leistung und anschließende Selbstreflexion eingebunden [48]. Das selbstgesteuerte Lernen erfordert auch ein Verständnis für den Weiterbildungskontext und die Erkenntnis, dass die eigene Reaktion und Einflussnahme auf die Lernumgebung ihrerseits Auswirkungen auf die Wirksamkeit der Bewertungen hat [49]. Das selbstregulierte Lernen erfordert auch eine erhebliche intrinsische Motivation [48], [49]. Wenn die intrinsische Motivation nicht wesentlicher Motor für die Lernende oder den Lernenden ist, ist es weniger wahrscheinlich, dass die Bewertung die beabsichtigte Wirkung haben wird. Lernende sollten sich nicht auf extrinsische Motivatoren (z.B. Belohnungen oder Sanktionen) als erfolgreiche Karrierestrategie verlassen. Das Einbinden der zentralen Aspekte des selbstgesteuerten Lernens in die eigenen Pläne erscheint logisch und wird auch durch die Bildungstheorie unterstützt [49].

Die fundierte Selbstbewertung verlangt, dass Lernende die Bewertung durch Fakultätsmitglieder und Mitglieder des Gesundheitsfachpersonals proaktiv einholen, einige ihrer Leistungen, wie klinische Leistungsüberprüfungen oder die Umsetzung evidenzbasierter Versorgung, selbst durchführen und ihre Bewertungsdaten aktiv und eigenverantwortlich in ihre berufliche Weiterentwicklung einbinden [50], [51]. Mit anderen Worten müssen Lernende Regisseure ihres eigenen Lernprozesses und ihrer Bewertung in Zusammenarbeit und Partnerschaft mit Fakultätsmitgliedern und dem Weiterbildungsprogramm sein. Hier kann die Idee der „Co-Produktion“ bei der Verwirklichung einer Outcome-basierten Weiterbildung hilfreich sein.

Co-Produktion und arbeitsbasierte Bewertung

Das Konzept der Co-Produktion wurde ursprünglich im Kontext öffentlicher Dienstleistungen entwickelt und kann definiert werden als „die Bereitstellung von öffentlichen Dienstleistungen in einem gleichberechtigten und gegenseitigen Verhältnis zwischen Experten, Dienstleistungsnutzern, ihrer Familien und Nachbarn. Dort wo Aktivitäten auf diese Weise gemeinsam produziert und gestaltet werden, werden Dienstleister und Dienstleistungsnutzer zu effektiveren Protagonisten von Veränderung.“ [52]. Neuerdings haben Batalden und Kollegen dieses Konzept auf die Gesundheitsversorgung übertragen, was wichtige Auswirkungen auf die medizinische Weiterbildung hat. Sie definierten Co-Produktion als die „ineinandergreifende Arbeit von Nutzern und Experten, um die Beziehungen und Handlungen zu gestalten, zu entwickeln, zu bewerten und zu verbessern, die zur Gesundheit von Individuen und Bevölkerungsgruppen beitragen.“ [53]. Nach ihrem Modell gestalten Experten und Patienten Gesundheit und die Gesundheitsversorgung gemeinsam durch den gesellschaftlichen Diskurs und die gemeinsame Planung und Durchführung im Kontext von unterstützenden Institutionen und dem gesamten Gesundheitssystem.

Es fällt nicht schwer zu erkennen, wie das Konzept der Co-Produktion in der medizinischen Weiterbildung und arbeitsbasierten Bewertung angewendet werden kann. Die arbeitsbasierte Bewertung aus Sicht der Co-Produktion könnte definiert werden als „die ineinandergreifende Arbeit von Lernenden, Fakultätslehrkörper, Gesundheitsexperten und Patienten, um die Beziehungen und Aktivitäten zu gestalten, zu entwickeln, zu bewerten und zu verbessern, die zur effektiven Bewertung und professionellen Entwicklung von Lernenden beitragen.“ [53]. Die Verbindung der Grundprinzipien des selbstregulierten Lernens, der fundierten Selbstbewertung und der Co-Produktion macht deutlich, dass Lernende sich an ihrem eigenen Prüfungs- und Bewertungsprogramm „aktiv beteiligen“ müssen.

Aktivierte Lernende sollten fähig sein, direkte Beobachtung, Feedback und Coaching einzufordern. Aktivierte Lernende müssen auch zum Teil ihre eigenen Bewertungen vornehmen, wie z.B. die Prüfung ihres eigenen Fortschritts durch Progress Tests, die Überprüfung ihrer eigenen klinischen Praxis, die Dokumentation von Antworten auf klinische Fragen durch effektives evidenzbasiertes Vorgehen, das Einholen von Feedback von Patienten und Mitgliedern des interprofessionellen Gesundheitsfachpersonals und die Erstellung und Umsetzung individueller Lernpläne. Weiterbildungsassistenten zu befähigen, ihre eigenen Bewertungen mit zu gestalten und aktiv einzuholen, wird durch die Prinzipien der Selbstbestimmungstheorie (Self-Determination-Theory (SDT)) gestärkt, die postuliert, dass Menschen drei angeborene psychologische Bedürfnisse besitzen, nämlich nach Kompetenz, Autonomie und Verbundenheit [54]. Ebenso wichtig ist, dass SDT einen Einblick liefert, wie Weiterbildungsassistenten die Regulierung von Verhalten durch externe Motivatoren verinnerlichen können – z.B. Bewertungen, die oft ausschließlich vom Fakultätslehrkörper und dem Weiterbildungsprogramm gesteuert wurden. Das oberste Ziel ist es, dem Weiterbildungsassistenten zu helfen, eine eigenständige und eigenverantwortliche Rolle in seinen eigenen Leistungsbewertungen zu entwickeln. (54) Für die Medizin bedeutet dies, dass ein wesentlicher Kulturwandel erforderlich ist, der nur durch Handlungen und geänderte Verhaltensweisen herbeigeführt werden kann.

Schlussfolgerung

Mit der zunehmenden Bedeutung der kompetenzbasierten medizinischen Weiterbildung ist ein größerer Bedarf an effektiven arbeitsbasierten Bewertungen entstanden, die die professionelle Entwicklung steuern und Entscheidungen zur Verantwortungsübergabe verbessern können. APTs, Meilensteine und programmatische Prüfungs- und Bewertungskonzepte können dazu beitragen, geeignete arbeitsbasierte Prüfungs- und Bewertungsmethoden zu wählen und zu entwickeln, um sinnvolle Weiterbildungsergebnisse abzubilden. Schließlich erscheint es mit am wichtigsten, dass Lernende entlang der gesamten Aus- und Weiterbildung aktiv in ihre Prüfungs- und Bewertungsprogramme eingebunden sein müssen, wenn wir das volle Potenzial der kompetenzbasierten medizinischen Aus- und Weiterbildungsmodelle ausschöpfen wollen. Dies wird eine wesentliche Kulturveränderung erfordern, und eine Kulturveränderung kann nur durch Aktivitäten und veränderte Verhaltensweisen stattfinden. Die Co-Produktion von Prüfungen und Leistungsbewertungen gemeinsam durch Lernende und Fakultätsmitglieder, Weiterbildungsprogramme und Patienten bietet einen nützlichen konzeptionellen Weg, um die Prüfungs- und Bewertungskultur zu verändern und die kompetenzbasierte medizinische Weiterbildung voranzubringen.

Interessenkonflikt

Dr. Holmboe arbeitet für den Akkreditierungsrat für die medizinische Weiterbildung und erhält Lizenzgebühren für ein Lehrbuch zu Prüfungen von Mosby-Elsevier.

---

Literatur

[1] Cooke M, Irby DM, O'Brien BC. Educating Physicians. A call for Reform of Medical School and Residency. San Francisco: Jossey-Bass; 2010.
[2] Swanson DB, Roberts TE. Trends in national licensing examinations in medicine. Med Educ. 2016;50(1):101-114. DOI: 10.1111/medu.12810
[3] Miller G. The assessment of clinical skills/competence/performance. Acad Med. 1990;65(9 Suppl):S63-67. DOI: 10.1097/00001888-199009000-00045
[4] National Academy of Health Sciences, Institute of Medicine. To Err is Human: Building a Safer Health System. Washington, DC: National Academy of Health Sciences, Institut of Medicine; 1999.
[5] National Patient Safety Foundation. Free from Harm: Accelerating Patient Safety Improvement Fifteen Years after To Err Is Human. Boston: National Patient Safety Foundation; 2016. Zugänglich unter/available from http://www.npsf.org/?page=freefromharm
[6] Institute of Medicine. Crossing the Quality Chasm. Washington, DC: National Academy Press; 2001.
[7] Berwick DM, Nolan TW, Whittington L. The triple aim: care, health cost. Health Aff (Millwood). 2008;27(3):759-769. DOI: 10.1377/hlthaff.27.3.759
[8] Mossialos E, Wenzl M, Osborn R, Anderson C. International Profiles of Health Care Systems, 2014. Australia, Canada, Denmark, England, France, Germany, Italy, Japan, The Netherlands, New Zealand, Norway, Singapore, Sweden, Switzerland, and the United States. New York: The Commonwealth Fund; 2015. Zugänglich unter/available from: http://www.commonwealthfund.org/publications/fund-reports/2015/jan/international-profiles-2014
[9] Makary MA, Daniel M. Medical error – the third leading cause of death in the US. BMJ. 2016;353:i2139. DOI: 10.1136/bmj.i2139
[10] Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T, Fineberg H, Garcia P, Ke Y, Kelly P, Kistnasamy B, Meleis A, Naylor D, Pablos-Mendez A, Reddy S, Scrimshaw S, Sepulveda J, Serwadda D, Zurayk H. Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet. 2010;376(9756):1923-1958. DOI: 10.1016/S0140-6736(10)61854-5
[11] Harden RM, Crosby JR and Davis M. An introduction to outcome-based education. Med Teach. 1999;21(1):7-14. DOI: 10.1080/01421599979969
[12] Frank JR, Jabbour M, Tugwell P; The Societal Needs Working Group. Skills for the new millennium: Report of the societal needs working group, CanMEDS 2000 Project. Ann R Coll Phys Surg Can. 1996;29:206-216.
[13] Batalden P, Leach D, Swing S, Dreyfus H, Dreyfus S. General competencies and accreditation in graduate medical education. Health Aff (Millwood). 200;21(5):103-111.
[14] Frank JR, Mungroo R, Ahmad Y, Wang M, De Rossi S, Horsley T. Toward a definition of competency-based education in medicine: a systematic review of published definitions. Med Teach. 2010;32(8):631-637. DOI: 10.3109/0142159X.2010.500898
[15] Rethans JJ, Norcini JJ, Barón-Maldonado M, Blackmore D, Jolly BC, LaDuca T, Lew S, Page G, Southgate LH. The relationship between competence and performance: implications for assessing practice performance. Med Educ. 2002;36(10):901-909. DOI: 10.1046/j.1365-2923.2002.01316.x
[16] Kogan JR, Holmboe E. Realizing the promise and importance of performance-based assessment. Teach Learn Med. 2013;25(Suppl 1):S68-74. DOI: 10.1080/10401334.2013.842912
[17] Holmboe ES. Faculty and the observation of trainees' clinical skills: problems and opportunities. Acad Med. 2004;79(1):16-22. DOI: 10.1097/00001888-200401000-00006
[18] Kogan JR, Conforti LN, Iobst WF, Holmboe ES. Reconceptualizing variable rater assessments as both an educational and clinical care problem. Acad Med. 2014;89(5):721-727. DOI: 10.1097/ACM.0000000000000221
[19] Ginsburg S, McIlroy J, Oulanova O, Eva K, Regehr G. Toward authentic clinical evaluation: pitfalls in the pursuit of competency. Acad Med. 2010;85(5):780-786. DOI: 10.1097/ACM.0b013e3181d73fb6
[20] Van der Vleuten CP. Revisiting 'assessing professional competence: from methods to programmes'. Med Educ. 2016;50(9):885-888. DOI: 10.1111/medu.12632
[21] Iblher P, Hofmann M, Zupanic M, Breuer G. What motivates young physicians? – a qualitative analysis of the learning climate in specialist medical training. BMC Med Educ. 2015;15:176. DOI: 10.1186/s12909-015-0461-8
[22] Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5):487-498. DOI: 10.1111/medu.12645
[23] Pangaro LN, Durning S, Holmboe ES. Rating scales. In: Practical Guide to the Evaluation of Clinical Competence. 2nd edition. Philadelphia: Mosby-Elsevier. In press.
[24] Albanese M. Rating educational quality: factors in the erosion of professional standards. Acad Med. 1999;74(6):652-658. DOI: 10.1097/00001888-199906000-00009
[25] Gingerich A, Kogan J, Yeates P, Govaerts M, Holmboe E. Seeing the 'black box' differently: assessor cognition from three research perspectives. Med Educ. 2014;48(11):1055-1068. DOI: 10.1111/medu.12546
[26] Kogan JR, Conforti LN, Bernabeo E, Iobst W, Holmboe E. How faculty members experience workplace-based assessment rater training: a qualitative study. Med Educ. 2015;49(7):692-708. DOI: 10.1111/medu.12733
[27] Crossley J, Johnson G, Booth J, Wade W. Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ. 2011;45(6):560-569. DOI: 10.1111/j.1365-2923.2010.03913.x
[28] Weller JM, Misur M, Nicolson S, Morris J, Ure S, Crossley J, Jolly B. Can I leave the theatre? A key to more reliable workplace-based assessment. Br J Anaesth. 2014;112(6):1083-1091. DOI: 10.1093/bja/aeu052
[29] Lockyer J. Multisource feedback: can it meet criteria for good assessment? J Contin Educ Health Prof. 2013;33(2):89-98. DOI: 10.1002/chp.21171
[30] Appleby J, Devlin N. Getting the most ourt of PROMs. London: The Kings' Fund; 2010. Zugänglich unter/available from: http://www.kingsfund.org.uk/publications/getting-most-out-proms
[31] Donabedian A. An Introduction to Quality Assurance in Health Care. New York: Oxford University Press; 2003.
[32] U. S. Department of Health and Human Services. Administration. Performance management and measurement. Rockwill: U.S. Department of Health and Human Services; 2011. Zugänglich unter/available from: http://www.hrsa.gov/quality/toolbox/methodology/performancemanagement/index.html
[33] Holmboe ES. Clinical Practice Review. In: Practical Guide to the Evaluation of Clinical Competence. 2nd edition. Philadelphia: Mosby-Elsevier. In press.
[34] Ogrinc G, Headrick LA, Morrison LJ, Foster T. Teaching and assessing resident competence in practice-based learning and improvement. J Gen Intern Med. 2004;19(5 Pt 2):496-500. DOI: 10.1111/j.1525-1497.2004.30102.x
[35] Veloski J, Boex JR, Grasberger MJ, Evans A, Wolfson DB. Systematic review of the literature on assessment, feedback and physicians' clinical performance: BEME Guide No. 7. Med Teach. 2006;28(2):117-128. DOI: 10.1080/01421590600622665
[36] Ivers N, Jamtvedt G, Flottorp S, Young JM, Odgaard-Jensen J, French, SD, O'Brien MA, Johansen M, Grimshaw J, Oxman AD. Audit and feedback: effects on professional practice and healthcare outcomes. Cochrane Database Syst Rev. 2012;6:CD000259. DOI: 10.1002/14651858.CD000259.pub3
[37] Brehaut JC, Colquhoun HL, Eva KW, Carroll K, Sales A, Michie S, Ivers N, Grimshaw JM. Practice feedback interventions: 15 suggestions for optimizing effectiveness. Ann Intern Med. 2016;164(6):435-441. DOI: 10.7326/M15-2248
[38] Royal College of Physicians and Surgeons of Canada. CanMEDS. Ottawa: Royal College of Physicians and Surgeons of Canada; 2015. Zugänglich unter/available from: http://canmeds.royalcollege.ca/uploads/en/framework/CanMEDS%202015%20Framework_EN_Reduced.pdf
[39] ten Cate O. Entrustability of professional activities and competency-based training. Med Educ. 2005;39(12):1176-1177. DOI: 10.1111/j.1365-2929.2005.02341.x
[40] ten Cate O, Scheele F. Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice?? Acad Med. 2007;82(6):542-547. DOI: 10.1097/ACM.0b013e31805559c7
[41] ten Cate O. Nuts and Bolts of Entrustable professional activities. J Grad Med Educ. 2013;5(1):157-158. DOI: 10.4300/JGME-D-12-00380.1
[42] Holmboe ES, Edgar L, Hamstra S. The Milestones Guidebook. Chicago: ACGME; 2016. Zugänglch utner/available from: http://www.acgme.org/Portals/0/MilestonesGuidebook.pdf?ver=2016-05-31-113245-103
[43] Holmboe ES, Yamazaki K, Edgar L, Conforti L, Yaghmour N, Miller R, Hamstra SJ. Reflections on the first 2 years of milestone implementation. J Grad Med Educ. 2015;(3):506-511. DOI: 10.4300/JGME-07-03-43
[44] Ten Cate O, Chen HC, Hoff RG, Peters H, Bok H, van der Schaaf M. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. 2015;37(11):983-1002. DOI: 10.3109/0142159X.2015.1060308
[45] Bok HG, Teunissen PW, Favier RP, Rietbroek NJ, Theyse LF, Brommer H, Haarhuis JC, van Beukelen P, van der Vleuten CP, Jaarsma DA. Programmatic assessment of competency-based workplace learning: when theory meets practice. BMC Med Educ. 2013;13:123. DOI: 10.1186/1472-6920-13-123
[46] Heeneman S, Oudkerk Pool A, Schuwirth LW, van der Vleuten CP, Driessen EW. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5):487-498. DOI: 10.1111/medu.12645
[47] Van Tartwijk J, Driessen EW. Portfolios for assessment and learning: AMEE Guide no. 45. Med Teach. 2009;31(9):790-801. DOI: 10.1080/01421590903139201
[48] Zimmerman BJ. Investigating self-regulation and motivation: Historical background, methodological developments, and future prospects. Am Educ Res J. 2008;45:166-183. DOI: 10.3102/0002831207312909
[49] Durning SJ, Cleary TJ, Sandars J, Hemmer P, Kokotailo P, Artino AR. Perspective: viewing "strugglers" through a different lens: how a self-regulated learning perspective can help medical educators with assessment and remediation. Acad Med. 2011;86(4):488-495. DOI: 10.1097/ACM.0b013e31820dc384
[50] Sargeant J, Armson H, Chesluk B, Dornan T, Eva K, Holmboe E, Lockyer J, Loney E, Mann K, van der Vleuten C. The processes and dimensions of informed self-assessment: a conceptual model. Acad Med. 2010;85(7):1212-1220. DOI: 10.1097/ACM.0b013e3181d85a4e
[51] Eva K, Regehr G. "I'll never play professional football" and other fallacies of self-assessment. J Contin Educ Health Prof. 2008;28(1):14-19. DOI: 10.1002/chp.150
[52] Skills for Health. MH63.2013 Work with people and significant others to develop services to improve their mental health. Bristol: Skills for Health; 2004. Zugänglich unter/available from: https://tools.skillsforhealth.org.uk/competence/show/html/id/3833/
[53] Batalden M, Batalden P, Margolis P, Seid M, Armstrong G, Opipari-Arrigan L, Hartung H. Coproduction of healthcare service. BMJ Qual Saf. 2016;25(7):509-517. DOI: 10.1136/bmjqs-2015-004315
[54] Ten Cate O, Kusukar RA, Williams GC. How self-determination theory can assist our understanding of the teaching and learning processes in medical education. AMEE Guide No. 59. Med Teach. 2011;33(12):961-973. DOI: 10.3109/0142159X.2011.595435