Die Portfolio-Methode

 Christoph Stosch ¹
Anne-Sophie Wichelhaus ²
Jan Matthes <sup>3

1</sup> Universit?t zu K?ln, Medizinische Fakult?t, Studiendekanat, K?ln, Deutschland
² Universit?t zu K?ln, Medizinische Fakult?t, Modelstudiengang, K?ln, Deutschland
³ Universit?t zu K?ln, Medizinische Fakult?t, Institut f?r Pharmakologie, K?ln, Deutschland

Zusammenfassung

Der Portfolio-Ansatz bietet die M?glichkeit, ein umfassendes Bild des Lernprozesses sowie des Lernfortschrittes zu erhalten. Die M?glichkeit, durch (Selbst-) Reflexion aus Erfahrung zu lernen, steht hier im Vordergrund. In Abh?ngigkeit von der Strenge des vorgegebenen Formates kann die eher moderate Reliabilit?t deutlich verbessert werden. Inhaltliche Validit?t im Sinne der "face validity" ist sichergestellt, w?hrend ansonsten die Daten zur Validit?t des Portfolio bislang unzureichend sind. Das "Portfolio" ist somit ein Instrument, das sich besonders zum formativen Einsatz (R?ckmeldung an die Studierenden) und nur mit Einschr?nkungen zur summativen Pr?fung des Leistungsstandes von Studierenden eignet. Dies ist stets im Zusammenhang mit der "Lehr- und Lernphilosophie" zu diskutieren, die einem Curriculum zugrunde liegt, im Rahmen dessen Portfolios zum Einsatz kommen sollen. Das Portfolio ist somit (derzeit) kein Ersatz f?r etablierte Pr?fungsformate, sondern will als wertvolle Erg?nzung im Lernprozess (dessen unabdingbarer Bestandteil Pr?fungen sind) verstanden werden.

---

---

Einleitung

In den 1990er Jahren hat sich die medizinische Ausbildung zunehmend den berufspraktischen, ?rztlichen Inhalten zugewandt. Unter anderem entwickelte die Gruppe um Ronald Harden das Konzept der "Outcome-based Education", um Ausbildungsziele zu formulieren, die den praktischen Anforderungen gerecht werden [7], [17]. Hand in Hand mit den Bestrebungen, die Lehre zu reformieren, wurden Pr?fungen weiterentwickelt oder neu konzipiert, die den ver?nderten Lehr- und Lernformaten entsprechen [13]. W?hrend viele Pr?fungsans?tze sehr gezielt auf spezifische F?higkeiten und Fertigkeiten abheben (z.B. Multiple-Choice-Fragen, hier v.a. Wiedergabe und Anwendung von Faktenwissen), versucht man mit Portfolios ein komplexeres Bild der (h?heren) F?higkeiten (z.B. Problem-L?sen, analytisches Denken, F?higkeit zur (Selbst-) Evaluation) der Studierenden unter Ber?cksichtigung des Ausbildungsstandes zu erhalten (?bersichten in: [5]und [12]). Wichtig ist hierbei der reflexiv-formative Aspekt, der dem Prinzip "Learning through Assessment" [14] Rechnung tragen soll (die Autoren behalten sich vor, die komplexe Bedeutung des Begriffes "assessment" hier nicht durch i.d.R. unzureichende Versuche der ?bersetzung ins Deutsche zu reduzieren).

Methoden

Was ist ein Portfolio?

Die Idee des Portfolio ist dem Studium der bildenden K?nste entlehnt, wo in Form sog. "Mappen" eine aussagekr?ftige und zielgerichtete (also nicht willk?rlich zusammengestellte) Sammlung von Belegen f?r einen absolvierten Lernprozess zusammengestellt wird, aus denen die Bem?hungen, der Lernerfolg und v.a. der Lernfortschritt erkennbar werden. Bekannter allerdings ist der Begriff durch den Verwendungszusammenhang im Umfeld wirtschaftswissenschaftlichen Expertentums (eine kurze Erl?uterung findet sich z.B. in [15]). Diese Belege orientieren sich somit an Lehr- und Lernzielen und k?nnen nach Friedman [13] unterschiedliche Inhalte umfassen: Aufs?tze bzw. Hausarbeiten, Berichte und Projektbeschreibungen, Beurteilungen der praktischen Fertigkeiten (z.B. im Rahmen der Famulatur), (Video-) Protokolle von Gespr?chen mit (Schauspieler-) Patienten, Dokumentation praktischer T?tigkeiten ("Logbuch"), erhobene Anamnesen, durch Ausbilder ausgestellte Zeugnisse etc.. Es ist zu beachten, dass ein Portfolio mit unterschiedlicher Zielsetzung erstellt werden kann - ?ber die sich nat?rlich die/der Lernende sowie die/der "Beurteilende" verst?ndigen m?ssen [5]. Der Zweck der Portfolioarbeit bestimmt ma?geblich seinen Inhalt, die Auswahlprozesse und die Interaktion zwischen Lehrenden und Lernenden. Nach Tomkinson [40] werden dabei verschiedene Dimensionen (Stil, Struktur, Umfang, Zielsetzung, Diskretion, Inhalte und Zeitverlauf) unterschieden, die sehr unterschiedliche Auspr?gungen annehmen k?nnen (siehe Tabelle 1 [Tab. 1]). So ist das Portfolio prim?r formativ (zum Unterschied formativ / summativ siehe Abbildung 1 [Abb. 1]), also der R?ckmeldung des Lernfortschrittes dienend, mit der Absicht, St?rken und Schw?chen aufzuzeigen, um letztere ggf. gezielt zu beheben. Andererseits kann das Portfolio summativ zum Leistungsnachweis herangezogen werden, um z.B. das Erreichen von Minimalanforderungen sicher zu stellen. Unabh?ngig von der verfolgten Zielsetzung muss das Portfolio dem Lernprozess entsprechend konzipiert sein, den es begleitend dokumentieren soll. Generell soll das Portfolio folgende zentrale Aspekte beinhalten (nach [5]):

- Erfahrungen - was ist geschehen? was wurde getan, gesehen, geschrieben, erstellt etc.?

- Lernprozess - das Bewusstsein, dass das Erfahrene f?r die zuk?nftige T?tigkeit oder Entwicklung bedeutsam ist

- Nachweis - Belege f?r (erfolgreiches) Lernen unter angemessen Rahmenbedingungen (!)

- Lernbed?rfnis - Identifizierung der Richtung, in die sich der Lernprozess in (n?chster) Zukunft orientieren sollte

- Lernbedingungen - Wege, um den Lernbed?rfnissen gerecht zu werden.

Challis [5] betont, dass das Portfolio materielles und intellektuelles Eigentum des das Portfolio erstellenden Lerners ist. Dies erscheint uns sinnvoll, um den formativen Aspekt des Portfolio zu gew?hrleisten und zu unterstreichen sowie die Identifikation mit und Motivation gegen?ber der Pr?fungsform zu steigern, denn: die Studierenden w?rden das Portfolio auch entlang des extern Erw?nschten und nicht nur des internen Bedarfes nach entwickeln.

Testg?tekriterien

In der Literatur finden sich eher wenige (aussagekr?ftige) Untersuchungen zu Testg?tekriterien der Portfolios. Hierbei wird die Reliabilit?t der Portfolios als moderat bis niedrig beschrieben [2], [3], [24], [26], [31], [39]. Dies bezieht sich v.a. auf die sog. Interrater-Reliabilit?t, d.h. die ?bereinstimmung der Beurteilung durch verschiedene Gutachter. Diese Berichte legen die Schlussfolgerung nahe, mit dem Einsatz der Portfolios zum (summativen) Leistungsnachweis zur?ckhaltend zu sein [34]. In verschiedenen Ans?tzen wurde der Versuch unternommen, die Reliabilit?t zu verbessern, z.B. durch Standardisierung der Kriterien f?r Erstellung und Bewertung der Portfolios, Schulung der Gutachter, Verwendung von Checklisten zur Beurteilung und Beteiligung einer gr??eren Zahl von Gutachtern pro Portfolio. So konnten zum Teil respektable Ergebnisse erzielt werden ([20], [32], [30], [33]; zu Standards zur Pr?fungskompetenz der Pr?fenden siehe [21]). Allerdings weisen einige Autoren zu Recht auf die Gefahr hin, Portfolios zu "entstellen", (nur) um den ?blichen Anforderungen an Testg?tekriterien zu gen?gen [9]. Als Alternative wird die M?glichkeit aufgezeigt, Methoden in Anlehnung an Kriterien zur Beurteilung qualitativer Forschung anzuwenden (z.B. Feedback-Runden, Einbeziehung der Lerner in die Beurteilung, sequenzielle Beurteilungsverfahren) [9], [41].

Naturgem?? ist die inhaltliche Validit?t des Portfolio hoch, da seine Inhalte unmittelbar dem Lernprozess entstammen, den es zu "?berpr?fen" gilt. Dies bezieht sich vorrangig auf die sog. "face validity" (Pr?fung als Abbild der zu pr?fenden Inhalte). Je nach Freiz?gigkeit in der Gestaltung des Portfolio mag es Abweichungen seiner Inhalte von den Inhalten des Curriculums bzw. deren (z.B. quantitativen) Gewichtung geben, was zu einer geringeren Inhaltsvalidit?t f?hrt. Grunds?tzlich problematisch ist die oft unzureichende Reliabilit?t, die streng genommen Voraussetzung f?r Validit?t ist. Daten zur pr?diktiven Validit?t des Portfolio sind unzureichend und z.T. wohl durch Positivselektion (Abgabe von hochmotivierten Studierenden in einem freiwilligen Setting) verzerrt [11]. Die Konstruktvalidit?t scheint auch eher m??ig zu sein (z.B. [20]), wobei gerade bei dieser Form der Validit?t eine ausreichende Reliabilit?t unabdingbar ist. Insgesamt sind die Daten zur Quantifizierung (!) der Validit?t des Portfolio bisher unzureichend.

Diskussion

Challis weist in einem 2001 erschienenen Editorial [6] auf das steigende Interesse am Einsatz von Portfolios in der Medizinischen Ausbildung hin. So fand McKimm [25] in einer Befragung Medizinischer Hochschulen in Gro?britannien, dass bereits zehn von 24 Universit?ten Portfolios im Rahmen des Medizinstudiums einsetzten, weitere zw?lf verwendeten Logb?cher, wie sie neben Portfolios vom General Medical Council (GMC) in seiner Schrift "Tomorrow's Doctors" empfohlen wurden [16]. Aus dem f?r den Workshop "Universit?re Pr?fungen" des Stifterverbandes am 03.07.2003 in Bonn erarbeiteten Blueprint zu verwendeten Pr?fungsformen l?sst sich f?r Deutschland ablesen, dass die Portfolio-basierte Pr?fung im gro?en und ganzen nicht eingesetzt wird [18]. Eine Ausnahme stellt die vereinzelt gefundene Verwendung in der Allgemeinmedizin dar. Dies mag daran liegen, dass der deutsche Begriff der "Pr?fung" uneinheitlich zu der des englischen Begriffes "Assessement" benutzt wird. Ist dem Englischen "Assessment" die Bedeutung "Einsch?tzung, (Be-) Wertung" zugeordnet, so zielt der Begriff Pr?fung im Deutschen (auch und gerade im Sinne des Hochschulrechts) auf die summative ?berpr?fung kognitiver Inhalte im Allgemeinen. Damit ergibt sich auch die Leitdifferenz: die Justiziabilit?t.

Bezogen auf die in der Millerpyramide abgebildeten Pr?fungskategorien (sieh Abbildung 2 [Abb. 2]; nach [27]) wird mit Portfolios die komplexeste Ebene angesprochen. Portfolio geht also deutlich ?ber das hinaus, was mit reinen Wissenstests erhoben werden kann (und derzeit bei uns vornehmlich erhoben wird), und ist somit ein Instrument, um die in der Approbationsordnung festgeschriebene Zielsetzung der ?rztlichen Ausbildung umzusetzen (?1 Abs.1 ?AppO 2002, [1]): "Ziel der ?rztlichen Ausbildung ist der wissenschaftlich und praktisch in der Medizin ausgebildete Arzt, der zur eigenverantwortlichen und selbst?ndigen ?rztlichen Berufsaus?bung, zur Weiterbildung und zu st?ndiger Fortbildung bef?higt ist." Die Selbstreflexion des Lernenden ist das Herzst?ck des Portfolio (siehe [10]). Hier zeigt sich auch der Unterschied zwischen Portfolios im eigentlichen Sinne und dem blo?en, zusammenhanglosen Sammeln von Arbeiten. Das Portfolio impliziert eine metakognitive Interpretation, die es erm?glicht, Spuren des individuellen Lernprozesses abzubilden, zu interpretieren und Konsequenzen f?r das eigene Weiterlernen zu ziehen ("Reflective Practitioner" siehe [33]). Diese aufw?ndige, selbstgesteuerte Pr?fungsform ist denn auch in der eigenverantwortlichen Weiterbildung weit verbreitet [8], [22], [31], [37]. Dennoch kann ein Pr?fungsansatz wie der des Portfolio nicht Teil einzelner Innovationsbestrebungen sein, sondern muss integraler Bestandteil einer grundlegend neu orientierten Konzeption der Medizinischen Ausbildung sein. So urteilt Snadden [39]: "Until we can make a mental shift that allows us to include a more holistic approach to assessment, one which values the development of individuals over a period of time, we will continue to struggle to measure the unmeasurable, and may end up measuring the irrelevant because it is easier." (Frei ?bersetzt: "Solange wir nicht eine mentale Ver?nderung vornehmen k?nnen, die uns einen mehr ganzheitlichen Zugang zu Pr?fungen erm?glicht, einen der die Weiterentwicklung des Individuums ?ber die Zeit wertsch?tzt, solange werden wir uns damit abm?hen, das nicht Messbare zu messen und es wird damit enden, dass wir das Bedeutungslose messen, weil das einfacher ist.“)

Dementsprechend ist aus unserer Sicht der gr??te Hemmschuh f?r die Einf?hrung Portfolio-basierter Pr?fungsformate die derzeit vorherrschende "technologisch instrumentell-funktionale Lernkultur" [19], deren Lernform immer noch der "N?rnberger Trichter" und deren Symbol der "Aktenschrank" ist. Vor diesem Hintergrund erscheint eine auf der Subjektiven Theorie fu?ende "kommunikativ orientierte Lernkultur" [19], deren Kennzeichen u.a. die kooperative Vereinbarung von Erwartungen und Zielen (so auch Lernzielen; siehe Abbildung 3 [Abb. 3]) ist, zwar inhaltlich passgenau, wird aber derzeit nur von geringer Akzeptanz getragen, auch wenn Gehirnforschung [35], [36], Kognitionsbiologie [23], [38] und etwa die Kognitive Psychologie [28] mittlerweile andere Modelle von Lernen und Lernumgebungen favorisieren. An dieser Stelle sei auf die o.g. Problematik des Reliabilit?tsnachweises hingewiesen, aus deren Diskussion die Empfehlung zur eher "qualitativen" Pr?fungsanwendung von Portfolios hervorgeht [9], [41]. Im Hinblick auf Portfolio-Pr?fungen schreibt auch Challis [6]: "It is not to reach a 'correct' answer. Correctness belongs to a positivist paradigm where quantifiable 'truths' are accessible. [...] Portfolios have a distinct advantage over other assessment methods, as long as they are judged within their own terms, and not by trying to make them replicate other assessment processes." (Frei ?bersetzt: "Es geht nicht darum, die "korrekte“ Antwort zu finden. Korrektheit geh?rt zu einem positivistischen Denkmuster, in dem quantifizierbare "Wahrheiten“ verf?gbar sind. [...] Portfolios haben einen klaren Vorteil gegen?ber anderen Bewertungsmethoden, solange sie im Rahmen ihrer eigenen Bedingungen beurteilt werden und nicht indem wir sie heranziehen, um andere Beurteilungsverfahren zu ersetzen.“)

Anwendungsbeispiele international

Drei j?ngere Beispiele sollen die vielf?ltigen M?glichkeiten und die Aktualit?t des Portfolioansatzes verdeutlichen.

An der Universit?t Maastricht in den Niederlanden wird das Portfolio bereits bei Medizinstudierenden im ersten Studienjahr eingesetzt ([10]. Unter einem prim?r formativen Ansatz sammeln die Studierenden hier Belege f?r ihre Ausbildung in vier Kategorien, die sich auf verschiedene Rollen des Arztes beziehen ("medizinischer Experte", "Wissenschaftler", "Angeh?riger des Gesundheitswesens" und "Mensch"). Zielsetzung ist es, anhand von Fremdeinsch?tzungen, Pr?fungsergebnissen, Hausarbeiten und anderem eigene St?rken und Schw?chen bez?glich der o.g. Rollen herauszuarbeiten. Dar?ber hinaus sind die Studierenden gehalten, einen entsprechenden Lernplan f?r den nachfolgenden Studienabschnitt zu erstellen. Die Bem?hungen der Studierenden werden dabei regelm??ig von Mentoren begleitet, deren Rolle ?ber die Supervision der Portfolioerstellung hinaus geht. Eine Studie in diesem Ausbildungsszenario zeigte, dass m??ige Testg?tekriterien durch qualitative Aspekte wie Glaubw?rdigkeit und Zuverl?ssigkeit im Umgang mit dem Portfolio z.T. kompensiert werden k?nnen [9].

In Nottingham (GB) werden Portfolios bei der Ausbildung von Studierenden der Medizin im zweiten Studienjahr eingesetzt [33]. Unter der ?berschrift "How has the course influenced my development as an effective communicator?" ist das Portfolio hier (erg?nzend zu einem OSCE) Bestandteil einer summativen Pr?fung. Kernst?ck des Kurses sind sechs praktische ?bungen, die von Vorlesungen und Seminaren flankiert werden. In den praktischen ?bungen m?ssen sowohl echten als auch Simulationspatienten einerseits Informationen ?bermittelt, andererseits "entlockt" werden. Kommilitonen und Dozenten beobachten die Treffen mit den Simulationspatienten und geben anhand eines Fragebogens Feedback an die jeweiligen Studierenden. Bestandteile des Portfolio sind diese Frageb?gen, selbst-reflexive Dokumentationen ?ber die praktischen ?bungen sowie ein Essay, der zur eigenen Erfahrung mit kommunikativen Fertigkeiten sowie deren Entwicklung, unter Ber?cksichtigung der im Rahmen des Kurses vermittelten theoretischen Grundlagen, Stellung bezieht. Eine Studie im Rahmen dieses Kurses zeigte, dass durch Schulung und ?bung der Anwendung von Beurteilungskriterien eine Reliabilit?t erzielt werden kann, die den summativen Einsatz des Portfolio rechtfertigt.

Ein Beispiel der Anwendung von Portfolios in der Postgraduierten-Ausbildung kommt aus Arkansas (USA, [29]). Hier wird das Portfolio als Teil der halbj?hrlichen Beurteilung der in der vierj?hrigen Weiterbildung zum Psychiater befindlichen ?rzte ("Residents") genutzt. Das Portfolio besteht aus Dokumentationen der allt?glichen T?tigkeit im Rahmen der Weiterbildungsrotation und fokussiert auf dreizehn im Vorfeld definierte Themenschwerpunkte (z.B. Psychotherapie, Krisenmanagement oder Teamarbeit). Jede Dokumentation wird durch eine reflexive Selbsteinsch?tzung begleitet, aus der hervorgehen soll, inwieweit und warum die eigenen Kompetenzen durch den jeweiligen Beitrag zum Portfolio demonstriert werden. Zwei externe Gutachter beurteilen hier die Portfolios anhand von sechs Rubriken, innerhalb derer jeweils eine Einsch?tzung von "gef?hrlich f?r den Patienten" bis "Einbringen von Erfahrungen im Umgang mit komplexen Problemsituationen, deren L?sung ?ber Standardl?sungen hinaus geht" erfolgt. Die Untersuchungen aus Arkansas zeigen, dass hier durch den Einsatz von zwei Gutachtern eine normbezogene (relative), durch den Einsatz eines dritten Gutachters auch eine kriterienbezogene (absolute) Beurteilung mit akzeptabler Reliabilit?t m?glich ist.

Anwendungsbeispiele in K?ln

Die Medizinische Fakult?t der Universit?t zu K?ln hat sich in den Jahren 2001-2002 ein Leitbild f?r die Lehre erarbeitet, welches auf drei S?ulen steht. "K?lner Absolventen der Humanmedizin haben die erforderlichen Kenntnisse und Fertigkeiten, um die wichtigen und h?ufigen Erkrankungen sowie akut lebensbedrohliche Situationen zu erkennen und deren Behandlung einzuleiten, legen Verhaltensweisen und Einstellungen an den Tag, welche ihrer Akzeptanz durch Patienten und Angeh?rige der Heilberufe, sowie dem Ansehen der ?rzteschaft in der Gesellschaft f?rderlich sind, [und] sind willens und geeignet, eine eigenverantwortliche und wissenschaftlich fundierte Weiterbildung in Allgemeinmedizin, aber auch in einer klinischer Disziplin oder einem Grundlagenfach ihrer Wahl aufzunehmen" (? 1 Abs. 2 Reformziel: Studienordnung Humanmedizin der Medizinischen Fakult?t der Universit?t zu K?ln). In Anbetracht dieses Leitbildes und als Umsetzung der aus der Approbationsordnung resultierenden Anforderungen wird Portfolio-basiertes Pr?fen derzeit in zwei Unterrichtseinheiten - im Modellstudiengang im 1. Studienabschnitt und im Regelstudiengang im Praktischen Jahr - eingef?hrt. Im Hinblick auf den Einsatz im Praktischen Jahr ist die Umformulierung des ?3 Abs.7 ?AppO [1] leitend: Durch die Erstellung einer nicht nur die Regelm??igkeit sondern auch das ordnungsgem??e Absolvieren nachweisenden Teilnahmebescheinigung ergibt sich rein formal ein vormals nicht gekannter qualitativer Pr?fungsaspekt im Praktischen Jahr. Erstmals muss im Zweifel nachgewiesen werden k?nnen, wie das ordnungsgem??e Absolvieren nun auszusehen hat. Zu diesem Zweck hat die Medizinische Fakult?t ihre bis dahin fakultativ auszuf?llende "Checkliste" in den Ausbildungsrichtlinien f?r das Praktische Jahr (die auch Bestandteile der Vertr?ge mit den Akademischen Lehrkrankenh?usern sind) ?berpr?ft, erweitert und begonnen, dies als Portfolio-basiertes Pr?fungssystem auszubauen. Dabei stehen neben den tradierten Inhalten des Praktischen Jahres insbesondere die Verbesserungen der Kommunikation im Sinne einer Lehr-Lern-Vereinbarung und der Aspekt der bewussten Fortbildungsplanung im Vordergrund. Studierende und Ausbilder sind nun gehalten (rein formal gesehen mindestens 3 x in der Ausbildungszeit), den Inhaltskatalog gemeinsam zu besprechen und entsprechende Lernfortschritte aber auch Lernpotenziale zu dokumentieren (siehe Tabelle 2 [Tab. 2]). Besuchte Fortbildungsveranstaltungen (von der lokal angebotenen bis zum ?berregionalen Kongress) geh?ren dabei ebenfalls zum studentischen Portfolio wie auch in den Anweisungen vermerkt ist, dass sich die Ausbildungsinhalte nicht in den genannten Aspekten ersch?pfen m?ssen. Auf diese Weise ist insgesamt ein streng formalisiertes, dadurch aber handhabbares Instrument entstanden, welches sich jetzt in der Umsetzung mit kompletten Semestern noch wird beweisen m?ssen.

Ein zweites Beispiel betrifft das sog. "Studi-Pat", eine Veranstaltung der Allgemeinmedizin, im Rahmen derer die bzw. der Studierende eine Patientin bzw. einen Patienten in der haus?rztlichen Praxis ?ber mehrere Semester hinweg begleitet, um die Versorgungsrealit?ten der haus?rztlichen Betreuung zu erfahren. Einem Portfolio gleich werden die anf?ngliche Epikrise und die fortlaufende Dokumentation der Kontakte von Studierenden und Patienten gesammelt, um als Grundlage f?r die (formativen) Besprechungen mit den allgemeinmedizinischen Hochschulkollegen zu dienen.

Schlussfolgerung

Das Portfolio bietet eine wertvolle Erg?nzung des Instrumentariums von Pr?fungsformaten. Insbesondere der Einsatz mit formativer Ausrichtung, d.h. zur Reflexion des eigenen Lernfortschrittes macht das Portfolio f?r unsere medizinische Hochschullandschaft interessant, da Studierenden hier eine M?glichkeit zur Standortbestimmung im Rahmen des Ausbildungsprozesses gegeben und die reflexive Kompetenz gest?rkt wird. Auf Seiten der Ausbilder ist der Mehrwert eine neue, vielleicht sehr interessante Ebene der Kommunikation mit Studierenden durch den Rollentausch des "Pr?fers" zum "Lernhelfer".

---

Literatur

[1] ?AppO. 9. Novelle der Approbationsordnung f?r ?rzte. Bundesgesetzbl. 2002;1(44):2405-2435.
[2] Baume D, Yorke M. The reliability of assessment by portfolio on a course to develop and accredit teachers in higher education. Studies Higher Educ 2002;27(1):7-25.
[3] Beijaard D, Driessen EW, van Tartwijk J, van der Vleuten CPM. Portfolio's verder uitgewerkt (Further development of portfolios). In: EW Driessen, D Beijaard, J van Tartwijk, CPM avn der Vleuten (Hrsg). Portfolios. Groningen: Wolters-Noordhoff. 2002;119-136.
[4] Bortz J, D?ring N. Forschungsmethoden und Evaluation. Berlin, Heidelberg, New York: Springer; 1995(2).
[5] Challis M. Portfolio-based learning and assessment in medical education. Med Teach. 1999;21(4):370-386.
[6] Challis M. Portfolios and assessment: meeting the challenge. Med Teach. 2001;23 (5):437-440.
[7] Davis MH, Friedman Ben-David M, Harden RM, Howie P, Ker J, McGhee C, Pippard MJ, Snadden D. Portfolio assessment in medical students' final examinations. Med Teach. 2001;23:357-366.
[8] Donner-Banzhoff N. Lernen mit einem Portfolio. G?ttingen: Deutsche Gesellschaft f?r Allgmeinmedizin und Familienmedizin (DEGAM); 2003. Zug?nglich unter: http://www.degam.de/cme/p_folio.htm.
[9] Driessen E, van der Vleuten C, Schuwirth L, van Tartwijk J, Vermunt J. The use of qualitative research criteria for portfolio assessment as an alternative to reliability evaluation: a case study. Med Educ. 2005;39:214-220.
[10] Driessen EW, van Tartvijk J, Vermunt JD, van der Vleuthen CPM. Use of portfolios in early undergraduate medical training. Med Teach. 2003;25:18-23.
[11] Finlay IG, Maughan TS, Webster DJ. A randomized controlled study of portfolio learning in undergraduate cancer education. Med Educ. 1998;32:172-176.
[12] Friedman Ben-David M, Davis MH, Harden RM, Howie PW, Ker J, Pippard MJ. Portfolios as a method of student assessment. Med Teach. 2001;23:535-551.
[13] Friedman Ben-David M. Assessment in outcome-based education. Med Teach. 1999;21:23-25.
[14] Friedman Ben-David M. The role of assessment in expanding professionl horizons. Med Teach. 2000;22:472-477.
[15] F?ser K. Modernes Management: Lean Management, Business Reengeneering, Benchmarking und viele andere Methoden. M?nchen: Beck-Wirtschaftsberater im dtv; 1999(2).
[16] General Medical Council. Tomorrow's Doctors: Recommendations on Undergrduate Medical Education. London: GMC; 1993.
[17] Harden RM, Crosby JR, Davis MH, Friedman Ben-David M. Outcome-based education from competency to meta competency: a model for specification of learning outcomes. Med Teach. 1999;21:546-552.
[18] Jorzik B. Workshop "Universit?re Pr?fungen" - Auswertung der Pr?fungs-Blueprints. Frankfurt/Main: Stifterverband; 2003:Pers?nliche Mitteilung.
[19] Koesel E. Die Modellierung von Lernwelten. Ein Handbuch zur Subjektiven Didaktik. Eltztal-Dallau: Verlag Laub; 1997(3).
[20] Koretz D, Stecher B, Klein S, McCaffrey D. The Vermont Portfolio Assessment Program: findings and implications. Educ Meas: Issues Pract. 1994;13:5-16.
[21] Linn RL, Miller MD. Measurement and Assessment in Teaching. New Jersey: Prentice Hall; 2005(9).
[22] Mathers NJ, Challis MC, Howe AC, Field NJ. Portfolios in continuing medical education-effective and efficient? Med Teach. 1999;33:521-530.
[23] Maturana HR. Kognition. In Schmidt SJ. Der Diskurs des Radikalen Konstruktivismus. Frankfurt: Suhrkamp. 1991(4):89 ff.
[24] McCullan M, Endacott R, Gray MA, Jasper M, Miller CM, Scholes J, Webb C. Portfolios and assessment of competence: a review of the literature. J Adv Nurs. 2003;41(3):283-294.
[25] McKimm J. Using portfolios in medical education. London: Imperial College School of Medicine. 2001: Projektbericht.
[26] Melville C, Rees M, Brookfield D, Anderson J. Portfolios for assessment of pediatric specialist registrars. Med Educ. 2004;38:1117-1125.
[27] Miller GE. The assessment of clinical skills/ competence/ performance. Acad Med. 1990;65(9):S63-67.
[28] Norman GT, Schmidt HG. The psychological basis of problem based learning: A review of the evidence. Acad Med. 1992;67:557-565.
[29] O'Sullivan P, Reckase MD, McClain T, Savidge MA, Clardy JA. Demonstration of portfolios to assess competency of residents. Adv Health Sci Ed Theory Pract. 2004;9:309-323.
[30] Pitts J, Coles C, Thomas P, Smith F. Enhancing reliability of portfolio assessment: discussions between assessors. Med Teach. 2002;24:197-201.
[31] Pitts J, Coles C, Thomas P. Educational portfolios in the assessment of general practice trainers: reliability of assessors. Med Educ. 1999;33:515-520.
[32] Pitts J, Coles C, Thomas P. Enhancing reliability in portfolio assessment: 'shaping' the portfolio. Med Teach. 2001;23:351-356.
[33] Rees C, Sheard C. Undergraduate medical students' views about a reflective portfolio assessment of their communication skills learning. Med Educ. 2004;38:125-128.
[34] Roberts C, Newble DI, O'Rourke A. Portfolio-based assessments in medical education: are they valid and reliable for summative purposes?. Med Educ. 2002;36:899-900.
[35] Roth G. Das Gehirn und sein reale Wirklichkeit. In Schmidt SJ (Hrsg). Der Diskurs des Radikalen Konstruktivismus. Frankfurt/Main: Suhrkamp. 1987;4:229.
[36] Roth G. Neuronale Grundlagen des Lernens und Ged?chtnisses. In Schmidt SJ. Ged?chtnis. Frankfurt /Main.: Suhrkamp. 1991:127.
[37] Royal College of General Practitioneers. Portfoliobased Learning in General Practice. Report of a Working Group on Higher Professional Education. London: The Royal College of General Practitioners. Occasional. 1993:63.
[38] Schmidt SJ. Ged?chtnis. Frankfurt/Main: Suhrkamp; 1991.
[39] Snadden D. Portfolios - attempting to measure the unmeasurable?. Med Educ. 1999;33:478-479.
[40] Tomkinson B. Towards a taxonomy of teaching portfolios. Nach Challis M. Portfolios and assessment: meeting the challenge. Med Teach. 2001;23:437-440.
[41] Webb C, Gray M, Jasper M, McMullan M, Scholes J. Evaluating portfolio assessment systems: what are the appropriate criteria?. Nurse Educ Today. 2003;23:600-609.