Schweizerische
Ärztezeitung
Programmatic Assessment und Implikationen für die kompetenzbasierte Weiterbildung

Nur mit genügend Pixeln wird das Bild klar

FMH
Adi Marty
Weitere Autoren
Dr. med. Monika Brodmann Maeder, Sören Huwendiek
Ausgabe
2022/35
DOI:
https://doi.org/10.4414/saez.2022.21007
Schweiz Ärzteztg. 2022;103(35):1073-1075
Affiliations
a Dr. med. et MME, precisionED AG, Wollerau; b PD Dr. med. et MME, Präsidentin, Schweizerisches Institut für ärztliche Weiter- und Fortbildung SIWF, Bern; c Prof. Dr. Dr. med. et MME, Abteilungsleiter, Abteilung für Assessment und Evaluation, Institut für Medizinische Lehre (IML), Universität Bern

Publiziert am 30.08.2022

Die meisten von uns haben erst unter dem Druck einer bevorstehenden Prüfung genügend gelernt. Die Idee, dass die Prüfsituation selbst zum Lernen verwendet werden kann, hat erst in den letzten Jahren zu einem Umdenken im Bildungs­bereich geführt. Diese Entwicklung soll mit diesem Artikel erläutert und ein ­Brückenschlag zur kompetenzbasierten Weiterbildung mit Entrustable Professional Activities gemacht werden.

Beurteilung von Lernen

Wie vermutlich die meisten Leserinnen und Leser hatten wir es während unserer Aus- und Weiterbildung mit Prüfungen zu tun, welche jeweils das Ende einer Lehr-/Lernperiode markierten. Es wurde geprüft, ob man sich an alle Inhalte auch tatsächlich erinnern und diese wiedergeben kann. Allen wurde der gleiche Stoff beigebracht, und alle wurden über denselben Stoff ­geprüft. Wenn man die geforderte Punktzahl an der Prüfung nicht erreichte, hatte man in den meisten ­Fällen nicht genug oder nicht das Richtige gelernt.
Wenn eine Prüfung zu einem Entscheid über Bestehen oder Nichtbestehen führt, sollte sie möglichst gerecht und fair und damit möglichst standardisiert sein. Solche standardisierten Abschlussprüfungen erlauben zu entscheiden, wer die nötigen Kompetenzen besitzt, um zum Beispiel für einen nächsten Abschnitt des Studiums bereit zu sein oder auch in das Berufsleben ein­zutreten. Eine Rückmeldung, wo noch Lernbedarf ­besteht, kommt dabei oft zu kurz.
Ein Beispiel dafür ist eine praktische Facharztprüfung in einem operativen Fachgebiet. Die Kandidatin oder der Kandidat muss unter Beobachtung eine Operation durchführen und erhält danach primär eine Benotung beziehungsweise eine Information, ob die Prüfung bestanden wurde oder nicht.
Zudem wird bei diesem traditionellen Lernansatz auch kritisiert, dass sich alles Lernen auf die Zeit vor die Prüfung verlagert und nicht regelmässig eine Beurteilung des Fortschritts erfolgt. Der Lernerfolg ist zwar kurzfristig erreicht, aber das Gelernte geht schnell wieder vergessen. Um die Kompetenzen einer Person umfassend zu beurteilen, braucht es möglichst viele verschiedene «Wertungen». Damit haben wir einen Teil des Konzepts von Programmatic Assessment bereits ­erklärt.
Nehmen wir ein Beispiel aus dem Sport: Bei einer Olym­piade fokussiert sich die ganze Vorbereitung auf einen einmaligen Wettkampf. Die Sportlerin gewinnt, die in ­diesem speziellen Moment am besten ist. Im Bildungssektor würden wir aber einen Weltcup bevorzugen, bei dem über Wochen und Monate mehrere Wettkämpfe an verschiedenen Orten stattfinden und die Gewinnerin diejenige Athletin ist, die sich in dieser ganzen Periode als die beste herausgestellt hat. Zurückübersetzt in die Medizin geht es nicht darum, zu einem Zeitpunkt der/die Beste zu sein, sondern konstant und zuverlässig kompetente Patientenbetreuung zu leisten.
Monika Brodmann Maeder
PD Dr. med. et MME Monika Brodmann Maeder ist Fachärztin für allg. Innere Medizin mit Fähigkeitsausweis Notarzt SGNOR und interdisziplinärem Schwerpunkt in ­klinischer Notfallmedizin und Präsidentin des Schweizerischen Instituts für ärztliche Weiter- und Fortbildung (SIWF).
Adi Marty
Dr. med. Adi Marty, MME ist interna­tionaler Experte für EPAs und Mitglied der SIWF EPA-Kommission. Zudem ist er Chief Visionary Officer bei der preci­sionED AG.
Sören Huwendiek
Prof. Dr. Dr. med. et MME Sören Huwendiek ist Facharzt für Kinder- und Jugendmedizin und Abteilungsleiter am Institut für Medizinische Lehre Bern.

Beurteilung fürs Lernen

Wie gerade erläutert, ist es wichtig, häufig Beurtei­lungen durchzuführen. Genauso wichtig ist es jedoch auch, dass die einzelnen Beurteilungssituationen möglichst optimal fürs Lernen genutzt werden: Assessment FOR Learning [1]. Im Gegensatz zum vorherigen Abschnitt steht neu die Beobachtung und Beurteilung am Anfang und im anschliessenden Feedback- oder Lerngespräch werden die Lernziele und Lerninhalte besprochen. So ergibt sich die Möglichkeit, für die nächste Weiterbildungsperiode gemeinsam mit den Lernenden massgeschneiderte Lernpläne zu entwickeln. Vergleichbar zu unserem klinischen Alltag kommt zuerst die Diagnose und dann die Therapie.
Nehmen wir nochmals das Beispiel des «Voroperierens»: Im Gegensatz zur einmaligen Leistungsüberprüfung bei einer Facharztprüfung ist jede einzelne Operation eine Lernmöglichkeit. Besonders wenn sie unter Supervision durchgeführt wird und gemeinsam mit der Ärztin/dem Arzt in Weiterbildung ein Gespräch darüber stattfindet, was sie/er wieder so gut bzw. besser machen soll, damit sie/er die Operation das nächste Mal selbständiger ­ausführen kann.

Programmatic Assessment

Programmatic Assessment heisst, dass Lernende sys­tematisch in möglichst vielen Situationen möglichst viele unterschiedliche Beurteilungen sammeln [2]. Diese können und sollen mit unterschiedlichen Mentorinnen/Mentoren durchgeführt werden. Jede solche Assessmentsituation ist dabei zugleich eine Bewertung als auch eine Lernsituation [3].
Um eine Entscheidung über das Erreichen einer definierten Kompetenzstufe (zum Beispiel Diensttaug­lichkeit oder Facharztreife) zu treffen, werden alle ­Einzelbewertungen von einem sogenannten Kompetenzkomitee berücksichtigt. Ein Kompetenzkomitee ist hierbei nichts anderes als zum Beispiel eine Kaderrunde oder eine Gruppe von Mentorinnen/Mentoren, welche gemeinsam über den Fortschritt von Assistentinnen und Assistenten diskutieren. Je mehr Beur­teilungen oder «Pixel» dem Kompetenzkomitee zur Verfügung stehen, desto klarer wird das Bild über die Kompetenzen einer Assistenzärztin oder eines Assistenzarztes. (vgl. Abbildung).
Um ein klares Bild unserer Lernenden zu bekommen, braucht es möglichst viele unterschiedliche Beurteilungen (=Pixel). Foto: Adi Marty (mit Genehmigung von David Deck)
Auch hier wieder ein praktisches Beispiel: Lea Fischer, Ärztin in Weiterbildung für Allgemeine Innere Medizin im ersten Jahr, hat nach einem halben Jahr mehrere arbeitsplatzbasierte Assessments mit unterschiedlichen Oberärztinnen und Oberärzten durchgeführt. Nun geht es ­darum, ob sie nach dieser Zeit fähig ist, allein Nachtdienste zu leisten. Anlässlich einer Kadersitzung werden die bisherigen Beurteilungen angeschaut. Diese zeigen für alle geforderten EPAs durchwegs den erwarteten Grad an Autonomie. Basierend auf diesen Beurteilungen wird deshalb in der Gruppe entschieden, dass sie nun im Dienstplan auch für Nachtdienste freigegeben wird.
Damit wird auch das Zusammenspiel ersichtlich zwischen Einzelbeobachtungen, sogenannten low-stakes assessments, und Entscheidungen mit weitreichender Relevanz (high-stakes assessments) wie hier dem Entscheid, dass die Assistenzärztin Nachtdienste machen kann. Es besteht ein Kontinuum von low-stakes assessments zu high-stakes assessments: Je wichtiger die ­Entscheidung ist, die gefällt werden soll, umso mehr Beurteilungen müssen dafür als Grundlage vorhanden sein [3, 4]. Arbeitsplatzbasierte Assessments (AbAs) fallen eindeutig in den Bereich der low-stakes assessments. Im Zentrum der AbA’s stehen Feedbackge­s­präche, ­welche den Lernenden helfen sich weiterzu­entwickeln. Es ist wichtig zu betonen, dass keine Entscheidung über Bestehen während einer einzelnen Beurteilungssituation gefällt wird. Dies entlastet auch die Men­torinnen und Mentoren, da keine weitreichende Entscheidung alleine von ihrer situationsbe­zogenen Einschätzung abhängt. Ein OSCE als strukturierte Prüfung mit mehreren Stationen am Ende eines Studienjahres hat höhere Stakes. Eine noch wichtigere Entscheidung wie die Verleihung eines Facharzt­diploms kann nur gefällt werden, wenn die nötige Kompetenz dank vieler Bewertungen ausreichend ­belegt ist [5].
In einem gut funktionierenden System von Programmatic Assessment fallen sehr viele Datenpunkte an. Diese werden digital in einem ePortfolio gesammelt und so dargestellt, dass ein Kompetenzkomitee effi­zient fundierte Entscheidungen (Entrustment-Deci­sions) treffen kann.
Zentrale Aspekte von Programmatic Assessment sind in Tabelle 1 aufgeführt.
Tabelle 1: Prinzipien von Programmatic Assessment (nach Heeneman et al. 2022) [6].
1.Entscheidungen (bestanden / nicht bestanden) basieren auf vielen Beurteilungen und nicht nur auf einer einzelnen.
2.Die einzelnen Beobachtungssituationen dienen hauptsächlich dem Lernen.
3.Es soll ein konstanter Austausch mit den Lernenden stattfinden, basierend auf Feedbackgesprächen.
4.Es braucht einen Mix aus verschiedenen Arten von Beurteilungen, um den Kompetenzkomitees fundierte Entscheidungen zu ermöglichen.
5.Die nötige Anzahl an Beurteilungen (Datenpunkten) hängt von der Wichtigkeit der Entscheidung ab: je höher die Konsequenzen, desto mehr Datenpunkte braucht es.
6.Entscheidungen mit grossen Konsequenzen werden von einer Gruppe (Kompetenzkomitee) gefällt, auf Basis vieler Datenpunkte.

EPA-basiertes ­Assessment

Die nationale Bestrebung der Implementation der kompetenzbasierten ärztlichen Weiterbildung mit EPAs folgt auch dem Ansatz des Programmatic Assessment. Dabei wird besonders darauf geachtet, dass das Konzept im hektischen klinischen Alltag umsetzbar ist [7, 8, 9]. Die EPA-Kommission des SIWF hat dazu ein ­Dokument entwickelt, das auch auf der Website des SIWF aufgeschaltet ist [10; Suggestions for assessment using EPAs in residency training]. Wir stellen hier nur die zentralen Punkte vor:
– Beurteilungen dienen während der gesamten Weiterbildung der Förderung von Wachstum und Lernen.
– Es wird ein Mix aus verschiedenen Beurteilungsformaten verwendet [12].
Zu diesen Bewertungen gehören arbeitsplatz­basierte Kurzbeurteilungen von EPAs, longitudinale Beobachtungen (sogenanntes Multi-source Feedback bzw. MSF), Simulationen, strukturierte prak­tische Prüfungen, aber auch Prüfungen zum klinischen Wissen.
– Es braucht eine minimale Anzahl von Bewertungen für high-stakes Entscheidungen durch das Kompetenzkomitee.
– Nur Kompetenzkomitees treffen high-stakes Entscheidungen (Entrustment Decisions).
– Zur Unterstützung des Feedback- und Bewertungsprozesses werden elektronische Instrumente ein­gesetzt wie Apps [13] und ein ePortfolio.

Fazit

Die in diesem Artikel gemachten Angaben zum Assessment im Rahmen der kompetenzbasierten Weiter­bildung mit EPAs können den Institutionen, die den EPA-Ansatz pilotieren wollen, als erster Anhaltspunkt dienen. Eine Assessment-Kultur mit «Lernen» als zen­traler Aspekt ist realisierbar. Diese Kultur funktioniert allerdings nur, wenn die Leitungsebene einer Institution die ärztliche Weiterbildung und Qualitätssicherung als wichtig erachtet. Um die Umsetzung erfolgreich gestalten zu können, braucht es gezieltes Faculty Development.
Programmatic Assessment ermöglicht die sinnvolle Umsetzung der kompetenzbasierten Weiterbildung mit EPAs und ist ein wichtiger Baustein der Moder­nisierung der ärztlichen Weiterbildung in der Schweiz. Dafür braucht es das Engagement aller Beteiligten. ­Pixel für Pixel …
adimarty[at]bluewin.ch
 1 Schuwirth LWT; Van der Vleuten CPM. Programmatic Assessment: From Assessment of Learning to Assessment for Learning. Med Teach. 2011;33(6):478–85.
 2 Van der Vleuten CPM; Schuwirth LWT; Driessen EW; Dijkstra J; Tigelaar D; Baartman LKJ; van Tartwijk J. A Model for Programmatic Assessment Fit for Purpose. Med Teach. 2012;34(3):205–14.
 3 Watling CJ; Ginsburg S. Assessment, Feedback and the Alchemy of Learning. Med Educ. 2019;53(1):76–85
 4 Schut S; Driessen E; van Tartwijk J; van der Vleuten C; Heeneman S. Stakes in the Eye of the Beholder: An International Study of Learners’ Perceptions within Programmatic Assessment. Med Educ. 2018;52(6):654–63.
 5 Jonker G; Ochtman A; Marty AP; Kalkman CJ; Ten Cate O; Hoff RG. Would you trust your loved ones to this trainee? Certification decisions in postgraduate anaesthesia training. Br J Anaesth. 2020;125(5):e408–e410.
 6 Heeneman S; de Jong LH; Dawson LJ; Wilkinson TJ; Ryan A; Tait GR; Rice N; Torre D; Freeman A; van der Vleuten CPM. Ottawa 2020 Consensus Statement for Programmatic Assessment – 1. Agreement on the Principles. Med Teach. 2021;43(10):1139–48
 7 Bok HGJ; Teunissen PW; Favier RP; Rietbroek NJ; Theyse LFH; Brommer H; Haarhuis JCM; van Beukelen P; van der Vleuten CPM; Jaarsma DADC. Programmatic Assessment of Competency-Based Workplace Learning: When Theory Meets Practice. BMC Med Educ. 2013;13(1):1–9.
 8 Schut S; Maggio LA; Heeneman S; van Tartwijk J; van der Vleuten C; Driessen E. Where the Rubber Meets the Road — An Integrative Review of Programmatic Assessment in Health Care Professions Education. Perspect Med Educ. 2021;10(1):6–13
 9 Torre D; Rice NE; Ryan A; Bok H; Dawson LJ; Bierer B; Wilkinson TJ; Tait GR; Laughlin T; Veerapen K; Heeneman S; Freeman A; van der Vleuten C. Ottawa 2020 Consensus Statements for Programmatic Assessment – 2. Implementation and Practice. Med Teach. 2021;43(10):1149–60
10 Mitglieder der SIWF EPA-Kommission (alphabethisch): Werner Bauer, Jan Breckwoldt, Monika Brodmann, Christoph Burkhart, Sonia Frick, Sören Huwendiek, Nadja Jenni, Adi Marty, Severin Pinilla, Urs von Wartburg, Ueli Woermann. Weitere Informationen zur kompetenzbasierten Weiterbildung unter siwf.ch/siwf-projekte/cbme/epa.cfm
11 Harrison C;Val Wass V. The Challenge of Changing to an Assessment for Learning Culture. Med Educ. 2016;50(7):704–6.
12 Schuwirth LWT; van der Vleuten CPM. Programmatic Assessment and Kane’s Validity Perspective: Programmatic Assessment and Kane’s Validity Perspective. Med Educ. 2012;46(1):38–48.
13 Marty AP; Braun J; Schick C; Zalunardo MP; Spahn DR; Breckwoldt J. A mobile application to facilitate implementation of programmatic assessment in anaesthesia training. Br J Anaesth. 2022.

Veröffentlicht unter der Copyright-Lizenz.

"Attribution - Non-Commercial - NoDerivatives 4.0"

Keine kommerzielle Weiterverwendung ohne Genehmigung.

See: emh.ch/en/emh/rights-and-licences/

 

 

Zum Seitenanfang