Bulletin des
médecins suisses
L’évaluation programmatique et la formation médicale postgraduée basée sur les compétences

L'image n'apparaîtra clairement qu'avec suffisamment de pixels

FMH
Adi Marty
Autres auteurs
Dr. med. Monika Brodmann Maeder, Sören Huwendiek
Édition
2022/35
DOI:
https://doi.org/10.4414/bms.2022.21007
Bull Med Suisses. 2022;103(35):1073-1075
Affiliations
a Dr méd. et MME, precisionED AG, Wollerau, b Dre méd., p.-d. et MME, présidente, Institut suisse pour la formation médicale postgraduée et continue (ISFM), Berne, c Prof. méd. et MME, chef de l’Unité des examens et de l’évaluation (AAE), Institut d’enseignement médical (IML), Université de Berne

Publié le 30.08.2022

Ce n’est que sous la pression d’un examen imminent que la plupart d’entre nous ont trouvé suffisamment de motivation pour apprendre. Au cours des dernières années, l’idée que la situation d’examen peut elle-même servir à l’apprentissage a provoqué un changement de paradigme dans le domaine de la formation. Cet article a pour objectif d’expliquer cette évolution et son rapport avec la formation médicale postgraduée basée sur les compétences et fondée sur les EPA (entrustable ­professional activities).

Evaluation de l’apprentissage

Comme la plupart d’entre vous, nous avons dû passer, au cours de notre formation médicale initiale et postgraduée, plusieurs examens qui marquaient la fin d’une période d’études. Il s’agissait de vérifier si l’on se souvenait effectivement de tous les contenus et si l’on était capable de les restituer. Les mêmes ­sujets avaient été enseignés à tout le monde, et les examens portaient pour tout le monde sur cette même matière. Si l’on n’obtenait pas le nombre de points requis à l’examen, c’est que, dans la plupart des cas, l’on n’avait pas suffisamment appris – ou du moins pas ce qu’il fallait.
Lorsqu’un examen se solde par une décision binaire de réussite ou d’échec, sa conception devrait être aussi juste et équitable – à savoir standardisée – que possible. De tels examens finaux fondés sur des normes permettent de décider qui possède les compétences nécessaires pour, par exemple, passer à l’étape suivante de sa formation ou intégrer la vie professionnelle. Un simple feed-back sur les domaines qui nécessitent une révision reste souvent insuffisant.
L’examen pratique de formation postgraduée dans le cadre d’une spécialité chirurgicale constitue un exemple typique de cette approche. La candidate ou le candidat doit effectuer une opération sous observation, sur la base de laquelle une note ou une information lui indiquera ­essentiellement si l’examen a été réussi ou non.
Par ailleurs, cette approche traditionnelle de la formation suscite la critique que tout l’apprentissage se concentre durant la période juste avant l’examen; il manque une évaluation régulière des progrès réalisés. Le succès de la formation est certes atteint à court terme, mais ce qui a été appris tombe rapidement dans l’oubli. L’évaluation globale des compétences d’une personne requiert autant d’évaluations différentes que possible. C’est sur ce principe que repose en partie le concept de «l’évaluation programmatique» (programmatic assessment).
Prenons un exemple dans le domaine du sport. Lors d’une compétition, toute la préparation se concentre sur une épreuve unique. La gagnante ou le gagnant sera l’athlète qui réalisera la meilleure performance à ce moment précis. Dans le contexte de la formation, nous préfèrerions un long tournoi où plusieurs épreuves se dérouleraient à différents endroits pendant des semaines, voire des mois, et qui couronnerait l’athlète qui aurait maintenu la meilleure performance durant toute cette période. Il va sans dire qu’il n’est pas question, en médecine, d’être la meilleure ou le meilleur à un moment donné, mais de prodiguer constamment des soins de manière compétente et fiable.
Monika Brodmann-Maeder
La Dre méd. Monika Brodmann Maeder, p.-d. et MME, est spécialiste en médecine interne générale avec AFC médecin d’urgence (SSMUS) et formation approfondie interdisciplinaire en médecine d’urgence hospitalière. Elle préside l’Institut suisse pour la formation médicale postgraduée et continue (ISFM).
Adi Marty
Le Dr méd. Adrian Marty, MME, est un expert international en matière d’EPA; il est aussi membre de la commission EPA de l’ISFM, ainsi que Chief Visionary Officer chez precisionED SA.
Sören Huwendiek
Le Prof. méd. Sören Huwendiek, MME, est spécialiste en pédiatrie et chef d’unité à l’Institut d’enseignement médical (IML) de l’Université de Berne.

Evaluation pour l’apprentissage

Comme nous venons de l’expliquer, il est important de procéder fréquemment à des évaluations. Mais il est tout aussi important que les différentes situations d’évaluation soient utilisées de manière optimale en vue de l’apprentissage: assessment for learning [1]. Contrairement au type décrit précédemment, l’observation et l’évaluation commencent ici par un entretien de formation ou de feed-back, au cours duquel les objectifs et le contenu de l’apprentissage sont discutés. On peut ainsi développer, avec les personnes concernées, des plans de formation sur mesure pour la prochaine période de formation postgraduée. Pour comparer avec la pratique médicale, on commence ici par établir le diagnostic avant d’instaurer un traitement.
Prenons à nouveau l’exemple de la formation opératoire. Contrairement au contrôle unique des performances lors d’un examen de spécialiste, chaque intervention ­représente une occasion d’apprentissage, d’autant plus lorsqu’elle est réalisée sous supervision directe. Dans ce cas, un retour d’information peut en outre permettre d’expliciter à la personne en formation ce qu’elle doit pouvoir réaliser aussi bien, voire mieux, de sorte à effectuer la prochaine intervention avec une plus grande ­autonomie.

Evaluation programmatique

L’évaluation programmatique (programmatic assessment) signifie que les personnes en formation collectent systématiquement autant d’évaluations que possible dans les situations les plus diverses [2]. Ces évaluations devraient être réalisées sous la supervision de médecins différents. Chacune de ces situations représente à la fois une évaluation et une occasion d’apprentissage [3].
Afin de décider si un niveau de compétence défini a été atteint (p. ex. l’aptitude à se charger d’une garde ou à obtenir un titre de médecin spécialiste), ce que l’on ­appelle un «comité de compétences» prend en compte l’ensemble des évaluations individuelles. Un tel comité de compétences est simplement un groupe de ­médecins-cadres ou de superviseurs qui discute des progrès de chaque médecin en formation postgraduée. Plus le comité de compétences dispose d’évaluations, et donc de pixels pour reprendre notre métaphore, plus l’image des compétences de la personne évaluée devient claire (cf. photo ci-contre).
Afin de restituer l’image la plus claire possible des médecins en formation, les ­personnes responsables de la formation ont besoin d’évaluations différentes comme autant de pixels. Photo: Adi Marty (avec l’autorisation de David Deck)
Voici à nouveau un exemple pratique. Durant six mois, Lea Fischer, médecin en première année de formation postgraduée en médecine interne générale, a effectué plusieurs évaluations en milieu de travail auprès de plusieurs chef-fe-s de clinique. Il s’agit maintenant de savoir si, après cette période, elle est capable d’assurer seule la responsabilité de gardes de nuit. Les évaluations disponibles sont alors examinées au sein d’un comité de ­médecins-cadres; elles indiquent le degré d’autonomie attendu pour toutes les EPA requises. C’est sur cette base que le ­comité décide de lui confier des gardes de nuit.
Cela permet également de mettre en regard, d’une part, les évaluations peu déterminantes (low-stakes assessments), comme les observations individuelles, et d’autre part, celles qui portent de plus grands enjeux (high-stakes assessments), comme précédemment la décision de confier à cette médecin-assistante la responsabilité de gardes de nuit. Il existe un continuum entre les évaluations dites low-stakes et high-stakes: plus la décision revêt de l’importance, plus il faut disposer d’évaluations pour la motiver [3, 4]. Les évaluations en milieu de travail (EMiT) appartiennent clairement au domaine des low-stakes assessments. Elles se fondent essentiellement sur les entretiens de feed-back qui soutiennent le parcours d’apprentissage des personnes en formation. Il convient de souligner qu’aucune ­dé­cision de réussite n’est tributaire d’une seule observation. Cela soulage d’ailleurs les personnes responsables de la formation, puisque leur évaluation d’une situation unique ne joue donc pas un grand rôle décisionnel. Un OSCE (examen structuré en plusieurs étapes) à la fin d’une année de formation porte des enjeux (stakes) plus déterminants. Encore plus importante, une décision telle que l’attribution d’un diplôme de spécialiste ne peut être prise que si de multiples ­évaluations permettent d’attester largement des compétences requises [5].
Un système d’évaluation programmatique qui fonctionne correctement génère de nombreux points de données. Ceux-ci sont rassemblés sous forme numérique dans un portefeuille électronique (ePortfolio) et présentés de sorte qu’un comité de compétences puisse décider des responsabilités à confier (entrustment decisions) de manière efficace et fondée.
Le tableau 1 présente les aspects centraux de l’évaluation programmatique.
Tableau 1: Principes de l’évaluation programmatique (d’après Heeneman et al. 2022) [6].
1.Les décisions (réussite/échec) se basent sur de nombreuses évaluations, et pas seulement sur une seule.
2.Les différentes situations d’observation servent principalement à l’apprentissage.
3.Des entretiens de feed-back favorisent un échange constant avec les personnes en formation.
4.Le comité de compétences doit disposer d’évaluations nombreuses et variées afin d’être en mesure de prendre des décisions en toute connaissance de cause.
5.Le nombre d’évaluations nécessaires (points de données) dépend des enjeux de la décision: plus les conséquences sont déterminantes, plus il faut de points de données.
6.Les décisions qui entraînent des conséquences majeures doivent être prises en groupe, sur la base de nombreux points de données, par le comité de compétences.

Evaluation basée sur les EPA

L’effort national de mise en œuvre de la formation ­médicale postgraduée basée sur les compétences et fondée sur les EPA suit également l’approche de l’évaluation programmatique. Il accorde une attention ­particulière à la possibilité de mettre en œuvre ce concept dans la frénésie du quotidien clinique [7, 8, 9]. La commission EPA de l’ISFM a élaboré un document à ce sujet, également disponible (en anglais) sur le site ­Internet de l’ISFM [10; Suggestions for assessment using EPAs in residency training]. Nous n’en présentons ci-­dessous que les points essentiels.
– Les évaluations sont utilisées tout au long de la ­formation afin de favoriser le développement et l’apprentissage.
– Il s’agit d’intégrer différents formats d’évaluation [12]. Ceux-ci comprennent des évaluations brèves d’EPA en milieu de travail, des observations longitudinales (feed-back de sources multiples), des simulations, des examens pratiques structurés, ainsi que des vérifications des connaissances ­cliniques.
– Un nombre minimal d’évaluations est nécessaire pour que le comité de compétences puisse prendre des décisions déterminantes (high-stakes).
– Seul un comité de compétences peut prendre de telles décisions avec un enjeu de mandatement ­(entrustment decisions).
– Le processus de feed-back et d’évaluation est soutenu par des outils numériques, tels que des appli­cations [13] et un portefeuille électronique.

Conclusion

Les informations de cet article sur l’évaluation dans le cadre de la formation médicale postgraduée basée sur les compétences peuvent servir de premier point de ­repère aux institutions qui souhaitent implémenter cette approche au moyen d’EPA. Tout à fait réalisable, une culture de l’évaluation axée sur l’apprentissage ne fonctionne cependant que si la direction de l’institution concernée reconnaît l’importance de la formation médicale postgraduée et de l’assurance qualité. Un ­développement ciblé des organismes de formation ­(faculty development) garantira le succès de sa mise en œuvre.
L’évaluation programmatique permet d’appliquer de manière judicieuse la formation médicale basée sur les compétences et fondée sur les EPA. Elle constitue ainsi un élément crucial de la modernisation de la formation postgraduée en Suisse. Et cela exige l’engagement de toutes les personnes impliquées – un pixel après l’autre…
adimarty[at]bluewin.ch
 1 Schuwirth LWT; Van der Vleuten CPM. Programmatic Assessment: From Assessment of Learning to Assessment for Learning. Med Teach. 2011;33(6):478–85.
 2 Van der Vleuten CPM; Schuwirth LWT; Driessen EW; Dijkstra J; Tigelaar D; Baartman LKJ; van Tartwijk J. A Model for Programmatic Assessment Fit for Purpose. Med Teach. 2012;34(3):205–14.
 3 Watling CJ; Ginsburg S. Assessment, Feed-back and the Alchemy of Learning. Med Educ. 2019;53(1):76–85.
 4 Schut S; Driessen E; van Tartwijk J; van der Vleuten C; Heeneman S. Stakes in the Eye of the Beholder: An International Study of Learners’ Perceptions within Programmatic Assessment. Med Educ. 2018;52(6):654–63.
 5 Jonker G; Ochtman A; Marty AP; Kalkman CJ; Ten Cate O; Hoff RG. Would you trust your loved ones to this trainee? Certification decisions in postgraduate anaesthesia training. Br J Anaesth. 2020;125(5):e408-e410.
 6 Heeneman S; de Jong LH; Dawson LJ; Wilkinson TJ; Ryan A; Tait GR; Rice N; Torre D; Freeman A; van der Vleuten CPM. Ottawa 2020 Consensus Statement for Programmatic Assessment – 1. Agreement on the Principles. Med Teach. 2021;43(10):1139–48.
 7 Bok HGJ; Teunissen PW; Favier RP; Rietbroek NJ; Theyse LFH; Brommer H; Haarhuis JCM; van Beukelen P; van der Vleuten CPM; Jaarsma DADC. Programmatic Assessment of Competency-Based Workplace Learning: When Theory Meets Practice. BMC Med Educ. 2013;13(1):1–9.
 8 Schut S; Maggio LA; Heeneman S; van Tartwijk J; van der Vleuten C; Driessen E. Where the Rubber Meets the Road — An Integrative Review of Programmatic Assessment in Health Care Professions Education. Perspect Med Educ. 2021;10(1):6–13.
 9 Torre D; Rice NE; Ryan A; Bok H; Dawson LJ; Bierer B; Wilkinson TJ; Tait GR; Laughlin T; Veerapen K; Heeneman S; Freeman A; van der Vleuten C. Ottawa 2020 Consensus Statements for Programmatic Assessment – 2. Implementation and Practice. Med Teach. 2021;43(10):1149–60
10 Membres de la commission EPA de l’ISFM (par ordre alphabétique): Werner Bauer, Jan Breckwoldt, Monika Brodmann, Christoph Burkhart, Sonia Frick, Sören Huwendiek, Nadja Jenni, Adi Marty, Severin Pinilla, Urs von Wartburg, Ueli Woermann. Pour des informations complémentaires au sujet de la formation médicale basée sur les compétences: https://siwf.ch/fr/projets/cbme/epa.cfm
11 Harrison C;Val Wass V. The Challenge of Changing to an Assessment for Learning Culture. Med Educ. 2016;50(7):704–6.
12 Schuwirth LWT; van der Vleuten CPM. Programmatic Assessment and Kane’s Validity Perspective: Programmatic Assessment and Kane’s Validity Perspective. Med Educ. 2012;46(1):38–48.
13 Marty AP; Braun J; Schick C; Zalunardo MP; Spahn DR; Breckwoldt J. A mobile application to facilitate implementation of programmatic assessment in anaesthesia training. Br J Anaesth. 2022.

Publié sous la licence du droit d'auteur.

"Attribution - Non-Commercial - NoDerivatives 4.0"

Pas de réutilisation commerciale sans autorisation..

See: emh.ch/en/emh/rights-and-licences/

 

 

Jusqu'au debut