L'utilisation de consignes de rédaction de questions d'examens écrits en médecine et l'effet sur les propriétés psychométriques de celles-ci

Abstract

Introduction : L’évaluation des apprentissages a une importance indéniable en pédagogie des sciences de la santé et l’utilisation d’examens écrits est omniprésente, notamment en médecine. Toutefois, l’élaboration d’évaluations de haute qualité est souvent un défi pour les rédacteurs et les programmes. Il est donc important d’identifier des stratégies qui pourraient faciliter le travail des rédacteurs tout en ayant un impact positif sur la qualité des questions écrites, notamment l’utilisation de consignes lors de la rédaction.

Méthodologie : Nous avons élaboré une liste de consignes de rédaction de questions d’examens par un processus itératif et rigoureux. 14 consignes discriminantes ont été retenues. À l’aide d’une étude de cas multiples, nous avons exploré l’utilisation de ces consignes de rédaction de questions auprès de quatre rédacteurs pour des examens d’un programme préclinique de médecine. Un questionnaire et une entrevue individuelle semi-dirigée ont été effectués pré et post utilisation des consignes. Les unités d’analyses et de comparaison étaient : la qualité et les propriétés psychométriques des questions pré et post utilisation des consignes, l’acceptabilité et l’utilisation de celles-ci.

Résultats : Pour tous les participants, les questions rédigées respectaient majoritairement les consignes de rédaction. Quoique non statistiquement significative, nous avons observé une légère augmentation du coefficient de discrimination chez les rédacteurs (2 sur 4) qui utilisaient les consignes de manière active. Nos résultats suggèrent que l’appropriation que font les rédacteurs des consignes semble influencer leur perception de l’utilité et de l’acceptabilité des consignes.

Conclusion : Les résultats obtenus semblent suggérer que l’utilisation d’une liste circonscrite de consignes de rédaction offre une bonne stratégie à adopter pour améliorer la qualité des questions. Les rédacteurs de questions qui sont mieux outillés et qui semblent adopter pleinement l'utilisation des consignes de rédaction y voient les impacts positifs sur la qualité de leurs questions.

Abstract : Introduction : The assessment of learners has an undeniable importance in health professions education and the use of written exams is omnipresent, notably in medicine. However, developing high-quality assessment is often a challenge for administrators and exam developers. It is therefore important to identify strategies that could facilitate their work while having a positive impact on the quality of the written exam questions, including the use of guidelines when developing exams. Methodology : We created a list of item-writing guidelines through a rigorous and systematic process. We identified 14 discriminant guidelines. Using a multiple case study, we explored the use of those questions writing guidelines with four exam developers at the preclinical phase of an undergraduate medicine program. A questionnaire was completed and a semi-directed individual interview was carried out before and after the use of guidelines. The units of analysis and comparison were: the quality and psychometric properties of questions pre- and post-use of the guidelines, the acceptability and the use of these guidelines. Results : For all the participants, the written questions respected mostly the instructions of drafting. Although not statistically significant, we observed a slight increase in the coefficient of discrimination among editors who actively used the instructions. Our results suggest that participants’ appropriation of the item-writing guidelines seemed to influence their perception of the usefulness and acceptability of instructions. Conclusion : The results seem to suggest that the use of a narrow list of writting guidelines provides a good strategy for improving the quality of the questions. Exam developers that are better equipped and seem to fully adopt the use of drafting guidelines see the positive impacts on the quality of their questions.