La qualité des narratifs en évaluation des apprentissages : l’utilisation standardisée d’une liste d’indicateurs

Abstract

Introduction : Les narratifs sont de plus en plus utilisés en évaluation des apprentissages pour documenter les performances des étudiants et pour prendre des décisions importantes sur leur progression. Toutefois, nous ne pouvons pas documenter la qualité des mots écrits avec l'analyse psychométrique traditionnelle. Il est donc essentiel d’élaborer une stratégie, qui s’appuie sur des données probantes, pour documenter la qualité des narratifs. Méthodologie : À l’aide d’une étude de portée, nous avons identifié sept indicateurs de qualité, 12 recommandations et 3 facteurs qui influencent la qualité des narratifs avec une approche rigoureuse. Par la suite, nous avons appliqué notre liste d’indicateurs à un échantillon de 250 narratifs dans une étude pilote pour vérifier l'utilisation standardisée de la liste qui a été évaluée à l'aide de coefficients de corrélation intra classe (ICC). Résultats : Les coefficients ICC allaient de -0.43 à 1 lors de la première série de narratifs. Nous avons observé une amélioration de la standardisation. Les ICC de la troisième série de narratifs varient de 0.72 à 0.97 indiquant une excellente standardisation. Conclusions : Les résultats obtenus suggèrent que notre liste d'indicateurs peut être utilisée de façon standardisée comme liste de contrôle pour documenter et évaluer la qualité des narratifs. Notre liste jumelée aux recommandations pourrait éventuellement servir de guide au cours de la rédaction des narratifs par les évaluateurs afin d’améliorer la qualité.

Abstract: Introduction: Narratives are increasingly used in learning assessment to document students’ performance and to make important decisions about their progression. However, we cannot document the quality of written words using traditional psychometric analysis. Therefore, it is essential to develop an evidence-based strategy for documenting narrative's quality. Methodology: A scoping review was used to identify seven quality indicators, twelve recommendations, and three factors that influence narratives’ quality with a rigorous approach. We subsequently applied our list of indicators to a sample of 250 narratives in a pilot study to verify the standardized use of the list, which was appraised using intraclass correlation coefficients (ICC). Results: ICC coefficients ranged from -0.43 to 1 in the first set of narratives. We observed a progressed improvement in our standardization. The ICCs for the 3rd set of narratives ranged from 0.72 to 0.97 indicating an excellent reliability. Conclusions: The results suggest that our list of indicators can be used in a standardized manner as a checklist for documenting and assessing narratives’ quality. Our list of quality indicators, along with the recommendations, could eventually be used as a guideline during writing narratives by assessors to improve quality.