Ce module porte sur la conception de questionnaires informatisés auto-correctifs dits "tests", proposés dans différents contextes, indépendamment du dispositif technique utilisé.
Le numérique facilite la conception et la diffusion de tests. Nous verrons qu'il est désormais prouvé que les (bons) tests facilitent l'apprentissage. Dans ce contexte, comment réaliser et diffuser un test efficace ? Vous aborderez cette problématique en réalisant une dizaine de questions formatives auto-correctives.
Activité 1 - Exercices, quiz... De quoi parle-t-on ?⚓
A l'issue de cette activité, vous aurez compris ce qu'est un test et serez capable d'en identifier les composantes.
11 - Comprendre ce qu'est un test
La première question introduit la notion de test.
12 - Identifier les composants d'un item de test
Les tests comportent des invariants que vous allez identifier dans la question suivante. Le vocabulaire correspondant est également introduit. Vous le retrouverez dans les publications sur le sujet.
Conseil : Faire preuve de créativité
Les formes de réponse dépendent du dispositif technique utilisé. Elles constituent des variantes au type QCM (question à choix multiple) ou QCU (question à choix unique). Tactileo propose par exemple une forme étiquetage, contrairement à Canoprof, utilisé pour concevoir ce module. Il faut donc parfois faire preuve de créativité pour s'adapter au dispositif, sans pour autant perdre de vue l'objectif fixé.
Le vocabulaire employé est également variable. Par exemple, avec Tactileo, un test est un module comprenant plusieurs éléments.
[Consultez les conditions d'utilisation de Tactileo et les conditions d'utilisation de Canoprof. Vous pouvez choisir d'utiliser d'autres outils.]
Activité 2 - Pourquoi proposer des exercices, quiz ?⚓
A l'issue de cette activité, vous aurez compris ce qu'un test peut évaluer, dans quel contexte et avec quels gains par rapport aux réponses à construire.
21 - Prendre conscience de ses représentations sur les tests et se préparer à les faire évoluer
L'analyse des conceptions erronées les plus fréquentes autour du sujet traité fait partie du processus de conception de test. Nous y reviendrons dans la troisième partie du module concernant le choix des distracteurs.
Vous pouvez observer le traitement des conceptions erronées relatives aux tests dans la progression de ce module. Vous êtes également invités à observer l'évolution de vos conceptions et en conserver une trace, par exemple à l'aide d'un tableau :
Mes représentations des tests | Questions dans ce module (n°) | Mes commentaires |
... | ... | ... |
22 - Estimer le potentiel des tests par rapport aux processus cognitifs
Évaluer le processus cognitif mobilisé dans une activité suppose de disposer d'une grille d'analyse exploitable dans tout contexte d'apprentissage. La taxonomie de Bloom est la plus utilisée. Elle vous est présentée dans la question suivante, en lien avec les tests bien sûr !
23 - Estimer le potentiel des tests dans différents contextes, en particulier par rapport aux activités à réponse à construire
« Il y a deux manières pour l'apprenant de signaler ce qu'il a appris : construire sa réponse ou la choisir dans une liste multiple. »
(Philippe Dessus[*]) Ces deux modes de réponse ne sont pourtant pas équivalents. Et si vous y réfléchissiez avant d'aborder la question suivante, par exemple en dressant une liste des avantages de chacun des modes de réponse ?
avantages "Réponses type QCM et assimilés" | avantages "Réponses à construire" |
... | ... |
Les tests peuvent être proposés dans différents contextes en fonction de l'objectif fixé. Les évaluations diagnostique et sommative doivent permettre de mesurer un niveau (acquis de l'apprentissage) alors qu'une évaluation dite formative contribue à l'apprentissage.
De nombreuses études (citées dans cet article[*], paragraphe « Quelques avantages des QCM) »
montrent que la fiabilité d'une évaluation sommative est indépendante du mode de réponse. Autrement dit, les performances mesurées sont équivalentes avec des réponses à construire et des réponses à choisir dans une liste. Mais les épreuves type QCM sont plus faciles à mettre en œuvre à large échelle.
24 - Connaître le potentiel des tests pour l'apprentissage
Les tests peuvent être formatifs en permettant à l'apprenant de s'exercer avec de nombreux problèmes en bénéficiant de fréquentes rétroactions en temps réel. La question suivante aborde d'autres contributions des tests, confirmés par des recherches.
Et vous, où en êtes-vous dans votre apprentissage des tests ? Vos conceptions ont-elles évoluées depuis le début de ce module auto-formatif ?
Conseil : Mutualiser pour réutiliser
Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. C'est le cas par exemple de LearningApps et plus récemment de quiZinière.
Selon les dispositifs, il est plus ou moins facile d'isoler les items des tests pour les réutiliser dans d'autres contextes. Les plus spécialisés (par exemple Questionmark Perception) permettent de constituer des banques d'item, en les important si nécessaire.
Dans tous les cas, il est indispensable de bien indexer les ressources et/ou organiser les ressources pour faciliter la recherche.
[Consultez les conditions d'utilisation de LearningApps , les conditions d'utilisation de Quizinière et les conditions d'utilisation de Questionmark Perception. Vous pouvez choisir d'utiliser d'autres outils.]
Activité 3 - Comment réaliser des exercices, quiz efficaces?⚓
La question introductive suivante dévoile trois critères d'efficacité d'un test et trois compétences requises pour réaliser un test efficace. Elles seront développées dans cette dernière partie, qui vous propose également des grilles d'analyse pour accompagner la conception.
31 - S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale
Vous verrez en (re)découvrant la théorie de l'alignement constructif qu'un test sommatif et donc terminal en principe impacte également la qualité des apprentissages. En respectant la démarche exposée dans la question suivante, vos tests gagneront en efficacité !
Concrètement, pour appliquer cette démarche, il est conseillé de renseigner un tableau de spécification tel que celui ci-après, appliqué aux activités de ce module auto-formatif (extrait) :
Acquis d'Apprentissage (AA) | Observables (être capable de ...) | AA mobilisant | évaluation | format de réponse | notions | référence |
Comprendre ce qu'est un test | Distinguer les exemples de tests parmi d'autres exemples | 2- compréhension | formative | Question à choix multiple | tests type QCM et assimilés | 11 |
Estimer le potentiel des tests dans différents contextes, en particulier par rapport aux activités à réponse à construire | Classer des propositions (avantages) en fonction du mode de réponse | 4- analyse | formative | Catégorisation | tests type QCM et assimilés typologie des évaluations | 231 |
La colonne "observables" facilite le classement dans la Taxonomie de Bloom, à partir des verbes utilisés (voir les listes proposées en ligne https://fr.wikipedia.org/wiki/Taxonomie_de_Bloom).
A télécharger (format (libre office calc) : Tableau de spécification à compléter
32 - Rechercher des distracteurs porteurs d'information
Les réponses erronées proposées, dites « distracteurs », doivent décourager le choix par élimination et ainsi stimuler la réflexion. L'analyse des performances au test, en lien avec les réponses erronées choisies, sera alors plus instructive.
La question suivante l'illustre avec un item d'un test de positionnement en mathématiques[*] soumis aux nouveaux élèves de seconde des lycées français.
D'autres règles de rédaction ont été compilées. Vous pouvez en prendre connaissance dans les catégories « Les formes de la rédaction »
(4:28 à 6:07) et « Les solutions proposées »
(6:07 à 8:54) de cette cette vidéo « 20 règles de rédaction des QCM »
[9 avril 2020], 7mn38 : https://videos.univ-grenoble-alpes.fr/video/7811-20-regles-de-redaction-des-qcm/
33 - Fournir des rétroactions formatives
Vous pourrez extraire de la question suivante une liste d'indicateurs pour évaluer la qualité des rétroactions de vos tests. L'enjeu pour l'apprenant devrait vous motiver à accorder le temps nécessaire à cette étape, d'autant plus aisée que vous avez choisi des distracteurs pertinents, basés sur votre connaissance des conceptions erronées et autres erreurs-types.
Conseil :
La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Par exemple, vous avez bénéficié dans ce module de rétroactions immédiates aux questions proposées. Dans la forme Quiz de Canoprof, moins formative, la rétroaction est différée à la fin et s'accompagne d'un score.
Pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.
Les deux modes d'accès sont possibles avec Tactileo, alors que QuiZinière propose un accès élève par code uniquement et une rétroaction uniquement différée.
[Consultez les conditions d'utilisation de Canoprof, les conditions d'utilisation de Tactileo et les conditions d'utilisation de Quizinière. Vous pouvez choisir d'utiliser d'autres outils.]
Ce qu'il faut retenir⚓
Définition :
Un questionnaire informatisé ou test est composé de différents items, eux-mêmes composées d'une amorce indiquant a minima la tâche à effectuer et d'un support de réponses. Les formes des réponses dépendent du dispositif technique utilisé. La plupart constituent des variantes au type QCM (question à choix multiple) ou QCU (question à choix unique). L'une au moins des réponses est correcte, les autres propositions sont des distracteurs. Les tests sont autocorrectifs, contrairement aux sondages et aux questionnaires à réponses à construire. Une rétroaction (ou feedback) peut être donnée après soumission.
Attention :
Il est désormais prouvé qu'un (bon) test peut aussi évaluer des connaissances complexes (selon la taxonomie de Bloom), mesurer fidèlement l'apprentissage réalisé et même améliorer l'apprentissage.
Les tests peuvent ainsi être proposés dans différents contextes en fonction de l'objectif fixé.
Les tests permettent de mesurer un niveau dans le cadre d'une évaluation diagnostique ou sommative avec une fiabilité au moins équivalente à une évaluation avec des réponses à construire.
Les tests peuvent être formatifs et donc contribuer à l'apprentissage : L'apprenant peut s'exercer en autonomie à condition de bénéficier de fréquentes rétroactions de qualité. Les tests rendent le contenu qui y est exposé plus accessible en mémoire au cours des activités suivantes. La perspective d'être soumis à un test stimule la concentration au cours des activités précédentes...
Quel que soit le contexte, les tests dits adaptatifs (le niveau des activités proposées varie en fonction des performances précédentes) peuvent être proposés. Le fait que l'apprenant soit encouragé à répondre en choisissant sa réponse dans une liste est bénéfique à condition que les distracteurs soient judicieusement choisis.
Conseil :
Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. La phrase de recherche est facilitée par l'indexation des ressources.
Méthode :
S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale permet d'évaluer précisément les progrès (ou acquis de l'apprentissage). La théorie de l'alignement constructif montre également qu'un test sommatif et donc terminal en principe impacte également la qualité des apprentissages. Pour appliquer la démarche, il est conseillé de renseigner un tableau de spécification.
Des distracteurs porteurs d'information stimulent la réflexion des apprenants et informent sur l'erreur.
Des rétroactions formatives accroissent l'autonomie des apprenants. La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Cependant, pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.