Ce module porte sur la conception de questionnaires informatisés auto-correctifs dits "tests", proposés dans différents contextes, indépendamment du dispositif technique utilisé.

Le numérique facilite la conception et la diffusion de tests. Nous verrons qu'il est désormais prouvé que les (bons) tests facilitent l'apprentissage. Dans ce contexte, comment réaliser et diffuser un test efficace ? Vous aborderez cette problématique en réalisant une dizaine de questions formatives auto-correctives.

## Activité 1 - Exercices, quiz... De quoi parle-t-on ?⚓

A l'issue de cette activité, vous aurez compris ce qu'est un test et serez capable d'en identifier les composantes.

### 11 - Comprendre ce qu'est un test

La première question introduit la notion de test.

###

Parmi ces sollicitations, lesquelles sont des items ou éléments de questionnaire autocorrectifs ? [plusieurs réponses possibles]

- A

  | Informations[*]

- B

  | Informations[*]

- C

  Programme Carbone Scol'ERE | Informations[*]

- D

  Item n° 15 - Mobiliser la connaissance de la propriété concernant la somme des mesures des trois angles dans un triangle. | Informations[*]

- E

  | Informations[*]

- F

  | Informations[*]

- G

  | Informations[*]

- H

  | Informations[*]

Correction Recommencer

### 12 - Identifier les composants d'un item de test

Les tests comportent des invariants que vous allez identifier dans la question suivante. Le vocabulaire correspondant est également introduit. Vous le retrouverez dans les publications sur le sujet.

###

Structure d'un item de questionnaire | Informations[*]

Observer le schéma ci-dessus puis compléter le texte à trous :

Un questionnaire est composé de différents items, eux-mêmes composés d'une amorce et d'un support de réponses. Généralement, l'une au moins des réponses est correcte, les autres sont des distracteurs. Une rétroaction (ou feedback) peut être donnée après soumission.

D'après le CNRTL, « On a intérêt à substituer au mot feedback − qui, d'origine anglo-saxonne, est devenu international − l'expression « boucle de rétroaction ». »

Correction Recommencer

### Conseil : Faire preuve de créativité

Les formes de réponse dépendent du dispositif technique utilisé. Elles constituent des variantes au type QCM (question à choix multiple) ou QCU (question à choix unique). Tactileo propose par exemple une forme étiquetage, contrairement à Canoprof, utilisé pour concevoir ce module. Il faut donc parfois faire preuve de créativité pour s'adapter au dispositif, sans pour autant perdre de vue l'objectif fixé.

Le vocabulaire employé est également variable. Par exemple, avec Tactileo, un test est un module comprenant plusieurs éléments.

[Consultez les conditions d'utilisation de Tactileo et les conditions d'utilisation de Canoprof. Vous pouvez choisir d'utiliser d'autres outils.]

## Activité 2 - Pourquoi proposer des exercices, quiz ?⚓

A l'issue de cette activité, vous aurez compris ce qu'un test peut évaluer, dans quel contexte et avec quels gains par rapport aux réponses à construire.

### 21 - Prendre conscience de ses représentations sur les tests et se préparer à les faire évoluer

L'analyse des conceptions erronées les plus fréquentes autour du sujet traité fait partie du processus de conception de test. Nous y reviendrons dans la troisième partie du module concernant le choix des distracteurs.

Vous pouvez observer le traitement des conceptions erronées relatives aux tests dans la progression de ce module. Vous êtes également invités à observer l'évolution de vos conceptions et en conserver une trace, par exemple à l'aide d'un tableau :

Mes représentations des tests | Questions dans ce module (n°) | Mes commentaires
... | ... | ...

### 22 - Estimer le potentiel des tests par rapport aux processus cognitifs

Évaluer le processus cognitif mobilisé dans une activité suppose de disposer d'une grille d'analyse exploitable dans tout contexte d'apprentissage. La taxonomie de Bloom est la plus utilisée. Elle vous est présentée dans la question suivante, en lien avec les tests bien sûr !

###

« Dans le domaine cognitif, cette taxonomie hiérarchise six niveaux d'objectifs pédagogiques : connaissance, compréhension, application, analyse, synthèse et évaluation (Bloom, 1956). Les niveaux vont du simple (connaissance) au complexe (évaluation). L'accession au niveau supérieur nécessite de posséder le niveau précédent. La taxonomie de Bloom permet notamment de sérier les niveaux d'abstraction des questions posées. Se reporter au tableau ci-après (Tableau 1) inspiré de l'algorithme de Horn (Minder, 2001 modifié et De Landsheere, 1980). L'algorithme de Horn facilite l'utilisation de la taxonomie de Bloom (Minder, op. cit.). » https://www.ac-paris.fr/portail/jcms/p1_763022/qcm-pour-aller-plus-loin [Cet article comprend aussi des exemples de QCM par niveau.]

La taxonomie de Bloom suivant l'algorithme de Horn | Informations[*]

D'après ce tableau, quels niveaux d'abstraction pourraient être évalués sous forme de test type QCM ?

- niveau 1 - connaissance

- niveau 2 - compréhension

- niveau 3 - application

- niveau 4 - analyse

- niveau 5 - synthèse

- niveau 6 - évaluation

Correction Recommencer

### 23 - Estimer le potentiel des tests dans différents contextes, en particulier par rapport aux activités à réponse à construire

« Il y a deux manières pour l'apprenant de signaler ce qu'il a appris : construire sa réponse ou la choisir dans une liste multiple. » (Philippe Dessus[*]) Ces deux modes de réponse ne sont pourtant pas équivalents. Et si vous y réfléchissiez avant d'aborder la question suivante, par exemple en dressant une liste des avantages de chacun des modes de réponse ?

avantages "Réponses type QCM et assimilés" | avantages "Réponses à construire"
... | ...

###

Classer chaque avantage selon le mode de réponse proposé.

L'activité peut être conçue rapidement. L'apprenant peut bénéficier de fréquentes rétroactions, en temps réel. L'apprenant peut résoudre de nombreux exercices d'application, d'entraînement ou résolus. Les activités peuvent s'inscrire dans des contextes authentiques (projets...). Les élèves performants bénéficient plus du guidage de leur enseignant. La correction est objective et rapide. L'apprenant est encouragé à répondre même s'il a une connaissance partielle du domaine. Le niveau des activités proposées peut varier en fonction des performances précédentes. L'apprenant peut s'exprimer pleinement. Le temps de réponse généralement réduit permet de proposer plus de questions en un temps donné. Plus d'éléments à catégoriser |  | Réponses type QCM et assimilés Déposez ici Réponses à construire Déposez ici

Correction Recommencer

Les tests peuvent être proposés dans différents contextes en fonction de l'objectif fixé. Les évaluations diagnostique et sommative doivent permettre de mesurer un niveau (acquis de l'apprentissage) alors qu'une évaluation dite formative contribue à l'apprentissage.

De nombreuses études (citées dans cet article[*], paragraphe « Quelques avantages des QCM) » montrent que la fiabilité d'une évaluation sommative est indépendante du mode de réponse. Autrement dit, les performances mesurées sont équivalentes avec des réponses à construire et des réponses à choisir dans une liste. Mais les épreuves type QCM sont plus faciles à mettre en œuvre à large échelle.

### 24 - Connaître le potentiel des tests pour l'apprentissage

Les tests peuvent être formatifs en permettant à l'apprenant de s'exercer avec de nombreux problèmes en bénéficiant de fréquentes rétroactions en temps réel. La question suivante aborde d'autres contributions des tests, confirmés par des recherches.

Et vous, où en êtes-vous dans votre apprentissage des tests ? Vos conceptions ont-elles évoluées depuis le début de ce module auto-formatif ?

###

Franck Ramus, enseignant-chercheur français en sciences cognitives, explique ce qu'est "l'effet de test" dans les deux premières minutes de cette vidéo :

Apprendre à apprendre | Informations[*]

Parmi les contributions des tests à l'apprentissage confirmées par des recherches et citées ci-dessous, laquelle fait référence à "l'effet de test" ?

- Répondre à des questions de plus haut niveau dans la taxonomie de Bloom entraîne sur ces compétences.

- Les tests rendent le contenu qui y est exposé plus accessible en mémoire au cours des activités suivantes.

- Les tests stimulent la concentration lors de la séance les précédant.

- Les tests permettent d'apprendre un peu plus que le contenu qui y est exposé.

Correction Recommencer

### Conseil : Mutualiser pour réutiliser

Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. C'est le cas par exemple de LearningApps et plus récemment de quiZinière.

Selon les dispositifs, il est plus ou moins facile d'isoler les items des tests pour les réutiliser dans d'autres contextes. Les plus spécialisés (par exemple Questionmark Perception) permettent de constituer des banques d'item, en les important si nécessaire.

Dans tous les cas, il est indispensable de bien indexer les ressources et/ou organiser les ressources pour faciliter la recherche.

[Consultez les conditions d'utilisation de LearningApps , les conditions d'utilisation de Quizinière et les conditions d'utilisation de Questionmark Perception. Vous pouvez choisir d'utiliser d'autres outils.]

## Activité 3 - Comment réaliser des exercices, quiz efficaces?⚓

La question introductive suivante dévoile trois critères d'efficacité d'un test et trois compétences requises pour réaliser un test efficace. Elles seront développées dans cette dernière partie, qui vous propose également des grilles d'analyse pour accompagner la conception.

###

Comment réaliser des tests efficaces ? Associer chaque contribution à son impact sur l'efficacité du test.

Rechercher des distracteurs porteurs d'information fournir des r étroactions formatives S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale Plus d'éléments à catégoriser |  | évaluer précisément les progrès (ou acquis de l'apprentissage) Déposez ici stimuler la réflexion des apprenants et informer sur l'erreur Déposez ici accroître l'autonomie des apprenants Déposez ici

Correction Recommencer

### 31 - S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale

Vous verrez en (re)découvrant la théorie de l'alignement constructif qu'un test sommatif et donc terminal en principe impacte également la qualité des apprentissages. En respectant la démarche exposée dans la question suivante, vos tests gagneront en efficacité !

###

Visionner la vidéo expliquant la théorie de l'alignement constructif puis ordonner chronologiquement les étiquettes pour retrouver la démarche proposée.

Comment faire en sorte que l'activité de l'étudiant soit en accord avec l'intention du professeur ? | Informations[*]

annoncer clairement les objectifs d'apprentissage (en terme de taxonomie)

L'alignement constructif c'est :

choisir des activités d'enseignement/apprentissage appropriées pour développer les capacités et compétences pendant le cours

faire en sorte que les examens mesurent précisément les objectifs d'apprentissage, et le dire aux étudiants

Plus d'éléments à ordonner
Déposez ici
Correction Recommencer

Concrètement, pour appliquer cette démarche, il est conseillé de renseigner un t ableau de spécification tel que celui ci-après, appliqué aux activités de ce module auto-formatif (extrait) :

Acquis d'Apprentissage (AA) | Observables (être capable de ...) | AA mobilisant | évaluation | format de réponse | notions | référence
Comprendre ce qu'est un test | Distinguer les exemples de tests parmi d'autres exemples | 2- compréhension | formative | Question à choix multiple | tests type QCM et assimilés | 11
Estimer le potentiel des tests dans différents contextes, en particulier par rapport aux activités à réponse à construire | Classer des propositions (avantages) en fonction du mode de réponse | 4- analyse | formative | Catégorisation | tests type QCM et assimilés typologie des évaluations | 231

La colonne "observables" facilite le classement dans la Taxonomie de Bloom, à partir des verbes utilisés (voir les listes proposées en ligne https://fr.wikipedia.org/wiki/Taxonomie_de_Bloom).

Tableau de spécification à compléter | Informations[*]

A télécharger (format (libre office calc) : Tableau de spécification à compléter

### 32 - Rechercher des distracteurs porteurs d'information

Les réponses erronées proposées, dites « distracteurs », doivent décourager le choix par élimination et ainsi stimuler la réflexion. L'analyse des performances au test, en lien avec les réponses erronées choisies, sera alors plus instructive.

La question suivante l'illustre avec un item d'un test de positionnement en mathématiques[*] soumis aux nouveaux élèves de seconde des lycées français.

###

Tout nouvel élève de seconde des lycées français connaissant la propriété « la somme des mesures des angles d'un triangle est 180° » devrait réussir cet item.

Item n° 15 - Mobiliser la connaissance de la propriété concernant la somme des mesures des trois angles dans un triangle. | Informations[*]

Associer chaque démarche erronée [descriptif à gauche] au distracteur correspondant [réponse proposée à droite].

[descriptifs également extraits du document accompagnant le test de positionnement en mathématiques[*].]

L'élève commet une erreur de calcul. L'élève fait une mauvaise lecture de la consigne ou du schéma et choisit l'angle de sommet G au lieu de l'angle de sommet E. L'élève peut aussi faire la confusion entre triangle isocèle et triangle rectangle. L'élève fait une mauvaise lecture de la consigne ou du schéma et choisit l'angle de sommet F au lieu de l'angle de sommet E. L'élève additionne les mesures des deux angles connus mais ne soustrait pas ce résultat de 180. Plus d'éléments à catégoriser |  | 35° Déposez ici 45° Déposez ici 90° Déposez ici 125° Déposez ici

Correction Recommencer

D'autres règles de rédaction ont été compilées. Vous pouvez en prendre connaissance dans les catégories « Les formes de la rédaction » (4:28 à 6:07) et « Les solutions proposées » (6:07 à 8:54) de cette cette vidéo « 20 règles de rédaction des QCM » [9 avril 2020], 7mn38 : https://videos.univ-grenoble-alpes.fr/video/7811-20-regles-de-redaction-des-qcm/

### 33 - Fournir des rétroactions formatives

Vous pourrez extraire de la question suivante une liste d'indicateurs pour évaluer la qualité des rétroactions de vos tests. L'enjeu pour l'apprenant devrait vous motiver à accorder le temps nécessaire à cette étape, d'autant plus aisée que vous avez choisi des distracteurs pertinents, basés sur votre connaissance des conceptions erronées et autres erreurs-types.

###

D'après Wiggins [2012], cité dans cet article[*]. une rétroaction devrait être... [cibles à droite]. Compléter la grille de critères d'une rétroaction efficace avec les indicateurs adéquats [étiquettes à gauche].

La rétroaction n'est pas obscurcie par un vocabulaire ou des considérations trop techniques. La rétroaction est inscrite dans un processus permettant à l'apprenant de modifier son comportement. La rétroaction présente des informations les plus objectives possibles. La rétroaction est cohérente dans le temps en apportant des informations stables et précises. La rétroaction est fournie le plus tôt possible. Le but de l'action est indiqué dans la rétroaction. La rétroaction présente des informations claires, non ambiguës. Plus d'éléments à catégoriser |  | orientée par les buts pour clarifier ce qu'est une bonne performance Déposez ici orientée vers l'action pour permettre à l'apprenant d'agir efficacement Déposez ici compréhensible par l'apprenant Déposez ici interprétable pour l'apprenant, qui pourra en tirer profit pour améliorer sa performance Déposez ici délivrée juste-à-temps, sans gêner la performance elle-même Déposez ici formative afin que l'apprenant apprenne de ses erreurs en les corrigeant Déposez ici digne de confiance Déposez ici

Correction Recommencer

### Conseil :

La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Par exemple, vous avez bénéficié dans ce module de rétroactions immédiates aux questions proposées. Dans la forme Quiz de Canoprof, moins formative, la rétroaction est différée à la fin et s'accompagne d'un score.

Pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.

Les deux modes d'accès sont possibles avec Tactileo, alors que QuiZinière propose un accès élève par code uniquement et une rétroaction uniquement différée.

[Consultez les conditions d'utilisation de Canoprof, les conditions d'utilisation de Tactileo et les conditions d'utilisation de Quizinière. Vous pouvez choisir d'utiliser d'autres outils.]

## Ce qu'il faut retenir⚓

### Définition :

Un questionnaire informatisé ou test est composé de différents items, eux-mêmes composées d'une amorce indiquant a minima la tâche à effectuer et d'un support de réponses. Les formes des réponses dépendent du dispositif technique utilisé. La plupart constituent des variantes au type QCM (question à choix multiple) ou QCU (question à choix unique). L'une au moins des réponses est correcte, les autres propositions sont des distracteurs. Les tests sont autocorrectifs, contrairement aux sondages et aux questionnaires à réponses à construire. Une rétroaction (ou feedback) peut être donnée après soumission.

### Attention :

Il est désormais prouvé qu'un (bon) test peut aussi évaluer des connaissances complexes (selon la taxonomie de Bloom), mesurer fidèlement l'apprentissage réalisé et même améliorer l'apprentissage.

### Les tests peuvent ainsi être proposés dans différents contextes en fonction de l'objectif fixé.

Les tests permettent de mesurer un niveau dans le cadre d'une évaluation diagnostique ou sommative avec une fiabilité au moins équivalente à une évaluation avec des réponses à construire.

Les tests peuvent être formatifs et donc contribuer à l'apprentissage : L'apprenant peut s'exercer en autonomie à condition de bénéficier de fréquentes rétroactions de qualité. Les tests rendent le contenu qui y est exposé plus accessible en mémoire au cours des activités suivantes. La perspective d'être soumis à un test stimule la concentration au cours des activités précédentes...

Quel que soit le contexte, les tests dits adaptatifs (le niveau des activités proposées varie en fonction des performances précédentes) peuvent être proposés. Le fait que l'apprenant soit encouragé à répondre en choisissant sa réponse dans une liste est bénéfique à condition que les distracteurs soient judicieusement choisis.

### Conseil :

Concevoir un test efficace prend du temps. Autant que possible, il est préférable de réutiliser un test existant. Des dispositifs techniques proposent une plateforme de mutualisation pour partager et découvrir des ressources. La phrase de recherche est facilitée par l'indexation des ressources.

### Méthode :

S'assurer de la cohérence entre objectifs, activités d'apprentissage et évaluation terminale permet d'évaluer précisément les progrès (ou acquis de l'apprentissage). La théorie de l'alignement constructif montre également qu'un test sommatif et donc terminal en principe impacte également la qualité des apprentissages. Pour appliquer la démarche, il est conseillé de renseigner un t ableau de spécification.

Des distracteurs porteurs d'information stimulent la réflexion des apprenants et informent sur l'erreur.

Des rétroactions formatives accroissent l'autonomie des apprenants. La plupart des dispositifs permettent de dispenser si nécessaire une rétroaction et d'en choisir la temporalité. Cependant, pour que l'enseignant.e accède aux scores, le test doit être proposé au sein d'un dispositif type LMS, auquel les élèves accèdent via une authentification ou un code. Pour accéder après authentification, les élèves doivent être préalablement enregistrés.

## Bibliographie

- Les questionnaires à choix multiples : définitions et critiques

  Philippe Dessus, LaRAC & Inspé, Univ. Grenoble Alpes. Les questionnaires à choix multiples : définitions et critiques. 2015-2021. http://espe-rtd-reflexpro.u-ga.fr/docs/scied-cours-qcm/fr/latest/QCM_def.html

- Les rétroactions : définition et rôle dans l'apprentissage

  Philippe Dessus, LaRAC & Inspé, Univ. Grenoble Alpes. Les rétroactions : définition et rôle dans l'apprentissage. 2015-2021. http://espe-rtd-reflexpro.u-ga.fr/docs/scied-cours-qcm/fr/latest/retro_defs.html

- Répondre à un QCM : aspects cognitifs

  Philippe Dessus, LaRAC & Inspé, Univ. Grenoble Alpes. Répondre à un QCM : Aspects cognitifs. 2015-2021. http://espe-rtd-reflexpro.u-ga.fr/docs/scied-cours-qcm/fr/latest/QCM_cog.html

- Tests de positionnement - Classe de seconde - Mathématiques - Voies générales et technologique - Présentation du cadre, des échelles de compétences et exemples d'exercices.

  Ministère de l'éducation nationale, de la jeunesse et des sports, France, Septembre 2020, en ligne

## Renvois & Notes

- Informations

  Réalisé avec Framadate [Consultez les conditions d'utilisation de Framadate. Vous pouvez choisir d'utiliser d'autres outils.]

- Informations

  Réalisé avec QuiZinière [Consultez les conditions d'utilisation de QuiZinière. Vous pouvez choisir d'utiliser d'autres outils.]

- Informations

  https://www.nous-demain.fr/testez-vos-connaissances-environnementales-carbone-scolere/

- Informations
  Auteur(s) :
  - Ministère de l'éducation nationale - France

  Extrait de la page 40 : « Présentation du cadre, des échelles de compétences et exemples d'exercices, » - https://eduscol.education.fr/1501/tests-de-positionnement-de-seconde-et-de-cap

- Informations

  Réalisé avec Tactileo [Consultez les conditions d'utilisation de Tactileo . Vous pouvez choisir d'utiliser d'autres outils.]

- Informations

  Réalisé avec Tactileo [Consultez les conditions d'utilisation de Tactileo . Vous pouvez choisir d'utiliser d'autres outils.]

- Informations

  Réalisé avec Tactileo [Consultez les conditions d'utilisation de Tactileo . Vous pouvez choisir d'utiliser d'autres outils.]

- Informations

  D'après SVT 1ère S, C. Lizeaux et D. Baude, Bordas, 2011, modifié par Vincent Faillet (https://www.ac-paris.fr/portail/jcms/p1_763022/qcm-pour-aller-plus-loin)

  Réalisé avec Canoprof [Consultez les conditions d'utilisation de Canoprof. Vous pouvez choisir d'utiliser d'autres outils.]

- Informations
  Auteur(s) :

  D'après un exemple d'item extrait du document : Tests de positionnement - Classe de seconde - Mathématiques - Voies générales et technologique de mathématiques - Présentation du cadre, des échelles de compétences et exemples d'exercices. La rétroaction ne figure pas dans l'item original.

- Informations

  « L'algorithme de Horn facilite l'utilisation de la taxonomie de Bloom (Minder, op. cit.). » https://www.ac-paris.fr/portail/jcms/p1_763022/qcm-pour-aller-plus-loin

- Informations
  Auteur(s) :
  - Ludomag TV - Entretien avec Franck Ramus, enseignant chercheur
- Informations
  Auteur(s) :
  - Department àf Computer Science (DAIMI), University of Aarhus, Denmarck, 2006. Traduction de Aline et Manuel Charlemagne

  https://www.youtube.com/watch?v=fV053LPObjo, cité par Marcel Lebrun (http://lebrunremy.be/WordPress/?page_id=289)

- Informations
  Auteur(s) :
  - Virginie Esparel
    Atelier Canopé 24 - Périgueux Bordeaux
  |