Les QCM permettent d’évaluer plein de choses, mais souvent, ils n’évaluent que la mémorisation ou la capacité à trouver des indices dans un test QCM 😔. En tant que didacticienne, ça fait plusieurs années que je m’intéresse à comment construire des QCM qui testent la compréhension. La taxonomie de Bloom, et en particulier son handbook publié en 1956 ont été une grande source d’inspiration.
Ça veut dire quoi comprendre ?
Le mot comprendre a plusieurs sens selon qui l’emploie, et dans quel contexte. J’ai parfois entendu des chercheurs dire qu’ils comprenaient un peu mieux une équation où un sujet qu’ils étudient depuis plusieurs années. Et je ne doute pas qu’ils le comprenaient déjà beaucoup plus que moi.
J’avais rédigé il y a quelques années un article plus orienté recherche en didactique sur ce que veut dire “comprendre une équation”. Les réponses d’enseignant·e à la question ça veut dire quoi comprendre une équation vont de “être capable de reconnaître les symboles” à “pouvoir expliquer comment on l’obtient”, tout en passant par “savoir comment l’utiliser” ou bien “quelles sont les les liens avec la vie quotidienne ?”.
On voit bien qu’il y a des niveaux de compréhension moins avancés que d’autres. On pourra donc construire des questions qui testent la compréhension d’un même élément de savoir à différents niveaux.
Différents niveaux de compréhension
J’anime depuis plusieurs années des formations sur les QCM, et j’ai fini par me construire ma version de la taxonomie de Bloom pour m’aider à explorer les questions de compréhension que je peux construire sur un sujet donné.
L’échelle à 7 niveaux
Je suis donc arrivée à une échelle avec 7 niveaux, en comptant le niveau 0 dans lequel on demande juste de se souvenir des différents éléments de la définition.
Pour une formation à l’écriture de QCM pour évaluer des enseignements sur l’ingénieur durable (réchauffement climatique, biodiversité, etc), j’ai produit une série de QCM qui illustrent cette pyramide. J’ai choisi comme concept l’effet rebond (ou paradoxe de Jevons).
1 – Traduire
Le premier niveau de compréhension, c’est la capacité de traduire l’information. Il peut s’agir de redire avec ses propres mots, ou bien de passer de la formule mathématique ou d’un graphique à du discours.
Voici un premier exemple avec de la reformulation. Le fait de reformuler en donnant la parole à des étudiant·es permet d’utiliser un langage approximatif et des mots courants.
Un autre exemple classique des questions de compréhension consiste à lire un graphe ou une équation comme dans l’exemple ci-dessous avec d’abord les données, puis la question.
2 – Catégoriser
Un très grand nombre des concepts que l’on utilise dans la vie de tous les jours sont des concepts catégoriels. Ils permettent de décrire (et de comprendre) le monde qui nous entoure. Pour construire une question qui teste la catégorisation, je conseille deux modèles de questions.
Dans le premier modèle, le concept est nommé dans l’amorce ou dans la question, et les propositions sont ancrées dans le concret comme dans l’exemple ci-dessous :
Dans le second modèle, on fait l’inverse. On met du concret dans l’énoncé, et les noms abstraits dans les propositions :
3 – Prédire ou expliquer
Ce troisième niveau nous permet de tester la compréhension d’un principe, d’une loi ou d’un mécanisme. On demande à l’apprenant·e d’expliquer ou de prédire ce qu’il va se passer dans une situation concrète. Le mot du concept (ici effet rebond) n’est pas utilisé ni dans l’énoncé ni dans les propositions.
4 – Analyser
Dans le quatrième niveau de compréhension, l’idée est de décrire une situation concrète, souvent (mais pas toujours) à l’aide de documents.
Ici j’ai repris les mêmes documents que pour la question de type traduire, mais j’ai ajouté dans les propositions une option qui demande d’analyser les documents. Je n’ai pas écrit “effet rebond” alors que c’est ce concept permet d’analyser la situation.
5 – Évaluer
La capacité d’analyser des situations permet ensuite d’évaluer (ou de classer) des solutions ou des situations. Ici aussi il faut en général fournir une mise en situation plus ou moins longue. Encore une fois, la question est d’autant plus intéressante que le concept testé, “l’effet rebond”, n’est pas cité.
6 – Justifier le savoir
Dans ce sixième niveau, je décris la compréhension d’un·e expert·e qui sait d’où vient un élément de savoir, dans quelles situations ce concept ou cette loi est pertinente, etc.
Des questions efficaces
Dans les paragraphes précédents, j’ai centré la discussion sur différents types de compréhension d’un concept que l’on peut interroger. Cette grille m’aide à construire des questions intelligentes quand je manque d’idées sur un sujet.
Des distracteurs de qualité
Mais il faut garder en tête que ce qui fera la qualité d’une question, c’est avant tout la qualité de ses distracteurs (les mauvaises réponses).
Et il n’y a qu’une seule manière d’avoir des distracteurs de qualité :
Partir des erreurs que vous avez déjà vues ou entendues pour construire vos QCM.
Éditer, pour s’affranchir des biais
La deuxième condition pour que votre question soit de qualité, c’est de l’éditer pour éviter :
- Les faux positifs : l’apprenant·e a juste alors qu’il ou elle aurait eu faux si la question avait été ouverte.
- Les faux négatifs : l’apprenant·e a faux alors qu’il ou elle aurait eu juste si la question avait été ouverte.
Pour ça, la clé c’est d’éditer en suivant les conseils que j’avais regroupé dans le guide Unisciel. Vous pouvez le télécharger ici.