Calibrer les items par IRT

Calculer la difficulté réelle de chaque item — c'est la théorie de la réponse à l'item, souvent citée par son sigle anglais, IRT — demande les réponses de nombreux enfants à chaque item, et de quoi vérifier l'ordre dans lequel le test les pose. Pourquoi ce travail : voir Calibrer les items par la théorie de la réponse à l'item sur matheval.org. Il y a deux façons de recueillir ces réponses, selon les items visés :

Les questions du test lui-même — chaîne numérique, quantification et ligne numérique comprises. Leur difficulté se calcule à partir des passations du test, faites en mode « portes ouvertes » : le résultat d'une épreuve n'y ferme pas les suivantes (un enfant qui ne compte pas jusqu'à 15 passe quand même les comptages par 2, 5 et 10). Aucune réponse ne manque alors du fait des règles du test, et l'on voit aussi comment les épreuves s'emboîtent. Marche à suivre : « Vérifier les portes du test ». Le fichier de scores garde chaque question posée à chaque enfant ; je les convertis ensuite au format du calcul.
Des questions candidates, que le test ne pose pas encore : c'est le rôle de l'épreuve parallèle, décrite sur cette page. Elle pose plus d'items que le test dans le calcul mental, la dictée et la lecture de nombres, la comparaison et la numération décimale ; elle passe d'un domaine au suivant sans que le résultat de l'un ferme les autres. Elle ne comprend ni la chaîne numérique, ni la quantification, ni la ligne numérique : elle n'y poserait pas plus de questions que le test.

Ce n'est pas le test clinique : aucun rapport n'est rédigé, et les réponses vont dans un fichier à part, sans nom d'enfant.

Combien d'enfants ? Ce calcul demande plusieurs centaines d'enfants par item. Un fichier de cinq ou de vingt enfants ne suffit pas : c'est un travail collectif — plusieurs classes, plusieurs étudiants. Chaque enfant testé est le bienvenu, et vous n'avez rien à convenir avec moi avant de commencer. Si, un jour, un niveau scolaire compte assez d'enfants, je l'indiquerai ici.

Que faire, dans l'ordre ?

1. Mettez-vous d'accord avec l'école

L'école. L'accord de la direction et des parents se demande comme pour l'étalonnage : deux modèles de message sont proposés sur « Tester des classes seul », à adapter.

2. Exercez-vous

L'épreuve parallèle se cote comme le test : clic gauche dans la zone de réponse si l'enfant répond juste, clic droit sinon. Le tutoriel vous y exerce, avec un enfant fictif.

Suivre le tutoriel → le test lui-même, écran par écran (une dizaine de minutes ; s'ouvre dans un nouvel onglet)

3. Faites passer l'épreuve, enfant par enfant

Ouvrez l'épreuve parallèle. Tout est expliqué à l'écran avant le départ ; en résumé :

Renseignez le niveau scolaire, la classe (un nom qui la distingue de toutes les autres), le nom et le prénom de l'enfant, et le domaine — laissez « Tous les domaines, à la suite (recommandé) ». Cliquez « Démarrer ». Le nom sert à vous y retrouver ; il ne figure jamais dans le fichier à envoyer.
Posez les questions une par une. La réponse attendue est en infobulle, au survol de la zone de réponse. Cotez d'un clic gauche (juste) ou droit (faux). Dans un domaine, les items d'un palier sont tous posés à la suite ; l'épreuve décide elle-même de passer au palier suivant ou de s'arrêter. Quand un domaine est terminé, le suivant commence, quel que soit le résultat.
À la fin, cliquez « Enfant suivant » (le niveau et la classe sont conservés).

Ouvrir l'épreuve parallèle → (ce bouton est aussi dans le menu, à gauche)

4. Téléchargez les deux fichiers

Les réponses restent dans le navigateur, sur cet ordinateur, et s'accumulent d'un enfant à l'autre. Deux boutons sont visibles en haut de la page de l'épreuve à tout moment, sous le compte des enfants et des réponses déjà enregistrées :

« Télécharger le fichier à envoyer (sans les noms) » enregistre « MathEval - calibration IRT.csv » dans vos téléchargements : c'est le seul fichier à m'envoyer. Chaque enfant y est représenté par un code, sans nom.
« Télécharger la liste des enfants (reste chez vous) » enregistre la liste qui relie chaque code à un nom et à un prénom. Gardez-la : elle vous permet de retrouver un enfant plus tard.

Faites passer tous les enfants sur le même ordinateur, dans le même navigateur, et n'effacez pas les données de navigation avant d'avoir téléchargé le fichier.

5. Envoyez le fichier sans les noms

Envoyez « MathEval - calibration IRT.csv » — jamais la liste des enfants. Par courriel, en pièce jointe, à l'adresse indiquée ici (ou par la page Contact de matheval.org), en indiquant le mois des passations et le nombre d'enfants. Si vous êtes plusieurs, chacun envoie son fichier : je les réunis. Le fichier contient le niveau et la classe de chaque enfant, mais aucun nom.

Bon à savoir

Rien ne s'écrit dans votre fichier de scores de l'étalonnage : les deux ne se mélangent pas.
Quand l'épreuve s'arrête dans un domaine. Les questions d'un domaine sont rangées en paliers de difficulté croissante. À la fin d'un palier, l'épreuve compte les questions repères réussies (celles que le test pose déjà) : si l'enfant en a réussi au moins la moitié, il passe au palier suivant ; sinon, le domaine s'arrête et le suivant commence. Les questions candidates ne comptent pas pour avancer. L'explication complète est sur matheval.org.
Le bouton « Effacer toutes les réponses » vide le navigateur : n'y touchez qu'après avoir téléchargé et envoyé le fichier.