Participer à une recherche
Valider les règles d'arrêt du test
Cette recherche pose une question : les six règles d'arrêt du test sont-elles justifiées ? Ce travail constitue un sujet de mémoire.
Chaque règle repose sur une supposition : un enfant qui échoue à une épreuve échouerait aussi aux épreuves suivantes. Le test ordinaire ne les lui pose donc pas. Mais, puisqu'il ne les pose pas, il ne peut pas savoir si la supposition est vraie.
Six règles d'arrêt du test écartent habituellement certaines épreuves en fonction d'un résultat — par exemple une comptine trop courte, un effondrement en additions ou une lecture insuffisante. Le mode portes ouvertes désactive ces arrêts pour poser quand même les épreuves qu'ils écartent.
Pour chaque règle, le rapport précise ce que le test ordinaire aurait décidé, ainsi que la performance obtenue par l'enfant au-delà. Le fichier de scores garde la trace de ces règles dans la colonne « portes ». C'est une recherche sur le test, et non une évaluation individuelle de l'enfant. Pour découvrir les six règles et le motif de leur vérification, consultez la page Valider les règles d'arrêt du test sur matheval.org.
Chaque enfant testé est le bienvenu ; vous n'avez rien à convenir avec l'auteur avant de démarrer. L'analyse qui départage les épreuves se fait après coup, avec l'étudiant chargé du sujet.
Comment juger une règle
Pour chaque règle, on regarde, parmi les enfants qu'elle aurait arrêtés, combien réussissent pourtant les épreuves suivantes. Si presque aucun ne les réussit, la règle est justifiée. Si beaucoup les réussissent, elle leur fait perdre des épreuves qu'ils maîtrisent.
Combien d'enfants
Ce qui compte, c'est le nombre d'enfants que la règle arrête réellement, et non le nombre d'enfants testés. Certaines règles n'arrêtent que peu d'enfants dans une classe ordinaire : il faudra peut-être des enfants en difficulté pour celles-là. Aucun étudiant ne peut réunir seul ces nombres : la validation repose sur l'accumulation des passations transmises par différents étudiants. Quelques enfants apportent déjà une contribution utile.
Pour l'analyse statistique (facultatif)
Aucune source que j'ai trouvée ne fixe la proportion à partir de laquelle une règle cesse d'être acceptable : ce seuil sera discuté avec l'étudiant chargé du sujet, de même que la définition de « réussir la suite » (par exemple, réussir au moins la moitié des questions de l'épreuve écartée).
Les épreuves que le test n'a pas posées doivent être notées comme absentes, jamais comme des échecs : d'après le résumé de von Davier, Cho et Pan (2019), compter comme fausses les réponses non observées donne l'estimation la plus biaisée.
La « règle des trois » (Hanley et Lippman-Hand, 1983) donne un ordre de grandeur : si, sur 60 enfants arrêtés par une règle, aucun ne réussit la suite, on peut affirmer, avec 95 % de confiance, que les exceptions ne dépassent pas environ 5 % (3 divisé par 60). Avec 100 enfants arrêtés, environ 3 %. S'il y a une exception sur 60, la limite monte à près de 8 % ; deux exceptions, à environ 10 % (calcul exact).
Hanley, J. A., & Lippman-Hand, A. (1983). If nothing goes wrong, is everything all right? Interpreting zero numerators. JAMA, 249(13), 1743-1745.
von Davier, M., Cho, Y., & Pan, T. (2019). Effects of discontinue rules on psychometric properties of test scores. Psychometrika, 84(1), 147-163.
Que faire, dans l'ordre ?
Les six étapes se suivent dans le menu de gauche ; une septième, facultative, concerne l'épreuve parallèle.
1. Obtenir l'accord de l'école
Obtenir l'accord de la direction et des parents ; deux modèles de message.
2. S'entraîner
Deux exercices avec un enfant fictif : le tutoriel du test et le didacticiel de la recherche.
3. Conduire la passation
Ce qu'il faut dire, faire et coter avec l'enfant.
4. Préparer son ordinateur
Ce qu'il faut savoir avant le premier enfant : le fichier de scores, votre nom, les classes.
5. Faire passer le test en portes ouvertes
Le test complet, sans ses règles d'arrêt : bouton « Commencer en portes ouvertes ».
6. Envoyer les résultats
Préparer la copie sans les noms et l'envoyer.
7. Épreuve parallèle (facultative)
Des questions candidates, qui ne sont pas encore dans le test : décrite ici.
