Développer et interpréter une échelle de mesure: Applications du modèle de Rasch

Introduction

La mesure d’une grandeur telle que la longueur d’un objet apparaît comme un acte tout à fait anodin. À l’aide d’une latte graduée, d’un mètre ruban ou d’un décamètre, il suffit d’aligner la graduation «zéro» de l’instrument avec une extrémité de l’objet à mesurer et de lire la graduation située en regard de l’autre extrémité de l’objet. Cette procédure s’applique aussi bien à la mesure de la taille d’un enfant, du diamètre moyen d’une cellule de tissu vivant ou à l’arpentage d’un terrain à bâtir. À l’heure actuelle, ces différentes grandeurs sont mesurées à l’aide d’une seule et unique unité, le mètre; seuls les instruments utilisés sont spécifiques à l’objet de la mesure. Mais il n’en a pas toujours été ainsi (Ministère de l’Industrie et de l’Aménagement du Territoire, 1989; Marquet et coll., 1997). Au XVIIIe siècle, la France comptait plus de 700 unités de mesure différentes. Ces unités variaient d’une ville à l’autre, d’une corporation à l’autre et parfois même selon la nature de l’objet mesuré. Ainsi, par exemple, la superficie des planchers s’exprimait en «pieds carrés» et celle des tapis en «aunes carrées», ce qui rendait toute comparaison extrêmement laborieuse. Source d’erreurs de calcul et de fraudes lors des transactions commerciales, cette diversité portait également préjudice au développement des sciences. Il fallut attendre 1793 pour que le mètre soit défini comme égal à «la dix millionième partie du quart du méridien terrestre». Le mètre concrétisait l’idée d’une unité universelle, qui n’était spécifique à aucun peuple du globe ni à aucune situation de mesure. Le système métrique fut alors institué et, en 1799, un mètre étalon en platine a été déposé aux Archives de la République. Au cours du XIXe siècle, un nombre croissant de pays ont adhéré au système métrique, multipliant ainsi le nombre de copies «exactes» de l’étalon nécessaires à la réalisation d’instruments de mesure. Au cours du XXe siècle, le manque d’uniformité dans l’établissement des copies «exactes» et la précision demandée par certaines mesures scientifiques ont suscité une révision de la définition du mètre à deux reprises. Depuis 1983, le mètre est défini comme égal à «la longueur du trajet parcouru dans le vide par la lumière pendant 1/299792458 de seconde». Cette nouvelle définition offre une meilleure précision et une meilleure garantie d’invariance et de conservation à très long terme.

Le procédé de mesure d’une grandeur telle que la longueur d’un objet repose sur une unité de mesure constante et reproductible, dans l’exemple ci-dessus, le mètre. Cet étalon constitue la base des instruments permettant d’effectuer des mesures en toutes circonstances. Les résultats ainsi obtenus représentent une longueur invariante dans toutes les régions du monde où l’on partage le même système d’unités. Une chronique analogue appartient sans doute à l’histoire du développement de la balance, du chronomètre ou du thermomètre (Choppin, 1985). Dans le domaine des sciences exactes, les méthodes de mesure progressent et les étalons eux-mêmes se renouvellent constamment pour augmenter l’invariance et la précision des mesures.

Dans le domaine des sciences humaines, les problématiques de la mesure sont analogues mais le type des variables considérées est souvent différent. La psychologie, l’éducation, la sociologie ou la médecine, par exemple, s’intéressent principalement à des variables qui ne peuvent pas faire l’objet d’une observation directe. Citons, à titre d’exemple, l’anxiété, l’intelligence, l’altruisme ou la douleur. Ces variables sont appelées des variables latentes, traits latents, attributs ou encore facteurs car elles caractérisent un aspect du sujet de la mesure (généralement une personne) sans pour autant être visibles de l’extérieur. Les variables latentes sont des constructions de l’esprit, abstraites, dont la grandeur peut toutefois être inférée si elles se manifestent de manière concrète (par ex., l’anxiété peut se manifester par des crises de larmes). Dans le cas des variables latentes, la mesure, c’est-à-dire «l’action de déterminer la valeur de certaines grandeurs par comparaison avec une valeur constante de même espèce, prise comme terme de référence (étalon, unité)» (Le petit Robert, 1993), est une opération beaucoup plus complexe car aucun étalon n’est disponible pour la comparaison de ces grandeurs. Dans ce cas, comment est-il possible de mesurer une telle variable?

La mesure d’une variable latente repose sur des principes analogues à ceux de la métrologie, mais les outils de mesure sont différents : il s’agit généralement de questionnaires. Par exemple, une réponse affirmative à l’énoncé «il m’arrive d’être craintif face à une situation imprévue» indique un certain niveau d’anxiété. Une réponse affirmative à l’énoncé «je suis terrorisé face à toute situation imprévue» indique un niveau d’anxiété plus important, mais d’une quantité inconnue. Il reste néanmoins qu’une réponse affirmative aux deux énoncés révèle une anxiété supérieure à une seule réponse affirmative. La mesure d’une variable latente commence par un comptage d’événements discrets (tout comme l’on compte le nombre de graduations métriques qui séparent les deux extrémités d’un objet pour en mesurer la longueur). Mais le comptage n’est pas suffisant car la mesure d’une grandeur nécessite une unité de mesure constante. Dans le cas particulier de l’évaluation de l’anxiété, cette unité représente une quantité d’anxiété constante tout au long de l’échelle de mesure de la variable latente. Une telle unité de mesure peut être établie à l’aide d’un modèle probabiliste connu sous le nom de modèle de Rasch, mathématicien danois du nom de Georg Rasch (1901-1980), auteur de ce modèle dans les années 1950-1960. Ce modèle permet de construire une échelle de mesure continue et linéaire, qui supporte les comparaisons quantitatives, conformément aux critères de mesure propres aux sciences exactes.

Les variables latentes sont généralement évaluées à l’aide de tests ou de questionnaires qui peuvent revêtir différentes formes. Par exemple, le test peut être composé de questions auxquelles le sujet répond par «oui» ou «non», d’énoncés par rapport auxquels le sujet marque son accord sur une échelle à plusieurs niveaux (par ex., «pas du tout d’accord»/«d’accord»/«tout à fait d’accord»), d’épreuves que le sujet peut réussir ou échouer, d’activités dont le sujet doit estimer la difficulté (par ex., «impossible»/«difficile»/«facile»/«très facile»), etc. Les questions d’un test sont généralement appelées les «items»; les réponses possibles sont généralement appelées les «catégories de réponse». Un test peut donc être considéré comme une série d’épreuves (les items) présentant une série de niveaux de réponse préétablis (les catégories de réponse). Dès lors, par analogie aux sciences physiques, il est possible de déterminer la grandeur d’une variable latente en comparant la réponse d’un sujet avec les niveaux de réponses pour chaque épreuve d’un test, pour autant que toutes les épreuves et tous les niveaux de réponses soient de même espèce que la grandeur à mesurer (Rasch, 1960). Le principe de la mesure s’applique à toute variable qui supporte les comparaisons quantitatives (par ex., tel sujet est plus anxieux que tel autre, ou tel sujet est moins indépendant que tel autre).

À l’origine, le modèle de Rasch a été utilisé en psychologie et a trouvé d’autres champs d’application dans les sciences de l’éducation, les sciences médicales et plus largement dans différentes disciplines des sciences humaines. À l’heure actuelle, le modèle connaît un succès croissant. L’Institue for Objective Measurement (IOM, www.rasch.org), basé à Chicago, est chargé de promouvoir la théorie et les applications du modèle. Fondé en 1996, l’IOM compte à ce jour plus de 200 membres aux quatre coins du globe et plusieurs bureaux représentatifs aux États-Unis, en Australie, en Europe, en Asie et en Russie.

L’objectif de cet ouvrage est de fournir à tous, chercheurs et praticiens, les outils pour construire un instrument de mesure d’une variable latente. Alternativement, cet ouvrage permettra à tout utilisateur d’échelles existantes de comprendre les fondements d’une mesure objective en vue d’une interprétation quantitative. Les trois premiers chapitres présentent le contexte théorique en décrivant l’élaboration d’un test, le modèle de Rasch et les critères que doit vérifier une mesure objective. Les trois chapitres suivants décrivent la mise en œuvre arithmétique, la vérification des critères de mesure et l’appréciation de la qualité d’un test. L’analyse proprement dite est généralement réalisée à l’aide de logiciels spécifiques, dont les principaux indicateurs sont présentés. Le chapitre 7 présente un exemple concret du développement d’une échelle de mesure. Tout au long de l’ouvrage, le corps du texte présente les concepts généraux. Certaines questions spécifiques ou certains développements arithmétiques sont traités en encart offrant une explication plus détaillée. Enfin, le texte est agrémenté d’exemples concrets et chaque chapitre est clôturé par une série d’exercices résolus.

Chapitre 1

Les premières étapes vers une échelle de mesure : l’identification, l’observation et l’évaluation de la variable

Au cours d’une discussion de cas cliniques ou lors d’une délibération sur la valeur des étudiants, il n’est pas rare de soutenir que tel patient ou tel étudiant est plus ou moins performant par rapport à tel autre. Dans le cadre d’une discussion de cas cliniques, il arrive de comparer la capacité fonctionnelle des patients. Dans le cas d’une délibération, il arrive de comparer la valeur littéraire des étudiants. Dans les deux cas, nous comparons de manière quantitative un attribut des personnes (par ex., leur capacité fonctionnelle), même si ces personnes ont par ailleurs peu d’autres attributs en commun. Si la nature d’une personne est complexe et certainement multidimensionnelle, toute comparaison quantitative doit être restreinte à un seul aspect de cette nature, soit à un seul attribut de la personne (Thurstone, 1928a). La première condition pour le développement d’une échelle de mesure est donc de spécifier la variable à mesurer et de s’y limiter. Dans les paragraphes qui suivent, nous utiliserons l’exemple de la «capacité locomotrice» pour illustrer les premières étapes de l’élaboration d’une échelle de mesure.

Si nous considérons la capacité locomotrice d’un individu, c’est-à-dire sa capacité à se mouvoir, à se déplacer d’un lieu à un autre, nous pouvons imaginer des niveaux allant d’une capacité locomotrice infiniment petite à une capacité locomotrice infiniment grande. Nous pouvons, par exemple, situer à une extrémité une personne paralysée et incapable de se déplacer et situer, à l’autre extrémité, un champion olympique pulvérisant le record du 400 mètres haies. Une gamme infinie est inclue entre les deux extrémités de l’échelle et représente par exemple la capacité locomotrice d’un enfant se déplaçant à 4 pattes, d’un adolescent marchant avec une béquille ou d’un homme d’affaire courant pour ne pas manquer son train. La gamme de capacité locomotrice peut donc être représentée sur une ligne dont une extrémité représente les valeurs les plus faibles et l’autre représente les valeurs les plus élevées. La localisation de chaque personne le long de l’axe ainsi défini représente la valeur de sa capacité locomotrice (figure 1.1). L’échelle de mesure proprement dite est matérialisée par une série de situations ou de questions, les items, qui évaluent la capacité locomotrice du sujet, comme par exemple «Marcher 100 mètres sur terrain plat». Les items d’un test impliquent différents niveaux de capacité locomotrice de manière à couvrir la gamme de valeurs que l’on souhaite explorer. Plus l’item est difficile, plus il nécessite une capacité locomotrice élevée. Les items les plus faciles peuvent être réalisés par les individus les moins capables. Les items les plus difficiles ne peuvent être réalisés que par les individus les plus capables.

Figure 1.1 – Représentation de la variable «capacité locomotrice». Plus la capacité locomotrice d’une personne est élevée, plus elle est localisée à droite sur l’échelle. Les items qui constituent un test de capacité locomotrice sont localisés sur le même axe. Plus un item est difficile, plus il est localisé à droite sur l’échelle, et plus la capacité locomotrice nécessaire pour le réussir est élevée. Ainsi, la personne C devrait être capable de réussir les 3 items les plus faciles et devrait être incapable de réussir les 2 items les plus difficiles. De même, l’item 2 devrait être réussi par les deux personnes les plus capables (C et D) et échoué par les deux personnes les moins capables (A et B).

Les paragraphes qui suivent décrivent les premières étapes de l’élaboration d’une telle échelle de mesure, à savoir : l’identification de la variable, la sélection des items, l’observation de la variable et enfin son évaluation. La dernière étape, le processus de mesure proprement dit, fera l’objet du chapitre 2.

1.1. L’identification de la variable et la sélection des items

Le principe même de toute mesure nécessite un continuum linéaire sous-jacent, telle qu’une échelle de longueur, de poids, de température ou d’âge. Dans le cas de la capacité locomotrice, nous pouvons également imaginer une échelle abstraite sur laquelle les différentes personnes sont localisées en fonction de leur capacité locomotrice. Si nous voulons appliquer le principe de la mesure à la capacité locomotrice, il est nécessaire de réduire toute variation qualitative de la capacité locomotrice des personnes à une variation quantitative de leur localisation le long d’un axe gradué (Thurstone, 1928a). Ce processus permet d’exprimer la capacité locomotrice d’une personne par un nombre réel, mesure représentant sa position le long de l’échelle de capacité locomotrice. Toute mesure constitue donc un processus réducteur qui vise à quantifier de manière spécifique un attribut du sujet, de telle sorte que le résultat ne soit pas ou peu influencé ou le moins possible par d’autres attributs du sujet. S’il est possible de comparer différentes personnes en affirmant que telle personne possède une capacité locomotrice «plus grande» ou «plus petite» que telle autre personne, il est possible de représenter cet attribut le long d’un axe gradué.

L’échelle de mesure peut alors être matérialisée par une série d’activités ou de situations, constituant un test pour la mesure de cette variable. La sélection des activités doit être réalisée en gardant à l’esprit l’impératif de quantification car l’ensemble des items va constituer la définition opérationnelle de la variable, c’est-à-dire les graduations de l’échelle. De plus, la plage de mesure souhaitée doit également être déterminée à l’avance. En effet, si l’échelle sous-jacente est infinie, un instrument de mesure possède toujours une plage de mesure finie (tout comme un décamètre, un mètre ruban et un microscope couvrent des longueurs d’ordres de grandeur différents). Dans le cas de la capacité locomotrice, il est possible d’énumérer un large inventaire d’activités, couvrant, par exemple, des niveaux aussi faibles que «marcher à 4 pattes» et aussi élevés que «courir dans les escaliers». Il est toutefois important que chaque item implique une certaine quantité de capacité locomotrice tout en étant indépendant d’autres attributs du sujet ou de l’environnement.

Exemple : Dans le cas de la variable «capacité locomotrice», nous pouvons imaginer un test comprenant les cinq items suivants pour évaluer une personne ayant une mobilité réduite. Il apparaît raisonnable de penser, a priori, que les 5 items définissent des niveaux croissants de capacité locomotrice, du plus facile (item 1) au plus difficile (item 5). Toutefois, ce postulat ne sera confirmé que lors du calibrage du test.

Marcher sur terrain plat

Monter les escaliers en posant deux pieds par marche

Monter les escaliers en posant un seul pied par marche

Sauter à cloche-pied sur le pied dominant

Sauter à cloche-pied sur le pied non dominant

La sélection des items peut s’avérer particulièrement délicate dans le cas de variables dont la nature n’est pas clairement définie. La méthode couramment utilisée consiste à rassembler le plus grand nombre d’items (généralement plus d’une centaine) de manière à couvrir l’entièreté de la plage de mesure envisagée et à contenir les items les plus pertinents et les plus représentatifs par rapport à la variable d’intérêt. Une présélection des items peut être établie sur base d’entretiens avec les sujets visés ou avec des experts en la matière (par ex., personnel soignant, famille, professeur, éducateur) ou également au cours d’une observation directe des sujets. Lors de l’élaboration de la liste des items, certains critères devront être respectés quant au contenu de l’item, à sa longueur, à sa formulation. Nous renvoyons le lecteur aux ouvrages de référence qui présentent ces critères de manière détaillée (Streiner & Norman, 1995; Laveault & Grégoire, 2002). La liste d’items ainsi obtenue constitue la première ébauche du test qui sera soumis aux sujets.

À ce stade-ci, il est possible d’anticiper l’ordre des items le long de la variable qu’ils sont sensés définir. Par exemple, Wright & Master (1982) présentent une méthode de classification des items développée d’après les travaux d’Allport & Hartman (1925) et Thurstone (1928b). Cette méthode consiste à demander à un échantillon de juges de classer chaque item dans l’une des 11 «piles» équidistantes en fonction de la quantité de la variable qu’ils représentent. Les items les plus faciles sont classés dans la première pile et les items les plus difficiles dans la onzième. Le classement moyen d’un item permet d’anticiper sa localisation le long de l’axe de mesure, la dispersion des réponses permet de déterminer la cohérence des juges. Les items les plus incohérents peuvent alors être modifiés ou éliminés