2.3 - Elaboration de la version provisoire
2.3.1 - Sélection des itemsClassées par échelle, les activités ont été sélectionnées, séparément pour la forme masculine et la forme féminine, en recoupant les informations quantitatives (scores obtenus) et les informations qualitatives (communiquées par les experts et/ou recueillies à l'occasion des passations), par élimination sur la base de divers critères.
De fait, la sélection des "meilleurs" items a pris la forme de l'élimination des "moins bons" d'entre eux.
Une approche strictement statistique de cette opération aurait eu le mérite de la simplicité, mais se serait avérée trop réductrice.
La seule démarche systématique a consisté à éliminer d'emblée tous les items ayant obtenu un pourcentage du score théorique inférieur à 60 %.
La sélection s'est poursuivie pour chaque forme (masculine et féminine) en examinant les items un par un, sur la base des principes suivants :
Un item devant évoquer une échelle de manière
aussi univoque que possible, ont été conservés
en priorité les items dont les pourcentages du score théorique
et du score observé dans l'échelle considérée
étaient les plus élevés. Les items devant être compréhensibles par les répondants
et de nature à favoriser l'expression d'un choix ou d'un
rejet, une attention particulière a été accordée
aux items ayant obtenu un score "JNSP" élevé.
Il convenait là d'estimer si ce score signifiait plutôt
"peut-être" ou correspondait à une incompréhension
de l'item. Les données qualitatives ont souvent fourni
un éclairage à ce sujet. A titre d'exemple, l'item
B11 ("Etablir des statistiques dans différents domaines")
a obtenu un score "JNSP" de 22,7 chez les garçons
et de 30,2 chez les filles, les scores immédiatement inférieurs
dans l'échelle étant respectivement de 14,9 et 20,9.
En outre, cet item a suscité fréquemment lors de
la passation la question : "statistiques, qu'est-ce que ça
veut dire ?". Il a donc été éliminé. Un item devant être aussi peu que possible évocateur
de stéréotypes, une attention particulière
a été accordée aux items ayant obtenu un
score de réponses OUI particulièrement élevé
dans l'échelle considérée. A titre d'exemple,
chez les filles, les items B13 ("Faire de la broderie à
la machine sur des vêtements") et B8 ("Fabriquer
avec des machines du pain et des gâteaux dans une boulangerie
industrielle") ont obtenu respectivement un score de 25,7
et 25,1, alors que le score suivant dans l'échelle est
de 15,6, et la moyenne pour celle-ci de 8,3. Chez les garçons,
l'item A25 ("Tenir des statistiques avec un micro-ordinateur")
a obtenu un score de 56,8, alors que le score suivant est de 38,5,
et la moyenne de l'échelle de 24,2 ; on rapprochera cette
observation de celle formulée au sujet de l'item B11 :
elle me semble fort bien illustrer l'effet pervers des "mots
inducteurs" (ici "micro-ordinateur") ; ces items
ont été éliminés. Parmi les 360 items testés, certains, bien que rares,
ne consistaient pas en des activités professionnelles,
tel le B106 ("Discuter les prix chez les commerçants
avant d'acheter"). Cette caractéristique a d'ailleurs
parfois été relevée par les répondants.
Ces quelques items ont été systématiquement
éliminés. Les items obtenant un score particulièrement faible dans
l'échelle considérée ont également
été examinés. A titre d'exemple, l'item B54
("Faire à la main de la broderie ou de la dentelle")
a obtenu un score de 1,8 chez les garçons (contre 17,6
chez les filles), alors que la moyenne de l'échelle est
pour eux de 18,9 ; cet item a été éliminé
de la version masculine. On observera que, le plus souvent, ces
items étaient typiques de l'un ou l'autre sexe, comme l'item
cité en exemple. Quelques items ont toutefois dû
être éliminés dans les deux formes, car trop
peu "populaires" auprès des deux sexes, tel le
B131 ("Faire la toilette des malades et leur servir leurs
repas"), les scores de réponses OUI étant de
7,2 chez les garçons et 17,3 chez les filles, alors que
les moyennes de l'échelle sont respectivement de 25,7 et
49,3. Certains items ayant obtenu un score de réponses OUI
particulièrement élevé ou faible étaient
souvent largement saturés par une deuxième échelle,
plus ou moins "populaire" que l'échelle dominante.
A titre d'exemple, l'item B87 ("Faire des recherches pour
expliquer le comportement des gens"), affecté à
l'échelle Scientifique, obtient un score de 41,9 chez les
filles, contre une moyenne de 24,7 : l'échelle Service
social, plus "populaire" chez les filles que l'échelle
dominante de l'item, obtient 25,7 % du score observé. Certains items que l'on pouvait considérer comme plutôt
masculins ou féminins, ont obtenu un score de choix positifs
suffisamment élevé face aux deux sexes pour n'être
pas éliminés à ce titre. On rencontre plusieurs
exemples de ce type dans l'échelle Travail de bureau, tel
le B17 ("Frapper des comptes rendus et des rapports avec
une machine à écrire"), qui obtient un score
de 15,7 chez les garçons, proche de la "popularité"
moyenne de l'échelle auprès de ceux-ci (16,8). Ont été éliminés des items tel le
A6 ("Conduire les vaches au pâturage et les ramener
à la ferme"), qui avaient suscité des réactions
ironiques de la part des répondants. Enfin, à l'issue de ces éliminations, la distribution
des scores de réponses OUI par échelle a été
examinée, et quelques items situés aux extrêmes
des distributions supprimés.Ces principes, illustrés par quelques exemples, n'ont été appliqués ni mécaniquement, ni de manière identique pour toutes les échelles, notamment car elles n'offraient pas toutes la même "marge de manoeuvre" en matière de sélection et, en tout état de cause, il fallait disposer de 18 items pour chacune d'entre elles.
En conclusion, le travail effectué, en faisant assez largement intervenir le jugement, comporte une part de subjectivité. La qualité du résultat est donc à la mesure de l'expérience investie dans cette tâche, et rien n'interdit de penser que certains des items écartés eussent été plus pertinents que certains de ceux qui ont été retenus.
Sur 180 activités retenues pour chaque forme, 133 sont communes aux 2 formes et 47 spécifiques de la forme masculine ou féminine.
Sur les 360 items testés, 227 sont utilisés dans la version provisoire, ce qui correspond à un taux de sélection de 63,1 %.
Le nombre d'items retenu dans la version provisoire, issus de chacun des deux questionnaires de l'expérimentation, est très proche, avec un léger avantage au questionnaire B (de 2,2 % pour la forme masculine et 1,7 % pour la forme féminine).
2.3.2 - Choix du mode de réponse
La passation d'un test est souvent mal perçue par les répondants,
même si l'expérience montre que les questionnaires
ou inventaires d'intérêts sont eux généralement
bien acceptés , le questionnaire d'enquête d'Aid'Orient',
bien que ne débouchant pas sur un retour d'information
pour les répondants, a lui-même été
bien accepté par ceux-ci.
L'utilisation des résultats de l'épreuve entraîne
le répondant dans une démarche exigeante (une démarche
rationnelle, peu habituelle , un objet qu'il connaît très
mal : le monde professionnel ; un enjeu important et qu'il peut
percevoir comme tel), aussi paraît-il souhaitable de ne
pas soumettre ce répondant à des consignes de réponse
trop compliquées, afin qu'il se centre sur la tâche
qui lui est assignée : s'exprimer sincèrement et
spontanément sur ses préférences professionnelles,
ce qui peut conduire à rejeter des modes de réponse
impliquant la comparaison et le classement de trop nombreux éléments.
D'autre part, un mode de réponse ouvert, tel celui utilisé
pour l'enquête, ne prémunit pas contre les tendances
à l'acquiescement ou à la dénégation ; on ne peut ainsi distinguer dans les résultats ce qui
découle de ces tendances, ou de la largeur ou l'étroitesse
des intérêts.
C'est pourquoi j'ai choisi pour Aid'Orient' de faire appel à
la comparaison par paire avec choix forcé : ce mode de
réponse facilite le choix du répondant, qui n'a
à considérer simultanément que deux propositions
et permet de "forcer" l'émergence d'un profil
lorsque les intérêts sont peu différenciés.
Ce mode de réponse n'est toutefois pas exempt d'inconvénients
(au plan statistique par exemple, et pour le répondant
lui-même qui est obligé de choisir, même entre
deux propositions qu'il aime ou déteste également).
Notons enfin que, le répondant devant choisir une activité,
et par là même en rejeter une autre, on ne peut savoir
s'il a réellement choisi une activité (choix positif),
s'il a surtout rejeté l'autre (choix négatif), ou
s'il a simplement effectué un choix entre deux activités
qu'il aimait ou détestait également, ou qui lui
étaient toutes deux indifférentes (choix aléatoire).
2.3.3 - Structure du questionnaire
Le questionnaire est construit de telle sorte que chaque échelle
soit comparée à chacune des autres.
Chaque item comporte deux activités professionnelles évoquant
chacune une échelle différente. Cette comparaison
nécessite (n(n-1)/2) items, où n est le nombre d'échelles,
soit 45 items pour 10 échelles.
Les combinaisons ont été ordonnées de manière
aléatoire, en veillant toutefois à ce qu'une même
échelle ne soit pas évoquée dans deux items
consécutifs.
Le questionnaire comporte deux parties équivalentes (donc
90 items au total).
Il est ainsi possible de comparer les résultats obtenus
à chacune des deux parties du questionnaire (méthode
de la bipartition, ou split-half method).
Les 18 items de chaque échelle ont été classés
de 1 à 18, par score de choix positifs ("popularité")
décroissant. Les items pairs ont été affectés
à la première moitié du questionnaire, et
les items impairs à la seconde.
A ce stade, les deux listes de 9 items ont été examinées,
et quelques permutations effectuées, afin d'éviter
que deux items de contenu relativement proche (bien qu'affectés
à des échelles différentes) ne se rencontrent
dans la même moitié du questionnaire.
2.3.4 - Ordre d'apparition des échelles
Les 90 items de l'épreuve peuvent être identifiés
par la combinaison des échelles qu'ils évoquent ; celles-ci ont été numérotées de
0 (Extérieur) à 9 (Calcul). Une série de
nombres aléatoires compris entre 0 et 98 a été
générée par un micro-ordinateur. Elle a permis
d'ordonner les 45 premiers items. Lorsqu'un des nombres de la
liste correspondait à une combinaison dans laquelle figurait
une échelle déjà présente dans l'item
précédent, il était ignoré au bénéfice
du nombre suivant.
Les couples d'échelles évoqués par les items
apparaissent dans le même ordre dans les deux moitiés
du questionnaire ; toutefois, l'ordre d'apparition des échelles
à l'intérieur de l'item dans la première
et la seconde moitiés est inversé.
2.3.5 - Construction des items
Les items ont été construits séparément
pour chaque forme (masculine et féminine).
Pour que le choix de l'activité de l'item s'applique à
l'échelle correspondante, et non pas à l'activité
la plus "populaire" chez les répondants du sexe
considéré, les paires d'activités ont été
constituées de telle sorte que la différence de
"popularité" entre activités appariées
soit aussi réduite que possible.
Le rapport moyen des "popularités" à l'intérieur
des items est de .90 pour la forme masculine et près de
.70 pour la forme féminine.
Compte tenu des écarts entre les "popularités"
des échelles, particulièrement dans la forme féminine,
les activités ont été appariées de
la façon suivante : l'item le plus "populaire"
d'une échelle a été apparié avec l'item
le plus "populaire" de l'échelle obtenant la
"popularité" moyenne la plus élevée,
et ainsi de suite. Il existe toutefois une exception à
ce principe (dans la forme masculine) : le rapprochement malheureux
des items 28a ("Traduire des textes français dans
une langue étrangère") et 31b ("Traduire
des conférences données dans une langue étrangère
pour des participants français") a conduit à
permuter le 31b avec le 6a ("Choisir les textes qui seront
publiés dans une revue littéraire").
Le rapport moyen des "popularités" à l'intérieur
des items est de .90 (.899, avec un écart-type de .069)
pour la forme masculine et de près de .70 (.681, avec un
écart-type de .182) pour la forme féminine.
Dans les deux formes, l'équilibre des "popularités"
des items dans la première et la seconde moitiés
du questionnaire est proche, mais dans les deux cas, à
l'avantage de cette dernière.
En ce qui concerne l'équilibre entre "popularité"
des items, la forme masculine apparaît comme plus satisfaisante
que la forme féminine. Ceci s'explique notamment par la
faiblesse des scores obtenus par les filles aux échelles
Pratique et mécanique et Pratique et manuel. Ce problème
aurait pu être en partie réduit en agrégeant
les échelles Pratique et mécanique et Pratique et
manuel pour la forme féminine, et en sélectionnant
les meilleurs items de ces deux échelles. Il m'a toutefois
semblé que cette modification, qui se serait traduite par
le recours à deux séries d'échelles différentes
selon le sexe, présentait plus d'inconvénients que
d'avantages, notamment dans la perspective d'une classification
de métiers sur la base des échelles Aid'Orient'.
On observera toutefois que cette dimension (la "popularité"
des items dans la population) a rarement été étudiée
aussi précisément dans ce type d'instrument ; il
est ainsi difficile de comparer les résultats obtenus.
2.3.6 - "Popularité" moyenne des échelles
Aid'Orient'
La "popularité" moyenne par échelle des
activités retenues dans la version provisoire est présentée
ci-après :
