2.2 - Première expérimentationCette expérimentation a été conduite au cours du dernier quadrimestre de 1989.
Tous les professionnels associés à l'expérimentation ont disposé de documents et de consignes écrites relatives à l'aspect de l'expérimentation dans le cadre duquel ils intervenaient.
En outre, des contacts avec chacun d'entre eux m'ont permis de m'assurer qu'ils disposaient des informations requises pour mener à bien leur tâche.
2.2.1 - Affectation des items aux échellesLes activités professionnelles ont été affectées aux catégories d'intérêts par des experts (près de 70, essentiellement des Conseillers d'orientation-psychologues des CIO) selon un protocole rigoureux, qui induisait une dispersion des résultats, mais garantissait qu'un large accord des experts correspondrait à une signification relativement univoque de l'activité.
Près de la moitié des items obtiennent un score supérieur à 85 % du score théorique (score qu'aurait obtenu l'item si tous les experts l'avaient affecté à une seule et même échelle) et près des deux tiers un score supérieur à 75%.
2.2.1.1 - Protocole de recueil des affectationsL'affectation, dite a priori, des items aux échelles Aid'Orient' ne constituait qu'une affectation provisoire, destinée à optimiser l'expérimentation, cette opération ne reposant que sur le seul point de vue de l'auteur.
Afin de garantir la pertinence des affectations, j'ai fait appel à des experts (ou méthode dite "des juges") dans la double perspective suivante :
un large accord des experts devait garantir la qualité
de l'affectation ; une dispersion sensible dans les affectations effectuées
par les experts signalerait un item dont le caractère univoque
était insuffisant, et conduirait à l'éliminer
à ce titre.Les experts disposaient d'un texte de présentation de la recherche, des définitions des échelles Aid'Orient' et des orientations de Holland, et d'un questionnaire comportant les 360 activités soumises au test (soit la somme des deux questionnaires A et B soumis aux jeunes).
La solution la plus simple, tant pour les experts que pour l'auteur, aurait consisté à leur demander à quelle échelle se rapportait chaque item. Cette solution aurait présenté plusieurs avantages :
renseignement rapide du questionnaire par les experts ; dépouillement rapide ; taux d'accord élevé, rassurant pour l'auteur.En revanche, si l'on ne s'intéresse qu'à l'échelle dominante, le mode de réponse masque le fait qu'un item, s'il évoque plutôt une échelle, peut être plus ou moins saturé par une, ou d'autres échelles.
J'ai préféré définir des consignes distinguant trois cas :
l'activité évoque une échelle et une seule ; l'activité évoque deux échelles : il a
alors été demandé d'indiquer quelles sont
ces deux échelles, en distinguant l'échelle dominante
et l'échelle secondaire ; l'activité évoque plus de deux échelles : les experts devaient le signaler sans mentionner les échelles
correspondantes.Si la sévérité des consignes induisait une dispersion des résultats, elle garantissait une plus grande fiabilité de ceux-ci.
Il était également demandé aux experts de signaler les items leur semblant inadaptés en considération des objectifs visés par l'épreuve (formulation trop compliquée, mots difficiles...) ; ils étaient en outre invités à formuler des propositions d'amélioration.
L'échantillon a été constitué de 68 experts, dont 53 Conseillers d'orientation-psychologues (CIO), ainsi que de Psychologues du Travail (AFPA), autres conseillers auprès des jeunes (ANPE , Centre de Bilan, PAlO).
59 d'entre eux ont renseigné la totalité du questionnaire, 5 ont renseigné la première moitié (questionnaire A) et 4 la seconde (questionnaire B) ; cette possibilité avait été offerte aux Conseillers des CIO envisageant de travailler en équipe.
L'expérimentation a été conduite de début octobre à fin novembre 1989.
Il est rapidement apparu au cours du dépouillement des questionnaires renseignés par les experts que deux types d'attitudes de réponse pouvaient être observés.
La plupart des experts exprimaient des choix largement conformes à ceux de la plupart des autres ; certains experts se démarquaient assez largement des choix les plus fréquents. Les questionnaires ressortissant de cette seconde situation ont alors été repérés lors du dépouillement.
Il s'agit d'une impression d'ensemble, et non d'une statistique rigoureuse. Sous cette réserve, on peut affirmer qu'un peu plus de 80 % des réponses sont assez largement consensuelles, et donc un peu moins du cinquième d'entre elles entraînent la plus grande partie de la dispersion.
On observe également que deux catégories d'items ont entraîné une dispersion plus élevée que celle généralement observée :
items affectés a priori aux échelles Pratique
et mécanique et Pratique et manuel, ainsi que certains
items des échelles Littéraire et Artistique ; items relatifs aux professions de l'enseignement.En moyenne, 3,5 échelles ont été évoquées par item, chaque échelle étant évoquée seule, ou dans un couple (en première ou seconde position).
Si l'on observe le nombre moyen d'échelles citées par item, on constate que :
ce nombre est un peu plus faible (de moins de 8 %) dans la section
B que dans la section A (soit les deux questionnaires soumis aux
jeunes, regroupés pour les experts) ; aussi bien dans la section A que dans la section B, ce nombre
est quasiment identique pour la première et la seconde
moitié des items ; il en va de même pour les écarts-types
correspondants.On peut donc supposer que la variation du nombre d'échelles citées est plus liée à la section du questionnaire (qualité des items ?) qu'à l'attitude de réponse des experts, qui peut apparaître comme stable face au critère examiné.
En revanche, si l'on examine le nombre moyen d'échelles citées par item et par échelle après affectation de ceux-ci à l'échelle dominante, on constate une sensible dispersion des résultats, de 2,8 pour l'échelle Pratique et mécanique à 4,2 pour l'échelle Scientifique (en moyenne).
On peut attribuer à cette observation deux causes principales :
la signification plus ou moins univoque des items selon les
échelles ; les recouvrements induits par la définition même
des échelles (exemples : entre Calcul et Scientifique,
ou Calcul et Travail de bureau).
2.2.1.2 - Méthode d'exploitation des réponses
Le protocole d'exploitation des réponses des experts repose
sur les principes suivants :
l'unité de réponse correspond au choix exclusif
d'une échelle ;
le choix d'une échelle en première position, lorsque
deux échelles ont été affectées à
un item, est pris en compte pour moitié ;
le choix d'une échelle en seconde position, lorsque deux
échelles ont été affectées à
un item, est pris en compte pour un quart ;
les autres situations (tiret indiquant l'impossibilité
de ne citer que deux échelles, non-réponse, ou citation
de trois échelles - situation rare, mais parfois observée
-) n'entraînent pas d'attribution de point.
Du point de vue pratique, 4 points ont été attribués
au premier cas, 2 au deuxième et 1 au troisième ; le nombre total de points obtenu par un item est désigné
sous le terme de "score observé".
Afin de pouvoir comparer les items, ceux-ci l'ont été
sur la base de pourcentages, et non pas des valeurs absolues.
Le score maximum théorique est le score qu'aurait obtenu
l'item si tous les experts l'avaient affecté à la
même échelle, soit le produit du nombre de répondants
par la valeur attribuée au choix exclusif.
Le pourcentage du score maximum théorique de l'item est
le rapport en pourcentage du score obtenu par l'échelle
dominante (selon le score observé) au score maximum théorique.
Le pourcentage du score observé de l'item à une
échelle est le rapport en pourcentage du score observé
à une échelle au score total observé pour
l'item, et ce pour chaque échelle citée.
Chaque item a été affecté à l'échelle
ayant obtenu le pourcentage du score observé le plus élevé.
2.2.1.3 - Résultats
Pourcentage du score théorique
Malgré la sévérité du test (il existe
toutefois 4 items ayant retenu l'accord unanime des experts sur
le même choix exclusif : 2 pour l'échelle Relations
et commerce, 1 pour les échelles Service social et Travail
de bureau), le score le plus faible est de 72,6 % (Pratique et
mécanique), le plus élevé de 88,8 % (Service
social), alors que la moyenne pour l'ensemble des échelles
est de près de 80 % (78,8 %).
Pourcentage du score observé
Le score le plus faible est de 76,0 % et le plus élevé
de 93,9 % (les échelles sont les mêmes qu'au point
précédent) ; la moyenne pour l'ensemble des échelles
est de 84,2 %.
Dispersions les plus fortes
Celles-ci traduisent des recouvrements entre les échelles
Pratique et mécanique et Pratique et manuel d'une part,
Calcul et Travail de bureau d'autre part.
On peut les interpréter comme étant dues à
une segmentation qui n'est pas toujours effectuée dans
le premier cas, et une différenciation insuffisante d'une
dimension largement partie de l'autre dans le second cas.
Distribution des items selon le pourcentage du score théorique
Près de la moitié des items obtiennent un score
supérieur à 85 % du score théorique, et près
des deux tiers un score supérieur à 75 %.
Cette situation d'ensemble masque toutefois des résultats
quelque peu contrastés selon les échelles. A titre
d'exemple, 14 des 37 items affectés à l'échelle
Service social obtiennent un résultat compris entre 95,1
et 100,0 %, alors que plus du quart des items (9 sur 32) affectés
à l'échelle Pratique et mécanique obtiennent
un score égal au plus à 55,0 %.
Les questionnaires (A et B) étaient supposés comme
relativement équivalents. La comparaison de l'origine des
items selon la section du questionnaire a confirmé cette
hypothèse.
Les experts ont validé à 96,1 % l'affectation a
priori des items (346 sur 360).
2.2.2 - Test des items auprès des jeunes
Les items ont été testés auprès d'un
échantillon de 1 498 jeunes scolarisés âgés
d'un peu plus de 15 ans en moyenne, ainsi qu'auprès d'un
échantillon de près de 200 jeunes ayant cessé
leur scolarité (PAIO , Mission Locale, Centre de Bilan...).
2.2.2.1 - Objectif
L'objectif de ce volet de l'expérimentation est double :
tester la compréhensibilité de chaque activité,
et sa capacité à favoriser l'expression d'un choix
ou d'un rejet ;
mesurer la "popularité" ou "attrait"
de chacune des activités, face aux répondants de
chaque sexe, en vue de la construction des items de l'épreuve.
2.2.2.2 - Le champ de l'expérimentation (public scolarisé)
L'expérimentation a été conduite au cours
du dernier quadrimestre 1989 auprès de 17 établissements
(collèges et lycées) de l'enseignement public, situés
pour la plupart dans le même district scolaire du Val-de-Marne,
ce district offrant une grande diversité de niveaux scolaires
selon les établissements.
L'échantillon a été constitué de 1
498 jeunes scolarisés (près de 60 % en 3ème
de collège ; 1ère, 2ème ou 3ème année
de CAP et 1ère année de BEP , près de 20
% en filière industrielle, et autant en filière
tertiaire) ; 52,2 % de garçons et 47,8 % de filles ; un
âge moyen de 15,4 ans pour les garçons (écart-type
1,1) et de 15,2 pour les filles (écart-type 1,2). Près
des trois quarts des répondants ne disposent d'aucun diplôme
(ou n'ont pas renseigné la rubrique), environ 1 sur 7 dispose
du Brevet des collèges et 1 sur 10 du Certificat d'études
primaires.
2.2.2.3 - Conduite de l'expérimentation
L'expérimentation a été présentée
aux jeunes sous l'intitulé "Enquête sur les
préférences professionnelles des jeunes".
Le questionnaire (A ou B) était introduit par une fiche
d'identification du répondant (anonyme) intitulée
"Qui êtes vous ?" et comportant les rubriques
suivantes :
Je suis âgé de (14 à 20 ans, par tranche
d'½ année, soit 13 cas prévus, plus une rubrique
"autres cas").
Je suis de sexe : masculin ou féminin.
"Les métiers que j'aimerais faire sont." et
"Les métiers que je n'aimerais pas faire sont." ;
Remarques : On notera que cette rubrique se situe avant d'autres interrogations qui auraient pu "contaminer" la réponse à cette question qui se veut ouverte ; on ne saurait toutefois affirmer que la position spatiale est suffisante pour éviter ce risque : la prise de connaissance et la réponse au questionnaire ne sont pas forcément linéaires ; il s'agit seulement de tenter de limiter le risque.
Il a été proposé un cadre sans numéros d'ordre et non ligné afin de ne pas induire l'attente d'un nombre de réponses déterminé par le support.
Je suis en cours de scolarité : OUI ou NON.
Classe et section fréquentées (ou dernières
classe et section fréquentées).
Diplôme le plus élevé obtenu.
Profession du père.
Profession de la mère.
Identification de l'établissement de passation.
On peut relever dans les consignes (écrites) destinées
aux jeunes les éléments suivants :
"Les réponses sont strictement personnelles.".
"En ce qui concerne vos préférences professionnelles,
il n'y a pas de bonne ou de mauvaise réponse, c'est seulement
une question de goûts personnels, tout le monde pouvant
avoir des goûts différents.", et plus loin :
"Répondez spontanément, en suivant votre première
impression. Ne réfléchissez pas trop longtemps avant
de choisir.".
"Il vous est proposé une liste d'activités
professionnelles. Pour chacune d'entre elles, il vous est demandé
d'indiquer (en entourant le mot correspondant à votre choix),
si :
Vous aimeriez faire cette activité, (ne vous demandez
pas si vous savez ou pourriez le faire, mais simplement si vous
aimeriez le faire si c'était possible) ; la réponse
est alors OUI.
Vous n'aimeriez pas faire cette activité , la réponse
est alors NON.
Vous ne voyez pas ce que représente l'activité
proposée, ou vous ne savez pas dire si vous aimeriez ou
n'aimeriez pas le faire , la réponse est alors "JNSP"
(Je ne sais pas).".
Remarque : La réponse "JNSP" vise à l'identification de deux situations différentes :
La distinction entre ces deux situations ne présentant guère d'intérêt d'un point de vue pratique, et supposant une formulation des consignes bien délicate, le principe d'une modalité de réponse unique a été retenu.
Il était en outre demandé de répondre à toutes les questions, en n'exprimant qu'un choix par question, (et de le vérifier en fin de passation) et un mode de modification de la réponse était indiqué.
2.2.2.4 - Application des questionnaires
