Le développement d'un outil clinique
Plusieurs types d'outils cliniques standardisés sont développés
Des échelles telles que les Échelles d'Intelligence de Wechsler : WPPSI-IV, WISC-V, WAIS-IV, composées de plusieurs subtests (compréhension verbale, raisonnement fluide, etc) mesurant différents domaines et leur intrication.
Des tests non-verbaux comme le RAVEN'S 2 Matrices Progressives (Édition Clinique), pour lequel l'impact du langage et de la culture est minimisé par le recours à des items visuels de type figures géométriques.
Des batteries telles que la CELF-5 ou CLéA, reposant sur plusieurs épreuves pour une exploration des processus langagiers.
Des questionnaires comme le BROWN EF/A ou le BASC-3, comprenant plusieurs questionnaires composés d’énoncés spécifiques suivant les personnes auxquelles ils sont administrés (évaluation du sujet par le sujet lui-même, par l’un de ses parents et/ou son enseignant) qui permettent d'investiguer une problématique, d'orienter vers d'autres outils diagnostics.
Des outils tels que la BAYLEY-4, composée d'épreuves (cognitive, de langage, de motricité, socio-émotionnelle, d'adaptativité) pour observer, évaluer, le développement du nourrisson et jeune enfant.
Des évaluations des apprentissages et compétences scolaires comme le TEDI-MATH qui permet un diagnostic des divers troubles pouvant apparaître au cours des premiers apprentissages de la notion de nombre et du calcul.
Découverte de l'outil
La Cheffe de projet prend connaissance du référentiel théorique décrit dans le manuel, des nouveautés apportées à la révision lorsqu'une précédente version existe, examine le matériel (manuel, cahiers d'administration, livrets de stimuli etc).
Élaboration du plan de recherche
La responsable du Service R&D et la Cheffe de projet établissent les besoins nécessaires pour réaliser l’adaptation française de l'outil. Elles construisent le plan de recherche, calculent les coûts de développement, la durée de développement et les ressources internes et externes nécessaires.
Le plan de recherche détermine notamment les phases de recueil, les critères de stratification, le nombre de sujets nécessaires pour la construction de l’échantillon et les analyses statistiques seront nécessaires (analyses d'items, normes, études de validité, de fidélité, etc).
Tous ces éléments sont ensuite soumis pour approbation au Conseil Scientifique de Pearson US.
La Cheffe de projet procède à la traduction et à l'adaptation des consignes et des items. Elle peut être amenée à collaborer avec un ou plusieurs experts du domaine de l'outil concerné pour aboutir à la meilleure adaptation possible.
Certains items ne peuvent pas faire l’objet d’une simple adaptation. Ainsi, le contenu de certains items verbaux et visuels culturellement inadéquats peut être modifié ou supprimé. De nouveaux items sont alors créés ou adaptés pour la France puis testés lors de la phase de pré-expérimentation. Cette phase permet de réaliser les analyses qui détermineront quels items intègreront la forme française de l’adaptation en remplacement des items supprimés.
Entre deux et cinq items français sont créés pour chaque item original supprimé (notamment lorsque l'item contient du contenu verbal). Ces nouveaux items font référence à la même catégorie (par exemple, un verbe pour un verbe si c'est une épreuve de Vocabulaire) et ont le même niveau de difficulté que l'item supprimé. Ils doivent convenir à tous les âges prévus pour le test et être facilement cotables selon la modalité prévue. Leur contenu est soigneusement étudié et ne doit pas avoir de connotation politique ou religieuse.
Quand un item contient une image, son design peut être revu s'il n'est pas culturellement adapté à la France. Par exemple, est redessiné tout ce qui est typiquement américain comme les cars scolaires, les boîtes aux lettres, les uniformes, les références à la monnaie, les panneaux de signalisation, ou remplacé comme par exemple les battes de base-ball qui sont remplacées par des raquettes de tennis ou certains éléments architecturaux typiques des États-Unis comme la Maison blanche, par un bâtiment connu des français.
Quelques exemples :
- L'item « Why is candy not sold in some schools ? » : « Pourquoi les bonbons ne sont-ils pas en vente dans certaines écoles ? » sera supprimé car il n'est pas adapté à la France où on ne vend pas de bonbons à l'école.
- L'item « Who wrote the book « the Hobbit »? » : « Qui a écrit «le Hobbit» ?» sera changé en un item de difficulté équivalente : « Qui a écrit « L'étranger » ?» car trop marqué culturellement.
- Dans une épreuve d'association d'images et noms, des noms de poissons, de plantes et de coquillages par exemple doivent être adaptés à la phonologie française. Les caractéristiques formelles des noms sont conservées : une syllabe pour les noms de poissons, deux syllabes pour les noms de plantes et trois syllabes pour les noms de coquillages. En revanche, les syllabes sont choisies pour correspondre à des syllabes utilisées en langue française, en contrôlant qu'aucune n'ait de signification en elle-même. Ainsi, le poisson « KOH » deviendra « KAIN » en français, ou encore la plante « NEE-DEW » deviendra « NEU-DON » en français.
- L’item « What Florence Nightingale is famous for ? » (« Pour quoi Florence Nightingale est-elle connue ? ») sera remplacé par « Montre-moi ce qui te fait penser à Pasteur ». La réponse dans la version américaine renvoie à un personnage inconnu en France (Florence Nightingale). L’image cible est cependant conservée et la question est adaptée. Florence Nightingale et Louis Pasteur sont deux figures de la communauté scientifique.
Une fois la traduction terminée et validée, la Cheffe de projet en charge de l’adaptation française administre les items et les consignes à un petit groupe de sujets pour vérifier leur bonne compréhension pour réaliser une passation standardisée. Des améliorations sont effectuées si nécessaire. Elles peuvent porter sur certaines formulations des items ou des consignes manquant de clarté ou qui nuiraient à une bonne compréhension de la tâche demandée.
La version construite sur la base des résultats de la phase pilote peut alors être élaborée : les cahiers d’administration, le manuel comportant les consignes d’administration et de cotation nécessaires au recueil des données, ainsi que le livret de stimuli dans certains cas sont conçus, mis en page, maquettés et relus en interne avant de partir chez l’imprimeur.
Selon l’outil, la phase pilote est alors suivie de la phase de pré-expérimentation ou de la phase d’étalonnage, qui font toutes les deux l’objet d’un recueil.
Une pré-expérimentation de l’outil est nécessaire dans certains cas, et peut ne concerner que certains subtests de ce dernier. Elle est utile pour stabiliser la forme d’étalonnage de l’outil en supprimant les items non discriminants et en permettant de les ordonner suivant leur ordre de difficulté.
Pour le recueil de la pré-expérimentation, un échantillon respectant les critères INSEE d'âge, de sexe et de niveaux d'études est construit. À ce stade, le plus important est de recueillir un maximum d'informations sur les items afin de pouvoir ensuite réaliser les traitements statistiques adéquats pour construire la forme d'étalonnage. Tous les items de l’outil doivent être administrés à l’ensemble de l’échantillon afin de procéder aux analyses statistiques nécessaires ; c’est pourquoi les règles de départ et d'arrêt ne sont donc pas appliquées.
La Coordinatrice du recueil lance un appel à collaboration auprès des professionnel(le)s intégré(e)s à la base de données. Les personnes intéressées reçoivent alors un matériel pré-expérimental afin qu’ils puissent procéder à l’administration de l’outil sur les sujets qu’ils auront recrutés à cette fin.
Toutes les consignes d'administration et de standardisation sont détaillées dans le manuel de pré-expérimentation.
Chaque cahier ou questionnaire rempli par un(e) examinateur(trice) est soigneusement vérifié par la Coordinatrice du recueil à sa réception en ce qui concerne le choix du sujet, le remplissage des critères biographiques et le respect des consignes d’administration. Tout cahier ou questionnaire invalide est refusé.
La cotation des épreuves est toujours réalisée sous la responsabilité de la Cheffe de projet. Pour certaines épreuves verbales qui nécessitent une étude qualitative de leur réponse, une équipe de correctrices externes travaillant avec le Service R&D intervient avec la Cheffe de projet pour construire les critères de cotation, sur la base des réponses recueillies lors du recueil. Pour chaque cahier ou questionnaire, les notes aux items sont saisies puis des analyses statistiques (difficulté, sensibilité, discrimination, etc.) sont réalisées par l'équipe Psychométrie.
Les résultats des analyses statistiques permettront de sélectionner et d’ordonner les items qui serviront à la construction de la forme d'étalonnage.
De la même façon que précédemment, la version d’étalonnage, construite sur la base des résultats de la phase pré-expérimentale peut alors être élaborée : les cahiers d’administration, le manuel comportant les consignes d’administration et de cotation nécessaires au recueil des données, ainsi que le livret de stimuli dans certains cas, sont conçus, mis en page, maquettés et relus en interne avant de partir chez l’imprimeur.
La Coordinatrice du recueil lance à nouveau un appel à collaboration auprès des examinateurs(trices) pour participer à l'étalonnage. L'échantillon de sujets à trouver est plus important que celui du recueil pré-expérimental.
L’échantillon est stratifié selon le dernier recensement INSEE disponible afin d’être représentatif de la population française métropolitaine. En conséquence, les critères de sexe, d’âge et de niveau d’études (du sujet ou de ses parents, selon l’âge) sont strictement contrôlés.
Les sujets sélectionnés par les examinateurs(trices) pour le recueil des données de l’étalonnage doivent remplir les critères d’inclusion / exclusion propre à l’étude (une fiche est remise aux examinateurs(trices)) et doivent notamment être exempts de tout trouble identifié lorsqu’ils sont proposés comme sujets tout-venant. Ces données vont permettre de construire les étalonnages français de l’outil et de mener certaines études complémentaires de fidélité et de validité (test-retest, corrélation avec d’autres outils, etc.)
En parallèle, des sujets porteurs d’un diagnostic clinique posé doivent également être sélectionnés et évalués par les examinateurs(trices) pour les études de validité.
Toutes les consignes permettant d’effectuer une administration standardisée sont détaillées dans le manuel d'étalonnage : règles de départ, de retour, d'arrêt, éventuellement temps limite de réponse pour certains items. Le but étant d'établir les normes de l'outil définitif, la standardisation est primordiale.
Comme pour la phase précédente de pré-expérimentation, chaque cahier ou questionnaire rempli par un(e) examinateur(trice) est soigneusement vérifié par la Coordinatrice du recueil à sa réception en ce qui concerne le choix du sujet, le remplissage des critères biographiques et le respect strict des consignes d’administration. Tout cahier ou questionnaire invalide est refusé.
De la même façon, la cotation des épreuves est toujours réalisée sous la responsabilité de la Cheffe de projet. Pour certaines épreuves verbales qui nécessitent une étude qualitative de leur réponse, l’équipe de correctrices externes travaillant avec le Service R&D intervient une nouvelle fois avec la Cheffe de projet pour construire les critères de cotation, sur la base des réponses recueillies lors du recueil. Ces critères de cotation seront inclus dans le manuel définitif.
Les notes aux items sont ensuite saisies, les fichiers de données vérifiés et validés avant d’être transmis à l’équipe Psychométrie qui va réaliser toutes les analyses statistiques incluses dans le manuel définitif (construction des normes, études de fidélité et validité).
La Cheffe de projet finalise la rédaction du manuel avec les données et analyses effectuées.
Élaboration du matériel définitif en différentes versions
Le responsable de la réalisation produits du service R&D réalise les maquettes des différents éléments qui vont constituer le matériel définitif de la version papier comme le ou les manuel(s), le livret de stimuli, les cahiers de réponses, etc. L’ensemble de l’équipe R&D sous la responsabilité de la Cheffe de projet va participer à la relecture attentive de ce matériel, afin d’y apporter les corrections nécessaires si besoin. Toute l'équipe s'attelle ensuite aux relectures et corrections.
Certains outils étant également disponibles sur les plateformes Q-Interactive et Q-Global, la Cheffe de projet assure également la responsabilité de l’ingestion et de la vérification des contenus définitifs via les différents outils disponibles, liés à ces deux plateformes et procède à la vérification des différents contenus informatisés (items, consignes, rapports de résultats, etc) et à l’homogénéité des différentes versions disponibles pour le client (papier et informatisée).
L’envoi en fabrication du matériel définitif de l’outil clôture ces longues années (entre trois à cinq ans) de travail de développement. L'équipe R&D passe ensuite le relais à l'équipe marketing qui mènera les actions de communication sur l'outil au moment de sa commercialisation.