Des pièges des statistiques, en marge du documentaire Les enfants du Palmarès

Notions abordées : Les informations personnelles permettent un formidable accroissement des connaissances sur les individus, les groupes et les sociétés

Un nombre croissant de décisions concernant les individus et les organisations sont fondées sur des informations personnelles ou des informations dérivées

Un ensemble d’informations personnelles décrit moins un être humain en particulier qu’une relation entre des personnes

Les informations personnelles ne sont ni données, ni reflet idéal de la réalité: elles sont des artéfacts,  des objets fabriqués par des êtres humains en vue de la réalisation d’un objectif précis

Les conflits relatifs aux informations peuvent porter sur n’importe quelle dimension de leur production ou de leur utilisation

Avant même qu’il soit diffusé, le film Les enfants du Palmarès de la réalisatrice Marie-Josée Cardinal fait déjà beaucoup parler. Ce documentaire sera présenté à la télévision sur Canal D le dimanche 18 octobre 2009 à 19h ainsi que le lundi le 19 octobre à 13h. Ce film traite des angoisses vécues chez plusieurs parents et enfants qui cherchent à réussir, coute que coute, l’accès à une place dans les écoles privées les plus cotées ainsi que ce qui arrive à ceux qui échouent ou réussissent d’y être admis.

Le palmarès du titre réfère au désormais Palmarès des écoles secondaires du Québec (ici en format PDF) publié depuis 10 ans par le magazine L’Actualité. C’est de ce tableau comparatif des écoles que je vais discuter ici.

Nous nous sommes donné au Québec la liberté de choisir pour nos enfants parmi un éventail d’écoles, programmes d’études et projets éducatifs. Un embarras du choix que j’ai vécu comme tout autre parent. Embarras que le Palmarès complique par ses faiblesses, mais surtout parce qu’il demeure l’unique guide comparatif grand public disponible.

J’utilise le Palmarès depuis sa création. Notamment lors de visites des écoles où je songeais à inscrire ma plus jeune. Le Palmarès offre une illustration particulièrement parlante pour des élèves de quatrième secondaire des rôles que les informations personnelles jouent désormais dans la vie informatisée des individus, organisations et sociétés. Car en échange de causeries visant à susciter l’intérêt pour des carrières scientifiques, des conseillères en orientations m’offraient accès au quotidien de leur école hors des mises en scène des journées portes ouvertes.

Partant du bulletin scolaire, j’expliquais aux élèves la société de l’information et l’importance des diverses disciplines techniques et scientifiques associées. Tout d’abord, comment des informations personnelles parlent rarement d’une personne en particulier, mais plutôt d’une relation entre plusieurs personnes. Ainsi, le bulletin ne parle pas que de l’élève, mais aussi de ses enseignants. Une direction peut donc utiliser les informations du bulletin pour évaluer le travail de ses enseignants, individuellement et collectivement.

Si visualisée plein écran, commander « autoplay » pour lancer

Compilées, ces informations des bulletins permettent également de produire des portraits par école, par commission scolaire, entre écoles ou entre commissions scolaires, pour le Québec ou entre pays. La petite animation incluse dans ce billet illustre comment. Ces différentes compilations d’informations permettent de constituer des portraits de la performance des élèves, des enseignants, des écoles, des commissions scolaires, d’un système scolaire, d’un pays. Ils structurent les discussions, les débats publics et la prise de décisions diverses. Notamment celle du choix d’une école secondaire.

Or, les bulletins, compilations et palmarès sont conçus en vue de réaliser des objectifs précis. Adéquatement produits pour une tâche, ils s’avèrent souvent défaillants pour une autre. En outre, il faut s’assurer que la production de ceux-ci ne nous coupent pas de la réalité même que nous souhaitons saisir.Portrait pour gestionnaires

Le Palmarès publié par L’Actualité est produit, non par des pédagogues ou conseillers en orientation, mais plutôt par des économistes pour l’Institut économique de Montréal dont la mission est de promouvoir l’approche économique des débats de politiques publiques. Cela explique donc pourquoi le Palmarès ressemble à un croisement entre un tableau de bord de gestionnaire et un tableau comparatif d’entreprises cotées en bourse, n’offrant de résultats que par écoles. Il se présente des caractéristiques typiques d’un outil de gestion quantitative, bien adapté à une utilisation par des directions d’écoles, des conseils d’établissements, des décideurs publics. Il répond cependant mal aux besoins des parents.

Un guide destiné aux parents et enfants présenterait des particularités radicalement différentes. Fondé sur des facteurs avérés de réussite scolaire, il réunirait des indicateurs non seulement quantitatifs, mais aussi qualitatifs, qui proposent une véritable démarche de choix d’école.

Par exemple, un facteur clé reconnu de la réussite - de bonheur et satisfaction aussi - est l’adhésion partagée des parents, enfant, enseignants et direction à un même projet pédagogique (indépendamment qu’il s’agisse d’une école « libre » « disciplinée », « traditionnelle » ou « alternative »). Un guide adéquat pourrait donc offrir un exercice permettant aux parents et à l’enfant d’expliciter leurs valeurs propres pour ensuite proposer la courte liste des programmes promouvant des orientations pédagogiques, philosophiques, artistiques, sportives ou techniques compatibles avec ces valeurs.

Ensuite, le guide pourrait offrir des indices quantitatifs de performance, non pas par écoles, mais bien plutôt pour chacun de ces programmes d’études. Car nombre d’écoles offrent plusieurs programmes (jusqu’à cinq différents !) avec leurs propres enseignants, direction et clientèle étudiante. Les cotes par écoles du Palmarès sont ici insignifiantes et mal adaptées à la prise de décision parentale.

Derrière l’école, des élèves et des enseignants

Idéalement, un tel guide mesurerait aussi le progrès des élèves entre la première et la cinquième année dans des matières de base, par exemple en lecture et en écriture. On verrait ainsi dans quelle mesure de l’enseignement se fait ou non, et avec quels effets sur la progression des élèves. Idéalement encore, ces informations devraient être fournies par catégories d’élèves pour être vraiment utiles. Car notre enfant n’est pas une moyenne statistique abstraite et la performance globale d’un programme peut très bien être réalisée aux dépens des élèves doués ou avec problèmes d’apprentissage.

Ce qui nous amène à un autre malentendu fréquent à propos Palmarès : la mesure du travail des écoles. Comme je le présente dans la petite animation incluse dans la présente, peu importe qu’on produise et présente des statistiques par individu, par classe, par programme, par école, par commission scolaire, par province ou par pays. Ce sera toujours d’élèves et d’enseignants dont ces informations parleront à la base. Car toutes ces statistiques dérivent des mêmes informations de base : les résultats scolaires qui sont des informations coproduites par l’élève qui fournit un travail et l’enseignante qui l’évalue.

Les statistiques du Palmarès mesurent donc moins des écoles comme entreprises que des groupes d’élèves et d’enseignants. Or, il est évident qu’un groupe d’élèves présélectionnés en fonction de leurs résultats scolaires et leur comportement performera mieux qu’un groupe qui inclut des élèves moins forts ou ayant des problèmes de comportement. Les résultats par école ne parlent donc pas du travail des écoles. Les auteurs du Palmarès l’ont vite reconnu, mais ont tout de même pris huit ans avant de produire un « indicateur d’impact » du personnel des écoles sur la réussite scolaire.

Or, cet indicateur d’impact est une mixture mathématique ésotérique fondée sur la plusieurs paramètres (scolarité des mères et revenus moyens des ménages provenant de résultats de recensement) dont le dosage uniforme pour toutes les écoles ne peut être que découler d’hypothèses (« moyenne théorique cible », « écart-type théorique cible ») nécessairement arbitraires. Il faut d’ailleurs trois pages et demie (page 24 et suiv.) aux auteurs pour expliquer comment est calculé cet indicateur d’impact dérivé de l’indicateur de résultat de base.

Une mesure d’impact des enseignants fondée sur la progression des adolescents entre leur entrée et leur sortie d’un programme d’étude serait non seulement plus compréhensible par les parents. Elle aurait aussi l’avantage de se calculer directement à partir des résultats scolaires effectivement constatés plutôt que par l’application d’un calcul théorique moyen des effets (très réels) de certains facteurs sociaux sur la réussite.

En fait, un guide grand public d’aide à la démarche de choix des parents ne viserait pas à déterminer la meilleure école dans l’abstrait, mais bien plutôt le programme d’étude le mieux adapté aux besoins et intérêts spécifiques de leur enfant. Ce guide expliciterait des facteurs clés de réussite que parents et enfants seraient invités à les considérer un à un, puis à les pondérer ensemble pour le choix d’une école. Ensuite seulement, il donnerait des indications par école (ou pointerait vers où sont ces indications sont disponibles).

Un monopole statistique comme piège à la pensée

Depuis dix ans, le Palmarès est critiqué de tous côtés. Mais personne n’a produit et diffusé massivement quelque option de rechange grand public.

Au départ, les créateurs du Palmarès déclaraient vouloir favoriser les bénéfices qu’apporteraient les mécanismes de marché et la concurrence pour le système scolaire. Cependant, après 10 ans, leur Palmarès demeure dans une position de monopole de fait pour la fourniture de statistiques comparatives destinées aux parents. Une situation contreproductive, notamment en regard de l’idéologie même des producteurs du Palmarès.

Sans concurrence, les faiblesses du Palmarès ne peuvent apparaître clairement aux yeux des parents, ni ses auteurs être poussés à les corriger. Mais surtout, sa valeur en tant qu’outil de mesure du travail des écoles et d’aide à la décision parentale n’a pu être relativisée. Elle a même été mythifiée plutôt. Avec certains effets pervers dénoncés dans le documentaire de Marie-Josée Cardinal.

Pourtant, le personnel des écoles croule sous la demande de production de bulletins et de rapports payés à même nos impôts. Pourtant, nous disposons d’ordinateurs d’une puissance sans précédent pour traiter ces mines d’informations ainsi que du Web pour proposer des guides conviviaux et accessibles.

Ne serait-il pas le temps d’offrir un véritable soutien à la liberté de choix plutôt qu’une source d’angoisse ? Qui des associations de parents d’élèves, des commissions scolaires, du ministère ou des universités - et aussi de l’Institut économique de Montréal et de l’Actualité - veut relever ce défi ?

Et ma jeune ? Elle a finalement vécu cinq ans de bonheur et succès dans une école qui, l’année de son admission, n’était même pas recensée par le Palmarès…