Par EWOUT TER HAAR & OTAVIANO HÉLÈNE*
Un simple examen standardisé comme Enade n'est pas adapté pour évaluer un système d'enseignement supérieur innovant et diversifié, c'est pourquoi aucun pays au monde n'utilise une méthodologie similaire.
Au programme également, comme cela s'est produit à plusieurs reprises au cours des vingt dernières années, la participation de l'USP à l'Examen national de performance des étudiants (Enade), à commencer par les cours de premier cycle. Le suivi et l’évaluation systématiques des cours universitaires sont des actions bienvenues et nécessaires. L'USP doit certainement assumer ses responsabilités et créer des mécanismes pour cette tâche. Cependant, l'éventuelle adhésion de l'USP à Enade doit être traitée avec beaucoup de prudence, pour trois raisons principales.
Dans un premier temps, nous soutiendrons qu’un simple examen standardisé comme Enade n’est pas adapté pour évaluer un système d’enseignement supérieur innovant et diversifié, c’est pourquoi aucun pays au monde n’utilise une méthodologie similaire. Une deuxième raison est qu’en participant à Enade, l’USP soumettrait inutilement ses programmes de premier cycle à une réglementation homogénéisante, conçue pour d’autres types d’établissements, avec le risque de restreindre leurs programmes. Enfin, pour les cours USP, Enade générerait des chiffres très instables, inappropriés pour soutenir de bonnes politiques éducatives.
Il faut savoir quels sont les objectifs d’une évaluation
Il est largement reconnu dans la communauté des spécialistes de l’évaluation pédagogique que la validité d'un test nécessite des preuves concernant l'utilisation et l'interprétation de ses résultats. La valeur et la validité d'Enade doivent toujours être jugées par rapport à la manière dont l'USP utilisera et interprétera ses résultats. En effet, tout processus d'évaluation doit être précédé d'un travail qui définit la finalité de ce qui est évalué.
Une université, par exemple, a de multiples fonctions, telles que former du personnel professionnel, favoriser le développement social et culturel, contribuer à l'avancement des processus de production, produire et s'approprier des connaissances scientifiques, entre autres. En plus de ces finalités multiples, il faut savoir quel est l’objectif de chacun d’eux et jusqu’où l’on souhaite aller. Une réponse simpliste serait de dire qu’une université a tous ces objectifs et que le but ultime est le paradis. Cependant, ce type de réponse est irresponsable, car si plus d’efforts sont consacrés à un objectif, moins d’efforts seront consacrés aux autres.
Par conséquent, la question qui doit anticiper toute discussion sur l’évaluation est de connaître l’objectif de ce qui est évalué. Il existe plusieurs exemples de cas où cette question se pose avant l'évaluation. Peut-être que des discussions concernant les grandes universités de l’État de Californie, aux États-Unis, pourraient aider à comprendre le processus. Un exemple bien connu et frappant est celui la planification du système d'enseignement supérieur dans cet État américain, dans les années 1960.
Actuellement, ce système comporte trois volets : un collèges, qui compte près de deux millions d'étudiants, propose une formation professionnelle et culturelle et constitue un tremplin pour les étudiants souhaitant poursuivre des études supérieures dans une université ; l'Université d'État de Californie, qui compte plus de 400 300 étudiants, dont l'objectif principal est la formation de professionnels, sans exclure, bien entendu, la production scientifique et culturelle ; et l'Université de Californie, qui compte près de XNUMX XNUMX étudiants, dont les principaux objectifs incluent la production de connaissances scientifiques, sans exclure la formation de professionnels.
Évidemment, dans le cas de cet exemple, les critères d’évaluation de chaque partie de ce système d’enseignement supérieur ne peuvent pas être les mêmes. Enade, en revanche, même dans sa nouvelle version, est un examen unique, le même pour tous les cours d'un domaine, qui cherche à caractériser avec seulement une centaine de questions à choix multiples les quatre années de formation des diplômés des filières de l'enseignement supérieur. , en seulement une ou deux dimensions. Demandons-nous : quel est le rôle des cours USP dans la société ? Enade aide l’USP à évaluer si ses cours contribueront à «former des leaders professionnels et des citoyens conscients de leur rôle social"?
Théodore Porter, dans son ouvrage classique sur l'histoire de la construction de l'objectivité dans les politiques publiques, souligne les avantages politiques de créer des métriques prétendument objectives pour les managers (« c’est l’algorithme et la métrique qui décident »). Dans des sociétés comme le Brésil, où règne un sentiment répandu selon lequel le jugement et expertise Les ressources humaines étant particulièrement suspectes et sujettes à la corruption, le recours à des preuves et des tests objectifs dans les processus d'évaluation tels que les concours ou les appels d'offres est considéré comme indispensable. D'une part, dans l'éducation, la culture de l'évaluation externe et de la comparabilité à travers des tests standardisés a donné lieu à des avancées importantes, comme le Recensement Scolaire, Saeb et les indicateurs de gestion qui en dérivent, comme l'Ideb, qui accompagnent l'éducation de base dans tout le Brésil. Mais il est important de reconnaître les limites de validité des examens standardisés comme Enade.
L’insuffisance des examens standardisés pour évaluer l’enseignement supérieur
Le Brésil est le seul pays au monde qui utilise un test objectif dans le double but d'évaluer et de réglementer son système d'enseignement supérieur. Presque aucun autre pays ne cherche à contrôler la qualité de son système d’enseignement supérieur au moyen d’un examen standardisé administré aux diplômés à la fin de leurs études. Les raisons en sont exposées sous une forme limpide dans un rapport de l'OCDE, qui, à la demande du gouvernement brésilien, a étudié son système « d'assurance qualité » pour les cours. Le rapport, bien qu'élaboré par une organisation connue pour son engagement à gérer les systèmes éducatifs à l'aide de données quantitatives, est très critique à l'égard du système actuel et montre que les objectifs de l'Enade, qui consiste à mesurer l'apprentissage des diplômés de l'enseignement supérieur, sont totalement irréalisables, pour trois principales raisons.
Premièrement, contrairement à une évaluation effectuée à la fin de l’enseignement primaire, il n’est pas clair ce qu’il faut mesurer. Il n’existe pas, et ne devrait pas exister, comme dans le cas de l’éducation de base, un ensemble de compétences et d’aptitudes communes que chacun doit acquérir. L'une des caractéristiques de l'enseignement supérieur est que la diversité des programmes et des objectifs d'apprentissage est très grande. Une Enade qui n'évalue que les compétences les plus génériques dévalorise les formations capables de travailler précisément sur les compétences plus spécialisées attendues d'un cursus d'enseignement supérieur. Mais toute évaluation de compétences plus spécifiques suivrait nécessairement une vision singulière des objectifs d’un cursus, au détriment de la pluralité des visions valorisées aux étapes plus avancées du système éducatif.
Un deuxième défi est technique : comment créer un examen relativement court, capable d'évaluer de manière fiable les contenus et les compétences acquises au cours de quatre années de formation ? À des fins de régulation, la nouvelle Enade (pour l'instant, pour les cours de premier cycle) propose d'utiliser la théorie des réponses aux items (IRT), en créant un examen avec 45 questions à choix multiples pour la dimension Formation générale et 60 pour une dimension spécifique pour chaque domaine. Même en admettant que la compétence pédagogique soit un concept qui peut être saisi sur une échelle numérique à une ou deux dimensions – une préposition très problématique pour les raisons expliquées ci-dessus – il est encore plus douteux qu’une centaine de questions à choix multiples soient capables d’évaluer équitablement quatre années d’études. de formation.
Troisièmement, en établissant un examen standardisé qui, pour des raisons pratiques, est nécessairement court et axé sur un ensemble très limité de compétences, il existe un risque énorme que les cours forment leurs étudiants uniquement à ces compétences. Ce rétrécissement du programme nuirait aux possibilités d’innovation et à la capacité des cours à s’adapter aux changements et aux circonstances locales.
Toutes ces raisons évoquées par les experts de l’OCDE limitent considérablement les conclusions justifiées qui peuvent être tirées des tests standardisés dans l’enseignement supérieur. C’est pour ces raisons qu’aucun autre pays au monde n’évalue ses cursus d’enseignement supérieur par ce type de processus. Un projet pilote promu par l’OCDE en 2013, l’initiative AHELO, a été abandonné car jugé irréalisable. En Europe et aux États-Unis, plutôt que de s'appuyer sur une forme unique d'évaluation, les systèmes d'enseignement supérieur sont évalués par des agences d'accréditation qui emploient des formes d'évaluation larges et holistiques.
Le nouvel Enade augmentera le nombre de questions et utilisera l'IRT pour avoir une comparabilité entre les années d'application et améliorer la précision. Comme tout examen standardisé, le nouvel Enade a le potentiel de fournir des preuves précieuses pouvant contribuer à améliorer l’orientation des cours ou des politiques publiques. Mais les experts en évaluation pédagogique avertir qu'un test ne mesure pas nécessairement ce que dit son titre et qu'un peu de magie d'égalisation ne laisse pas forcément deux tests équivalents. La littérature sur l’évaluation met particulièrement en garde contre la quasi-impossibilité d’utiliser un seul test à des fins diagnostiques et réglementaires.
Le fonctionnement, la validité, la fiabilité et l'interprétation du nouvel Enade doivent être étudiés avant d'utiliser les chiffres générés par celui-ci à des fins réglementaires et à d'autres fins de grande valeur. Il est très inquiétant que l'Inep, l'organisme responsable d'Enade, ait mal calculé entre 2014 et 2021 l'indicateur le plus important dérivé d'Enade, de sorte que attribuer des numéros essentiellement aléatoires aux cours. L'erreur a finalement été corrigée en 2024, mais le fait qu'aucun des intéressés par le processus d'évaluation n'ait remarqué son existence pendant toutes ces années fait douter du véritable rôle régulateur des indicateurs de l'Inep, ainsi que de sa capacité à contrôler la qualité des siens. .indicateurs.
Raisons spécifiques pour lesquelles l'USP n'utilise pas Enade
Outre les difficultés générales soulignées par l'OCDE et les experts en évaluation, dans le cas de l'USP, il existe d'autres raisons d'être sceptique quant à la participation à Enade.
Tout d'abord, un point technique. Dans l’Enade actuel, si l’on exclut l’effet de l’Enem pour les étudiants de première année, la variance des notes des cours est faible : seulement environ 10 % de la variance des notes des étudiants. En d’autres termes, la variation de la note Enade entre les étudiants d’un cours donné est bien plus grande que la variation entre les moyennes des cours, et cela continuera à être vrai pour le nouvel Enade. Cela signifie que tout indicateur de cours dérivé du score Enade des étudiants doit être calculé avec de nombreux étudiants participants pour avoir une fiabilité statistique.
Il s'avère que, selon le recensement de l'enseignement supérieur, seuls cinq des 34 cours de premier cycle de l'USP comptent plus de 50 diplômés (moyenne des cinq dernières années). Pour la majorité des cours de premier cycle de l'USP (ainsi que pour d'autres cours), toute moyenne ou autre indicateur dérivé d'Enade sera assez instable et ce serait une erreur d'adopter des politiques basées sur eux.
Deuxièmement, en principe, l'examen pourrait fournir des informations intéressantes sur les cours de l'USP, si les résultats étaient utilisés à des fins de diagnostic. Mais un argument circule selon lequel la participation de l'Enade pourrait exempter les cours de la nécessité de renouveler leur reconnaissance par le Conseil national de l'éducation, montrant clairement la volonté que leurs résultats soient utilisés à des fins réglementaires.
Dans ce cas, il y aura une pression presque inévitable pour que les cours soient guidés par la matrice étroite d'Enade au lieu d'être guidés par les directives nationales des cours, qui, à dessein, laissent la liberté aux cours de concevoir leurs programmes en fonction des réalités locales. De même, l'adhésion à Enade affaiblira les propres efforts de l'USP pour mettre en œuvre un programme d'évaluation plus large de ses cours, plus adapté à son propre contexte.
Conclusion
Il est peu probable que l'USP profite de la participation d'Enade ; au contraire, la soumission de l'USP au système réglementaire fédéral, tel qu'il est mis en œuvre aujourd'hui, implique de grands risques pour la qualité de nos cours. Il y aura un risque de rétrécissement des programmes en raison d'effets secondaires (enseigner à l'épreuve) d'être évalué par un examen trop simple, inadapté à la diversité des formations de l'USP.
De plus, en adhérant à une forme de réglementation superficielle, en utilisant des indicateurs instables et peu valables, l’USP perd l’opportunité de concevoir ses propres évaluations riches et multiformes de ses cours. Et pour la majorité des formations de l'USP, soit moins de 50 diplômés par an, les chiffres générés par l'Enade conduiront à des indicateurs quasi aléatoires, trop instables pour étayer les politiques éducatives.
L'USP doit s'efforcer de mettre en place son propre système d'évaluation de ses cours et d'utiliser ses expertise faire pression sur les organismes de contrôle de la qualité de l’enseignement supérieur pour qu’ils utilisent des méthodes plus valables à des fins réglementaires. Pour être utile, un examen de type Enade ne fonctionnerait que dans un rôle de diagnostic, pour des unités d'analyse plus larges que les cours et sur base d'échantillons, pour éviter les effets secondaires de l'évaluation que nous avons soulignés.
*Ewout ter Haar est professeur à l'Institut de physique de l'USP.
*Otaviano Hélène est professeur principal à l'Institut de physique de l'USP.
Initialement publié le Journal de l'USP.
la terre est ronde il y a merci à nos lecteurs et sympathisants.
Aidez-nous à faire perdurer cette idée.
CONTRIBUER
