Par ARLEY RAMOS MORENO*
La production intellectuelle et scientifique réalisée dans notre université publique
Voici une question et une affirmation, placées en titre, qui peuvent s'appliquer à la production intellectuelle et scientifique réalisée dans notre Université publique. Le thème est d'actualité et, pour cette raison même, soulève des polémiques que seuls la discussion et l'approfondissement pourront éclairer et, peut-être, apaiser.
Comme toute question, celle que nous posons relève aussi d'un doute : faut-il, en effet, évaluer la production académique ? Il me semble que l'évaluation est, dans ce cas, très importante. Pour plusieurs raisons. Je voudrais en souligner seulement deux, parmi les autres possibles.
Le premier concerne l'importance sociale des résultats de la recherche universitaire : la qualité des produits créés à l'Université aura un impact direct sur la qualité de vie de la société – lorsque, bien sûr, ces résultats sont diffusés et correctement mis en œuvre par les pouvoirs publics. et plusieurs mécanismes qui s'occupent de sa transmission. Il s'agit de remplir un devoir éthique, avec la société qui entretient l'Université publique, de procéder à des évaluations périodiques et systématiques des résultats de la recherche. Devoir éthique, non seulement d'évaluer, mais surtout de chercher à améliorer la qualité des produits de la recherche : l'évaluation doit être un instrument d'amélioration de la recherche et non une fin en soi.
De ce point de vue, l'importance de l'évaluation est liée au caractère public de l'institution universitaire, qui ne peut manquer de se conformer à cette manière de rendre des comptes à ceux qui lui font confiance, sous forme d'impôts publics.
Or, ce bilan est bien différent d'un autre, également très important, qui vise exclusivement le développement interne de la recherche elle-même dans les différents domaines de la connaissance. Dans ce deuxième cas, l'évaluation prendra différentes formes, liées aux domaines et aux diverses activités qui composent l'Université. Il s'agit donc de tenir à jour, pour les membres de la communauté académique, l'état de la recherche dans leurs domaines spécifiques. Les formes d'évaluation interne dans chaque domaine sont consensuelles et, normalement, ne conduisent pas à des controverses majeures au-delà de celles qui opposent les différents modèles explicatifs d'un point de vue théorique ; dans ce cas, les conflits font partie de l'évolution même des domaines du savoir.
Les controverses et les différends se multiplient cependant lorsque, lors de l'évaluation de la production académique pour rendre des comptes à la société, les institutions universitaires entrent en compétition pour obtenir des financements des organismes de financement de la recherche. C'est juste qu'en affichant leur mérite académique et leur excellence, les institutions deviennent, aux yeux des agences, plus ou moins dignes de nouveaux fonds pour développer la recherche. Le conflit surgit, à ce moment, parce que la méthode d'évaluation doit être standardisée – pour être appliquée indistinctement, avec une prétendue objectivité, à tous les domaines de recherche – malgré, cependant, la grande diversité qui existe entre eux. Et nous arrivons ici à la deuxième question que nous posons dans le titre sous forme d'énoncé : il faut mesurer.
Il ne fait aucun doute que l'activité de mesure est indispensable à l'organisation que nous imposons à notre expérience du monde en général. Nous devenons capables de comparer les objets et les événements les plus divers entre eux, d'établir des standards et des normes à travers des théories et des techniques à la fois conventionnelles et consensuelles. Avec cela, nous créons des unités temporelles, spatiales, gravitationnelles, énergétiques et créons également des unités d'autres types, telles que des échantillons de couleurs, de formes, de sons, ou même des échantillons d'objets, d'actions, de situations et même, d'états psychologiques et de sensations - par exemple. exemple, à travers des comportements institués comme échantillons.
Il existe des techniques plus variées pour créer des étalons de mesure, certaines permettant de faire des comparaisons précises par quantification numérique et d'autres permettant de faire des comparaisons analogiques. Cependant, il n'y a pas de différence de nature entre les différents types de techniques de comparaison, seulement des différences dans les degrés de précision avec lesquels leurs unités mesurent. Ce sont toutes des techniques de mesure et, partant, de comparaison d'objets et d'événements – aucune n'autorisant un jugement sur la valeur des objets mesurés. Nous abordons ici le point controversé du processus d'évaluation de la production académique.
Les techniques de mesure numérique sont tout à fait adaptées pour organiser des objets et des événements qui peuvent être segmentés en unités discrètes et ainsi leur attribuer des numéros. Malgré son caractère tautologique, cet énoncé ne semble pas toujours bien compris lorsque, par exemple, le type de mesure numérique est généralisé indifféremment à d'autres objets et événements qui ne partagent pas cette même caractéristique. C'est comme si les techniques de numérotation pouvaient capturer les propriétés qualitatives des objets eux-mêmes, au-delà de simplement permettre des mesures et des comparaisons par des associations arbitraires entre des unités conventionnelles et des nombres - un peu comme, il y a des siècles, les membres de la secte pythagoricienne pensaient ; ceux-ci, cependant, avec plus de finesse et de profondeur.
La controverse autour de l'évaluation académique consiste à affirmer que, contrairement à la généralisation indiquée ci-dessus, les quantités numériques n'expriment pas les « qualités » des objets et événements mesurés – dans notre cas, que la quantification de la production académique ne peut exprimer sa qualité. Les quantités numériques ne peuvent exprimer que les techniques de construction des unités standard elles-mêmes, jamais les qualités des objets et des événements produits dans l'académie - qui sont les produits culturels de la recherche, de l'enseignement et de la vulgarisation. Or, ce que la mesure entend, dans ce cas, c'est évaluer la production académique à travers la quantification énumérée d'unités standards établies de manière très peu consensuelle – ce qui, en plus d'être controversé, est une grave erreur théorique.
En fait, les deux unités standard pourraient être très différentes de celles proposées, et la réduction de la qualité à des unités quantitatives est une illusion philosophique qui, au XXIe siècle, fait écho à ses origines présocratiques.
Tous ceux qui vivent dans le milieu universitaire sont bien conscients des diverses tentatives visant à réduire la qualité de la production universitaire à des unités quantitatives. Nous n'en prendrons qu'un exemple, parmi les plus spectaculaires, tiré de la nouvelle discipline particulièrement centrée sur le comptage de la qualité de la production scientifique, la scientométrie. C'est la notion d'impact. Comment évaluer le retentissement culturel d'un travail académique, son insertion et son rayonnement théorique dans la communauté scientifique ? Pour cela, nous avons essayé de créer des unités de mesure en indiquant le nombre de citations d'ouvrages publiés. L'hypothèse qui guide la création de cette norme de mesure est que plus ce nombre est élevé, plus l'influence du travail dans la communauté est grande, plus son impact est grand, et donc, meilleure est sa qualité.
Comme on le voit, l'erreur consiste à supposer que les unités dénombrables ont la capacité d'exprimer des qualités, par le simple fait d'être dénombrables – ayant pour corollaire l'idée que des nombres plus grands expriment de plus grandes qualités, plus grand étant synonyme de mieux. Même Héraclite aurait son tombeau ébranlé par une telle contradiction...
En effet, le nombre de citations d'un ouvrage publié – dans une revue internationale, en anglais, Qualis A – n'exprime que le nombre de fois où l'article a été cité par d'autres auteurs dans d'autres articles publiés dans des revues internationales à insertion académique égale, mais il n'exprime pas et ne pourrait pas exprimer sa qualité. La notion d'impact ne garantit même pas que l'œuvre ait été effectivement lue par ceux qui la citent, ni, encore moins, qu'il y ait eu une assimilation adéquate de son contenu par ceux qui la lisent. Le nombre de citations d'un ouvrage exprime bien plus les circonstances sociologiques des domaines académiques concernés que la qualité de l'ouvrage. Information importante pour le sociologue des sciences, sans doute, mais inutile au législateur qui entend édicter des règles de conduite en matière de qualité. A moins, bien sûr, que le législateur n'ait à l'esprit l'influence politique qu'il peut exercer pour accéder au pouvoir académique.
Notons, en effet, l'usage politique qui est fait de tout instrument de mesure lorsqu'il s'agit de délibérer de manière prétendument objective sur la qualité du travail social et académique des individus concernés – délibérer et imposer des normes comme critères de leur survie . Ici, cependant, nous entrons dans un autre domaine que nous n'explorerons pas maintenant.
Il semble donc naturel, et même sain, qu'il y ait beaucoup de polémiques autour de la question de l'évaluation de la production académique, car si mesurer est nécessaire pour mieux comprendre le monde qui nous entoure, on peut cependant se demander si les techniques de mesure par quantification sont vraiment approprié pour exprimer la qualité du travail universitaire. Et, également, lorsque l'on tient compte de la grande diversité des domaines de savoir qui composent l'Université, on peut aussi se demander si les critères normatifs qui sont présentés sont adéquats à cette diversité.
Si, d'une part, il est nécessaire d'uniformiser les normes de comparaison pour pouvoir rendre compte à la société de la valeur de la production académique, d'autre part, l'enjeu de juger de cette valeur par l'application des techniques actuelles semble être un obstacle qui n'a pas encore été surmonté. Des techniques qui s'adaptent bien aux objets et événements de nature physique, mais très peu aux objets et événements culturels ou symboliques, tels que les produits de l'activité académique. Si nous ne reconnaissons pas cette difficulté, la nouvelle science des métriques devrait être renommée Scientologie...
Revenons enfin aux deux points initiaux, placés comme le titre de ce texte, sous la forme de deux questions : évaluer et mesurer.
Oui, il est nécessaire d'évaluer la production académique de l'université publique, tant pour des raisons éthiques et sociales, que pour des raisons théoriques, internes à chaque domaine de connaissance. Mais alors surgit la première difficulté : si, dans le second cas, les critères peuvent être raisonnablement consensuels, dans le premier cas, au contraire, la standardisation des normes d'évaluation présente une difficulté qui, jusqu'à présent, est loin d'être surmontée. Et il en sera ainsi, si les normes adoptées pour la normalisation sont uniquement et exclusivement celles adoptées pour quantifier les processus naturels – comme le font les naturalistes de la matière physique, de la chimie, des processus biologiques, etc.
D'autre part, si l'activité de mesurer nous est indispensable pour connaître le monde naturel qui nous entoure – comme le font les naturalistes, appuyés par des mathématiciens et des logiciens – il nous faudra encore développer des techniques pour juger de la qualité des biens culturels. et les produits symboliques qui constituent l'activité académique. Nous sommes loin de cela.
Enfin, le troisième aspect que nous venons de souligner est l'utilisation politique, sociale et académique qui peut être faite des techniques de mesure standard. Dans notre cas, ce sont des techniques qui présentent des normes pour déterminer la qualité de la production académique - normes qui sont, à leur tour, présentées comme une condition de survie et de développement des individus et des institutions qui composent l'Université. Cet aspect sera une difficulté pour des domaines ou des groupes académiques, tout comme il sera une arme de pouvoir pour d'autres – comme dans tout conflit politique où la collaboration n'est pas en jeu, mais seulement la compétition entre pairs. D'où l'importance d'élargir et d'approfondir la discussion autour de cette question controversée.
* Arley Ramos Moreno (1943-2018) était professeur de philosophie à Unicamp. Auteur, entre autres livres, de Introduction à une pragmatique philosophique (Éditeur Unicamp).
Note
[1] Permettez-moi de renvoyer le lecteur à un article dans lequel je développe quelques-unes des idées présentées ici sous forme de résumé. Il s'agit de "Le domaine des sciences humaines à l'ère de l'université technologique", publié dans le livre Formation humaine et gestion de l'éducation : l'art de penser menacé (Cortez, 2008).
