La irresistible marea de la métrica

Acabo de leer un artículo de James Wilsdon, profesor en la Universidad de Sussex, a propósito de los dilemas de la financiación de las universidades en el Reino Unido, comentando una propuesta para aumentar las tasas de acuerdo a un nuevo 'medidor' de excelencia académica. El artículo, The metric tide: an agenda for responsible indicators in research, comenta la presión ejercida por los vicerrectores para elevar las tasas de matriculación de los estudiantes por encima del límite actual de 9.000 libras anuales (algo más de 12.000 euros). Al parecer el visto bueno llegó con un añadido que ha intensificado el malestar en la academia: las tasas podrían subir de acuerdo a la inflación, pero sólo para aquellas universidades que puedan demostrar 'excelencia en la enseñanza'.

La introducción del Teaching Excellence Framework (Marco de Excelencia en la Enseñanza) habrá llevado a más de un académic@ al borde del llanto, pensando en el cambio de las reglas, en la ya desigual carrera por conseguir el máximo número de citaciones, factores de impacto, índices h y otros ingredientes métricos. Hasta el número de tweets y likes en Facebook contarán a la hora de mostrar la 'excelencia'. ¿Quizás con una especial atención al impacto de la excelencia en la percepción de los consumidores de servicios educativos universitarios más que en la 'excelencia' misma?

En palabras del Ministro Jo Johnson, la enseñanza está en el corazón del sistema y el TEF puede servir para:

- asegurar que todos los estudiantes reciban una experiencia de enseñanza de excelencia que fomente el pensamiento original, elevar su nivel de compromiso y prepararlos para el mundo del empleo
- construir una cultura donde la enseñanza tenga un status de igualdad con la investigación, con grandes profesores que gocen del mismo reconocimiento profesional, oportunidades profesionales y progresión salarial que los grandes investigadores
- estimular la diversidad del mercado de la educación superior y proporcionar a los estudiantes la información que necesitan para juzgar la calidad de la enseñanza, de la misma manera que ya se puede comparar los rankings de investigación de una facultad
- reconocer aquellas instituciones que destacan por proporcionar soporte y ayuda para retener a estudiantes y apoyarlos en su progresión hacia futuros estudios y carreras de posgrado

La introducción de este marco en el Reino Unido no es un hecho aislado, estos debates también están presentes en otros países y no sólo de Europa. Aparentemente, el debate se centra en la validez y robustez de los indicadores, en el excesivo énfasis en los resultados (outcomes) quecontrasta con el seguimiento y evaluación de los procesos ... Algunos consideran que este tipo de medidas contribuye a la transparencia y a un camino más responsable en la gestión y la rendición de cuentas de las universidades. Otros temen una tiranía creciente de números que poco reflejan el significado de una 'excelencia' cada vez más cuestionada y unas métricas implementadas como incentivos, que incluso podrían facilitar algunas perversiones endémicas del sistema universitario.

En este sentido, el nuevo marco en el Reino Unido contaría con una serie de recomendaciones presentadas en el citado estudio independiente, The Metric Tide, realizado con la finalidad de realizar una revisión amplia de los indicadores al uso y encontrar un camino hacia un uso más responsable de las métricas. La revisión llevada a cabo puso en evidencia lo que ya intuíamos: la necesidad de tener mucho cuidado a la hora de medir y una mayor amplitud y responsabilidad en el uso de indicadores cuantitativos, que pueda apoyar la transición a un sistema de investigación más abierta, responsable y mejor comunicado con la enseñanza. El informe señala que poner énfasis en indicadores mal diseñados -como los factores de impacto de revistas- puede tener consecuencias negativas, como se refleja en la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA) en el año 2013.

La comunidad de investigadores sigue defendiendo el uso del peer review, pese a sus defectos y limitaciones, y reclama el uso de una métrica que aúne indicadores cuantitativos, cualitativos y opiniones de expertos. Destacan también la importancia de identificar los efectos de los indicadores -y en particular los negativos- en las estructuras de incentivos, los comportamientos, la igualdad y la diversidad. Las métricas deben apoyar, pero no reemplazar la opinión de expertos. Como dice otro interesante artículo, no hay que olvidar que 'Las métricas tienen poder real: son constitutivos de los valores, las identidades y los medios de vida'.

El blog ResponsibleMetrics.org recoge reflexiones y comentarios del debate generado y hasta plantea implementar un premio anual a las 'Bad Métricas', otorgado al ejemplo más notorio de un uso inadecuado de los indicadores cuantitativos de gestión de la investigación.

¿Y si medimos el índice de (in)felicidad académica y su impacto en la excelencia académica?

En lo que más pensé al leer estos artículos fue en los enfoques comparativos y las pretendidas generalizaciones de estándares para una Comunidad Europea que muestra en este tema, como en muchos otros, un paisaje de crecientes desigualdades. Baste con pensar en el costo de la matriculación para acceder a la supuesta excelencia universitaria, considerar algunos problemas relativos a los costos reales de la financiación en el Reino Unido o cómo se puede acceder de manera gratuita en universidades excelentes en Finlandia, Alemania y Noruega.

Pero en lo que más me ha hecho reflexionar es las actuales condiciones de la carrera académica: ¿cuántas skills y competencias más han de incorporarse para desempeñar adecuadamente la tarea académica? No basta con ser un buen investigador, ni publicar en revistas 'de impacto', también hay que ser muy capaz en la tarea de conseguir fondos para financiar las actividades de investigación -muchas veces siguiendo el juego de conseguir financiación como una manera de autoempleo, con pingües beneficios para la institución que la recibe- y ser a la vez muy bueno para ver las oportunidades de llevar a cabo la llamada tercera misión, un excelente docente y un excelente comunicador, por aquello del actual impacto en los mass y social media.

No es extraño que haya surgido un movimiento contra lo que se considera otra manifestación de un mundo desbocado y de un modelo en auge de universidad sometida a los caprichos del neoliberalismo: el 'slow scholarship'. Un artículo escrito por un conjunto de investigadores de varios países describe los efectos del aislamiento y las condiciones de trabajo de los académicos que raramente se discuten y reclama la necesidad de tiempo para pensar, leer, escribir, investigar, editar, organizar, enseñar ... y resistir las crecientes demandas administrativas y profesionales que interrumpen estos procesos cruciales que atañen al desarrollo del potencial intelectual, a la necesaria reflexión y a a la libertad personal. En definitiva, tiempo para desarrollar las actividades académicas sin atentar contra la felicidad de quienes las llevan a cabo.

El 'slow style' que ya se viene dando en la comida 'slow', en la vestimenta 'slow'*, las 'slow cities' y la sociedad 'slow'... también ha llegado a la academia. Merece la pena reflexionar sobre una posible 'ralentización' en las exigencias, en un análisis más profundo del sistémico malestar y malfuncionamiento de muchas universidades -incluso a veces a nivel de país- y re-pensar el significado de la excelencia. No vaya a ser que en el cómputo de los indicadores tengamos que incluir los índices de infelicidad académica.



Referencias

Wilsdon, J., et al. (2015). The Metric Tide: Report of the Independent Review of the Role of
Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363
Teaching at the heart of the system,
The slow science movement
Slow scholarship