En nuestros esfuerzos por “medir mejor lo que importa” en la educación superior, la atención se dirige cada vez más a los Objetivos de Desarrollo Sostenible (ODS) de las Naciones Unidas como una forma de definir “lo que importa” y enmarcar las evaluaciones en consecuencia. Muchas instituciones están incorporando los ODS en sus estrategias y recurriendo a los rankings de impacto deTimes Higher Education (basadas en los ODS) como Key Performance Indicator (KPI, indicador clave de desempeño). En un momento dado, los ODS incluso fueron considerados como una subestructura para el próximo Research Excellence Framework del Reino Unido.
Elizabeth Gadd
Head of Research Culture and
Assessment at Loughborough University, UK
Esto es comprensible. En un sector cada vez más preocupado por el impacto social, ¿qué podría ser mejor para medir el valor de las universidades que identificar en qué medida han contribuido a los 17 objetivos acordados globalmente? ¿Quién puede discutir los objetivos de ausencia de pobreza y de hambre cero? ¿O la acción contra el cambio climático y la reducción de las desigualdades? Yo no. Y el Objetivo 4, “educación de calidad”, es, por supuesto, la actividad principal de las universidades, así que ¿qué es lo que no nos gusta? Bueno, los ODS pueden ser algo bueno, siempre que analicemos críticamente las implicaciones de utilizarlos como marco de evaluación. Si no, es posible que estemos acumulando problemas para el futuro.
Los ODS pueden ser algo bueno, siempre que analicemos críticamente las implicaciones de utilizarlos como marco de evaluación. Si no, es posible que estemos acumulando problemas para el futuro.
- Centrandose en los ODS se corre el riesgo de crear ganadores y perdedores disciplinares
Lo primero que me preocupa acerca de confiar en los ODS como marco para evaluar la contribución de una universidad al mundo es que los ODS no son lo único que nos importa. Los ODS definen un conjunto de metas específicas y muy importantes. Sin embargo, no son nuestros únicos objetivos. Y el problema de consagrarlos por encima de todos los demás es que, si bien todas las disciplinas pueden tener la opción de contribuir al logro de los ODS, algunas disciplinas tienen más oportunidades que otras. Así, mientras que musicólogos, historiadores del arte y teóricos literarios podrían verse poco involucrados en proyectos que apoyan los ODS, otros en las ciencias puras y sociales podrían descubrir que todo lo que hacen está alineado con los ODS. Si luego las instituciones comienzan a evaluar su propio valor en función de su contribución a los ODS, habrá claros ganadores y perdedores disciplinares.
Según Scopus, el 60% de los artículos producidos por la Oxford University en 2022 no estaban asignados a ningún ODS en absoluto. Dejando de lado por ahora el desafío de hacer esto con precisión, ¿estamos diciendo que todos los documentos no asignados no tienen valor y nunca debieron haber existido? Por supuesto que no. Sin embargo, al confiar en los ODS para definir lo que importa en las universidades, corremos el riesgo de degradar muchas contribuciones al conocimiento simplemente por no estar directamente asociadas con un ODS.
- Evaluar el desarrollo sostenible no siempre es sostenible
La segunda cosa que me preocupa acerca de este impulso para enmarcar nuestras contribuciones en términos de los ODS es que las universidades no sólo quieren demostrar que están contribuyendo, sino que están contribuyendo más que todos los demás. Impulsa la competencia sobre la colaboración. En última instancia, la competencia requiere cuantificar las contribuciones y aquí es donde el proyecto falla. Porque es difícil poner límites a lo que constituye y no constituye una contribución a un ODS en particular, y aún más difícil contar y ponderar esas diversas contribuciones (véanse las críticas articuladas e incisivas de Stephen Curry a los intentos de los Impact Rankings de Times Higher Education de hacer precisamente esto).
Por supuesto, los datos bibliométricos son los favoritos aquí porque las publicaciones y las citas son eminentemente contables. Sin embargo, un artículo elaborado por Armitage, Lorenz & Mikki en 2021 mostró que dos intentos diferentes de asignar trabajos de investigación a los 17 ODS arrojaron dos respuestas muy diferentes
Es difícil poner límites a lo que constituye y no constituye una contribución a un ODS en particular, y aún más difícil contar y ponderar esas diversas contribuciones.
La verdadera ironía en torno al uso de datos bibliométricos en las evaluaciones de los ODS es que las principales fuentes de datos utilizadas están enormemente sesgadas hacia el Norte global. De hecho, las revistas del “Sur global” en Scopus son superadas por seis a uno por las del “Norte global”. Profundamente irónico, dado el llamado del ODS 10 a reducir la desigualdad. Algunos de los indicadores de los Impact Rankings de THE son igualmente problemáticos. Por ejemplo, asignar puntos a las instituciones por tener “objetivos para admitir a estudiantes que se encuentran en el 20% inferior de los ingresos familiares del país”, cuando en algunos países los que se encuentran en el 20% inferior apenas pueden terminar la escuela primaria.
- ¿Aparentar o contribuir realmente a los ODS?
Mi mayor preocupación acerca de la obsesión por parecer estar contribuyendo a los ODS es que impide que las universidades realmente contribuyan a los ODS. Me preocupa pensar en el tiempo y el esfuerzo que las universidades dedican a recopilar datos y pruebas para demostrar cuán importantes son como actores de los ODS y cómo se podría haber dedicado ese tiempo a trabajar para lograr los ODS si no hubieran sentido tanta presión para mostrarse ellas mismas.
Además, los ODS tienen sus propios objetivos e indicadores que no guardan ninguna relación con las cosas que te hacen ganar puntos en los Impact Rankings de THE. De hecho, ninguno de los indicadores utilizados en las clasificaciones THE (cf. “prevención del hambre de los estudiantes” y “seguimiento del desperdicio de alimentos”) aparece en los ODS. ¿Le importa a las Naciones Unidas cuántos artículos de revistas podrían haber publicado las universidades utilizando palabras clave que pueden o no corresponderse con un ODS? Sus ambiciones son categóricamente diferentes.
¿Le importa a las Naciones Unidas cuántos artículos de revistas podrían haber publicado las universidades utilizando palabras clave que pueden o no corresponderse con un ODS?
Los indicadores reales de los ODS se centran en una disminución de la “proporción de la población que vive por debajo del umbral internacional de pobreza por sexo, edad, situación laboral y ubicación geográfica (urbana/rural)”. Quieren contar el “número de personas que murieron o desaparecieron en el proceso de migración hacia un destino internacional”. Y quieren que la “proporción de la población que utiliza servicios de agua potable gestionados de forma segura” sea del 100%.
No estoy diciendo que la publicación de artículos en estos dominios no contribuya en última instancia a alcanzar algunos de estos objetivos. Lo que digo es que estos son los objetivos en los que deberíamos fijarnos, y no sustitutos inventados con el propósito de hacer que las universidades luzcan bien. Los ODS no son una oportunidad para quedar bien, son una oportunidad para hacer el bien. Los esfuerzos por desviar la atención de las verdaderas ambiciones de los ODS son de mal gusto.
A riesgo de repetirme, no estoy diciendo que los ODS no sean importantes. Estoy diciendo lo contrario: son demasiado importantes para usarlos como un proyecto vanidoso. Si las universidades quieren evaluar su contribución a los ODS, deben intentar comprender las metas e indicadores reales de los ODS y luego sopesar cómo se alinean sus misiones e inversiones. Si luego pueden demostrar alguna contribución genuina al cumplimiento de esos objetivos reales, entonces todo estará bien. Pero no me digas simplemente cuántos artículos publicaste cuyas palabras clave se alinean con los ODS. Necesitamos asegurarnos de que al mostrar nuestras contribuciones a los ODS no estemos agravando los problemas que estamos tratando de resolver.
