Los baremos de ANECA y las narrativas

En este post reproduzco en tres momentos lo dicho en redes sobre el nuevo baremo de ANECA para sexenios y lo qu eposiblemente aparezca en días próximos sobre acreditación de personal docente de universidades, y el concepto "narrativa" procedente de una interpretación (de una narrativa, valga la recurrencia) bibliométrica y aplicado a dichos baremos.

I

La dirección de ANECA nos informaba el 2 de enero de que:

publica el baremo general para la evaluación de sexenios 2023 para facilitar el trabajo de las personas solicitantes.

los Comités Asesores (BOE 22/12) trabajan ya en su adaptación a cada Campo/Subcampo. Estos baremos específicos se publicarán próximamente.

Sinceramente y tras el giro que toman los acontecimientos en la edición científica y en la evaluación de la calidad de la investigación en los últimos años, creo que el baremo manifiesta un gran desconocimiento de la dinámica actual. Se dejan llevar por unas ideas que tuvieron vigencia hace tiempo. Pero que sin embargo en la práctica se han manifestado como unos desencadenantes, en el contexto del mundo digital, de unos males que constituyen amenazas graves para la edición científica. Estas ideas manifiestan la incapacidad de quien las plantea para articular una forma eficar de analizar la calidad. Y, además de expresarlo a destiempo, lo hacen de forma superficial. Es, en este sentido, un baremo altamente ideologizado, no con el significado político, sino con ideas preconcebidas dentro de un sistema de ideas a priori. De esta forma no profundizan en conceptos y procedimientos, se mueven en los aspectos más superficiales de los fenómenos pero que más llegan a un público poco cualificado o con menos excelencia en la investigación, público objetivo, al que probablemente les interesa dirigirse. Todo el mundo está por la innovación y la originalidad, pero ¿qué son la innovación y la originalidad?, por ejemplo.

Veamos:

Los indicadores cienciométricos no son fríos números. Como en otros casos, son la forma de expresar con más rigor la complejidad de los fenómenos y de las cualidades. Expresan las cualidades objetivamente, como en otras ciencias lo hacen los índices de dureza, salinidad, acidez, covarianza, probabilidad e incluso caos, movimientos brownianos y probabilidad a priori. Como ellos tienen defectos, sesgos y aberraciones que, con el tiempo, la investigación y la práctica, se van corrigiendo. Esto ha sucedido en este campo con la normalización de los indicadores a la que hemos asistido recientemente, por ejemplo.

Hasta ahora los procedimientos y los indicadores más fiables para ese análisis eran los que suministraban, si bien en calidad de oligopolio, las dos grandes agencias Scopus-Elsevier y Clarivate, de manera que sobre la base de datos del primero operaban dos metodologías con dos familias de índices, los de SCImago-SJR y los propios de Scopus, y sobre la base de datos de la segunda --- la WoS--- sólo operaban los indicadores de Clarivate. No son sólo SJR o CiteScore, por un lado, e IF por el otro. Además, operan índices normalizados por áreas del conocimiento u otros contextos, como lo son, por ejemplo y entre otros, SNIP o JCI. SCImago suministra demás excelentes herramientas para detectar el citting cross, cosa que el baremo ni menciona y que es una práctica dañina para la ciencia, probablemente la que más, y que ellos detectan y aplican. La misma herramienta que, en otro sentido, vale para valorar la colaboración eficiente. Me refiero a Journal Comparison.

Las amenazas de la edición científica han provenido tradicionalmente los últimos años, y como consecuencia precisamente del open access, de los nefarious numbers, las revisiones de la literatura sistemáticas e injustificadas y los selfs report studies, que se están apoderando de ella, todo hay que decirlo, a partir del acceso abierto, cuando el crecimiento irrestricto de artículos sin unos mínimos requisitos previos (no el publish and perish, como trivialmente se ha dicho) ha provocado una crisis en la revisión de pares. Mi experiencia como editor de una revista Q1 en Scopus me ha permitido sufrirlo en el área de la edición científica de Ciencias Sociales, sobre todo por las dos últimas prácticas citadas.

A estas amenazas se han unido recientemente, por un lado, los LLM (entre los que está ChatGPT y otras herramientas de IA generativa) donde se ha demostrado empíricamente que por sólo el contenido del documento no se puede discernir entre un paper escrito por un humano y otro redactado por un LLM, y por otro lado la amenaza conocida como las fábricas de papel (the paper mills). Donde como en el caso anterior cobra una importancia clave, decisiva, la revisión. En el primer caso para habilitar procedimientos que no constituyan exclusivamente la lectura, sino que se habiliten procesos ya experimentados como son la evaluación formativa, la entrevista, etc. Y en el segundo para detectar los artículos formalmente correctos pero hechos en serie con un mismo patrón formal que pasa una revisión ligera de pares, pero que no llevan detrás una investigación relevante o sencillamente no hay investigación detrás del artículo.

II

14 veces aparece la palabra NARRATIVA en el baremo específico de Computación de ANECA para los sexenios, en 6 páginas.

Ayer, a proposito de la literatura y de qué es, hablaba del abandono del concepto y término "narrativa" (referido a argumentos, tramas, hilos, urdimbres y recursos en la narración) y de la invasión en otros ámbitos, entre ellos ¡oh, sorpresa! de ANECA y de la calidad de la investigción científica, vamos del concepto retributivo conocido como sexenios.

https://www.facebook.com/miguel.zapata.5832/posts/pfbid0UcRDYtg2wm3uemmnisCC6wWuBsC842VfLD4vPdaM2KCXzEwwzsPm9EuqNTWPFiKil

RED es una revista científica del Q1 de Scopus. Está reconocida entre otras en las especialidades de Ciencias de la Computación Aplicaciones, Ciencias de la Computación (Miscelánea) e Ingeniería (Miscelánea) debido a que trata temas de Educación ayudada por la tecnología e Ingeniería del Aprendizaje y del Conocimiento. Y como director me preocupo por el baremo específico de ANECA para Ingeniería de la Comunicación, Computación y Electrónica.

Y veo que no es lo que decía el otro día, es que llega el tema al paroxismo. El baremo tiene 6 páginas https://www.aneca.es/.../e65b7e64-4efd-563e-cb5a..., pues bien el término NARRATIVA aparece CATORCE VECES en textos y párrafos de los más dispares. Pueden verlo en el volcado de pantalla que les comparto y en el enlace de la propia agencia. No aparece el término Scopus, tampoco como referencia de calidad y sí JCR, pero no obstante la única indicación positiva se da para un índice de normalización de CiteScore, el indicador de Scopus. De locos.

Creo que el hecho en sí está más allá de cualquier juicio o argumentación.

Es la ciencia ¿Qué nos está pasando? ¿Quién maneja esto?

III

Esto, el documento reseñado a continuación, es lo que justifica la narrativa bibliométrica adoptada por la ANECA:

Fuente https://zenodo.org/records/10512837 DOI 10.5281/zenodo.10512837

Por lo demás conozco a Ángel Delgado-Vázquez, del comite de ANECA, ha colaborado con UMU en la instalación de OJS y es un excelente profesional y académico, pero eso no evita la crítica al método que he manifestado en X antes Twitter

"Lo siento Ángel, pero si alguien presenta a mi revista un artículo con un abstract como éste no pasa de la revisión editorial:

En "proporciona un análisis de la evolución de la evaluación científica" da por hecho que existe una evolución de la evaluación científica, así sin más. En qué se basa? De qué evaluación científica? en qué ámbito? Hay amplias corrientes que opinan justamente lo contrario, que el OA tal como lo entiende Dora está en la base de la edición depredadora e híbrida. Esto habría por lo menos que debatirlo y analizarlo con datos. La "narrativa" se caracteriza precisamente por esto por dar por hecho cosas sin debate y sin evidencias.

Cuando dice "subrayando la transición hacia un enfoque más integrador" da por hecho igualmente que es un enfoque "más integrador", sin más. Qué es integrador? En qué contexto? Dónde está evidenciado o consensuado? Sin hablar de que se trata de un texto en absoluto denotativo, como se exige en la literatura científica.

En "enfatiza cómo el Currículo Narrativo ha emergido como una de las herramientas fundamentales en los nuevos procesos de evaluación, ya que permite describir la complejidad y el contexto de los logros académicos" y en todo lo que sigue da por supuesto esos hechos que están sin avalar y sujetos a todo tipo de controversias. Así expuesto son lo que se llama "mitos científicos" Es una apología de una exégesis, nada que ver con un texto científico. Y en el resto del trabajo no corrige ni aporta nada empírico sobre ello, se remite a documentos enunciativos de lo mismo. Por el contrario hay una extensa bibliografia acerca de cómo la definición, el adecuado uso y el progreso de los indicadores va superando los problemas que se enuncian con normalizaciones, herramientas de análisis, etc, y son las malas prácticas de editoriales (las fábricas de artículos), gobierno y de autoridades las que las propician in vigilando.

No se puede hacer una reforma para todos en base a lo que en el mejor de los casos es una tendencia, y por tanto de parte, ideológica, sin base en datos empíricos.

Pero claro, cuando se parte diciendo que son unos cracks se puede esperar esto."

Dicho queda.

Todas las reacciones:

5Angel Pérez Ruzafa, Maria Leonor Cedeño Sempértegui y 3 personas más