El número de veces que los artículos académicos son citados por publicaciones posteriores es uno de los indicadores consagrados por el tiempo que se utilizan para evaluar el nivel y la productividad académica. Pero no todas estas citas son positivas, y una investigación realizada con procesamiento de lenguaje natural demuestra que hasta una de cada 50 citas en una importante revista de inmunología eran básicamente críticas.

Estas citas negativas pueden señalar limitaciones, inconsistencias o errores en el trabajo anterior. El estudio encontró que estas citaciones negativas eran más propensas a criticar trabajos muy leídos, y que las críticas se centraban en secciones específicas de los artículos. Las citas negativas tienden a provenir de eruditos que estaban cerca de los autores de los artículos originales en cuanto a disciplina académica y distancia social, pero al menos a 240 kilómetros de distancia geográfica.

La investigación, realizada por autores del Instituto de Tecnología de Georgia (Atlanta, EE.UU.), la Universidad de Toronto (Canadá) y el Instituto de Tecnología de Massachusetts (Boston, EE.UU.), puede ser el primero en cuantificar y examinar estas citas negativas sistemáticamente. Los autores esperan ampliar su estudio a otras disciplinas, y creen que su trabajo, en última instancia, podría dar lugar a reexaminar cómo se utilizan las citas en el mundo académico.

Según Alexander Oettl, profesor asistente de la Escuela Scheller de Negocios del Tecnológico de Georgia y uno de los tres co-autores del estudio, “las citas negativas realmente son diferentes de las citas objetivas”.

Los investigadores comenzaron con 15.731 artículos que se habían publicado en el Journal of Immunology, la principal revista académica de inmunología. De esos artículos, extrajeron 76.355 citas, referidas a 146.891 artículos.

Mediante un proceso manual, crearon una serie de citas que se utilizaron para entrenar a un programa de procesamiento de lenguaje natural, que clasificó el resto de las citas, ya fuera como objetivas o negativas. El proceso identificó 18.304 citaciones negativas, alrededor del 2,4 por ciento de las citas totales estudiadas.

“La mayoría de estas citas negativas parecen discrepar con los “resultados” y la “discusión” de los documentos, por lo que realmente no están tratando de derribar la teoría”, dice Oettl en la nota de prensa del Georgia Tech. “Pueden estar tratando de limitar los resultados, apuntar incompatibilidades con otras investigaciones, señalar defectos estadísticos o corregir otros problemas.”

En su estudio, los autores señalan la relativa rareza de estas citas negativas, y especulan que eso podría o bien mostrar un papel “limitado, sin influencia” de la crítica en la ciencia, o una renuencia a criticar.


Más información