
Thelwall, Mike, y Kayvan Kousha. 2024. «Journal Quality Factors from ChatGPT: More meaningful than Impact Factors?» arXiv. https://doi.org/10.48550/arXiv.2411.09984.
Este estudio representa el primer intento de utilizar un modelo de lenguaje avanzado como ChatGPT para evaluar la calidad de las revistas académicas. Aunque no busca reemplazar las métricas tradicionales, aporta una dimensión adicional que podría transformar la manera en que se mide la calidad en el ámbito académico, destacando el potencial de la inteligencia artificial en la investigación.
Un reciente artículo publicado en arXiv propone un enfoque innovador para evaluar la calidad de las revistas académicas utilizando inteligencia artificial, específicamente a través de ChatGPT. El estudio, titulado «Journal Quality Factors From ChatGPT: More Meaningful Than Impact Factors?», fue realizado por Mike Thelwall (Universidad de Sheffield) y Kayvan Kousha (Universidad de Wolverhampton). Este trabajo plantea una alternativa a las métricas tradicionales como el Journal Impact Factor (JIF), centrándose en aspectos más amplios de la calidad académica.
Journal Impact Factor, ampliamente utilizado para medir el impacto académico, se basa principalmente en la cantidad de citas recibidas. Sin embargo, esta métrica no evalúa otros aspectos clave, como el impacto social, la originalidad de los artículos o el rigor metodológico. Para abordar esta limitación, los investigadores definieron el Journal Quality Factors (JQFs), como puntuaciones promedio asignadas por ChatGPT para valorar los artículos de una revista considerando una perspectiva más holística.
El análisis incluyó 1.300 revistas que publicaron 130.000 artículos en 2021, cubriendo 25 de los 27 campos principales de investigación definidos por Scopus. El JQF fue comparados con clasificaciones nacionales de revistas de Polonia, Noruega y Finlandia, así como con las tasas de citación de las publicaciones. Además, se examinaron casos atípicos en los que Factor de Impacto no coincidían con las clasificaciones tradicionales, para explorar posibles sesgos o influencias externas.
Principales hallazgos
Correlación con clasificaciones existentes: El JQFs mostraron una correlación positiva y sólida (mediana de 0.641) con los rankings nacionales de revistas en 24 de los 25 campos analizados. Esto sugiere que ChatGPT puede estimar la calidad de las revistas de manera consistente en la mayoría de las disciplinas.
Comparación con las tasas de citación: Las tasas de citación también mostraron correlaciones altas con los rankings nacionales, lo que indica que los JQFs no son necesariamente superiores, pero ofrecen una alternativa igualmente válida.
Influencia del estilo de los resúmenes: Los investigadores encontraron que ciertos estilos de redacción, como la mención de contextos sociales en los resúmenes, pueden influir en las puntuaciones del JQF, destacando la sensibilidad del modelo a los matices de presentación.
El artículo reconoce que los resultados podrían variar si se usaran diferentes sistemas de clasificación, ya que no existe un consenso universal sobre qué define la calidad de una revista. Además, los JQFs, aunque prometedores, no deben reemplazar a las métricas tradicionales en todos los contextos, ya que su utilidad depende del propósito específico de la evaluación.









