Li, Ning; Zhang, Jingran; Cui, Justin. ArXivBench: When You Should Avoid Using ChatGPT for Academic Writing. arXiv preprint (v2), 7 de agosto de 2025. arXiv:2504.10496 [cs.IR]. https://arxiv.org/html/2504.10496v2

Los modelos de lenguaje a gran escala (LLMs) han mostrado capacidades impresionantes en razonamiento, pregunta-respuesta y generación de texto, pero su tendencia a generar contenido erróneo o referencias falsas sigue siendo una preocupación crítica en entornos académicos rigurosos. El artículo se enfoca en evaluar qué tan fiables son estos modelos al generar referencias académicas, concretamente enlaces a artículos en arXiv.

El artículo presenta ArXivBench, un banco de pruebas diseñado para evaluar la fiabilidad de los modelos de lenguaje a gran escala (LLMs) al generar referencias y enlaces a artículos académicos en arXiv. Los autores parten de la preocupación por el uso creciente de LLMs en redacción académica, donde su capacidad para producir contenido coherente y persuasivo no siempre va acompañada de precisión factual. En particular, señalan el riesgo de que los modelos generen referencias inventadas o incorrectas, lo que compromete la integridad de un trabajo de investigación.

Para abordar este problema, ArXivBench reúne un conjunto de 6.500 prompts que cubren trece áreas temáticas dentro de la informática, organizadas en ocho categorías y cinco subcampos. La herramienta incluye un flujo de trabajo automatizado para generar nuevos prompts y un sistema de evaluación que permite medir el rendimiento de diferentes modelos sin recurrir a técnicas de recuperación aumentada (RAG), evaluando así sus capacidades “de fábrica”. Se probaron quince modelos, tanto de código abierto como propietarios, analizando su precisión al proporcionar enlaces correctos y contenido relevante.

Los resultados muestran que el rendimiento varía de forma significativa según la disciplina. El subcampo de inteligencia artificial es donde los modelos ofrecen mejores resultados, mientras que en otras áreas las tasas de error son más elevadas. Entre los modelos evaluados, Claude-3.5-Sonnet destacó por su capacidad para generar respuestas relevantes y referencias exactas, superando de forma consistente a otros competidores.

Los autores concluyen que, si bien los LLMs pueden ser útiles en ciertas fases del trabajo académico, no son aún herramientas plenamente fiables para la generación de referencias académicas, especialmente en áreas menos cubiertas por sus datos de entrenamiento. ArXivBench se propone así como un instrumento para medir y mejorar la fiabilidad de estos sistemas, ofreciendo datos comparativos que orienten tanto a investigadores como a desarrolladores hacia un uso más responsable y fundamentado de la inteligencia artificial en la producción científica.