Science (25 de agosto de 2026). “Researchers presented 6000 papers at a major meeting. Could AI reproduce their findings?”. https://www.science.org/content/article/researchers-presented-6000-papers-major-meeting-could-ai-reproduce-their-findings

El artículo analiza un experimento de gran escala en el que agentes de inteligencia artificial intentaron reproducir los resultados de investigaciones presentadas en la conferencia ICML 2026. el experimento de ICML 2026 no demuestra que la IA pueda reemplazar a los científicos, sino algo quizá más importante: que los agentes de IA podrían hacer posible una escala de verificación científica hasta ahora inalcanzable para los revisores humanos. En un entorno donde se publican miles de investigaciones cada año, esta capacidad podría convertirse en una nueva infraestructura de control de calidad para la ciencia.

La conferencia International Conference on Machine Learning (ICML) 2026) aceptó alrededor de 6.000 trabajos científicos, casi el doble que el año anterior. Este crecimiento refleja la enorme expansión de la producción científica en inteligencia artificial y aprendizaje automático, pero también pone de manifiesto una dificultad cada vez mayor: el sistema tradicional de revisión por pares no dispone de suficientes investigadores para comprobar con profundidad todos los trabajos. En este contexto, investigadores de Hugging Face y alphaXiv organizaron una competición para explorar hasta qué punto los agentes de IA podían ayudar a verificar los resultados publicados. La pregunta era especialmente relevante: si se proporciona a una IA el artículo, los datos, el código y los métodos utilizados, ¿puede reproducir de manera independiente los experimentos y llegar a conclusiones similares?

El experimento alcanzó una dimensión considerable. Los participantes utilizaron agentes de IA para intentar reproducir resultados de más de 2.000 artículos de ICML 2026. La iniciativa no se limitó a investigadores especializados en inteligencia artificial: uno de los casos más llamativos fue el de Jansen Tang, analista de riesgos de ciberseguridad de un banco, que consiguió utilizar agentes de IA para reproducir más de 300 trabajos. El proceso permitió detectar numerosos problemas que habían pasado inadvertidos durante la revisión humana. Según los resultados comunicados, cientos de afirmaciones no pudieron reproducirse o quedaron cuestionadas, y los organizadores confirmaron que al menos una docena de artículos presentaban errores reales que habían escapado a los revisores humanos.

Los resultados son particularmente interesantes porque muestran que la IA puede funcionar como una segunda capa de control de calidad científico. En torno a la mitad de los artículos examinados contenían al menos una afirmación que los agentes pudieron verificar de manera independiente, mientras que aproximadamente un 23 % de los trabajos analizados presentaron alguna afirmación falsificada o controvertida. En otros casos, la reproducción no fue posible porque faltaban datos, código u otros elementos necesarios para repetir adecuadamente los experimentos. Esto revela que el problema de la reproducibilidad no depende exclusivamente de que los resultados sean correctos: también depende de que los investigadores proporcionen suficientes materiales y explicaciones para que otros puedan comprobarlos.

El artículo de Science plantea, por tanto, una cuestión de fondo sobre el futuro de la evaluación científica y la revisión por pares. Los agentes de IA podrían automatizar una parte de las tareas más laboriosas —ejecutar código, repetir experimentos, comprobar cálculos, contrastar resultados o buscar inconsistencias— y hacerlo a una escala que sería imposible para equipos humanos. Sin embargo, esto no significa que puedan sustituir completamente a los revisores. Determinar si un trabajo es realmente novedoso, importante, metodológicamente sólido o científicamente significativo requiere todavía conocimientos especializados y juicio humano. La conclusión que emerge del experimento es más matizada: la IA podría convertirse en una herramienta complementaria capaz de ampliar enormemente la capacidad de la comunidad científica para comprobar investigaciones.

El caso también tiene una implicación importante para la integridad científica. Si miles de artículos pueden ser sometidos automáticamente a pruebas de reproducibilidad, la IA podría transformar la cultura científica desde un modelo basado fundamentalmente en confiar en la revisión previa a la publicación hacia otro en el que los resultados puedan ser comprobados continuamente después de su publicación. Pero el experimento también demuestra que la IA necesita acceso a datos, código y materiales suficientemente documentados. La reproducibilidad se convierte así en una condición esencial para que los agentes de IA puedan auditar la ciencia, lo que puede impulsar nuevas exigencias de transparencia, disponibilidad de datos y código, documentación metodológica y ciencia abierta.