AI, Sakana. «Sakana AI The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery», 13 de agosto de 2024. https://sakana.ai/.

AI Scientist” es el primer sistema integral para la investigación científica completamente automática. Este sistema permite que los Modelos de Lenguaje Grande (LLMs) realicen investigaciones de manera independiente.

Uno de los grandes desafíos de la inteligencia artificial es desarrollar agentes capaces de realizar investigaciones científicas y descubrir nuevo conocimiento. Aunque los modelos actuales ya ayudan a los científicos humanos en tareas como generar ideas o escribir código, aún requieren mucha supervisión y están limitados a tareas específicas.

Sakana AI, junto con científicos de las universidades de Oxford y British Columbia, ha desarrollado un sistema de inteligencia artificial llamado “AI Scientist”. Este innovador sistema es capaz de realizar investigaciones científicas de manera autónoma, cubriendo todo el proceso de investigación, desde la generación de ideas hasta la elaboración de manuscritos científicos completos.

“AI Scientist” automatiza diversas etapas, como la creación y evaluación de nuevas ideas, la ejecución de experimentos, la recopilación de datos y la redacción de informes científicos. Sin embargo, este avance también suscita preguntas importantes sobre el rol futuro de los científicos humanos. Aunque la IA es eficaz en el procesamiento de grandes cantidades de datos y en la identificación de patrones, la intuición, creatividad y juicio ético humanos continúan siendo indispensables.

Este proceso incluye:

1. Generación de Ideas: El Científico de IA «brainstormea» nuevas direcciones de investigación, basándose en un código inicial y en búsquedas en Semantic Scholar para asegurar la novedad de las ideas.
2. Iteración Experimental: Ejecuta los experimentos propuestos, produce gráficos y notas que se usan en la redacción del artículo.
3. Redacción del Artículo: Redacta un informe conciso y claro en LaTeX, citando autonomamente artículos relevantes.
4. Revisión Automatizada de Artículos: Desarrolla un revisor automático basado en LLM que evalúa los artículos con una precisión casi humana, mejorando continuamente la producción científica del sistema.

Pese a su potencial, “AI Scientist” tiene varias limitaciones. No es capaz de hacer preguntas a los autores ni de interpretar figuras, y frecuentemente genera propuestas similares en diferentes ejecuciones. Además, puede fallar en la implementación de ideas y presenta desafíos en aspectos visuales y de citación. Los resultados producidos deben considerarse como sugerencias para futuras investigaciones más que como ciencia definitiva.

“AI Scientist” abre una caja de Pandora de nuevos problemas, aunque el informe completo discute estos temas en mayor detalle. Entre los problemas clave se encuentran las consideraciones éticas y el impacto potencial en el proceso académico. Aunque “AI Scientist” puede ser una herramienta útil para los investigadores, su capacidad para crear y enviar automáticamente artículos puede aumentar significativamente la carga de trabajo de los revisores y tensar el proceso académico, afectando el control de calidad científica. Esto es similar a las preocupaciones en torno a la IA generativa en otras aplicaciones, como la generación de imágenes.

Además, el Revisor Automatizado, si se despliega en línea, podría reducir significativamente la calidad de las revisiones e imponer sesgos indeseables en los artículos. Por ello, es fundamental que los artículos y revisiones generados por IA sean identificados como tales para asegurar la transparencia total.

Como con muchas tecnologías anteriores, “AI Scientist” tiene el potencial de ser utilizado de manera poco ética. Por ejemplo, podría realizar investigaciones no éticas o peligrosas si se le da acceso a laboratorios virtuales para realizar experimentos biológicos. Esto podría dar lugar a la creación de virus o sustancias tóxicas antes de que se detecten los riesgos. Del mismo modo, podría desarrollar virus informáticos peligrosos si se le solicita crear software funcional. Estas capacidades en mejora subrayan la necesidad urgente de alinear estos sistemas con valores éticos y garantizar que exploren de manera segura.

En cuanto a los modelos utilizados, se emplearon modelos de frontera propietarios, como GPT-4o y Sonnet, pero también se exploraron modelos abiertos como DeepSeek y Llama-3. Aunque los modelos propietarios actuales producen los mejores artículos, no hay razón fundamental para que un solo modelo mantenga esta ventaja. Se espera que todos los LLMs, incluidos los modelos abiertos, continúen mejorando. La competencia entre LLMs ha llevado a su mayor disponibilidad y capacidades mejoradas, y el trabajo busca ser independiente del proveedor del modelo base. Los modelos abiertos ofrecen beneficios significativos, como menor costo, disponibilidad garantizada, mayor transparencia y flexibilidad. El objetivo es usar estos modelos en un sistema cerrado de investigación automejorado.

Finalmente, aunque se imagina un ecosistema científico completamente impulsado por IA que incluya investigadores, revisores y conferencias, no se cree que el papel del científico humano se vea disminuido. Más bien, este rol evolucionará y se adaptará a la nueva tecnología, moviéndose hacia tareas de mayor nivel.