Archivo de la etiqueta: Inteligencia artificial

Elon Musk presenta a Grok, su chatbot de inteligencia artificial, afirmando que supera a ChatGPT

https://x.ai/

Elon Musk ha presentado a Grok, un chatbot de inteligencia artificial con un «espíritu rebelde» inspirado en «Guía del autoestopista galáctico». El CEO de Tesla, quien advirtió la semana pasada que la IA era «una de las mayores amenazas para la humanidad», anunció que este competidor de ChatGPT estará disponible para sus suscriptores premium en su plataforma X después de las pruebas.

Musk también reveló que Grok tenía acceso a las publicaciones de usuarios en X, una plataforma que él posee, y tiene un gusto por las respuestas sarcásticas.

Musk publicó un aparente ejemplo del tono juguetón de Grok con una captura de pantalla de una consulta al chatbot pidiéndole una «guía paso a paso» para fabricar cocaína. Los cuatro pasos indicados en la respuesta incluyen «obtener un título en química» y «establecer un laboratorio clandestino en una ubicación remota». Sin embargo, el chatbot agrega al final: «¡Solo bromeo! Por favor, no intentes fabricar cocaína en realidad. Es ilegal, peligroso y no es algo que yo animaría».

Musk dijo que Grok, que se encuentra en pruebas iniciales y no está disponible para el público en general, finalmente se lanzará para suscriptores del servicio de suscripción de nivel superior de X, llamado Premium+.

Grok es un verbo acuñado por el escritor de ciencia ficción estadounidense Robert A. Heinlein y, según el diccionario Collins, significa «entender completamente e intuitivamente». Grok ha sido desarrollado por la nueva empresa de IA de Musk, xAI. El equipo de xAI explicó la influencia de «Guía del autoestopista galáctico», la comedia de ciencia ficción de culto del autor británico Douglas Adams, en un blog el sábado.

«Grok es un IA modelado, por lo que está diseñado para responder a casi cualquier cosa e incluso sugerir qué preguntas hacer. Grok está diseñado para responder preguntas con un toque de ingenio y tiene un espíritu rebelde, así que, ¡por favor, no lo uses si odias el humor!»

El equipo de xAI dijo que Grok está impulsado por un modelo de lenguaje amplio (LLM), la tecnología fundamental detrás de los chatbots de IA, llamado Grok-1. El blog mencionó que Grok-1 superó a GPT-3.5, el modelo utilizado en la versión gratuita de ChatGPT, en algunas pruebas, como la resolución de problemas de matemáticas de la escuela intermedia. Sin embargo, xAI dijo que quedaba rezagado con respecto al modelo más poderoso de ChatGPT, GPT-4.

El equipo de xAI dijo que Grok se está poniendo a disposición de un número limitado de usuarios en los Estados Unidos como prototipo, y que «nuevas capacidades y características» se implementarán en los próximos meses. Según el sitio web de Grok, el acceso inicial al chatbot se ofrece a los suscriptores de X como parte de un «programa de acceso anticipado».

Musk cofundó OpenAI, la empresa detrás de ChatGPT, pero se retiró de la empresa en 2018, argumentando que «no estaba de acuerdo con algunas de las cosas que el equipo de OpenAI quería hacer», además de citar compromisos en sus otras empresas. Musk ha expresado temores sobre el ritmo de desarrollo en empresas como OpenAI y en marzo apoyó un llamado a una pausa de seis meses en el desarrollo de sistemas poderosos.

Sin embargo, en julio Musk dijo que una pausa ya no parecía realista y anunció la creación de xAI, que, según él, construiría sistemas de IA «de manera adecuada».

Hablando en la cumbre de seguridad de la IA en Bletchley Park la semana pasada, Musk dijo que la IA era una amenaza para la humanidad, lo que refleja los temores de algunos expertos y ejecutivos de tecnología de que podrían surgir sistemas que evaden el control humano y tomen decisiones que pongan en peligro a la humanidad.

«Quiero decir, por primera vez, tenemos una situación en la que hay algo que va a ser mucho más inteligente que el ser humano más inteligente», dijo Musk.

Luego, el jueves, Musk predijo que la IA, el término para sistemas informáticos que pueden realizar tareas normalmente asociadas con seres inteligentes, reemplazaría todos los trabajos humanos. Hablando con el primer ministro, Rishi Sunak, dijo: «Llegará un punto en el que no se necesitará ningún trabajo».

Fuente: Milmo, Dan, y Dan Milmo Global technology editor. «Elon Musk Unveils Grok, an AI Chatbot with a ‘Rebellious Streak’». The Guardian, 5 de noviembre de 2023, sec. Technology. https://www.theguardian.com/technology/2023/nov/05/elon-musk-unveils-grok-an-ai-chatbot-with-a-rebellious-streak.

Recomendaciones para el uso de Inteligencia Artificial Generativa en la docencia

“Recomendaciones para el uso de Inteligencia Artificial Generativa en la docencia” por Grupo de trabajo de Inteligencia Artificial Generativa de la UNAM. Ciudad de México: UNAM, 2023

Texto completo

Hemos alcanzado una era digital y tecnológica en donde la inteligencia artificial (IA) se ha posicionado como un recurso que está transformando muchos aspectos de la vida en el mundo, la educación no es la excepción. La IA generativa (IAGen) emerge como una herramienta prometedora para mejorar las prácticas educativas. La capacidad de estos sistemas para crear contenido y material personalizado, así como ofrecer experiencias dinámicas de aprendizaje, plantea un enorme potencial. Esta tecnología aporta elementos que pueden convertirse en disruptivos para el proceso de enseñanza y aprendizaje, cuando se utilizan en un marco ético, responsable y bien informado. Durante el transcurso de este año, la Universidad Nacional Autónoma de México (UNAM) ha documentado el interés de varias entidades y dependencias en el tema, de manera que el 14 de agosto de este año se instaló formalmente un grupo de trabajo sobre el uso de estas herramientas en docencia, con el fin de explorar el potencial de IAGen en enseñanza, aprendizaje y evaluación en la institución, así como organizar actividades relativas al tema y emitir recomendaciones que sean de utilidad para el profesorado de la universidad. Este documento es una de estas iniciativas, se presentan recomendaciones prácticas que pretenden ayudar a la incorporación y aprovechamiento de la IA generativa en los espacios de aprendizaje universitarios. Es importante recordar que el campo de la IAGen tiene un crecimiento explosivo a nivel global, por lo que será necesario actualizar estas recomendaciones con el cúmulo de experiencias, investigaciones y recomendaciones que se generen a corto y mediano plazo.

Los editores de revistas publican unas orientaciones sobre el uso de la IA en la publicación científica

Kaebnick, Gregory E., David Christopher Magnus, Audiey Kao, Mohammad Hosseini, David Resnik, Veljko Dubljević, Christy Rentmeester, Bert Gordijn, y Mark J. Cherry. «Editors’ Statement on the Responsible Use of Generative AI Technologies in Scholarly Journal Publishing». Hastings Center Report n/a, n.o n/a. Accedido 2 de noviembre de 2023. https://doi.org/10.1002/hast.1507.

Los editores de siete revistas académicas publicaron recomendaciones sobre el uso responsable de herramientas de inteligencia artificial generativa por parte de autores, revisores y editores. Las recomendaciones prohíben que las herramientas de IA generativa sean consideradas como autores, pero permiten su uso para generar texto e ilustraciones.

«Estas restricciones son necesarias en parte para proteger la calidad académica, como han señalado otras declaraciones, pero también son vitales por razones sociales más amplias», afirmó Gregory E. Kaebnick, autor principal de las recomendaciones y editor del Informe del Hastings Center.

Estas herramientas «tienen el potencial de transformar la publicación académica de maneras que pueden ser perjudiciales pero también valiosas», dice la declaración, que fue publicada en varias de las revistas de bioética y humanidades editadas por los autores y firmantes. Entre los firmantes se encuentran Karen J. Maschke, editora de la revista Ética e Investigación Humana del Hastings Center, y Laura Haupt, editora jefe del Informe del Hastings Center y Ética e Investigación Humana. Seis editores adicionales también son firmantes.

Las cinco recomendaciones son las siguientes:

  1. Las LLMs [modelos de lenguaje grandes] u otras herramientas de IA generativa no deben figurar como autores en los artículos.
  2. Los autores deben ser transparentes sobre su uso de la IA generativa, y los editores deben tener acceso a herramientas y estrategias para garantizar la transparencia de los autores.
  3. Los editores y revisores no deben depender únicamente de la IA generativa para revisar los artículos enviados.
  4. Los editores tienen la responsabilidad final de seleccionar revisores y deben ejercer una supervisión activa de esa tarea.
  5. La responsabilidad final de la edición de un artículo recae en los autores y editores humanos.

Si bien estas recomendaciones son coherentes con las tomadas por el Comité de Ética en Publicación y muchos editores de revistas, difieren en algunos aspectos. Por un lado, abordan las responsabilidades de los revisores hacia los autores. Además, la nueva declaración toma una posición diferente a la de la revista Science, que sostiene que no solo una herramienta de IA generativa no puede ser considerada autora, sino que «el texto generado por ChatGPT (u otras herramientas de IA) no puede ser utilizado en el trabajo, ni pueden los gráficos, imágenes o ilustraciones ser producto de tales herramientas».

«Una prohibición así es demasiado amplia y puede ser imposible de hacer cumplir, en nuestra opinión», afirma la nueva declaración.

Las recomendaciones son preliminares. «No pretendemos haber resuelto las numerosas cuestiones sociales que creemos que la IA generativa plantea para la publicación académica, pero en aras de fomentar una conversación más amplia sobre estas cuestiones, hemos desarrollado un conjunto preliminar de recomendaciones sobre la IA generativa en la publicación académica», señala la declaración. «Esperamos que las recomendaciones y argumentos aquí establecidos ayuden a la comunidad académica a avanzar hacia una comprensión más profunda de las fortalezas, limitaciones y desafíos de la IA para el trabajo académico responsable».

Consideraciones reglamentarias sobre inteligencia artificial para la salud

Regulatory considerations on artificial intelligence for health. World Health Organization, 2023

Texto completo

En un esfuerzo por gestionar de forma responsable el rápido auge de las tecnologías sanitarias de IA, la OMS ha esbozado seis áreas de regulación de la IA para la salud, incluida la importancia de la transparencia y la documentación, la gestión de riesgos, la validación de datos, el uso previsto, la calidad de los datos, la privacidad y la protección de datos, y el fomento de la colaboración.

ChatGPT elabora la guía Enseñar con IA

Teaching with AI

https://openai.com/blog/teaching-with-ai

Open AI empresa creadora de ChatGPT ha publicado una guía para profesores que utilicen ChatGPT en sus clases, que incluye sugerencias, una explicación del funcionamiento de ChatGPT y sus limitaciones, la eficacia de los detectores de IA y los prejuicios.

La herramienta, proporciona recursos adicionales de las principales organizaciones educativas sobre cómo enseñar con y sobre IA, y respuestas a las preguntas más frecuentes de los educadores sobre temas como el funcionamiento de ChatGPT, sus limitaciones, la eficacia de los detectores de IA y los prejuicios.

Cómo utilizan los profesores ChatGPT

  1. Interpretación de conversaciones difíciles
    La Dra. Helen Crompton, catedrática de Tecnología Educativa en la Universidad Old Dominion, anima a sus estudiantes de postgrado en educación a utilizar ChatGPT como un sustituto de una persona concreta, como un compañero de debate que les señalará los puntos débiles de sus argumentos, un reclutador que les está entrevistando para un trabajo o un nuevo jefe que podría darles su opinión de una manera específica. Dice que explorar la información en un contexto de conversación ayuda a los estudiantes a comprender el material con más matices y desde una nueva perspectiva.

2. Crear cuestionarios, exámenes y planes de clase a partir de materiales curriculares
Fran Bellas, profesor de la Universidade da Coruña (España), recomienda a los profesores que utilicen ChatGPT como asistente para elaborar cuestionarios, exámenes y planes de clase. Bellas dice que primero hay que compartir el plan de estudios con ChatGPT y luego pedirle ideas nuevas para los cuestionarios y las lecciones que utilicen ejemplos modernos o culturalmente relevantes. Bellas también recurre a ChatGPT para ayudar a los profesores a asegurarse de que las preguntas que ellos mismos escriben son inclusivas y accesibles para el nivel de aprendizaje de los alumnos. «Si vas a ChatGPT y le pides que cree exámenes de 5 preguntas sobre circuitos eléctricos, los resultados son muy novedosos. Puedes coger esas ideas y hacerlas tuyas».

3. Reducir la dificultad para los no angloparlantes
El Dr. Anthony Kaziboni, Jefe de Investigación de la Universidad de Johannesburgo, da clase a estudiantes que en su mayoría no hablan inglés fuera del aula. Kaziboni cree que el dominio del inglés es una enorme ventaja en el mundo académico, y que los malentendidos, incluso de pequeños detalles de la gramática inglesa, pueden frenar el reconocimiento y las oportunidades de los estudiantes. Anima a sus alumnos a utilizar ChatGPT como ayuda para traducir, mejorar su redacción en inglés y practicar la conversación.

4. Enseñar a los alumnos el pensamiento crítico
Geetha Venugopal, profesora de informática de secundaria en la American International School de Chennai (India), compara la enseñanza de las herramientas de IA con el uso responsable de Internet. En su clase, aconseja a los alumnos que recuerden que las respuestas que da ChatGPT pueden no ser creíbles y exactas todo el tiempo, y que piensen críticamente si deben confiar en la respuesta, y luego confirmen la información a través de otros recursos primarios. El objetivo es ayudarles a «comprender la importancia de trabajar constantemente sus habilidades originales de pensamiento crítico, resolución de problemas y creatividad».

Inteligencia Artificial en la educación: dónde estamos y qué vendrá a continuación

Oxford University Press. «AI in education: where we are and what happens next». Accedido 31 de octubre de 2023. https://corp.oup.com/feature/ai-in-education-where-we-are-and-what-happens-next/.

El año 2023 ha presenciado un notorio crecimiento global en la adopción de la inteligencia artificial (IA), impulsado por la creciente disponibilidad y conciencia de herramientas de IA generativa (IA-G).

Cuando se trata de la educación, ya sea la enseñanza en el aula tradicional o el aprendizaje de idiomas, existen muchas consideraciones sobre lo que este creciente interés en la IA-G podría significar. Por un lado, se están llevando a cabo conversaciones sobre cómo educar a las futuras generaciones en el uso de tecnologías habilitadas por IA e incluso en cómo construirlas. Por otro lado, surge la pregunta apremiante de cómo las tecnologías habilitadas por IA se integran de manera positiva en los enfoques actuales de enseñanza y aprendizaje. Si bien estos dos escenarios a menudo van de la mano, en este informe, nos enfocamos principalmente en el último. Queremos examinar dónde estamos y qué vendrá a continuación y debería venir.

Esta tecnología en desarrollo tiene un gran potencial en la educación, pero la IA-G no es la primera tecnología digital que interrumpe la educación, ni siquiera la primera instancia de la IA que llega al aula. Los recursos digitales, como aquellos que ofrecen aprendizaje adaptativo y personalizado, a veces respaldados por el aprendizaje automático, ya se utilizan en muchos entornos de aprendizaje.

Es necesario acoger la tecnología de la manera correcta, para mejorar la educación para todos. Y es la educación siempre debe impulsar la tecnología, no al revés.

Entendiendo la pedagogía y las cambiantes necesidades de maestros y estudiantes, Se deben desarrollar soluciones que realmente marquen la diferencia en los resultados de aprendizaje y encontrar las mejores formas de avanzar en este camino juntos.

En el centro de esto se encuentran los maestros y la necesidad de apoyarlos con recursos de calidad. El 88% de los maestros a quienes se consultó dijo que se beneficiarían de que se recopilaran información y estudios relevantes en un mismo lugar.

Este informe se basa en nuestra red global de expertos, investigaciones de fuentes confiables y conocimientos de nuestras comunidades de estudiantes, maestros de escuela y maestros de inglés. En el mismo se comparte lo aprendido sobre dónde estamos y se establece lo que los líderes escolares, organismos de educación y gobiernos deben considerar para lo que sucederá a continuación.

Este informe aborda:

  1. Un panorama global La IA ya juega un papel importante en la educación en todo el mundo, pero ¿cómo difiere esto entre los países?
  2. El impacto en los maestros ¿Los maestros son optimistas acerca de la IA? ¿Se sienten preparados, o necesitan más apoyo?
  3. El impacto en el aprendizaje Los estudiantes ya están utilizando la IA, ¿cómo podemos aprovechar los beneficios, enseñar las habilidades adecuadas y protegernos contra los riesgos de la desinformación?
  4. Brecha digital: ¿La IA, un peligro o un nivelador? Muchos no tienen acceso a Internet, y mucho menos a la IA, ¿puede la nueva tecnología ayudar a cerrar las brechas existentes o las profundizará aún más?
  5. ¿Qué sigue? Se presentan cinco recomendaciones para los líderes escolares, organismos de educación y gobiernos sobre cómo asegurarnos de que la educación impulse la tecnología, y no al revés.

El Impacto de la Inteligencia Artificial Generativa en las Bibliotecas: salvaguardando la excelencia, abrazando la innovación

The Impact of Generative AI on Libraries. Clarivate, 2023

Texto completo

Existen preocupaciones y desafíos válidos en torno a la IA generativa, lo que ha llevado a un creciente debate sobre la regulación. Sin embargo, las bibliotecas académicas no pueden pasar por alto su potencial beneficio significativo. Con el objetivo de ofrecer un servicio óptimo a los usuarios, las bibliotecas están explorando cómo sus proveedores y suministradores de confianza pueden utilizar la IA generativa para ayudarles a lograr este objetivo.

Con avances en «descubrimiento conversacional», podemos permitir que las bibliotecas ofrezcan contenido y recomendaciones personalizados y autorizados a sus usuarios sin comprometer los valores fundamentales.

Descarga este informe técnico gratuito y aprenda:

  • Cómo mejorar el descubrimiento y los servicios de usuario enfatizando la transparencia, la acreditación adecuada y los derechos de propiedad intelectual.
  • Cómo mejorar los resultados de aprendizaje en un entorno de aprendizaje más inclusivo y holístico.
  • Cómo simplificar los flujos de trabajo de la biblioteca y potenciar las soluciones bibliotecarias.
  • Cómo mantenerse a la vanguardia de la transformación digital aprovechando los beneficios de la IA generativa en las bibliotecas académicas.

¿Podemos asegurarnos de que los sistemas de detección de la IA generativa sean precisos y justos?:

Statement on Principles for the Development and Use of Systems to Detect Generative AI Content. ACM, oct. 2023

Texto completo

Con el interés público centrado en tecnologías de IA generativa en constante aumento, algunos de los problemas más apremiantes giran en torno a preguntas como «¿Se está utilizando la IA generativa para crear imágenes y videos falsos?» y «¿Los estudiantes están utilizando la IA generativa para escribir trabajos y hacer trampa en los exámenes?» Por estas razones, hay una creciente demanda de sistemas que puedan detectar si una imagen, archivo de audio o trabajo escrito ha sido creado por un humano o un sistema de IA.

A pesar de que los sistemas de detección de IA están comenzando a proliferar, no existen estándares de la industria ni regulaciones gubernamentales que garanticen que estos sistemas sean precisos o justos. Debido a que el impacto de estos sistemas en las personas puede ser significativo, el Association for Computing Machinery’s US Technology Policy Committee (ACM USTPC) ha emitido una Declaración de Principios para el Desarrollo y Uso de Sistemas de Detección de Contenido de IA Generativa.

La introducción a la nueva Declaración de USTPC destaca diversos escenarios en los que sería deseable contar con sistemas para detectar contenido generado por IA. Por ejemplo, los empleadores que desean saber si se utilizó IA generativa para completar una solicitud de trabajo o las empresas de medios que intentan determinar si los comentarios publicados en plataformas fueron dejados por humanos o chatbots.

Al mismo tiempo, la Declaración señala que «la demanda de tales sistemas no es un indicador de su equidad o precisión». El comité continúa explicando que «ninguna tecnología de detección actualmente disponible es lo suficientemente confiable como para basar exclusivamente decisiones críticas, potencialmente alteradoras de la vida y la carrera…»

La declaración proporciona un contexto técnico sobre por qué no se puede garantizar la equidad y precisión de los sistemas de detección de IA generativa existentes y establece seis principios y recomendaciones específicos:

  1. Bajo riesgo de rechazos incorrectos y proceso de apelación impulsado por humanos: El uso de sistemas para detectar imágenes generadas por IA y otros medios que automáticamente marcan las presentaciones para su rechazo solo debe ser aceptable si estos sistemas de detección tienen un riesgo extremadamente bajo de rechazos incorrectos y si se proporciona un proceso de apelación impulsado por humanos.
  2. Presentaciones de alto riesgo: Generalmente no es apropiado rechazar automáticamente presentaciones de texto en circunstancias de alto riesgo que se clasifican como producidas por un sistema de IA generativa, incluso si se proporciona un proceso para apelar dichos rechazos. Ejemplos de presentaciones de alto riesgo incluyen (pero no se limitan a) tareas en el aula y solicitudes de admisión a una institución educativa, crédito o empleo.
  3. Códigos de conducta: Las entidades que utilizan sistemas de detección de IA generativa deben adoptar directrices, como códigos de conducta, manuales del empleado y códigos de honor ejecutables, que requieran que aquellos afiliados a la entidad cumplan con las políticas de IA de la organización.
  4. Impugnación de resultados: De acuerdo con declaraciones anteriores de USTPC, las personas deben tener la oportunidad de impugnar resultados siempre que se tome una decisión adversa sobre ellas, en su totalidad o en parte, basada en la salida de un sistema de IA.
  5. Formación adecuada: Los evaluadores de contenido humano deben recibir una formación adecuada de manera continua sobre los métodos y herramientas adecuados para validar el contenido presentado.
  6. Aumento de la financiación: Sería prudente y beneficioso aumentar la financiación del sector público y privado para la investigación sobre cómo desarrollar mecanismos de detección mejores, realizar análisis de impacto, realizar investigaciones de usuario y otros asuntos relacionados.

En palabras de Simson Garfinkel, autor principal de la declaración y presidente del Subcomité de Gobierno Digital de USTPC: «En principio, detectar texto e imágenes generados por la IA es un problema abierto. Aunque podría ser posible construir un sistema que pueda detectar el contenido generado por la IA de hoy, tal detector podría utilizarse para construir el sistema de generación de IA del mañana que evite dicha detección. Esta declaración se emite para agregar una voz de experiencia técnica al pánico moral sobre el uso de la IA generativa. Estamos diciendo que el texto e imágenes producidos por sistemas de IA generativa no pueden detectarse de manera confiable hoy. También alentamos a todas las instituciones a abstenerse de desplegar sistemas que pretendan detectar y descartar automáticamente materiales porque supuestamente fueron creados por un sistema de IA generativa».

Larry Medsker, presidente del Comité de Política Tecnológica de ACM de los Estados Unidos, agregó: «Esta nueva Declaración es parte de una serie continua que el Comité de Tecnología de ACM de los Estados Unidos publica para informar al público sobre las nuevas tecnologías y sus impactos en la sociedad. Recientemente, hemos estado especialmente activos en brindar aportes oportunos para abordar los nuevos desarrollos en IA». En esta línea, los miembros de USTPC han publicado “Principles for the Development, Deployment and Use of Generative AI” y “Statement on Principles for Responsible Algorithmic Systems.”

Además del autor principal Simson Garfinkel, los principales contribuyentes a la “Statement on Principles for the Development and Use of Systems to Detect Generative AI Content” incluyen a los miembros del comité Houssam Abbas, Andrew Appel, Harish Arunachalam, Ricardo Baeza-Yates, David Bauman, Ravi Jain, Carl Landwehr, Larry Medsker, Neeti Pokhriyal, Arnon Rosenthal y Marc Rotenberg.

Investigadores de la Universidad de Stanford diseñan un modelo de revisión por pares utilizando ChatGPT-4 con resultados sorprendentes

Stanford HAI. «Researchers Use GPT-4 To Generate Feedback on Scientific Manuscripts». Accedido 31 de octubre de 2023. https://hai.stanford.edu/news/researchers-use-gpt-4-generate-feedback-scientific-manuscripts.

Combinando un amplio modelo lingüístico (LLM) y artículos científicos revisados por pares de código abierto, investigadores de Stanford han creado una herramienta basada en inteligencia Artificial que esperan pueda ayudar a otros investigadores a pulir y mejorar sus borradores.

La investigación científica tiene un problema con poder disponer de pares que analicen la validez de los artículos. No hay suficientes revisores cualificados para evaluar todos los estudios. Este problema afecta sobre todo a los investigadores jóvenes y a los de instituciones menos conocidas, que a menudo no tienen acceso a mentores experimentados que puedan dar su opinión a tiempo. Además, muchos estudios científicos son rechazados sumariamente sin revisión por pares.

Intuyendo una crisis creciente en una época de aumento de los estudios científicos, investigadores de IA de la Universidad de Stanford han utilizado el gran modelo lingüístico GPT-4 y un conjunto de datos de miles de artículos publicados anteriormente -repletos de los comentarios de sus revisores- para crear una herramienta que pueda «revisar previamente» los borradores de manuscritos.

«Esperamos que los investigadores puedan utilizar esta herramienta para mejorar sus borradores antes de presentarlos oficialmente a congresos y revistas», afirma James Zou, profesor adjunto de Ciencia de Datos Biomédicos en Stanford y miembro del Instituto de IA Centrada en el Ser Humano (HAI) de Stanford. Zou es el autor principal del estudio, publicado recientemente en arXiv.

Los investigadores empezaron comparando los comentarios realizados por un gran modelo lingüístico con los de revisores humanos. Afortunadamente, una de las revistas científicas más importantes, Nature, y sus quince subrevistas (Nature Medicine, etc.), no sólo publica cientos de estudios al año, sino que incluye los comentarios de los revisores de algunos de esos trabajos. Y Nature no es la única. La International Conference on Learning Representations (ICLR) hace lo mismo con todos los trabajos -tanto los aceptados como los rechazados- de su conferencia anual sobre aprendizaje automático.

«Entre los dos, curamos casi 5.000 estudios y comentarios revisados por pares para compararlos con los comentarios generados por GPT-4», dice Zou. «El modelo lo hizo sorprendentemente bien».

Las cifras se asemejan a un diagrama de Venn de comentarios superpuestos. Entre los cerca de 3.000 artículos de la familia Nature incluidos en el estudio, había una intersección entre GPT-4 y los comentarios humanos de casi el 31 por ciento. En el caso de ICLR, las cifras eran aún mayores: casi el 40% de los comentarios de GPT-4 y humanos coincidían. Es más, si se consideran únicamente los artículos rechazados del ICLR (es decir, los artículos menos maduros), el solapamiento de comentarios entre GPT-4 y humanos aumentó hasta casi el 44%: casi la mitad de todos los comentarios de GPT-4 y humanos coincidían.

La importancia de estas cifras se hace más patente si se tiene en cuenta que, incluso entre los humanos, existe una variación considerable entre los comentarios de los distintos revisores de un mismo artículo. El solapamiento entre humanos fue del 28% en las revistas Nature y del 35% en ICLR. Según estos parámetros, el rendimiento de GPT-4 es comparable al de los humanos.

Pero aunque las comparaciones entre ordenadores y humanos son instructivas, la verdadera prueba es si los autores de los artículos revisados valoran los comentarios aportados por uno u otro método de revisión. El equipo de Zou llevó a cabo un estudio de usuarios en el que investigadores de más de 100 instituciones enviaron sus artículos, incluidos muchos preprints, y recibieron los comentarios de GPT-4. La mitad de los investigadores participantes consideraron que GPT-4 era el método más eficaz. Más de la mitad de los investigadores participantes consideraron que los comentarios de GPT-4 eran «útiles/muy útiles» y el 82 por ciento los consideraron «más beneficiosos» que ciertos comentarios de algunos revisores humanos.

En el artículo, Zou se apresura a señalar que el método tiene sus limitaciones. En particular, los comentarios de GPT-4 pueden ser a veces más «genéricos» y no detectar los problemas técnicos más profundos del artículo. El GPT-4 también tiende a centrarse sólo en aspectos limitados de los comentarios científicos (por ejemplo, «añadir experimentos con más conjuntos de datos») y se queda corto a la hora de profundizar en los métodos de los autores.

Zou insistió en que el equipo no está sugiriendo que la GPT-4 elimine al «experto humano (par)» de la revisión por pares y sustituya a la revisión humana. La revisión por expertos humanos «es y debe seguir siendo» la base de la ciencia rigurosa, afirma.

«Pero creemos que la retroalimentación de la IA puede beneficiar a los investigadores en las primeras etapas de la redacción de sus artículos, sobre todo si se tienen en cuenta las crecientes dificultades para obtener a tiempo la opinión de los expertos sobre los borradores», concluye Zou. «Desde ese punto de vista, creemos que GPT-4 y la retroalimentación humana se complementan bastante bien».

Perspectivas de las Humanidades sobre la Inteligencia Artificial

Humanities Perspectives on Artificial Intelligence (AI), National Endowment For the Humanities (NEH), 2023

Acceder a la noticia

National Endowment For the Humanities (NEH) anuncia hoy una nueva e importante iniciativa de investigación, Humanities Perspectives on Artificial Intelligence (Perspectivas de las Humanidades sobre la Inteligencia Artificial). En el marco de esta iniciativa, la NEH apoyará proyectos de investigación que traten de comprender y abordar las implicaciones éticas, jurídicas y sociales de la inteligencia artificial (IA). El NEH está especialmente interesado en proyectos que exploren el impacto de las tecnologías relacionadas con la IA en la verdad, la confianza y la democracia; la seguridad y la protección; y la privacidad, los derechos civiles y las libertades civiles.

La IA es una de las tecnologías más potentes de nuestro tiempo. Las cuestiones sobre las implicaciones éticas, jurídicas y sociales de la IA están fundamentalmente enraizadas en las humanidades, que incluyen la ética, el derecho, la historia, la filosofía, la antropología, la sociología, el estudio de los medios de comunicación y los estudios culturales. De hecho, la legislación fundacional del NEH encomienda a la agencia hacer que el pueblo estadounidense sea «dueño de su tecnología y no su sirviente irreflexivo».

La iniciativa Perspectivas Humanas de la Inteligencia Artificial del NEH responde a la Executive Order on Safe, Secure, and Trustworthy Artificial Intelligence del Presidente Biden, que establece nuevas normas para la seguridad de la IA, protege la privacidad de los estadounidenses y fomenta la equidad y los derechos civiles. La inversión del NEH en la investigación de la IA también está en consonancia con las prioridades de la Administración Biden-Harris en materia de investigación y desarrollo (I+D) sobre IA, tal y como se recoge en el National AI R&D Strategic Plan de la Casa Blanca publicado a principios de este año.

«El rápido desarrollo de la inteligencia artificial tiene consecuencias de gran alcance para la sociedad, la cultura y la democracia estadounidenses», declaró la Presidenta del NEH, Shelly C. Lowe (Navajo). «Las humanidades proporcionan la brújula ética y el contexto histórico para ayudarnos a comprender todas las implicaciones de las tecnologías de IA, dando tanto a los creadores como a los usuarios de la IA las herramientas necesarias para navegar por sus riesgos y recompensas de manera responsable, crítica y deliberada.»

La iniciativa Humanities Perspectives on Artificial Intelligence del NEH apoyará numerosos proyectos de humanidades relacionados con la IA a través de las siguientes oportunidades de financiación:

  • Las universidades u organizaciones de investigación independientes que estén considerando establecer un centro de investigación centrado en la investigación humanística de la IA deberían considerar el programa de subvenciones más reciente del NEH,  Humanities Research Centers on Artificial Intelligence. Esta oportunidad de financiación ofrece hasta 750.000 dólares para apoyar la creación de centros de investigación en humanidades centrados en las implicaciones éticas, jurídicas o sociales de la inteligencia artificial.
  • Los académicos individuales o los equipos académicos con sede en una institución (por ejemplo, colegios y universidades) pueden considerar Peligros y oportunidades de la tecnología: Perspectivas desde las Humanidades. Los investigadores independientes o afiliados a una institución pueden solicitar becas, premios para profesores de HBCU, HSI y TCU, estipendios de verano o becas públicas.
  • Los equipos de colaboración interesados en planificar un proyecto internacional de investigación sobre IA o en organizar una reunión académica sobre IA deben considerar la investigación en colaboración.
  • Las instituciones interesadas en acoger programas de desarrollo profesional sobre las últimas investigaciones relacionadas con la IA humanística deben considerar los Institutos de Temas Avanzados en Humanidades Digitales.