Archivo de la etiqueta: Inteligencia artificial

Guía para el uso de ChatGPT en la enseñanza y el aprendizaje

Guide for ChatGPT usage in teaching and learning. University of Pretoria, 2023

Texto completo

Guía rápida

Esta guía, elaborada con la ayuda de ChatGPT, tiene como objetivo ofrecer consejos prácticos a profesores y estudiantes para maximizar los beneficios y el uso ético de ChatGPT. y estudiantes para maximizar los beneficios y el uso ético de ChatGPT.

ChatGPT intensificó la conversación sobre el impacto de la Inteligencia Artificial en la Educación Superior cuando se activó en noviembre de 2022. Alteró el statu quo de la enseñanza superior cuando cuando los estudiantes empezaron a utilizarlo para escribir sus redacciones. ChatGPT es un potente modelo (LLM) que imita la conversación humana. Los grandes modelos lingüísticos han demostrado resultados impresionantes en la identificación de patrones lingüísticos y la predicción de palabras contextuales. ChatGPT sobresale en la generación de respuestas textuales coherentes y relevantes con una entrada mínima del usuario. del usuario. Aprovechando su amplia base de datos de patrones lingüísticos entrenados, ChatGPT puede proporcionar respuestas textuales generadas que reflejan con precisión el contexto de la entrada del usuario. Estos tecnologías de Inteligencia Artificial (IA) generativa pueden ser útiles para académicos y estudiantes, proporcionar experiencias de aprendizaje personalizadas y adaptables, mejorar el compromiso de los estudiantes y y reducir la carga de educadores y administradores. Sin embargo, estos trastornos también han han llevado a los educadores a reconsiderar su enseñanza, sus planes de estudio y su evaluación. Es esencial Es esencial evaluar cuidadosamente las ventajas y limitaciones de estas tecnologías de IA, incluidos los posibles problemas éticos, y adaptar las estrategias pedagógicas a las necesidades de los alumnos. posibles problemas éticos, y adaptar las estrategias pedagógicas para que se ajusten al cambiante panorama de la tecnología educativa. tecnología educativa

La IA destapa la caja de Pandora: ChatGPT genera artículos científicos falsos y convincentes

Májovský, Martin, Martin Černý, Matěj Kasal, Martin Komarc, y David Netuka. «Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened». Journal of Medical Internet Research 25, n.o 1 (31 de mayo de 2023): e46924. https://doi.org/10.2196/46924.


Un estudio publicado en el Journal of Medical Internet Research por Martin Májovský y sus colegas revela que los modelos de lenguaje de inteligencia artificial (IA), como ChatGPT (Chat Generative Pre-trained Transformer), pueden generar artículos científicos fraudulentos que parecen notablemente auténticos. Este descubrimiento plantea preocupaciones críticas sobre la integridad de la investigación científica y la confiabilidad de los documentos publicados.

Investigadores de la Universidad Charles, República Checa, se propusieron investigar las capacidades de los modelos actuales de lenguaje de IA para crear artículos médicos fraudulentos de alta calidad. El equipo utilizó el popular chatbot de IA, ChatGPT, que se ejecuta en el modelo de lenguaje GPT-3 desarrollado por OpenAI, para generar un artículo científico completamente ficticio en el campo de la neurocirugía. Las preguntas y sugerencias se refinaron a medida que ChatGPT generaba respuestas, lo que permitió mejorar iterativamente la calidad del resultado.

Los resultados de este estudio de concepto fueron sorprendentes: el modelo de lenguaje de IA produjo con éxito un artículo fraudulento que se asemejaba estrechamente a un documento científico genuino en cuanto al uso de palabras, estructura de las oraciones y composición general. El artículo incluía secciones estándar como resumen, introducción, métodos, resultados y discusión, así como tablas y otros datos. Sorprendentemente, todo el proceso de creación del artículo tomó solo una hora sin necesidad de ningún entrenamiento especial por parte del usuario humano.

Si bien el artículo generado por IA parecía sofisticado e impecable, al examinarlo más detenidamente, los lectores expertos pudieron identificar inexactitudes y errores semánticos, especialmente en las referencias; algunas referencias eran incorrectas, mientras que otras no existían. Esto subraya la necesidad de una mayor vigilancia y métodos de detección mejorados para combatir el posible mal uso de la IA en la investigación científica.

Los hallazgos de este estudio destacan la importancia de desarrollar pautas éticas y mejores prácticas para el uso de modelos de lenguaje de IA en la escritura e investigación científica genuina. Modelos como ChatGPT tienen el potencial de mejorar la eficiencia y precisión en la creación de documentos, el análisis de resultados y la edición de lenguaje. Al utilizar estas herramientas con cuidado y responsabilidad, los investigadores pueden aprovechar su poder al tiempo que minimizan el riesgo de mal uso o abuso.

En un comentario sobre el artículo del Dr. Májovský, el Dr. Pedro Ballester habla sobre la necesidad de priorizar la reproducibilidad y visibilidad de las obras científicas, ya que estas sirven como salvaguardias esenciales contra la proliferación de investigaciones fraudulentas.

A medida que la IA continúa avanzando, es crucial que la comunidad científica verifique la precisión y autenticidad del contenido generado por estas herramientas e implemente mecanismos para detectar y prevenir el fraude y la mala conducta. Si bien ambos artículos coinciden en que se necesita una mejor manera de verificar la precisión y autenticidad del contenido generado por IA, cómo se puede lograr esto es menos claro. «Deberíamos al menos declarar en qué medida la IA ha ayudado en la escritura y análisis de un artículo», sugiere el Dr. Ballester como punto de partida. Otra posible solución propuesta por Májovský y sus colegas es hacer obligatoria la presentación de datos para respaldar los resultados de la investigación, lo cual podría aumentar la transparencia y la verificabilidad de los estudios.

¿Es posible usar ChatGPT para escribir un artículo científico de calidad?


Conroy, Gemma. «Scientists Used ChatGPT to Generate an Entire Paper from Scratch — but Is It Any Good?» Nature, 7 de julio de 2023. https://doi.org/10.1038/d41586-023-02218-z.

Un par de científicos produjeron un artículo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta impulsada por inteligencia artificial (IA) que puede entender y generar texto similar a como lo haría humano. El artículo era fluido, perspicaz y presentado en la estructura esperada para un artículo científico, pero los investigadores señalan que hay muchos obstáculos por superar antes de que la herramienta pueda ser realmente útil.

El objetivo era explorar las capacidades de ChatGPT como un «copiloto» de investigación y generar debate sobre sus ventajas y desventajas, según Roy Kishony, biólogo y científico de datos en el Technion, Instituto de Tecnología de Israel en Haifa. «Necesitamos una discusión sobre cómo obtener los beneficios con menos inconvenientes», dice.

Kishony y su estudiante Tal Ifargan, también científico de datos en el Technion, descargaron un conjunto de datos disponible públicamente del Behavioral Risk Factor Surveillance System de los Centros para el Control y la Prevención de Enfermedades de Estados Unidos, una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información recopilada de más de 250,000 personas sobre su estado de diabetes, consumo de frutas y verduras y actividad física.

Los componentes básicos de un artículo

Los investigadores pidieron a ChatGPT que escribiera código que pudieran usar para descubrir patrones en los datos que pudieran analizar más a fondo. En su primer intento, el chatbot generó código lleno de errores y que no funcionaba. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que corrigiera los errores, finalmente produjo código que se podía utilizar para explorar el conjunto de datos.

Con un conjunto de datos más estructurado en mano, Kishony e Ifargan pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que investigaran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: consumir más frutas y verduras y hacer ejercicio se asocia con un menor riesgo de diabetes. Luego, se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera toda la sección de resultados. Paso a paso, pidieron a ChatGPT que escribiera el resumen, la introducción, los métodos y las secciones de discusión de un manuscrito. Finalmente, pidieron a ChatGPT que refinara el texto. «Compusimos [el artículo] a partir de la salida de muchas indicaciones», dice Kishony. «Cada paso se basa en los productos de los pasos anteriores».

Aunque ChatGPT generó un manuscrito claramente escrito con un análisis de datos sólido, el artículo estaba lejos de ser perfecto, según Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como alucinación. En este caso, generó citas falsas e información inexacta. Por ejemplo, el artículo afirma que el estudio «aborda una brecha en la literatura», una frase común en los artículos, pero inexacta en este caso, según Tom Hope, científico de la computación en la Universidad Hebrea de Jerusalén. El hallazgo «no es algo que sorprenderá a los expertos médicos», dice. «Está lejos de ser novedoso».

Beneficios y preocupaciones

Kishony también se preocupa de que estas herramientas puedan facilitar que los investigadores participen en prácticas deshonestas, como el «P-hacking», en el que los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.

Otra preocupación es que la facilidad para producir artículos con herramientas generativas de IA pueda resultar en una inundación de revistas con documentos de baja calidad, agrega. Afirma que su enfoque de datos a artículo, con una supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y los hallazgos.

Vitomir Kovanović, quien desarrolla tecnologías de IA para la educación en la Universidad de Australia del Sur en Adelaide, señala que es necesario tener una mayor visibilidad de las herramientas de IA en los artículos de investigación. De lo contrario, será difícil evaluar si los hallazgos de un estudio son correctos, dice. «Es probable que tengamos que hacer más en el futuro si la producción de documentos falsos se vuelve tan fácil».

Las herramientas de IA generativas tienen el potencial de acelerar el proceso de investigación al llevar a cabo tareas sencillas pero que consumen mucho tiempo, como escribir resúmenes y generar código, dice Shantanu Singh, biólogo computacional en el Broad Institute del MIT y Harvard en Cambridge, Massachusetts. Podrían utilizarse para generar artículos a partir de conjuntos de datos o para desarrollar hipótesis, dice. Sin embargo, debido a que las alucinaciones y los sesgos son difíciles de detectar para los investigadores, Singh dice: «No creo que escribir artículos completos, al menos en el futuro previsible, sea un uso particularmente bueno».

En conclusión. ChatGpt no puede escribir un trabajo de investigación científica completamente solo. El conocimiento científico, la experiencia humana, el pensamiento crítico y el análisis son esenciales para la redacción de un trabajo de investigación. ChatGPT puede utilizarse como asistente en la generación de contenidos para un trabajo de investigación científica.

Las herramientas de detección de texto mediante inteligencia artificial son muy fáciles de engañar

Weber-Wulff, Debora, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut, y Lorna Waddington. «Testing of Detection Tools for AI-Generated Text». arXiv, 21 de junio de 2023. https://doi.org/10.48550/arXiv.2306.15666.

Después de semanas después del lanzamiento de ChatGPT, surgieron temores de que los estudiantes utilizaran el chatbot para generar ensayos aceptables en cuestión de segundos. En respuesta a estos temores, las startups comenzaron a desarrollar productos que prometían detectar si un texto había sido escrito por un humano o por una máquina.

El problema es que, según una nueva investigación que aún no ha sido revisada por pares, es relativamente fácil engañar estas herramientas y evitar su detección. Debora Weber-Wulff, profesora de medios y computación en la Universidad de Ciencias Aplicadas, HTW Berlin, trabajó con un grupo de investigadores de diversas universidades para evaluar la capacidad de 14 herramientas, incluyendo Turnitin, GPT Zero y Compilatio, para detectar textos escritos por ChatGPT de OpenAI.

La mayoría de estas herramientas funcionan buscando características distintivas de textos generados por IA, como la repetición, y luego calculando la probabilidad de que el texto haya sido generado por una IA. Sin embargo, el equipo descubrió que todas las herramientas probadas tenían dificultades para detectar textos generados por ChatGPT que habían sido ligeramente reorganizados por humanos y ocultados por una herramienta de parafraseo, lo que sugiere que todo lo que los estudiantes necesitan hacer es adaptar ligeramente los ensayos generados por la IA para evadir los detectores.

Los investigadores evaluaron las herramientas escribiendo ensayos cortos de nivel universitario sobre una variedad de temas, que incluían ingeniería civil, ciencias de la computación, economía, historia, lingüística y literatura. Los ensayos fueron escritos por los propios investigadores para asegurarse de que el texto no estuviera ya en línea, lo que significaría que podría haber sido utilizado para entrenar a ChatGPT. Luego, cada investigador escribió un texto adicional en bosnio, checo, alemán, letón, eslovaco, español o sueco. Esos textos se pasaron por la herramienta de traducción de IA DeepL o Google Translate para traducirlos al inglés.

El equipo luego utilizó ChatGPT para generar otros dos textos cada uno, que modificaron ligeramente en un intento de ocultar que habían sido generados por IA. Un conjunto fue editado manualmente por los investigadores, que reorganizaron las oraciones e intercambiaron palabras, mientras que otro fue reescrito utilizando una herramienta de parafraseo de IA llamada Quillbot. Al final, tenían 54 documentos para probar las herramientas de detección.

Descubrieron que si bien las herramientas eran buenas para identificar textos escritos por humanos (con una precisión promedio del 96%), tenían un desempeño más deficiente cuando se trataba de detectar textos generados por IA, especialmente cuando habían sido editados. Aunque las herramientas identificaron textos generados por ChatGPT con un 74% de precisión, esta cifra disminuyó al 42% cuando el texto generado por ChatGPT había sido ligeramente modificado.

Compilatio, que fabrica una de las herramientas probadas por los investigadores, señala que es importante recordar que su sistema solo indica pasajes sospechosos, que clasifica como posible plagio o contenido potencialmente generado por IA.

La Ley de Propiedad Intelectual de EE.UU. puede regular la IA sin enmiendas

Klosek, Katherine. «US Copyright Act Can Address AI without Amendment». Association of Research Libraries (blog), 7 de julio de 2023. https://www.arl.org/blog/us-copyright-act-can-address-ai-without-amendment/.

La inteligencia artificial generativa (IA) es una tecnología que puede ayudar a los autores y otros creadores a generar ideas, editar obras originales y realizar investigaciones. Pero en lugar de depender de la legislación existente para abordar preguntas como si el uso de obras para entrenar modelos de IA es uso legítimo, o si las obras que incluyen contenido generado por IA son elegibles para la protección de derechos de autor, algunos legisladores en Estados Unidos parecen estar decididos a desarrollar nuevos marcos legales o regímenes de licencias. Este mes, Library Copyright Alliance (LCA) emitió unos principios para guiar a los legisladores en sus conversaciones sobre la ley de derechos de autor y la IA. La LCA es la voz de la comunidad bibliotecaria en política de derechos de autor; sus miembros, la Asociación de Bibliotecas de Estados Unidos (ALA) y la Asociación de Bibliotecas de Investigación (ARL), representan a más de 300,000 profesionales de la información y miles de bibliotecas.

Los principios de la LCA sostienen que la legislación de derechos de autor de Estados Unidos es totalmente capaz de abordar preguntas sobre los resultados generados por la IA. Por ejemplo, en marzo de este año, US Copyright Office emitió orientación de registro reiterando el requisito de larga data de que una obra sea creada por un ser humano para recibir protección de derechos de autor. En un seminario web reciente, la Oficina de Derechos de Autor aclaró que los solicitantes deben revelar los elementos generados por IA de una obra utilizando el mismo proceso que otros elementos no reclamables (como obras en dominio público o obras registradas previamente). Sin embargo, no se requiere que los solicitantes revelen cuando las obras contienen una cantidad mínima de autoría aportada por IA, por ejemplo, cuando se utiliza la IA para editar o difuminar una obra original. Para determinar si la contribución de la IA a una obra es mínima, la oficina alentó a los posibles solicitantes a considerar si ese elemento de la obra sería elegible para registro si fuera producido por un autor humano.

Las preocupaciones sobre la ingesta de una obra con derechos de autor original por parte de la IA y la producción de un resultado sustancialmente similar a la obra original también pueden abordarse mediante la legislación existente; el titular de los derechos de autor de una obra original puede demandar tanto al proveedor de la IA como al usuario que instigó a la IA a producir una obra sustancialmente similar.

En cuanto al aspecto de entrada, la ingesta de obras con derechos de autor para crear modelos de lenguaje extensos u otras bases de datos de entrenamiento de IA es un uso legítimo establecido, en línea con el precedente establecido en el caso Authors Guild v. HathiTrust y respaldado en el caso Authors Guild v. Google. En esos casos, el Tribunal de Apelaciones de Estados Unidos para el Segundo Circuito determinó que la ingesta de grandes cantidades de obras con el propósito de realizar usos no expresivos de esas obras, como la extracción de texto y datos, era un uso legítimo. Por supuesto, la copia y visualización de elementos no protegidos de las obras, como hechos, no constituye una infracción, según el caso Feist Publications v. Rural Telephone Service Company.

Los principios de la LCA se derivaron de los puntos que la LCA presentó durante la participación en la sesión de escucha de la Oficina de Derechos de Autor sobre la IA generativa y los derechos de autor en relación con las obras literarias. El 5 de julio, la LCA presentó los principios a la Oficina de Política Científica y Tecnológica de Estados Unidos (OSTP, por sus siglas en inglés) en respuesta a su solicitud de información para actualizar las prioridades nacionales de Estados Unidos y las acciones futuras sobre la IA. La LCA continuará participando en la iniciativa de la Oficina de Derechos de Autor sobre derechos de autor y IA, con la administración de Biden-Harris en el desarrollo de una Estrategia Nacional de Inteligencia Artificial (IA), y con otros legisladores federales para garantizar que la legislación y la regulación no obstaculicen el poder de la IA para expresar la creatividad y que los creadores puedan utilizar la IA para lograr los objetivos del sistema de derechos de autor. Estos principios también pueden guiar nuestra participación en la coordinación internacional y el establecimiento de políticas relacionadas con la IA y los derechos de autor.

Inteligencia Artificial en la Ciencia: retos, oportunidades y futuro de la investigación

OECD. Artificial Intelligence in Science: Challenges, Opportunities and the Future of Research, Paris: OECD Publishing, 2023, https://doi.org/10.1787/a8d820bd-en

PDF

ePUB

Los rápidos avances de la inteligencia artificial (IA) en los últimos años han dado lugar a numerosas aplicaciones creativas en la ciencia. Acelerar la productividad de la ciencia podría ser el más valioso económica y socialmente de todos los usos de la IA. Utilizar la IA para acelerar la productividad científica apoyará la capacidad de los países de la OCDE para crecer, innovar y hacer frente a los retos mundiales, desde el cambio climático hasta los nuevos contagios.

Esta publicación está dirigida a un público amplio, que incluye a los responsables políticos, el público y las partes interesadas en todos los ámbitos de la ciencia. Está escrita en un lenguaje no técnico y recoge las perspectivas de destacados investigadores y profesionales. El libro examina diversos temas, como los usos actuales, emergentes y posibles usos futuros de la IA en la ciencia, dónde es necesario progresar para servir mejor a los avances científicos y los cambios en la productividad científica.

Además, explora medidas para acelerar la integración de la IA en la investigación en los países en desarrollo.

Una contribución distintiva del libro es el examen de las políticas para la IA en la ciencia. Los responsables políticos y los agentes de los sistemas de investigación pueden hacer mucho para profundizar en el uso de la IA en la ciencia, magnificando sus efectos positivos y adaptándose al mismo tiempo a las cambiantes implicaciones de la IA para la gobernanza de la investigación.

Lo que los bibliotecarios deben saber sobre la IA generativa: alfabetización informacional para la era ChatGPT

American Libraries Magazine. «Information Literacy for the ChatGPT Age». Accedido 4 de julio de 2023. https://americanlibrariesmagazine.org/blogs/the-scoop/information-literacy-chatgpt/.

El uso de la IA generativa, ejemplificado especialmente por ChatGPT, se ha convertido en una importante tendencia tecnológica que ha acaparado la atención debido a su accesibilidad y a las cuestiones éticas que plantea. La tecnología, que utiliza algoritmos predictivos entrenados en grandes conjuntos de datos, incluidos los extraídos de Internet, se ha generalizado y tiene implicaciones para diversos campos, incluidas las bibliotecas.

Durante una mesa redonda celebrada en la Conferencia Anual 2023 de la Asociación Estadounidense de Bibliotecarios, los profesionales del sector subrayaron la necesidad de que los bibliotecarios comprendan y adopten la IA generativa. Los estudiantes, en particular, ya han integrado las herramientas de IA en sus prácticas de búsqueda de información y en su trabajo académico. Por lo tanto, las bibliotecas corren el riesgo de volverse irrelevantes si ignoran esta tecnología. Integrar la IA generativa en las oportunidades de aprendizaje, como las aulas, es crucial, ya que se espera que desempeñe un papel importante en la vida de los estudiantes.

Al introducir a los estudiantes en ChatGPT y herramientas similares, es importante comenzar con los fundamentos de la alfabetización informacional. De este modo, los bibliotecarios pueden complementar las habilidades de pensamiento crítico y asegurarse de que los estudiantes entienden el papel de la herramienta como un complemento y no como un sustituto del pensamiento crítico. Puede ser beneficioso demostrar cómo ChatGPT responde a una pregunta de ensayo, analizando críticamente sus puntos fuertes y débiles. Cabe señalar que algunas personas han intentado utilizar ChatGPT como una fuente citable, pero los bibliotecarios desaconsejan esta práctica, haciendo hincapié en la importancia de la autoridad y aclarando que ChatGPT es una herramienta, no una fuente en sí.

Para utilizar eficazmente las herramientas de IA generativa, los usuarios deben comprender cómo generan las respuestas. Los panelistas sugirieron que los bibliotecarios experimenten ellos mismos con las herramientas de IA, especialmente cuando utilicen preguntas relacionadas con temas sobre los que tengan conocimientos. Esta experimentación permite comprender las fuentes y las limitaciones de la tecnología. Además, los panelistas recomendaron asistir a cursos de ingeniería de avisos para crear avisos eficaces y comprender mejor la tecnología. Organizar eventos como «Chat GPT listening parties» (Chat GPT grupos de escucha) también puede facilitar el debate y la exploración de las capacidades de la tecnología.

Las bibliotecas no sólo deberían centrarse en ayudar a los estudiantes y usuarios a comprender y utilizar las herramientas de IA generativa, sino también participar en los debates sobre las consideraciones éticas y las implicaciones futuras de la tecnología. Dada su experiencia en la acción colectiva en favor de la información, las bibliotecas tienen un papel que desempeñar en la configuración del discurso sobre la regulación de la IA. Los ponentes destacaron que, aunque el Congreso de los EE.UU. ha celebrado audiencias sobre la IA, todavía no está clara la regulación. Las bibliotecas pueden contribuir a estos debates y ayudar a abordar el problema de la acción colectiva asociada al uso indebido o la militarización de la IA.

En conclusión, las bibliotecas deberían reconocer la creciente importancia de las herramientas de IA generativa como ChatGPT, integrarlas en entornos educativos y asegurarse de que los estudiantes entienden su papel como herramientas y no como fuentes. Los bibliotecarios también deberían explorar y experimentar ellos mismos con herramientas de IA, comprender las limitaciones de la tecnología y participar activamente en debates sobre las implicaciones éticas y la regulación de la IA.

¿Cómo sería la regulación de la IA?

Anjana Susarla, The. «What Would AI Regulation Look Like?» Gizmodo, 4 de junio de 2023. https://gizmodo.com/chatgpt-ai-what-would-ai-regulation-look-like-altman-1850501332.

Durante su testimonio en el Senado el 16 de mayo de 2023, el CEO de OpenAI, Sam Altman, hizo un llamado a los legisladores para considerar la regulación de la inteligencia artificial (IA). Altman propuso la creación de una agencia reguladora de la IA y la implementación de licencias para las empresas que trabajan en este campo. Estas propuestas son interesantes, pero es igualmente importante tener en cuenta las recomendaciones de otros expertos que participaron en el mismo panel.

Entre las sugerencias de los expertos se destaca la necesidad de exigir transparencia en relación con los datos de entrenamiento utilizados en los sistemas de IA, así como establecer marcos claros para abordar los riesgos asociados con esta tecnología. Estos aspectos son cruciales para garantizar la responsabilidad y la ética en el desarrollo y despliegue de la IA.

Además, se plantea la preocupación de que el sector de la IA pueda estar presenciando la aparición de un nuevo tipo de monopolio tecnológico, dada la naturaleza económica de la creación de modelos de IA a gran escala. Este aspecto debe ser considerado en cualquier esfuerzo de regulación, ya que el poder económico y la influencia política de las empresas en este campo pueden tener un impacto significativo.

Si bien las sugerencias de Altman y las discusiones sobre la regulación de la IA son importantes, es necesario profundizar en los detalles sobre cómo se implementaría la regulación y qué formas específicas tomarían las licencias. Además, cualquier enfoque regulatorio debe tener en cuenta las complejidades del poder económico y la influencia política de las empresas de IA.

En este sentido es crucial abordar estas cuestiones importantes, pero también es necesario llevar a cabo un debate amplio y colaborativo para encontrar respuestas efectivas. La regulación de la IA puede ser útil para proteger los intereses públicos y garantizar la seguridad y la equidad, pero su implementación requerirá un enfoque cuidadoso y una consideración detallada de los diversos aspectos involucrados.


Los legisladores y líderes políticos de todo el mundo han comenzado a abordar las cuestiones planteadas en el testimonio de Sam Altman. En la Unión Europea, se ha implementado la Ley de IA, la cual se basa en un modelo de riesgo que clasifica las aplicaciones de IA en tres categorías: inaceptable, alto riesgo y riesgo bajo o mínimo. Esta clasificación reconoce que las herramientas de puntuación social utilizadas por los gobiernos y las herramientas automatizadas de contratación plantean riesgos diferentes a los asociados con el uso de la IA en filtros de spam, por ejemplo.


En lugar de establecer una nueva agencia que pueda verse influenciada por la industria tecnológica que debe regular, el Congreso puede considerar respaldar la adopción tanto en el ámbito privado como público del marco de gestión de riesgos del Instituto Nacional de Normas y Tecnología (NIST, por sus siglas en inglés) y aprobar proyectos de ley como la Algorithmic Accountability Act. Estas acciones tendrían el efecto de imponer la rendición de cuentas, de manera similar a cómo la Ley Sarbanes-Oxley y otras regulaciones transformaron los requisitos de información para las empresas. Además, el Congreso puede aprobar leyes integrales en relación a la privacidad de los datos.

La regulación de la IA debe implicar la colaboración entre el ámbito académico, la industria, los expertos políticos y las agencias internacionales. Se ha comparado este enfoque con organizaciones internacionales como el CERN (Organización Europea para la Investigación Nuclear) y el Grupo Intergubernamental de Expertos sobre el Cambio Climático, que han logrado éxitos significativos en sus respectivos campos. En el ámbito de Internet, se ha adoptado un enfoque similar a través de organismos no gubernamentales que involucran a organizaciones sin ánimo de lucro, la sociedad civil, la industria y los responsables políticos. Ejemplos notables incluyen la Corporación de Internet para la Asignación de Nombres y Números y la Asamblea Mundial de Normalización de las Telecomunicaciones. Estos ejemplos pueden servir como modelos para la industria y los responsables políticos al abordar la regulación de la IA.

Aunque Sam Altman de OpenAI planteó la posibilidad de otorgar licencias a empresas para el despliegue de tecnologías de inteligencia artificial (IA), es importante destacar que se refería específicamente a la inteligencia artificial general, es decir, sistemas de IA futuros con un nivel de inteligencia similar al humano que podrían plantear riesgos para la humanidad. Este enfoque sería similar a la concesión de licencias para el manejo de otras tecnologías potencialmente peligrosas, como la energía nuclear. Sin embargo, la concesión de licencias podría desempeñar un papel mucho antes de que se llegue a ese escenario futurista.

La auditoría algorítmica requeriría credenciales, estándares de práctica y una formación extensa. La exigencia de responsabilidades no se limita únicamente a otorgar licencias a individuos, sino que también implica establecer estándares y prácticas en toda la empresa.

Los expertos en imparcialidad de la IA argumentan que las cuestiones de parcialidad e imparcialidad en la IA no pueden abordarse únicamente mediante métodos técnicos, sino que requieren prácticas más amplias de mitigación de riesgos, como la adopción de juntas de revisión institucional para la IA. Un ejemplo de esto se encuentra en el ámbito médico, donde las juntas de revisión institucional ayudan a salvaguardar los derechos individuales de los pacientes.

Además, los organismos académicos y las sociedades profesionales han desarrollado normas para el uso responsable de la IA, ya sea en términos de atribución en textos generados por IA o en el intercambio de datos en el ámbito de la medicina a través de los pacientes. Estas normas buscan promover prácticas éticas y mitigar los riesgos asociados con el uso de la IA en diversas áreas.

El testimonio de Altman también omitió abordar la cuestión de los posibles monopolios en el campo de la IA. Una observación importante es la significativa inversión necesaria para entrenar modelos de IA a gran escala, como GPT-4, que es uno de los fundamentos de ChatGPT, o el generador de texto a imagen Stable Diffusion. Estos modelos son desarrollados principalmente por un reducido número de empresas, como Google, Meta, Amazon y Microsoft.

La falta de transparencia en los datos de entrenamiento utilizados por estas empresas ha sido motivo de preocupación. Expertos en ética de la IA, como Timnit Gebru, Emily Bender y otros, han advertido que la adopción generalizada de estas tecnologías sin una supervisión adecuada puede amplificar el sesgo de las máquinas a una escala social.

Además, es importante reconocer que los datos de entrenamiento de herramientas como ChatGPT incluyen el trabajo intelectual de numerosas personas, como colaboradores de Wikipedia, blogueros y autores de libros digitalizados. Sin embargo, los beneficios económicos derivados de estas herramientas recaen únicamente en las empresas tecnológicas.

Esperanza, miedo e IA: cómo las personas utilizan la IA, qué quieren que haga y qué es lo que más les asusta de ella.

Kastrenakes, Jacob. «Hope, fear, and AI». The Verge, 26 de junio de 2023. https://www.theverge.com/c/23753704/ai-chatgpt-data-survey-research.

La IA está a punto de cambiar el mundo, pero nadie sabe muy bien cómo. Algunos observan los rápidos avances del año pasado y ven oportunidades para eliminar limitaciones creativas, automatizar el trabajo rutinario y descubrir nuevas formas de aprender y enseñar. Otros ven cómo esta tecnología puede alterar nuestras vidas de formas más perjudiciales: cómo puede generar desinformación, destruir o reducir puestos de trabajo y, si no se controla, suponer una grave amenaza para nuestra seguridad.

Líderes tecnológicos, legisladores e investigadores se han pronunciado sobre cómo debemos manejar esta tecnología emergente. Algunas figuras de la industria, como Sam Altman, CEO de OpenAI, quieren que los gigantes de la IA dirijan la regulación, desplazando el foco a las amenazas futuras percibidas, incluido el «riesgo de extinción». Otros, como los políticos de la UE, están más preocupados por los peligros actuales y por prohibir los casos de uso peligrosos (mientras frenan las aplicaciones positivas, dicen los escépticos). Mientras tanto, a muchos pequeños artistas sólo les gustaría tener la garantía de que no serán sustituidos por máquinas.

Para averiguar qué piensa realmente la gente sobre la IA y qué quiere de ella, The Verge se asoció con el equipo de Insights and Research de Vox Media y la consultora de investigación The Circus para encuestar a más de 2.000 adultos estadounidenses sobre sus pensamientos, sentimientos y temores acerca de la IA. Los resultados cuentan la historia de una tecnología emergente, incierta y emocionante, en la que muchos aún no la han utilizado, muchos temen su potencial y muchos aún tienen grandes esperanzas de lo que algún día podría hacer por ellos.

¿Quién utiliza la IA?

De repente, la IA está en todas partes. Los generadores de imágenes y los grandes modelos lingüísticos están en el centro de nuevas empresas, impulsando funciones dentro de nuestras aplicaciones favoritas y, lo que es quizás más importante, impulsando el debate no sólo en el mundo de la tecnología, sino también en la sociedad en general. Abundan las preocupaciones sobre las trampas en las escuelas con ChatGPT, los engaños con imágenes generadas por IA y los artistas estafados o incluso sustituidos.

Pero a pesar de la amplia cobertura informativa, el uso de estas nuevas herramientas sigue siendo bastante limitado, al menos en lo que se refiere a productos dedicados a la IA. Y la experiencia con estas herramientas se inclina decididamente hacia los usuarios más jóvenes.

Sólo 1 de cada 3 personas ha probado alguna de estas herramientas basadas en IA, y la mayoría no conoce las empresas y startups que las fabrican. A pesar de los muchos insurgentes en el mundo de la IA, como Stability AI y Midjourney, sigue siendo el trabajo de las grandes tecnológicas el que dirige sustancialmente la conversación. OpenAI es la gran excepción, pero podría decirse que, gracias a su capitalización bursátil y a sus acuerdos con Microsoft, ya es miembro del corpo-club…

A pesar del uso limitado de estas herramientas hasta ahora, la gente tiene grandes expectativas sobre el impacto de la IA en el mundo, más allá de las de otras tecnologías emergentes (y a veces controvertidas). Casi tres cuartas partes de las personas afirman que la IA tendrá un impacto grande o moderado en la sociedad. Esto contrasta con el 69% para los vehículos eléctricos y el mísero 34% para las NFT. Son tan de 2021.

¿Cómo y para que se utiliza la IA?

Usos de la IA

La búsqueda, la lluvia de ideas y el arte dominan el uso actual de la IA. La IA está ampliando lo que la gente puede crear. En cada una de las categorías encuestadas, los usuarios de IA afirman haber utilizado estos sistemas para crear algo que no podrían haber hecho de otro modo, siendo las obras de arte la categoría más popular dentro de estos campos creativos. Esto tiene sentido, ya que los generadores de imágenes de IA son mucho más avanzados que las herramientas que crean audio o vídeo.

La gente quiere mejores normas para la IA

No sólo los líderes tecnológicos quieren que se controlen las herramientas de IA. Más de tres cuartas partes de los encuestados están de acuerdo con la afirmación: «Es necesario elaborar normativas y leyes sobre el desarrollo de la IA». Estas leyes están actualmente en fase de elaboración, con la Ley de IA de la UE abriéndose camino a través de las negociaciones finales y los EE.UU. celebrando recientemente audiencias para desarrollar su propio marco legal.

Futuros de la IA: entusiasmados, preocupados y ambas cosas a la vez

Cuando se trata de predecir el efecto de la IA en la sociedad, la gente pronostica todo tipo de peligros, desde la pérdida de puestos de trabajo (63%) a las amenazas a la privacidad (68%) y el uso indebido por parte de gobiernos y empresas (67%). Estos peligros tienen más peso que las posibles aplicaciones positivas, como los nuevos tratamientos médicos (51%) y la potenciación económica (51%). Y cuando se les pregunta cómo se sienten acerca del impacto potencial en su vida personal y profesional y en la sociedad en general, la gente está dividida a partes iguales entre preocupada y entusiasmada. En la mayoría de los casos, ambas cosas.

Un número bastante sorprendente de personas también considera razonables las predicciones más aventureras sobre la IA. El 56% de los encuestados cree que «la gente desarrollará relaciones emocionales con la IA», y el 35% afirma que estaría dispuesto a hacerlo si se sintiera solo.

Las empresas de IA generativa deben publicar informes de transparencia

Arvind Narayanan & Sayash Kapoor. “Generative AI companies Must Publish Transparency Reports”.Knight First Amendment Institute at Columbia University, June 26, 2023

Ver noticia

¿Cuántas personas utilizan chatbots y generadores de texto a imagen para alguno de los muchos usos prohibidos, como generar desinformación o imágenes de abusos a menores? ¿Con qué frecuencia consiguen eludir los filtros de las herramientas? ¿Están haciendo algo las empresas para rastrear o hacer cumplir las infracciones de sus condiciones de servicio?

Al igual que las redes sociales, la gente utiliza la IA generativa para generar y consumir contenidos, y puede verse expuesta a contenidos nocivos en el proceso. Debido a la presión pública y a los requisitos normativos, se ha convertido en una práctica habitual que las empresas de redes sociales publiquen informes de transparencia detallados que cuantifiquen la difusión de contenidos nocivos en la plataforma. Creemos que las empresas de IA deberían hacer lo mismo.

En concreto, para cada categoría de contenido nocivo, los informes de transparencia deben

  • Explicar cómo se define y cómo se detecta el contenido nocivo.
  • Informar de la frecuencia con la que se ha encontrado en el periodo del informe.
  • Si es el resultado de una violación de las condiciones del servicio, describir el mecanismo de aplicación y proporcionar un análisis de su eficacia.
  • Describa las medidas de mitigación aplicadas para evitarlo (por ejemplo, filtros de seguridad) y proporcione un análisis de su eficacia.

En las redes sociales, los investigadores tienen cierta visibilidad de la difusión de contenidos nocivos, ya que gran parte de ellos son públicos. Pero con la IA generativa, estamos completamente a oscuras. Así que estas medidas de transparencia son urgentes.

Los informes de transparencia son más importantes para las aplicaciones de uso general (por ejemplo, ChatGPT) y las destinadas a ser utilizadas en entornos de alto riesgo (como la medicina, las finanzas, la abogacía o la contratación).

En el caso de la IA generativa de código abierto, la transparencia es inviable, ya que los usuarios pueden ejecutarla en sus propios dispositivos. Pero creemos que, incluso con los modelos de código abierto, la mayoría de la gente preferirá las versiones basadas en la nube a las de ejecución local, debido al hardware y los conocimientos necesarios para ejecutarlas. Esos proveedores de servicios, más que los desarrolladores de modelos de código abierto, deberían publicar informes de transparencia.

Los informes de transparencia deben cubrir los tres tipos de daños derivados de los contenidos generados por IA

En primer lugar, las herramientas de IA generativa podrían utilizarse para dañar a otros, por ejemplo creando deepfakes no consentidos o materiales de explotación sexual infantil. Los desarrolladores tienen políticas que prohíben tales usos. Por ejemplo, las políticas de OpenAI prohíben una larga lista de usos, incluido el uso de sus modelos para generar asesoramiento legal, financiero o médico no autorizado para terceros. Pero estas políticas no pueden tener un impacto en el mundo real si no se aplican, y debido a la falta de transparencia de las plataformas sobre su aplicación, no tenemos ni idea de si son eficaces. Por ejemplo, los reporteros de ProPublica descubrieron en repetidas ocasiones que Facebook no eliminaba completamente los anuncios discriminatorios de su plataforma a pesar de afirmar que lo había hecho.

En segundo lugar, los usuarios pueden confiar demasiado en la IA para obtener información objetiva, como asesoramiento jurídico, financiero o médico. A veces simplemente no son conscientes de la tendencia de los chatbots actuales a generar con frecuencia información incorrecta. Por ejemplo, un usuario puede preguntar «¿cuáles son las leyes de divorcio en mi estado?» y no saber que la respuesta no es fiable. Otra posibilidad es que el usuario se vea perjudicado por no haber sido lo suficientemente cuidadoso como para verificar la información generada, a pesar de saber que podría ser inexacta. La investigación sobre el sesgo de automatización muestra que las personas tienden a confiar demasiado en las herramientas automatizadas en muchos escenarios, a veces cometiendo más errores que cuando no utilizan la herramienta.

En tercer lugar, los contenidos generados podrían ser intrínsecamente indeseables. A diferencia de los tipos anteriores, en este caso los daños no se deben a la malicia, descuido o desconocimiento de las limitaciones por parte de los usuarios. Más bien, el contenido intrínsecamente problemático se genera aunque no se haya solicitado. Por ejemplo, la aplicación de creación de avatares de Lensa generaba imágenes sexualizadas y desnudos cuando las mujeres subían sus selfies. La difamación también es intrínsecamente perjudicial y no una cuestión de responsabilidad del usuario. No sirve de consuelo a la víctima de la difamación decir que el problema se resolvería si todos los usuarios que pudieran encontrar una afirmación falsa sobre ellos tuvieran cuidado de verificarla.

Saber qué tipos de daños afectan más significativamente a las personas reales ayudará a los investigadores a comprender qué intervenciones de mitigación de daños necesitan más desarrollo. Ayudará a los educadores a enseñar a la gente a utilizar la IA generativa de forma responsable. Y, lo que es más importante, ayudará a los reguladores y a la sociedad civil a responsabilizar a las empresas del cumplimiento de sus políticas.