Archivo de la etiqueta: ChatGPT

ChatGPT puede convertir a los malos escritores en mejores

Williams, Rhiannon. «ChatGPT Can Turn Bad Writers into Better Ones». MIT Technology Review. Accedido 25 de agosto de 2023. https://www.technologyreview.com/2023/07/13/1076199/chatgpt-can-turn-bad-writers-into-better-ones/.

Según un estudio, las personas que utilizan ChatGPT como ayuda para escribir son más productivas y realizan trabajos de mayor calidad que las que no lo hacen.

Desde su lanzamiento en noviembre del año pasado, ChatGPT ha ayudado a la gente a hacer su trabajo, y sus entusiastas usuarios lo han utilizado para redactar todo tipo de documentos, desde material de marketing hasta correos electrónicos e informes.

Ahora tenemos el primer indicio de su efecto en el lugar de trabajo. Un nuevo estudio realizado por dos estudiantes de economía del MIT, publicado hoy en Science, sugiere que podría ayudar a reducir las diferencias en la capacidad de redacción de los empleados. Descubrieron que podría permitir a los trabajadores menos experimentados que carecen de habilidades de escritura producir un trabajo similar en calidad al de sus colegas más cualificados.

Shakked Noy y Whitney Zhang reclutaron a 453 profesionales del marketing, analistas de datos y profesionales con estudios universitarios y les pidieron que realizaran dos tipos de tareas que normalmente llevarían a cabo como parte de su trabajo, como redactar comunicados de prensa, informes breves o planes de análisis. A la mitad se les dio la opción de utilizar ChatGPT para ayudarles a completar la segunda de las dos tareas.

A continuación, un grupo de profesionales comprobó la calidad de los resultados y los calificó en una escala de 1 a 7, siendo 7 el mejor resultado. Cada trabajo fue evaluado por tres personas de la misma profesión, contratadas a través de la plataforma de investigación Prolific.

Los escritores que decidieron utilizar ChatGPT tardaron un 40% menos en completar sus tareas, y produjeron trabajos que los evaluadores calificaron con un 18% más de calidad que los de los participantes que no lo utilizaron. Los escritores que ya eran expertos en redacción pudieron reducir el tiempo que dedicaban a su trabajo, mientras que los que fueron evaluados como escritores más débiles produjeron trabajos de mayor calidad una vez que tuvieron acceso al chatbot.

«ChatGPT es muy bueno en la producción de este tipo de contenido escrito, por lo que su uso para automatizar partes del proceso de escritura parece probable que ahorre mucho tiempo», dice Noy, autor principal de la investigación.

«Una cosa que está clara es que es muy útil para el trabajo de cuello blanco: mucha gente lo utilizará y va a tener un efecto bastante grande en cómo se estructura el trabajo de cuello blanco», añade.

Sin embargo, los resultados de ChatGPT y otros modelos generativos de IA distan mucho de ser fiables. ChatGPT es muy bueno presentando información falsa como factualmente correcta, lo que significa que aunque los trabajadores puedan aprovecharlo para ayudarles a producir más trabajo, también corren el riesgo de introducir errores.

Dependiendo de la naturaleza del trabajo de una persona, ese tipo de inexactitudes podrían tener graves implicaciones. El abogado Steven Schwartz fue multado el mes pasado con 5.000 dólares por un juez por utilizar ChatGPT para elaborar un informe jurídico que contenía opiniones judiciales y citas legales falsas.

La mitad de los estudiantes admite haber utilizado ChatGPT u otras aplicaciones de inteligencia artificial para realizar la mayoría de sus tareas académicas

«Half of College Students Say Using AI Is Cheating | BestColleges». Accedido 21 de julio de 2023. https://www.bestcolleges.com/research/college-students-ai-tools-survey/.

Una encuesta reciente realizada a 1.000 estudiantes universitarios y de posgrado reveló datos alarmantes: el 43% de los estudiantes encuestados admitió haber utilizado ChatGPT u otras aplicaciones de inteligencia artificial similares; el 30% confesó haber recurrido a la inteligencia artificial para realizar la mayoría de sus tareas académicas; y el 17% aceptó haber presentado trabajos de curso generados por la inteligencia artificial sin editarlos o modificarlos. Algo más de la mitad de los estudiantes (51%) son consciente de que utilizar herramientas de IA para realizar trabajos y exámenes se considera trampa o plagio. Dos de cada diez (20%) no están de acuerdo y el resto se muestra neutral.

Entre los estudiantes que afirman haber utilizado herramientas de IA para sus tareas escolares, la mitad (50%) las utiliza para algunas partes, pero realiza la mayor parte por sí mismo. Tres de cada diez (30%) utilizan la IA para la mayor parte de su tarea, y el 17% la utiliza para completar una tarea y entregarla sin modificaciones.

Estos resultados ponen de manifiesto el impacto que la inteligencia artificial está teniendo en el ámbito educativo, pero también resaltan el creciente problema de la deshonestidad académica. La facilidad con la que se puede acceder y utilizar herramientas de IA para hacer trampas plantea desafíos éticos y académicos para las instituciones educativas y los educadores.

Es esencial abordar esta problemática y fomentar la integridad académica entre los estudiantes. Las instituciones educativas deben tomar medidas para concienciar sobre los riesgos de hacer trampas con la IA y promover una cultura de honestidad y responsabilidad en el aprendizaje. Asimismo, es importante desarrollar estrategias de detección y prevención efectivas para abordar esta situación y garantizar la equidad y la legitimidad en la evaluación del rendimiento estudiantil.

Resumen de datos

  • El 43% de los estudiantes universitarios ha utilizado ChatGPT o una aplicación de IA similar.
  • De los que han utilizado herramientas de IA, el 50% dice haberlas utilizado para ayudar a completar tareas o exámenes. Esto supone el 22% de todos los universitarios encuestados.
  • Sin embargo, la mayoría de los estudiantes universitarios (57%) no tienen intención de utilizar o seguir utilizando la IA para completar sus tareas escolares.
  • El 31% afirma que sus profesores, los materiales del curso o los códigos de honor de la escuela han prohibido explícitamente las herramientas de IA.
  • Más de la mitad de los estudiantes universitarios (54%) afirma que sus profesores no han hablado abiertamente del uso de herramientas de IA como ChatGPT.
  • 6 de cada 10 universitarios (60%) afirman que sus profesores o centros de enseñanza no han especificado cómo utilizar las herramientas de IA de forma ética o responsable.
  • El 61% de los estudiantes universitarios cree que las herramientas de IA como ChatGPT se convertirán en la nueva normalidad.

Esta encuesta se llevó a cabo del 6 al 13 de marzo de 2023 y fue realizada por Pure Spectrum. Participaron en la encuesta 1.000 encuestados de todo el país que estaban matriculados en un programa de grado o posgrado presencial, en línea o híbrido. Los encuestados tenían entre 16 y 61 años, la mayoría (94%) entre 16 y 32 años, y estaban cursando estudios de grado, licenciatura, máster, doctorado o formación profesional.

Dos autores afirman que OpenAI «ingirió» sus libros para entrenar a ChatGPT, y es posible que se produzca una «oleada» de casos judiciales similares.

Rivera, Gabriel. «2 Authors Say OpenAI “ingested” Their Books to Train ChatGPT. Now They’re Suing, and a “Wave” of Similar Court Cases May Follow.» Business Insider. Accedido 19 de julio de 2023. https://www.businessinsider.com/openai-copyright-lawsuit-authors-chatgpt-trained-on-books-2023-7.

OpenAI se enfrenta a una demanda interpuesta por dos autores de renombre, Mona Awad y Paul Tremblay. Los autores acusan a OpenAI de violar la ley de propiedad intelectual al utilizar sus libros publicados para entrenar ChatGPT, el modelo de lenguaje de OpenAI, sin obtener su consentimiento.

La demanda, presentada a finales de junio, sostiene que el extenso modelo de lenguaje de ChatGPT «ingirió» el contenido protegido por derechos de autor de Mona Awad y Paul Tremblay. Los autores sostienen que la capacidad de ChatGPT para generar resúmenes detallados de sus obras sugiere que sus libros se incluyeron en los conjuntos de datos utilizados para entrenar la tecnología de IA.

Esta acción legal ejemplifica la tensión existente entre los creadores y las herramientas de IA generativa, que tienen la capacidad de producir texto e imágenes en cuestión de segundos. Muchos profesionales que trabajan en campos creativos expresan su preocupación por el impacto potencial del rápido avance de la tecnología en sus carreras y medios de vida. En consecuencia, estas preocupaciones están dando lugar cada vez más a desafíos legales.

Daniel Gervais, profesor de Derecho de la Universidad de Vanderbilt, señaló a Insider que la demanda presentada por los autores es uno de los varios casos de derechos de autor que han surgido en todo el país relacionados con herramientas de IA generativa. Sugiere que pueden surgir disputas legales similares en el futuro.

Gervais espera que muchos más autores demanden a las empresas que desarrollan grandes modelos de lenguaje y generative AI a medida que estos programas avancen y mejoren en la replicación del estilo de escritores y artistas. Él cree que es inminente una avalancha de desafíos legales que apuntan a la producción de herramientas como ChatGPT en todo el país.

Demostrar que los autores en el caso sufrieron daños económicos debido a las prácticas de recolección de datos de OpenAI, como alega la demanda, puede ser un desafío. Gervais dijo a Insider que ChatGPT podría haber obtenido el trabajo de Awad y Tremblay de fuentes alternativas distintas al material original de los autores, pero que era posible que el bot «ingiriera» sus libros como afirma la demanda.

Andres Guadamuz, experto en IA y derechos de autor en la Universidad de Sussex, expresó la misma preocupación, al decir a Insider que incluso si los libros están en los conjuntos de datos de entrenamiento de OpenAI, la compañía podría haber obtenido el trabajo a través de la recopilación legal de otro conjunto de datos.

Y demostrar que ChatGPT se habría comportado de manera diferente si nunca hubiera recopilado el trabajo de los autores es poco probable debido a la gran cantidad de datos que obtiene de la web, según afirmó Guadamuz a The Guardian.

The Authors Guild, un grupo de defensa con sede en Estados Unidos que apoya los derechos laborales de los escritores, publicó una carta abierta la semana pasada instando a los directores ejecutivos de las grandes empresas de tecnología y de IA a «obtener permiso» de los escritores para utilizar su trabajo con derechos de autor en la formación de programas de generative AI y «compensar justamente a los escritores». La organización informó a Insider que su carta ha recibido más de 2,000 firmas.

La demanda de Awad y Tremblay se presentó el mismo día en que OpenAI recibió otra denuncia legal, alegando que la compañía se apropió de «enormes cantidades de datos personales» que luego alimentó a ChatGPT. La denuncia de 157 páginas, que excluye los nombres completos de los 16 demandantes, critica a la compañía por absorber «prácticamente cada pieza de datos intercambiada en Internet que pudo obtener».

En cuanto a la demanda de Awad y Tremblay, presentada en un tribunal de distrito en el norte de California, los autores buscan daños y la restitución de lo que consideran ganancias perdidas.

El archivo de la demanda también presentó documentos que contenían resúmenes producidos por ChatGPT de las novelas de Awad «13 Ways of Looking at a Fat Girl» y «Bunny», así como de la novela de Tremblay «The Cabin at the End of the World». La novela de Tremblay fue adaptada a la película «Knock at the Cabin» dirigida por M. Night Shyamalan.

OpenAI y Awad no respondieron a las solicitudes de comentarios por parte de Insider. Un representante de Tremblay se negó a hacer comentarios.

¿Cómo decide ChatGPT qué debe escribir a continuación?

Sundar, Sindhu. «How Does ChatGPT Decide What to Say next? Here’s a Quick Explainer.» Business Insider. Accedido 17 de julio de 2023. https://www.businessinsider.com/how-ai-chatbots-like-chatgpt-work-explainer-2023-7.


Como modelo de lenguaje basado en IA, ChatGPT toma sus decisiones sobre qué decir a continuación en función de su entrenamiento en un amplio conjunto de datos. Durante el entrenamiento, se expone a enormes cantidades de texto en varios dominios y aprende patrones lingüísticos y contextuales. Cuando se le presenta un nuevo texto o una pregunta, el modelo intenta generar una respuesta coherente basada en la información que ha aprendido.

ChatGPT y otros chatbots basados en inteligencia artificial pueden hablar con frases fluidas y gramaticalmente correctas que incluso pueden tener un ritmo natural. Pero, según los expertos, no hay que confundir ese discurso bien ejecutado con el pensamiento, la emoción o incluso la intención.

Según los expertos, el funcionamiento de un chatbot es mucho más parecido al de una máquina que realiza cálculos matemáticos y análisis estadísticos para invocar las palabras y frases adecuadas según el contexto. Hay mucho entrenamiento en el backend -incluso por parte de anotadores humanos que también le dan retroalimentación- que ayuda a simular conversaciones funcionales.

Los robots como ChatGPT también se entrenan con grandes cantidades de conversaciones que han enseñado a las máquinas a interactuar con usuarios humanos. OpenAI, la empresa que está detrás de ChatGPT, afirma en su sitio web que sus modelos se instruyen a partir de información procedente de diversas fuentes, incluidos sus usuarios y material del que tiene licencia.

El proceso de toma de decisiones de ChatGPT implica una técnica llamada «aprendizaje por refuerzo». Durante el entrenamiento, el modelo es recompensado cuando produce respuestas coherentes y útiles, mientras que es penalizado por generar respuestas incorrectas o incoherentes. Esta retroalimentación ayuda a ajustar los parámetros internos del modelo y mejora su capacidad de generar respuestas pertinentes.

He aquí cómo funcionan estos chatbots:

Los chatbots de IA como ChatGPT de OpenAI se basan en grandes modelos lingüísticos, o LLM, que son programas entrenados en volúmenes de texto obtenidos de escritos publicados e información en línea, generalmente contenidos producidos por humanos.

Según los expertos, los sistemas se entrenan en series de palabras y aprenden la importancia de las palabras de esas series. Así, todo ese conocimiento adquirido no sólo sirve para entrenar grandes modelos lingüísticos sobre información objetiva, sino que les ayuda a adivinar patrones de habla y cómo se suelen utilizar y agrupar las palabras.

Los chatbots también reciben formación adicional de los humanos sobre cómo ofrecer respuestas adecuadas y limitar los mensajes perjudiciales. Cuando se pide a un chatbot que responda a una simple pregunta objetiva, el proceso de respuesta puede ser sencillo: Despliega un conjunto de algoritmos para elegir la frase más probable con la que responder. Y selecciona las mejores respuestas posibles en cuestión de milisegundos y, de entre ellas, presenta una al azar. (Por eso, hacer la misma pregunta varias veces puede generar respuestas ligeramente distintas).

También puede dividir las preguntas en varias partes, responder a cada una de ellas en secuencia y utilizar sus respuestas para terminar de responder.

Pero cuidado con lo que los chatbots no saben

¿Qué pasa cuando le haces una pregunta de la que no sabe la respuesta? Ahí es donde los chatbots crean más problemas debido a una característica inherente: no saben lo que no saben. Así que extrapolan lo que saben, es decir, hacen conjeturas.

Pero no te dicen que están adivinando, sino que simplemente presentan la información como un hecho. Cuando un chatbot inventa información que presenta a un usuario como un hecho, se llama «alucinación».

«Esto es lo que llamamos conocimiento del conocimiento o metacognición», explica William Wang, profesor asociado de informática en la Universidad de California en Santa Bárbara. También es codirector del grupo de procesamiento del lenguaje natural de la universidad.

Guía para el uso de ChatGPT en la enseñanza y el aprendizaje

Guide for ChatGPT usage in teaching and learning. University of Pretoria, 2023

Texto completo

Guía rápida

Esta guía, elaborada con la ayuda de ChatGPT, tiene como objetivo ofrecer consejos prácticos a profesores y estudiantes para maximizar los beneficios y el uso ético de ChatGPT. y estudiantes para maximizar los beneficios y el uso ético de ChatGPT.

ChatGPT intensificó la conversación sobre el impacto de la Inteligencia Artificial en la Educación Superior cuando se activó en noviembre de 2022. Alteró el statu quo de la enseñanza superior cuando cuando los estudiantes empezaron a utilizarlo para escribir sus redacciones. ChatGPT es un potente modelo (LLM) que imita la conversación humana. Los grandes modelos lingüísticos han demostrado resultados impresionantes en la identificación de patrones lingüísticos y la predicción de palabras contextuales. ChatGPT sobresale en la generación de respuestas textuales coherentes y relevantes con una entrada mínima del usuario. del usuario. Aprovechando su amplia base de datos de patrones lingüísticos entrenados, ChatGPT puede proporcionar respuestas textuales generadas que reflejan con precisión el contexto de la entrada del usuario. Estos tecnologías de Inteligencia Artificial (IA) generativa pueden ser útiles para académicos y estudiantes, proporcionar experiencias de aprendizaje personalizadas y adaptables, mejorar el compromiso de los estudiantes y y reducir la carga de educadores y administradores. Sin embargo, estos trastornos también han han llevado a los educadores a reconsiderar su enseñanza, sus planes de estudio y su evaluación. Es esencial Es esencial evaluar cuidadosamente las ventajas y limitaciones de estas tecnologías de IA, incluidos los posibles problemas éticos, y adaptar las estrategias pedagógicas a las necesidades de los alumnos. posibles problemas éticos, y adaptar las estrategias pedagógicas para que se ajusten al cambiante panorama de la tecnología educativa. tecnología educativa

La IA destapa la caja de Pandora: ChatGPT genera artículos científicos falsos y convincentes

Májovský, Martin, Martin Černý, Matěj Kasal, Martin Komarc, y David Netuka. «Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened». Journal of Medical Internet Research 25, n.o 1 (31 de mayo de 2023): e46924. https://doi.org/10.2196/46924.


Un estudio publicado en el Journal of Medical Internet Research por Martin Májovský y sus colegas revela que los modelos de lenguaje de inteligencia artificial (IA), como ChatGPT (Chat Generative Pre-trained Transformer), pueden generar artículos científicos fraudulentos que parecen notablemente auténticos. Este descubrimiento plantea preocupaciones críticas sobre la integridad de la investigación científica y la confiabilidad de los documentos publicados.

Investigadores de la Universidad Charles, República Checa, se propusieron investigar las capacidades de los modelos actuales de lenguaje de IA para crear artículos médicos fraudulentos de alta calidad. El equipo utilizó el popular chatbot de IA, ChatGPT, que se ejecuta en el modelo de lenguaje GPT-3 desarrollado por OpenAI, para generar un artículo científico completamente ficticio en el campo de la neurocirugía. Las preguntas y sugerencias se refinaron a medida que ChatGPT generaba respuestas, lo que permitió mejorar iterativamente la calidad del resultado.

Los resultados de este estudio de concepto fueron sorprendentes: el modelo de lenguaje de IA produjo con éxito un artículo fraudulento que se asemejaba estrechamente a un documento científico genuino en cuanto al uso de palabras, estructura de las oraciones y composición general. El artículo incluía secciones estándar como resumen, introducción, métodos, resultados y discusión, así como tablas y otros datos. Sorprendentemente, todo el proceso de creación del artículo tomó solo una hora sin necesidad de ningún entrenamiento especial por parte del usuario humano.

Si bien el artículo generado por IA parecía sofisticado e impecable, al examinarlo más detenidamente, los lectores expertos pudieron identificar inexactitudes y errores semánticos, especialmente en las referencias; algunas referencias eran incorrectas, mientras que otras no existían. Esto subraya la necesidad de una mayor vigilancia y métodos de detección mejorados para combatir el posible mal uso de la IA en la investigación científica.

Los hallazgos de este estudio destacan la importancia de desarrollar pautas éticas y mejores prácticas para el uso de modelos de lenguaje de IA en la escritura e investigación científica genuina. Modelos como ChatGPT tienen el potencial de mejorar la eficiencia y precisión en la creación de documentos, el análisis de resultados y la edición de lenguaje. Al utilizar estas herramientas con cuidado y responsabilidad, los investigadores pueden aprovechar su poder al tiempo que minimizan el riesgo de mal uso o abuso.

En un comentario sobre el artículo del Dr. Májovský, el Dr. Pedro Ballester habla sobre la necesidad de priorizar la reproducibilidad y visibilidad de las obras científicas, ya que estas sirven como salvaguardias esenciales contra la proliferación de investigaciones fraudulentas.

A medida que la IA continúa avanzando, es crucial que la comunidad científica verifique la precisión y autenticidad del contenido generado por estas herramientas e implemente mecanismos para detectar y prevenir el fraude y la mala conducta. Si bien ambos artículos coinciden en que se necesita una mejor manera de verificar la precisión y autenticidad del contenido generado por IA, cómo se puede lograr esto es menos claro. «Deberíamos al menos declarar en qué medida la IA ha ayudado en la escritura y análisis de un artículo», sugiere el Dr. Ballester como punto de partida. Otra posible solución propuesta por Májovský y sus colegas es hacer obligatoria la presentación de datos para respaldar los resultados de la investigación, lo cual podría aumentar la transparencia y la verificabilidad de los estudios.

¿Es posible usar ChatGPT para escribir un artículo científico de calidad?


Conroy, Gemma. «Scientists Used ChatGPT to Generate an Entire Paper from Scratch — but Is It Any Good?» Nature, 7 de julio de 2023. https://doi.org/10.1038/d41586-023-02218-z.

Un par de científicos produjeron un artículo de investigación en menos de una hora con la ayuda de ChatGPT, una herramienta impulsada por inteligencia artificial (IA) que puede entender y generar texto similar a como lo haría humano. El artículo era fluido, perspicaz y presentado en la estructura esperada para un artículo científico, pero los investigadores señalan que hay muchos obstáculos por superar antes de que la herramienta pueda ser realmente útil.

El objetivo era explorar las capacidades de ChatGPT como un «copiloto» de investigación y generar debate sobre sus ventajas y desventajas, según Roy Kishony, biólogo y científico de datos en el Technion, Instituto de Tecnología de Israel en Haifa. «Necesitamos una discusión sobre cómo obtener los beneficios con menos inconvenientes», dice.

Kishony y su estudiante Tal Ifargan, también científico de datos en el Technion, descargaron un conjunto de datos disponible públicamente del Behavioral Risk Factor Surveillance System de los Centros para el Control y la Prevención de Enfermedades de Estados Unidos, una base de datos de encuestas telefónicas relacionadas con la salud. El conjunto de datos incluye información recopilada de más de 250,000 personas sobre su estado de diabetes, consumo de frutas y verduras y actividad física.

Los componentes básicos de un artículo

Los investigadores pidieron a ChatGPT que escribiera código que pudieran usar para descubrir patrones en los datos que pudieran analizar más a fondo. En su primer intento, el chatbot generó código lleno de errores y que no funcionaba. Pero cuando los científicos transmitieron los mensajes de error y le pidieron que corrigiera los errores, finalmente produjo código que se podía utilizar para explorar el conjunto de datos.

Con un conjunto de datos más estructurado en mano, Kishony e Ifargan pidieron a ChatGPT que los ayudara a desarrollar un objetivo de estudio. La herramienta sugirió que investigaran cómo la actividad física y la dieta afectan el riesgo de diabetes. Una vez que generó más código, ChatGPT entregó los resultados: consumir más frutas y verduras y hacer ejercicio se asocia con un menor riesgo de diabetes. Luego, se le pidió a ChatGPT que resumiera los hallazgos clave en una tabla y escribiera toda la sección de resultados. Paso a paso, pidieron a ChatGPT que escribiera el resumen, la introducción, los métodos y las secciones de discusión de un manuscrito. Finalmente, pidieron a ChatGPT que refinara el texto. «Compusimos [el artículo] a partir de la salida de muchas indicaciones», dice Kishony. «Cada paso se basa en los productos de los pasos anteriores».

Aunque ChatGPT generó un manuscrito claramente escrito con un análisis de datos sólido, el artículo estaba lejos de ser perfecto, según Kishony. Un problema que encontraron los investigadores fue la tendencia de ChatGPT a llenar los vacíos inventando cosas, un fenómeno conocido como alucinación. En este caso, generó citas falsas e información inexacta. Por ejemplo, el artículo afirma que el estudio «aborda una brecha en la literatura», una frase común en los artículos, pero inexacta en este caso, según Tom Hope, científico de la computación en la Universidad Hebrea de Jerusalén. El hallazgo «no es algo que sorprenderá a los expertos médicos», dice. «Está lejos de ser novedoso».

Beneficios y preocupaciones

Kishony también se preocupa de que estas herramientas puedan facilitar que los investigadores participen en prácticas deshonestas, como el «P-hacking», en el que los científicos prueban varias hipótesis en un conjunto de datos, pero solo informan aquellas que producen un resultado significativo.

Otra preocupación es que la facilidad para producir artículos con herramientas generativas de IA pueda resultar en una inundación de revistas con documentos de baja calidad, agrega. Afirma que su enfoque de datos a artículo, con una supervisión humana central en cada paso, podría ser una forma de garantizar que los investigadores puedan comprender, verificar y replicar fácilmente los métodos y los hallazgos.

Vitomir Kovanović, quien desarrolla tecnologías de IA para la educación en la Universidad de Australia del Sur en Adelaide, señala que es necesario tener una mayor visibilidad de las herramientas de IA en los artículos de investigación. De lo contrario, será difícil evaluar si los hallazgos de un estudio son correctos, dice. «Es probable que tengamos que hacer más en el futuro si la producción de documentos falsos se vuelve tan fácil».

Las herramientas de IA generativas tienen el potencial de acelerar el proceso de investigación al llevar a cabo tareas sencillas pero que consumen mucho tiempo, como escribir resúmenes y generar código, dice Shantanu Singh, biólogo computacional en el Broad Institute del MIT y Harvard en Cambridge, Massachusetts. Podrían utilizarse para generar artículos a partir de conjuntos de datos o para desarrollar hipótesis, dice. Sin embargo, debido a que las alucinaciones y los sesgos son difíciles de detectar para los investigadores, Singh dice: «No creo que escribir artículos completos, al menos en el futuro previsible, sea un uso particularmente bueno».

En conclusión. ChatGpt no puede escribir un trabajo de investigación científica completamente solo. El conocimiento científico, la experiencia humana, el pensamiento crítico y el análisis son esenciales para la redacción de un trabajo de investigación. ChatGPT puede utilizarse como asistente en la generación de contenidos para un trabajo de investigación científica.

Las herramientas de detección de texto mediante inteligencia artificial son muy fáciles de engañar

Weber-Wulff, Debora, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut, y Lorna Waddington. «Testing of Detection Tools for AI-Generated Text». arXiv, 21 de junio de 2023. https://doi.org/10.48550/arXiv.2306.15666.

Después de semanas después del lanzamiento de ChatGPT, surgieron temores de que los estudiantes utilizaran el chatbot para generar ensayos aceptables en cuestión de segundos. En respuesta a estos temores, las startups comenzaron a desarrollar productos que prometían detectar si un texto había sido escrito por un humano o por una máquina.

El problema es que, según una nueva investigación que aún no ha sido revisada por pares, es relativamente fácil engañar estas herramientas y evitar su detección. Debora Weber-Wulff, profesora de medios y computación en la Universidad de Ciencias Aplicadas, HTW Berlin, trabajó con un grupo de investigadores de diversas universidades para evaluar la capacidad de 14 herramientas, incluyendo Turnitin, GPT Zero y Compilatio, para detectar textos escritos por ChatGPT de OpenAI.

La mayoría de estas herramientas funcionan buscando características distintivas de textos generados por IA, como la repetición, y luego calculando la probabilidad de que el texto haya sido generado por una IA. Sin embargo, el equipo descubrió que todas las herramientas probadas tenían dificultades para detectar textos generados por ChatGPT que habían sido ligeramente reorganizados por humanos y ocultados por una herramienta de parafraseo, lo que sugiere que todo lo que los estudiantes necesitan hacer es adaptar ligeramente los ensayos generados por la IA para evadir los detectores.

Los investigadores evaluaron las herramientas escribiendo ensayos cortos de nivel universitario sobre una variedad de temas, que incluían ingeniería civil, ciencias de la computación, economía, historia, lingüística y literatura. Los ensayos fueron escritos por los propios investigadores para asegurarse de que el texto no estuviera ya en línea, lo que significaría que podría haber sido utilizado para entrenar a ChatGPT. Luego, cada investigador escribió un texto adicional en bosnio, checo, alemán, letón, eslovaco, español o sueco. Esos textos se pasaron por la herramienta de traducción de IA DeepL o Google Translate para traducirlos al inglés.

El equipo luego utilizó ChatGPT para generar otros dos textos cada uno, que modificaron ligeramente en un intento de ocultar que habían sido generados por IA. Un conjunto fue editado manualmente por los investigadores, que reorganizaron las oraciones e intercambiaron palabras, mientras que otro fue reescrito utilizando una herramienta de parafraseo de IA llamada Quillbot. Al final, tenían 54 documentos para probar las herramientas de detección.

Descubrieron que si bien las herramientas eran buenas para identificar textos escritos por humanos (con una precisión promedio del 96%), tenían un desempeño más deficiente cuando se trataba de detectar textos generados por IA, especialmente cuando habían sido editados. Aunque las herramientas identificaron textos generados por ChatGPT con un 74% de precisión, esta cifra disminuyó al 42% cuando el texto generado por ChatGPT había sido ligeramente modificado.

Compilatio, que fabrica una de las herramientas probadas por los investigadores, señala que es importante recordar que su sistema solo indica pasajes sospechosos, que clasifica como posible plagio o contenido potencialmente generado por IA.

Las empresas de IA generativa deben publicar informes de transparencia

Arvind Narayanan & Sayash Kapoor. “Generative AI companies Must Publish Transparency Reports”.Knight First Amendment Institute at Columbia University, June 26, 2023

Ver noticia

¿Cuántas personas utilizan chatbots y generadores de texto a imagen para alguno de los muchos usos prohibidos, como generar desinformación o imágenes de abusos a menores? ¿Con qué frecuencia consiguen eludir los filtros de las herramientas? ¿Están haciendo algo las empresas para rastrear o hacer cumplir las infracciones de sus condiciones de servicio?

Al igual que las redes sociales, la gente utiliza la IA generativa para generar y consumir contenidos, y puede verse expuesta a contenidos nocivos en el proceso. Debido a la presión pública y a los requisitos normativos, se ha convertido en una práctica habitual que las empresas de redes sociales publiquen informes de transparencia detallados que cuantifiquen la difusión de contenidos nocivos en la plataforma. Creemos que las empresas de IA deberían hacer lo mismo.

En concreto, para cada categoría de contenido nocivo, los informes de transparencia deben

  • Explicar cómo se define y cómo se detecta el contenido nocivo.
  • Informar de la frecuencia con la que se ha encontrado en el periodo del informe.
  • Si es el resultado de una violación de las condiciones del servicio, describir el mecanismo de aplicación y proporcionar un análisis de su eficacia.
  • Describa las medidas de mitigación aplicadas para evitarlo (por ejemplo, filtros de seguridad) y proporcione un análisis de su eficacia.

En las redes sociales, los investigadores tienen cierta visibilidad de la difusión de contenidos nocivos, ya que gran parte de ellos son públicos. Pero con la IA generativa, estamos completamente a oscuras. Así que estas medidas de transparencia son urgentes.

Los informes de transparencia son más importantes para las aplicaciones de uso general (por ejemplo, ChatGPT) y las destinadas a ser utilizadas en entornos de alto riesgo (como la medicina, las finanzas, la abogacía o la contratación).

En el caso de la IA generativa de código abierto, la transparencia es inviable, ya que los usuarios pueden ejecutarla en sus propios dispositivos. Pero creemos que, incluso con los modelos de código abierto, la mayoría de la gente preferirá las versiones basadas en la nube a las de ejecución local, debido al hardware y los conocimientos necesarios para ejecutarlas. Esos proveedores de servicios, más que los desarrolladores de modelos de código abierto, deberían publicar informes de transparencia.

Los informes de transparencia deben cubrir los tres tipos de daños derivados de los contenidos generados por IA

En primer lugar, las herramientas de IA generativa podrían utilizarse para dañar a otros, por ejemplo creando deepfakes no consentidos o materiales de explotación sexual infantil. Los desarrolladores tienen políticas que prohíben tales usos. Por ejemplo, las políticas de OpenAI prohíben una larga lista de usos, incluido el uso de sus modelos para generar asesoramiento legal, financiero o médico no autorizado para terceros. Pero estas políticas no pueden tener un impacto en el mundo real si no se aplican, y debido a la falta de transparencia de las plataformas sobre su aplicación, no tenemos ni idea de si son eficaces. Por ejemplo, los reporteros de ProPublica descubrieron en repetidas ocasiones que Facebook no eliminaba completamente los anuncios discriminatorios de su plataforma a pesar de afirmar que lo había hecho.

En segundo lugar, los usuarios pueden confiar demasiado en la IA para obtener información objetiva, como asesoramiento jurídico, financiero o médico. A veces simplemente no son conscientes de la tendencia de los chatbots actuales a generar con frecuencia información incorrecta. Por ejemplo, un usuario puede preguntar «¿cuáles son las leyes de divorcio en mi estado?» y no saber que la respuesta no es fiable. Otra posibilidad es que el usuario se vea perjudicado por no haber sido lo suficientemente cuidadoso como para verificar la información generada, a pesar de saber que podría ser inexacta. La investigación sobre el sesgo de automatización muestra que las personas tienden a confiar demasiado en las herramientas automatizadas en muchos escenarios, a veces cometiendo más errores que cuando no utilizan la herramienta.

En tercer lugar, los contenidos generados podrían ser intrínsecamente indeseables. A diferencia de los tipos anteriores, en este caso los daños no se deben a la malicia, descuido o desconocimiento de las limitaciones por parte de los usuarios. Más bien, el contenido intrínsecamente problemático se genera aunque no se haya solicitado. Por ejemplo, la aplicación de creación de avatares de Lensa generaba imágenes sexualizadas y desnudos cuando las mujeres subían sus selfies. La difamación también es intrínsecamente perjudicial y no una cuestión de responsabilidad del usuario. No sirve de consuelo a la víctima de la difamación decir que el problema se resolvería si todos los usuarios que pudieran encontrar una afirmación falsa sobre ellos tuvieran cuidado de verificarla.

Saber qué tipos de daños afectan más significativamente a las personas reales ayudará a los investigadores a comprender qué intervenciones de mitigación de daños necesitan más desarrollo. Ayudará a los educadores a enseñar a la gente a utilizar la IA generativa de forma responsable. Y, lo que es más importante, ayudará a los reguladores y a la sociedad civil a responsabilizar a las empresas del cumplimiento de sus políticas.

¿Puede aparecer ChatGPT cómo autor o coautor de artículos científicos?

Stokel-Walker, Chris. «ChatGPT Listed as Author on Research Papers: Many Scientists Disapprove». Nature 613, n.o 7945 (18 de enero de 2023): 620-21. https://doi.org/10.1038/d41586-023-00107-z.

Varios científicos han expresado su desaprobación al ver que ChatGPT, la herramienta de IA, figura como coautor en al menos cuatro artículos de investigación. Esta situación ha llevado a las editoriales a tomar medidas rápidas para regular su uso.

El popular chatbot de inteligencia artificial ChatGPT ha hecho su entrada oficial en el ámbito de la literatura científica y ha sido citado como autor en al menos cuatro artículos y preprints. Este hecho ha suscitado debates entre directores de revistas, investigadores y editores sobre la inclusión de herramientas de IA en publicaciones académicas y la conveniencia de citar al bot como autor. Las editoriales se apresuran a establecer políticas para el chatbot, que OpenAI, una empresa tecnológica con sede en San Francisco (California), presentó en noviembre como herramienta de libre acceso.

Al ser consultados por el equipo de noticias de Nature, los editores y servidores de preprints coinciden unánimemente en que los sistemas de IA como ChatGPT no cumplen los requisitos para figurar como autores de estudios, ya que no pueden asumir la responsabilidad del contenido y la integridad de los artículos científicos. Sin embargo, algunos editores sugieren que la contribución de una IA a la redacción de artículos puede reconocerse en secciones distintas de la lista de autores. Es importante señalar que el equipo de noticias de Nature opera con independencia del equipo de su revista y de su editor, Springer Nature.

En un caso concreto mencionado, un editor informó a Nature de que ChatGPT había sido citado por error como coautor, y la revista tomaría medidas correctoras para rectificar el error.

En un preprint publicado en el repositorio médico medRxiv, ChatGPT aparece como uno de los 12 autores de un estudio que explora su uso en la educación médica. Richard Sever, cofundador del repositorio y de su sitio hermano bioRxiv, reconoce que la conveniencia de utilizar y atribuir herramientas de IA como ChatGPT en la investigación es un tema de debate. Sugiere que las convenciones relativas a los créditos de las herramientas de IA podrían evolucionar con el tiempo.

Sever subraya la necesidad de diferenciar entre el papel formal de un autor en un manuscrito académico y el concepto general de autor como redactor del documento. Dado que los autores son legalmente responsables de su trabajo, cree que sólo deben figurar en la lista las personas físicas. No obstante, reconoce que se han dado casos de personas que han intentado incluir como autores a entidades no humanas, como mascotas o personajes de ficción, pero considera que se trata más de una cuestión de comprobación y verificación que de una cuestión de política. Victor Tseng, autor correspondiente del preprint, no hizo comentarios cuando se le contactó.

En un número reciente de Nurse Education in Practice, un editorial citaba por error a ChatGPT como coautora junto a Siobhan O’Connor, investigadora en tecnología sanitaria de la Universidad de Manchester. Roger Watson, redactor jefe de la revista, reconoció el error y declaró que se corregiría con prontitud. Atribuyó el descuido al diferente sistema de gestión de los editoriales en comparación con los artículos de investigación.

Alex Zhavoronkov, director general de Insilico Medicine, una empresa de Hong Kong dedicada al descubrimiento de fármacos mediante IA, citó a ChatGPT como coautor en un artículo publicado en la revista Oncoscience. Zhavoronkov mencionó que su empresa ha publicado más de 80 artículos generados por herramientas de IA generativa y expresó su satisfacción por el rendimiento de ChatGPT a la hora de redactar un artículo de alta calidad en comparación con herramientas de IA anteriores.

En cuanto al cuarto artículo, fue coescrito por un chatbot anterior llamado GPT-3 y se publicó inicialmente en el servidor francés de preprints HAL en junio de 2022. La coautora, Almira Osmanovic Thunström, neurobióloga del Hospital Universitario Sahlgrenska de Gotemburgo (Suecia), mencionó que, tras recibir comentarios de los revisores, reescribió el artículo y lo envió a una segunda revista. Tras las revisiones, el artículo fue aceptado para su publicación con GPT-3 como autor.

Política editorial

Se están elaborando y revisando las políticas de las editoriales sobre el uso de ChatGPT y otras herramientas de IA en la autoría. Los redactores jefe de Nature y Science, Magdalena Skipper y Holden Thorp, respectivamente, afirman que ChatGPT no cumple los criterios de autoría debido a la falta de responsabilidad que puede atribuirse a los grandes modelos lingüísticos (LLM). Se recomienda a los autores que utilicen LLM durante el desarrollo de un artículo que documenten su uso en las secciones de métodos o agradecimientos, según proceda.

Taylor & Francis, una editorial con sede en Londres, está revisando actualmente su política sobre la autoría de la IA. Sabina Alam, Directora de Ética e Integridad Editorial, está de acuerdo en que los autores son responsables de la validez e integridad de su trabajo y deben reconocer el uso de los LLM en la sección de agradecimientos. Sin embargo, Taylor & Francis aún no ha recibido ningún envío que acredite a ChatGPT como coautor.

El consejo del servidor de preprints arXiv, que se centra en las ciencias físicas, ha mantenido debates internos y está avanzando hacia el establecimiento de un enfoque para el uso de IA generativas. Steinn Sigurdsson, director científico y astrónomo de la Universidad Estatal de Pensilvania, subraya que una herramienta de software no puede figurar como autor, ya que no puede dar su consentimiento a las condiciones de uso y al derecho a distribuir contenidos. Hasta el momento no se ha identificado ningún preprints arXiv en el que ChatGPT figure como coautor, y próximamente se darán orientaciones a los autores sobre esta cuestión.

La ética de la IA generativa

La ética que rodea a la IA generativa, como ChatGPT, plantea importantes consideraciones. Matt Hodgkinson, responsable de integridad de la investigación en la Oficina de Integridad de la Investigación del Reino Unido, señala que las directrices de autoría vigentes indican que ChatGPT no debe ser acreditado como coautor. Aunque es posible que las herramientas de IA realicen una contribución académica significativa, el aspecto crucial es su capacidad para aceptar la coautoría y asumir la responsabilidad del estudio o de su contribución específica. Aquí es donde el concepto de conceder la coautoría a las herramientas de IA encuentra obstáculos.

Alex Zhavoronkov, director general de Insilico Medicine, explica que al intentar utilizar ChatGPT para escribir artículos más técnicos, se quedó corto. La IA genera a menudo afirmaciones que pueden no ser exactas, y hacer la misma pregunta varias veces puede dar respuestas diferentes. Esto suscita preocupación por el posible uso indebido del sistema en el mundo académico, ya que personas sin conocimientos especializados podrían intentar redactar artículos científicos utilizando contenidos generados por la IA.