Archivo de la etiqueta: Plagio

Los editores responden a los comentarios de la Oficina de Derechos de Autor diciendo que las empresas multimillonarias de inteligencia artificial copian en masa obras sin consentimiento

Publishers Submit Reply Comments to Copyright Office in Artificial Intelligence Proceeding—AAP. (2023, diciembre 6).

Texto completo

Association of American Publishers (AAP) de Estados Unidos presentó los comentarios de respuesta en la investigación de la U.S. Copyright Office de EE. UU. sobre la intersección entre la ley de derechos de autor y la inteligencia artificial (IA) en respuesta a afirmaciones defectuosas e inexactas presentadas por algunas empresas tecnológicas y/o sus inversores en la primera ronda de comentarios, incluidas afirmaciones agotadas de que los derechos de los autores y editores son un obstáculo para la innovación.

AAP presentó una extensa contribución que incluye los siguientes puntos:

  1. Las grandes empresas tecnológicas piden al gobierno «cobertura contra la responsabilidad por su desconsideración calculada de la autoría, ignorando también que los titulares de derechos ya licencian rutinariamente sus obras para todo tipo de usos digitales».
  2. «En lugar de trabajar con los propietarios de derechos de autor, estas empresas buscan apropiarse de la literatura y otras propiedades intelectuales invaluables para su propio beneficio comercial y torcer la ley a su voluntad. El gobierno no debería tener ningún papel en otorgar ventajas comerciales a las empresas de IA a expensas de autores, editores y otros creadores».
  3. «Las empresas que se benefician de la comercialización de esta tecnología deberían estar obligadas no solo a compensar a los titulares de derechos por su ingestión pasada de obras con derechos de autor para entrenar sistemas Gen AI, sino también por su uso continuo y futuro de obras protegidas para entrenar nuevos sistemas Gen AI o ajustar sus productos existentes».
  4. «Los desarrolladores de Gen AI no son ‘start-ups’ que luchan y necesitan un impulso del gobierno. Cuentan entre sus inversores a algunas de las empresas tecnológicas más grandes y rentables del mundo y tienen un valor, en algunos casos, entre 80 y 90 mil millones de dólares. No hay absolutamente ninguna razón de política pública para crear inmunidades legales para tales empresas, que solo enfrentan el requisito razonable de buscar el consentimiento o licencias de los titulares de derechos cuyas obras utilizan para entrenar sus sistemas Gen AI».
  5. «Sería un grave error repetir los errores de política pasados que permitieron a las empresas tecnológicas alcanzar una dominancia de mercado poco saludable, casi de monopolio, hasta el punto de que los gobiernos han luchado por frenar su poder, a pesar de los intentos repetidos de moderar sus tácticas agresivas en el mercado».
  6. «La cuestión de la seguridad nacional es ciertamente motivo de profunda preocupación para todos los ciudadanos estadounidenses, especialmente cuando los actores malintencionados pueden utilizar la IA y los sistemas Gen AI para sembrar desinformación o información falsa que socave nuestras instituciones democráticas y cree otros riesgos para la seguridad nacional. Esta posibilidad señala la necesidad aún mayor de autores y editores que produzcan y difundan contenido de calidad verificado y verificado. Avanzar en la agenda tecnológica y económica de la nación no es un juego de suma cero, y no debería convertirse en una carrera hacia el fondo».
  7. «La transparencia es un requisito esencial. Es de interés público saber qué obras de autor se han ingerido y es una parte esencial de buscar un consentimiento adecuado tener esa información claramente registrada. Este requisito no es oneroso y se presta a una mayor innovación en el campo de las empresas de derechos digitales».
  8. «En ningún caso la Ley de Derechos de Autor permite el acceso no autorizado o la adquisición de obras con derechos de autor. El acceso legal a fuentes autorizadas es importante. No se permite a un ser humano reproducir y descargar ilegalmente 183,000 obras con derechos de autor (el número de títulos infractores estimados en el corpus ‘Books3’) para leer o aprender de ellas».

Ética de la investigación e inteligencia generativa. La responsabilidad de difundir resultados

Ética de la investigación e inteligencia generativa por Julio Alonso Arévalo. CURSO: Competencias digitales y alfabetización académica, nov. 2023

VER VIDEO

En el contexto de la IA, especialmente en la creación de obras generadas automáticamente, surge la cuestión de la atribución y la autoría. La ética de la investigación en este ámbito implica considerar quién debe recibir crédito por las creaciones generadas por algoritmos, si es el desarrollador del algoritmo, el usuario que lo emplea, o el propio algoritmo. Por un lado, los derechos de autor tradicionales están diseñados para proteger la creatividad humana, pero en el caso de obras generadas por IA, la autoría puede ser difusa. Algunos argumentan que los desarrolladores de algoritmos deberían ser reconocidos, mientras que otros abogan por formas innovadoras de atribución. En resumen, la ética de la investigación en inteligencia artificial y derechos de autor implica repensar y adaptar los marcos existentes para abordar de manera justa la creación de obras generadas por IA, garantizando la atribución adecuada y considerando los posibles sesgos en el proceso de desarrollo y entrenamiento de estos sistemas.

La Comisión Federal de Comercio (FTC) de USA hace un comentario a la Oficina de Derechos de autor sobre los posibles perjuicios de la IA para los creadores

Federal Trade Commission. «In Comment Submitted to U.S. Copyright Office, FTC Raises AI-Related Competition and Consumer Protection Issues, Stressing That It Will Use Its Authority to Protect Competition and Consumers in AI Markets», 7 de noviembre de 2023.

Texto


En un comentario presentado ante la Oficina de Derechos de Autor de los Estados Unidos, la Comisión Federal de Comercio identifica varios problemas planteados por el desarrollo e implementación de la Inteligencia Artificial (IA) que implican políticas de competencia y protección al consumidor, señalando el papel de la Comisión en monitorear el impacto de la IA generativa y hacer cumplir vigorosamente la ley según corresponda para proteger la competencia y los consumidores.

«La manera en que las empresas están desarrollando y lanzando herramientas de IA generativa y otros productos de IA… suscita preocupaciones sobre posibles perjuicios a los consumidores, trabajadores y pequeñas empresas», según el comentario. «La FTC ha estado explorando los riesgos asociados con el uso de la IA, incluyendo violaciones a la privacidad de los consumidores, automatización de la discriminación y el sesgo, y el aumento de prácticas engañosas, esquemas de impostores y otros tipos de estafas».

El comentario explica que la FTC tiene un interés en cuestiones relacionadas con los derechos de autor más allá de las preguntas sobre el alcance de los derechos y la extensión de la responsabilidad bajo las leyes de derechos de autor. Por ejemplo, no solo puede perjudicarse de manera injusta la capacidad de los creadores para competir, sino que los consumidores pueden ser engañados cuando la autoría no se alinea con las expectativas del consumidor. Un consumidor puede pensar que una obra ha sido creada por un músico o artista en particular cuando es un producto creado por IA.

«La conducta que pueda violar las leyes de derechos de autor… también puede constituir un método injusto de competencia o una práctica injusta o engañosa, especialmente cuando la violación de derechos de autor engaña a los consumidores, explota la reputación de un creador o disminuye el valor de sus obras existentes o futuras, revela información privada o causa un daño sustancial a los consumidores», continúa el comentario. Además, ciertas grandes empresas tecnológicas tienen vastos recursos financieros que les permiten proteger a los usuarios de sus herramientas de IA generativa o licencias exclusivas de datos propietarios con derechos de autor, potencialmente afianzando aún más el poder de mercado de estas empresas dominantes.

¿Quién posee los derechos de autor de un contenido generado por inteligencia artificial generativa?


La determinación de quién posee los derechos de autor del contenido producido por inteligencia artificial (IA) es un asunto legal de gran complejidad y en constante cambio. Por lo general, las herramientas de IA generativa, como ChatGPT, no pueden ser consideradas autoras en el sentido legal o creativo, ya que no tienen la capacidad de comparecer ante un tribunal en caso de conflictos de intereses entre otras cuestiones.

La cuestión de quién posee los derechos de autor del contenido generado por inteligencia artificial (IA) es un asunto legal complejo y en constante evolución que puede variar según la jurisdicción y depende de las circunstancias específicas.

  1. Autoría: Las leyes de derechos de autor tradicionalmente otorgan derechos de autor al creador o autor humano de una obra. La IA, al ser una máquina, no se considera una persona legal capaz de poseer derechos de autor. Esto ha llevado a debates sobre si el programador humano de la IA o la organización que emplea al programador debería considerarse el autor o propietario del contenido generado por la IA.
  2. Doctrina del «Trabajo por Encargo»: En algunas jurisdicciones, cuando una obra se crea como parte de una relación laboral, el empleador suele considerarse el propietario de los derechos de autor. Si un empleado crea contenido generado por la IA en el ámbito de su empleo, es posible que su empleador tenga un reclamo más fuerte sobre los derechos de autor.
  3. Acuerdos Contractuales: La propiedad del contenido generado por la IA también puede determinarse mediante acuerdos contractuales. Las empresas y programadores pueden especificar la propiedad y los derechos asociados con el contenido generado por la IA en contratos o acuerdos de licencia. Estos contratos pueden anular las reglas de derechos de autor por defecto.
  4. Uso Justo: En algunos casos, el uso de contenido generado por la IA podría considerarse «uso justo» bajo la ley de derechos de autor. El uso justo puede aplicarse en situaciones en las que se utiliza material con derechos de autor con fines como comentario, crítica, informes de noticias, enseñanza o investigación. Sin embargo, el uso justo es una doctrina legal compleja que puede variar según la jurisdicción y depende de los detalles de cada caso.
  5. Transformación y Obras Derivadas: El contenido generado por la IA que se basa en material con derechos de autor existente puede considerarse una obra derivada. Los derechos de autor del material original aún pueden aplicarse en la medida en que sea reconocible en el contenido generado por la IA.
  6. Marco Legal en Evolución: El marco legal que rodea el contenido generado por la IA sigue evolucionando, y algunos países pueden promulgar leyes o regulaciones específicas para abordar estos problemas. Los tribunales y legisladores están considerando activamente las implicaciones de la IA en los derechos de autor y la propiedad intelectual.

A nivel general puede decirse que una inteligencia artificial generativa (IA) en sí misma no puede ser propietaria de los derechos de autor de una obra. Los derechos de autor tradicionalmente se otorgan a autores humanos, y las IA no son consideradas entidades legales con la capacidad de poseer derechos de autor.

Por lo tanto, ChatGPT, como una inteligencia artificial desarrollada por OpenAI, no puede ser considerado un autor en el sentido legal o creativo. Los derechos de autor tradicionalmente se aplican a obras creadas por personas físicas. ChatGPT es una herramienta de procesamiento de lenguaje natural que genera respuestas y texto basados en patrones y datos previamente aprendidos, pero no tiene la capacidad de tener intenciones, creatividad o una voluntad propia. Por lo tanto, cualquier contenido generado por ChatGPT generalmente se atribuiría a los usuarios que lo utilizan o a las organizaciones que lo emplean, y no a la IA en sí misma.

Además, la responsabilidad de citar fuentes recae en los usuarios que interactúan con ChatGPT. Si un usuario proporciona información específica de fuentes con derechos de autor o utiliza contenido protegido en sus interacciones con ChatGPT, es responsabilidad del usuario garantizar que cumple con las leyes de derechos de autor al citar adecuadamente esas fuentes. La responsabilidad de evitar el plagio recae en los usuarios que interactúan con ChatGPT. Si un usuario proporciona información o ideas específicas de fuentes externas sin citar adecuadamente esas fuentes, eso podría considerarse un acto de plagio por parte del usuario, no de ChatGPT.

Es esencial consultar con expertos legales especializados en derechos de autor o propiedad intelectual para obtener orientación en casos específicos. Las leyes y las interpretaciones pueden haber evolucionado desde mi última actualización en enero de 2022, y diferentes jurisdicciones pueden tener enfoques únicos para este tema.

‘ChatGPT Detector’ detecta documentos generados por IA con una precisión sin precedentes

Prillaman, McKenzie. «‘ChatGPT Detector’ Catches AI-Generated Papers with Unprecedented Accuracy». Nature, 6 de noviembre de 2023. https://doi.org/10.1038/d41586-023-03479-4.

Los grandes modelos lingüísticos como ChatGPT pueden generar textos que parecen auténticos a la velocidad del rayo, si bien, la gran mayoría de editores de revistas rechazan los modelos lingüísticos como autores de manuscritos. Por tanto, se necesita inmediatamente un medio para distinguir con precisión el texto generado por humanos del generado por inteligencia artificial (IA).

Según un estudio publicado el 6 de noviembre en Cell Reports Physical Science, una herramienta de aprendizaje automático puede identificar fácilmente cuándo los documentos de química están escritos utilizando el chatbot ChatGPT. El clasificador especializado, que superó a dos detectores de inteligencia artificial (IA) existentes, podría ayudar a las editoriales académicas a identificar documentos creados por generadores de texto de IA.

Se trata de un detector preciso de texto de IA para revistas científicas probando su capacidad en una serie de situaciones complejas, incluido el texto humano de una amplia variedad de revistas de química, el texto de IA del modelo de lenguaje más avanzado disponible públicamente (GPT-4) y, lo que es más importante, el texto de IA generado mediante mensajes diseñados para ocultar el uso de IA. En todos los casos, los textos humanos y de IA se asignaron con gran precisión. El texto generado por ChatGPT puede detectarse fácilmente en las revistas de química; este avance es un requisito previo fundamental para entender cómo afectará la generación automatizada de texto a las publicaciones científicas de ahora en adelante.

«La mayoría de la comunidad de análisis de texto busca un detector realmente general que funcione en cualquier cosa», dice la coautora Heather Desaire, una química de la Universidad de Kansas en Lawrence. Pero al crear una herramienta que se centra en un tipo específico de documento, «realmente estábamos buscando la precisión».

Los hallazgos sugieren que los esfuerzos para desarrollar detectores de IA podrían mejorar al adaptar el software a tipos específicos de escritura, dice Desaire. «Si puedes construir algo rápidamente y fácilmente, entonces no es tan difícil construir algo para diferentes dominios».

¿Podemos asegurarnos de que los sistemas de detección de la IA generativa sean precisos y justos?:

Statement on Principles for the Development and Use of Systems to Detect Generative AI Content. ACM, oct. 2023

Texto completo

Con el interés público centrado en tecnologías de IA generativa en constante aumento, algunos de los problemas más apremiantes giran en torno a preguntas como «¿Se está utilizando la IA generativa para crear imágenes y videos falsos?» y «¿Los estudiantes están utilizando la IA generativa para escribir trabajos y hacer trampa en los exámenes?» Por estas razones, hay una creciente demanda de sistemas que puedan detectar si una imagen, archivo de audio o trabajo escrito ha sido creado por un humano o un sistema de IA.

A pesar de que los sistemas de detección de IA están comenzando a proliferar, no existen estándares de la industria ni regulaciones gubernamentales que garanticen que estos sistemas sean precisos o justos. Debido a que el impacto de estos sistemas en las personas puede ser significativo, el Association for Computing Machinery’s US Technology Policy Committee (ACM USTPC) ha emitido una Declaración de Principios para el Desarrollo y Uso de Sistemas de Detección de Contenido de IA Generativa.

La introducción a la nueva Declaración de USTPC destaca diversos escenarios en los que sería deseable contar con sistemas para detectar contenido generado por IA. Por ejemplo, los empleadores que desean saber si se utilizó IA generativa para completar una solicitud de trabajo o las empresas de medios que intentan determinar si los comentarios publicados en plataformas fueron dejados por humanos o chatbots.

Al mismo tiempo, la Declaración señala que «la demanda de tales sistemas no es un indicador de su equidad o precisión». El comité continúa explicando que «ninguna tecnología de detección actualmente disponible es lo suficientemente confiable como para basar exclusivamente decisiones críticas, potencialmente alteradoras de la vida y la carrera…»

La declaración proporciona un contexto técnico sobre por qué no se puede garantizar la equidad y precisión de los sistemas de detección de IA generativa existentes y establece seis principios y recomendaciones específicos:

  1. Bajo riesgo de rechazos incorrectos y proceso de apelación impulsado por humanos: El uso de sistemas para detectar imágenes generadas por IA y otros medios que automáticamente marcan las presentaciones para su rechazo solo debe ser aceptable si estos sistemas de detección tienen un riesgo extremadamente bajo de rechazos incorrectos y si se proporciona un proceso de apelación impulsado por humanos.
  2. Presentaciones de alto riesgo: Generalmente no es apropiado rechazar automáticamente presentaciones de texto en circunstancias de alto riesgo que se clasifican como producidas por un sistema de IA generativa, incluso si se proporciona un proceso para apelar dichos rechazos. Ejemplos de presentaciones de alto riesgo incluyen (pero no se limitan a) tareas en el aula y solicitudes de admisión a una institución educativa, crédito o empleo.
  3. Códigos de conducta: Las entidades que utilizan sistemas de detección de IA generativa deben adoptar directrices, como códigos de conducta, manuales del empleado y códigos de honor ejecutables, que requieran que aquellos afiliados a la entidad cumplan con las políticas de IA de la organización.
  4. Impugnación de resultados: De acuerdo con declaraciones anteriores de USTPC, las personas deben tener la oportunidad de impugnar resultados siempre que se tome una decisión adversa sobre ellas, en su totalidad o en parte, basada en la salida de un sistema de IA.
  5. Formación adecuada: Los evaluadores de contenido humano deben recibir una formación adecuada de manera continua sobre los métodos y herramientas adecuados para validar el contenido presentado.
  6. Aumento de la financiación: Sería prudente y beneficioso aumentar la financiación del sector público y privado para la investigación sobre cómo desarrollar mecanismos de detección mejores, realizar análisis de impacto, realizar investigaciones de usuario y otros asuntos relacionados.

En palabras de Simson Garfinkel, autor principal de la declaración y presidente del Subcomité de Gobierno Digital de USTPC: «En principio, detectar texto e imágenes generados por la IA es un problema abierto. Aunque podría ser posible construir un sistema que pueda detectar el contenido generado por la IA de hoy, tal detector podría utilizarse para construir el sistema de generación de IA del mañana que evite dicha detección. Esta declaración se emite para agregar una voz de experiencia técnica al pánico moral sobre el uso de la IA generativa. Estamos diciendo que el texto e imágenes producidos por sistemas de IA generativa no pueden detectarse de manera confiable hoy. También alentamos a todas las instituciones a abstenerse de desplegar sistemas que pretendan detectar y descartar automáticamente materiales porque supuestamente fueron creados por un sistema de IA generativa».

Larry Medsker, presidente del Comité de Política Tecnológica de ACM de los Estados Unidos, agregó: «Esta nueva Declaración es parte de una serie continua que el Comité de Tecnología de ACM de los Estados Unidos publica para informar al público sobre las nuevas tecnologías y sus impactos en la sociedad. Recientemente, hemos estado especialmente activos en brindar aportes oportunos para abordar los nuevos desarrollos en IA». En esta línea, los miembros de USTPC han publicado “Principles for the Development, Deployment and Use of Generative AI” y “Statement on Principles for Responsible Algorithmic Systems.”

Además del autor principal Simson Garfinkel, los principales contribuyentes a la “Statement on Principles for the Development and Use of Systems to Detect Generative AI Content” incluyen a los miembros del comité Houssam Abbas, Andrew Appel, Harish Arunachalam, Ricardo Baeza-Yates, David Bauman, Ravi Jain, Carl Landwehr, Larry Medsker, Neeti Pokhriyal, Arnon Rosenthal y Marc Rotenberg.

Un artículo aprobado y aceptado en una revista de Springer Nature aparece con la frase «Regenerate response» comando de ChatTGPT para reformular los resultados

Joelving, Author Frederik. «Signs of Undeclared ChatGPT Use in Papers Mounting». Retraction Watch (blog), 6 de octubre de 2023. https://retractionwatch.com/2023/10/06/signs-of-undeclared-chatgpt-use-in-papers-mounting/.

La semana pasada, una revista ambiental publicó un artículo sobre el uso de energía renovable en la limpieza de tierras contaminadas, con un costo de acceso de 40 euros, y aparentemente escrito por investigadores chinos. El artículo incluía una frase peculiar, «Regenerate response», lo que planteó dudas sobre la posibilidad de contenido generado por IA. Este incidente destaca una tendencia creciente de uso de IA, en particular ChatGPT, en la investigación sin una debida declaración. El autor del artículo y la persona de contacto de la empresa no respondieron a las solicitudes de comentarios. Springer Nature, el editor, declaró que están investigando cuidadosamente el asunto de acuerdo con las mejores prácticas, pero no pudieron proporcionar más detalles en este momento.

Supuestamente escrito por investigadores en China, «Revitalizing our earth: unleashing the power of green energy in soil remediation for a sustainable future» incluye la frase superflua «Regenerate response» al final de una sección de métodos. Para aquellos que no están familiarizados, «Regenerate response» es un botón en ChatGPT de OpenAI que incita al chatbot a reformular una respuesta insatisfactoria.

«¿Los autores copiaron y pegaron la salida de ChatGPT e incluyeron por error la etiqueta del botón?» se preguntó Guillaume Cabanac, profesor de informática en la Universidad de Toulouse, en Francia, en un comentario en PubPeer..

Y agregó: «¿Cómo es que esta expresión sin sentido sobrevivió a la revisión de pruebas por parte de los coautores, editores, revisores, correctores de estilo y maquetadores?»

Este caso es el ejemplo más reciente de una creciente tendencia de uso descuidado y no declarado de ChatGPT en la investigación. Hasta ahora, Cabanac, cuyo trabajo fue cubierto en Nature el mes pasado, ha publicado más de 30 artículos en PubPeer que contienen esas dos palabras reveladoras y sueltas. Y eso no incluye los artículos que aparecen en revistas depredadoras, dijo el investigador científico a Retraction Watch.

«El software informático se ha utilizado durante décadas para ayudar a los autores», dijo Cabanac. «Solo piensa en Grammarly o DeepL para personas como yo. No soy hablante nativo de inglés, así que voy a WordReference, a veces voy a DeepL. Pero lo que hago es mirar el resultado y corregir los errores».

ChatGPT y otras herramientas que utilizan sistemas de IA conocidos como modelos de lenguaje a gran escala tienden a inventar cosas. Como informamos a principios de este año, ese trabajo independiente puede ser un problema para los investigadores que buscan ayuda para encontrar referencias.

«A veces elabora cosas que no estaban en la mente de los investigadores», dijo Cabanac. «Y ese es el punto de inflexión para mí. Cuando las personas utilizan el sistema para generar algo que no tenían en mente, como fabricar datos, generar texto con referencias a trabajos que ni siquiera leyeron, esto es inaceptable».

Según algunos editores, los chatbots tienen usos legítimos al escribir artículos. La clave es informar a los lectores sobre lo que se hizo.

El autor correspondiente del artículo ambiental, Kangyan Li de ESD China Ltd., no respondió a las solicitudes de comentarios. Tampoco lo hizo una persona de contacto mencionada en el sitio web de su empresa.

Un portavoz de Springer Nature, que publica la revista Environmental Science and Pollution Research en la que apareció el artículo, dijo que el editor estaba «investigando cuidadosamente el problema de acuerdo con las mejores prácticas de COPE» pero no pudo compartir más detalles en este momento.

No está claro cómo los autores, y mucho menos la revista, pudieron pasar por alto la extraña frase. «Tal vez no se trate de los autores, sino de una fábrica de papel», dijo Cabanac, refiriéndose a organizaciones poco fiables que venden espacios de autor en artículos científicos que pueden contener datos falsos.

«Regenerar respuesta» no es la única señal de participación no declarada de un chatbot que ha visto Cabanac. Un ejemplo aún más atroz es la frase «Como modelo lingüístico de IA, yo…«, que ha encontrado en nueve artículos hasta ahora.

A Cabanac le preocupa que un descuido tan flagrante, posiblemente la punta del iceberg, pueda pasar desapercibido tanto para el personal editorial como para los revisores.

Algunos de los detectores de plagio por IA consideran que la Constitución de EE.UU. o el Génesis fueron escritos utilizando una herramienta de IA generativa

Harwood, Michelle. «AI Wrote the US Constitution, Says AI Content Detector». Medium (blog), 7 de septiembre de 2023. https://medium.com/@michellehwd/ai-wrote-the-us-constitution-says-ai-content-detector-f24681fdc75f.

Si se introdujeran algunos extractos de la Constitución de EE.UU. en las herramientas de detección de IA, éstas afirmarían que fue escrita por herramientas de IA como ChatGPT y Google Bard, etc. ZeroGPT parece estar seguro en un 94% de que la IA escribió la Constitución, mientras que originality.ai lo está en un 60%. La Constitución se redactó en el año 1787, es decir, hace más de 200 años. Entonces, ¿crees que es posible que ese viejo documento tenga orígenes de IA? Bueno, eso sólo puede ocurrir si los propios redactores eran robots o si utilizaron una máquina del tiempo para llegar a la era de la tecnología de IA.

La pregunta es, ¿por qué estas herramientas parecen estar tan seguras de etiquetar el documento de hace un año como generado por la IA? Cuando los detectores de IA reciben un texto para analizar, normalmente comprueban la estructura del texto, lo comparan con sus conocimientos y concluyen si ellos habrían escrito de la misma manera al recibir la misma consulta. En caso afirmativo, la herramienta simplemente clasifica el texto como escrito por la IA.

Al analizar la estructura del texto, las herramientas de detección de IA suelen utilizar dos variables diferentes: la perplejidad y la explosividad. Cuanto menor sea el porcentaje de estas dos variables detectadas en el texto, mayores serán las probabilidades de que el contenido esté generado por IA.

Los detectores de IA que etiquetan la Constitución de EE.UU. como generada por IA han suscitado dudas sobre su precisión. De hecho, este no es el único caso en que una herramienta de detección de contenidos de IA ha dado falsos positivos. Anteriormente, también se había descubierto que el Libro del Génesis había sido escrito por IA.

Varios expertos han cuestionado la fiabilidad de los detectores de IA y han expresado su preocupación por sus vulnerabilidades. «No existe ninguna herramienta que pueda detectar de forma fiable la escritura ChatGPT-4/Bing/Bard», tuiteó Mollick recientemente. «Las herramientas existentes están entrenadas en GPT-3.5, tienen altas tasas de falsos positivos (10%+), y son increíblemente fáciles de engañar». Además, ChatGPT por sí mismo no puede evaluar si el texto está escrito por IA o no, añadió, por lo que no se puede simplemente pegar un texto y preguntar si fue escrito por ChatGPT.

En el caso del detector de IA basado en marcas de agua, la robustez reveló que «un atacante puede utilizar un parafraseador para eliminar las firmas LLM de un texto generado por IA para evitar su detección» e incluso puede falsear el detector de marcas de agua para hacer que un texto humano auténtico se detecte como generado por IA.

En una conversación con Ars Technica, Tian de GPTZero pareció darse cuenta de lo que se avecinaba y dijo que planea redirigir su empresa lejos de la detección de IA convencional hacia algo más ambiguo. «En comparación con otros detectores, como Turn-it-in, estamos cambiando nuestra atención lejos de construir detectores para atrapar a los estudiantes, y en su lugar, la próxima versión de GPTZero no estará detectando IA, sino resaltando lo más humano y ayudando a profesores y estudiantes a navegar juntos el nivel de participación de la IA en la educación», dijo.

Sin embargo, a pesar de los problemas inherentes con la precisión, GPTZero sigue anunciándose como «construido para educadores», y su sitio muestra con orgullo una lista de universidades que supuestamente utilizan la tecnología. Existe una extraña tensión entre los objetivos declarados de Tian de no castigar a los estudiantes y su deseo de ganar dinero con su invento. Pero sean cuales sean los motivos, el uso de estos productos defectuosos puede tener efectos terribles en los estudiantes. Quizá el resultado más perjudicial del uso de estas herramientas inexactas e imperfectas sea el coste personal de las falsas acusaciones.

Un caso publicado por USA Today pone de relieve la cuestión de forma llamativa. Un estudiante fue acusado de hacer trampas basándose en herramientas de detección de texto de IA y tuvo que presentar su caso ante una junta de honor. Su defensa incluyó mostrar su historial de Google Docs para demostrar su proceso de investigación. A pesar de que el tribunal no encontró pruebas de que hubiera hecho trampas, el estrés de prepararse para defenderse llevó al estudiante a sufrir ataques de pánico. Situaciones similares se han producido docenas (si no cientos) de veces en los EE.UU. y se documentan comúnmente en hilos desesperados de Reddit.

Las sanciones habituales por deshonestidad académica suelen incluir suspensos, libertad condicional académica, suspensión o incluso expulsión, dependiendo de la gravedad y la frecuencia de la infracción. Es una acusación difícil de afrontar, y el uso de tecnología defectuosa para imponer esos cargos parece casi una caza de brujas académica moderna.

Así pues, finalmente, no existe una fórmula perfecta en la que podamos confiar para diferenciar entre texto escrito por humanos y texto generado por máquinas.

Editores, ¡no utilicen herramientas de detección de IA!

Staiman, Avi. «Publishers, Don’t Use AI Detection Tools!» The Scholarly Kitchen, 14 de septiembre de 2023. https://scholarlykitchen.sspnet.org/2023/09/14/publishers-dont-use-ai-detection-tools/.

La semana pasada recibí una llamada desesperada de un estudiante de máster de Austria que estaba inconsolable. Acababa de enviar su tesis a su universidad para que la revisaran y había sido marcada como escrita por IA. La universidad le había dado una oportunidad más para revisar y volver a presentar su trabajo. Si pasaba la herramienta de detección de IA, revisarían el trabajo y le darían una nota final. Si no superaba la comprobación automática, lo rechazarían automáticamente y lo expulsarían deshonrosamente de su programa, tirando por la borda dos años de estudio.

¿Herramientas de detección de IA para defender la integridad de la investigación?

El reciente auge en el desarrollo de tecnologías de IA en el ámbito de la escritura ha provocado el aumento y la proliferación de detectores de IA en el mundo académico. Estos detectores prometen ser los guardianes de la integridad académica combatiendo el plagio y los contenidos generados por IA. Aunque la ambición es noble, su aplicación práctica ha tenido su buena dosis de deficiencias críticas.

El supuesto fundamental que subyace a la creación de herramientas de detección de IA parece ser que la escritura con IA debería poder detectarse del mismo modo que se detecta el plagio. Sin embargo, hay una diferencia fundamental: el plagio simplemente busca coincidencias exactas con obras existentes, un criterio objetivo que puede identificarse, medirse y reproducirse. Por otro lado, la escritura de IA es original por derecho propio (aunque se extraiga de fuentes no originales) y no puede rastrearse fácilmente hasta su fuente.

Mi oposición a que las editoriales académicas recurran a herramientas de detección obedece a razones tanto pragmáticas como ideológicas. Empecemos por las cuestiones pragmáticas.

Problemas con los falsos positivos

Los grandes modelos lingüísticos aprenden de la escritura humana y se construyen para parecerse a ella en sus resultados. Ya con el lanzamiento de ChatGPT, quedó claro que la IA generativa podía producir una escritura que imitara con éxito la de los humanos. Cuantificar los respectivos componentes humanos y de IA en un documento concreto es todo un reto y, a menudo, los autores mezclan sus propias palabras con las sugeridas por la herramienta de IA.

Las imperfecciones de los detectores de IA son cada vez más evidentes, ya que a menudo identifican erróneamente contenidos genuinamente generados por humanos. Los estudios han mostrado tasas de error de hasta el 9% o más, una cifra demasiado alta para vivir con ella. Un caso notable fue el de una herramienta de IA que marcó la Constitución de EE.UU. como producida por IA. Este falso positivo no sólo pone de manifiesto la flagrante imperfección de estos detectores, sino que también subraya las posibles trampas que aguardan a los autores académicos que tratan estos informes como fidedignos. Un caso humorístico pero inquietante de este tipo de confusión surgió después de que un profesor de Texas A&M suspendiera toda su clase después de que ChatGPT respondiera afirmativamente cuando le preguntó si había escrito los trabajos entregados por los estudiantes.

En un vídeo reciente, Turnitin admitió con sorprendente franqueza que su software de detección de IA debe tomarse «con cautela». Además, dicen que los profesores tendrán que ser los que «hagan la interpretación final» de lo que crea la IA generativa.

¿No es esa precisamente la razón por la que los profesores recurren a estas herramientas?

Las universidades están empezando a comprender las implicaciones de estas admisiones y han empezado a tomar medidas aconsejando a su profesorado que no utilice estas herramientas. En un informe de orientación publicado por la Universidad de Vanderbilt, señalan que Turnitin, su proveedor de software contra el plagio, afirmó originalmente tener una tasa positiva del 1% en la detección de trabajos escritos con IA tras el lanzamiento de su herramienta de detección de IA, pero luego aumentó esa tasa al 4% tras un uso y unas pruebas más amplias. Aunque esas cifras mejoren, no sería difícil para los autores malintencionados pasar los resultados de la IA por un software de parafraseo para eliminar rastros del original. La propia OpenAI cerró un proyecto que intentaba detectar sus propios resultados. Muchas universidades ya han cambiado de rumbo y están buscando políticas alternativas.

Daños colaterales de las falsas acusaciones

La falacia de los detectores de IA tiene consecuencias en el mundo real. Timnit Gebru, fundadora y directora ejecutiva del Distributed AI Research Institute (DAIR), compartió recientemente un angustioso correo electrónico que recibió en el que se acusaba injustamente a un escritor de emplear IA. Este tipo de incidentes pueden causar una angustia emocional indebida y empañar potencialmente la reputación profesional de un investigador. El efecto dominó puede traducirse en desconfianza, escepticismo y descarrilamiento de la carrera académica, por no hablar de las prolongadas batallas legales.

Peor aún, es más probable que estos detectores marquen como generados por IA los trabajos de hablantes de inglés como lengua adicional (EAL) que los de sus homólogos nativos de habla inglesa. Lo último que querría cualquier editor es arriesgarse a introducir aún más prejuicios y discriminación contra los autores EAL.

¿Por qué corremos de nuevo a prohibir la escritura asistida por IA?

Las editoriales académicas deberían ser cautelosas a la hora de adoptar herramientas de detección de IA por razones que van más allá de la integridad de la investigación.

Si bien es probable que la mayoría de los editores no quieran publicar investigaciones que hayan sido obviamente realizadas por ChatGPT, adoptar políticas en las que los verificadores de IA sean estándar es también hacer una declaración educativa y de valores sobre cómo vemos el uso de la IA generativa en la expresión de hallazgos académicos. En lugar de rechazar las herramientas de IA en la escritura académica, ¿qué pasaría si las utilizáramos como herramientas educativas y como medio para igualar las condiciones de los académicos de la EAL?

Instituciones como la Universidad de Yale son pioneras en la utilización de la IA para mejorar el proceso de escritura. Ethan y Lilach Mollick, de la Wharton School, han creado un curso práctico en línea sobre IA para el aula que incluye la integración de la GPT en las tareas. Estos avances ponen de relieve un posible camino a seguir en el que la IA ayude a la escritura académica en lugar de entorpecerla.

Conclusión

Aunque la motivación para integrar los detectores de IA en la revisión académica es bienintencionada, los retos que introducen exigen un enfoque diferente. El sector de las publicaciones académicas debe estar alerta, sopesar los posibles escollos frente a las promesas y explorar formas de integrar armoniosamente la IA en la bibliografía académica.

Frontiers retira 38 artículos vinculados a la «venta de autoría»

Kincaid, Author Ellie. «Frontiers Retracts Nearly 40 Papers Linked to ‘Authorship-for-Sale’». Retraction Watch (blog), 8 de septiembre de 2023. https://retractionwatch.com/2023/09/08/frontiers-retracts-nearly-40-papers-linked-to-authorship-for-sale/.

La editorial Frontiers ha retractado casi 40 artículos en varias revistas que estaban vinculados a la «práctica no ética de comprar o vender autoría en artículos de investigación», según un comunicado de prensa publicado en el sitio web de la empresa el lunes.

El fenómeno conocido como «Authorship-for-Sale» se ha convertido en una preocupación creciente en el mundo académico y científico. Se refiere a la práctica de vender o comprar posiciones de autor en artículos de investigación académica, especialmente en revistas científicas indexadas por el Índice de Citas de la Ciencia (SCI) y otras bases de datos prestigiosas. Esta problemática se ha convertido en un síntoma de la creciente presión para publicar y obtener reconocimiento en la comunidad científica (Publish or Perish).

En estos días Frontiers retracto 38 artículos vinculados a la venta de autoría después de una investigación de su unidad de integridad de la investigación. Los investigadores que publicaron en PubPeer identificaron anuncios para comprar posiciones de autor en algunos de los artículos retirados, lo que alertó a la editorial. El comunicado también señala que Frontiers está adoptando nuevas políticas para prevenir la venta de autorías en los artículos que publica.

La antigua política de la editorial simplemente establecía que «las solicitudes para modificar la lista de autores después de la presentación deben hacerse a la oficina editorial utilizando el formulario de cambio de autoría».

Ahora, tales solicitudes «solo se concederán en circunstancias excepcionales y después de una evaluación exhaustiva por parte de la unidad de integridad de la investigación de Frontiers», según el comunicado. La editorial también llevará un registro de las solicitudes «para identificar patrones y tendencias sospechosos».

La nueva política también establece que Frontiers rechazará los cambios en la autoría solicitados después de la aceptación como regla general, y:

«En caso de preocupaciones sobre posibles manipulaciones de autoría, Frontiers se reserva el derecho de contactar a la(s) institución(es) de los autores para una investigación adicional y/o rechazar los cambios solicitados.»


Las «fábricas de papers» (en inglés, «Paper mills») es un término coloquial utilizados para describir sitios web o empresas que se dedican a la producción y venta de artículos académicos o científicos fraudulentos o de baja calidad. Estos sitios a menudo ofrecen la posibilidad de comprar artículos de investigación que pueden ser utilizados para cumplir con requisitos académicos, como la publicación de investigaciones en revistas científicas.

Hace dos años, Retraction Watch informó sobre un sitio web con sede en Rusia que afirmaba haber intermediado en autorías para más de 10.000 investigadores. Y ahora, se da noticias de lo que parecen ser dos sitios muy similares: uno de Irán y otro de Letonia

El sitio en Irán, Teziran.org, afirma ofrecer una variedad de servicios, desde ayuda con problemas de inmigración hasta formación científica. Lo que llamó especialmente nuestra atención fue una sección del sitio que enumera una serie de «artículos listos para su aceptación»:

«La impresión de artículos colaborativos ISI o la impresión de artículos colaborativos ISI es una forma de ayudar a los investigadores que tienen dificultades para realizar su investigación; También, a los investigadores que no tienen suficiente experiencia para escribir un artículo y, por ejemplo, no dominan el inglés o la edición especializada; O personas que no tienen las instalaciones (espacio, herramientas, taller, etc.) para realizar la investigación que desean de manera completa y suficiente; O aquellos que no tienen el conocimiento necesario para recopilar datos y no conocen completamente el método de investigación, y muchos otros investigadores con diversos problemas. Este grupo de personas puede utilizar el método de impresión de artículos colaborativos ISI y contribuir a la escritura del artículo en la medida de lo posible».

Varios de los artículos ya habían sido publicados. Sin embargo, cuando se intentó verificar si la autoría de los artículos listados realmente estuvo a la venta, los autores correspondientes de dos de los artículos negaron haber ofrecido alguna vez la venta de autorías en el sitio. Ambos dijeron que nuestras solicitudes de comentarios fueron lo primero que escucharon sobre Teziran.org.

En Letonia, la empresa Science Publisher Company también afirma ofrecer autorías a la venta:

Como uno de los mayores proveedores en publicaciones científicas, SIA Science Publisher ofrece sus servicios para publicar artículos ya elaborados sobre una amplia variedad de temas. Puedes comprar la posición de un autor o un artículo completo. Inicialmente, los artículos terminados están diseñados para un equipo de seis autores. Al comprar un artículo completo, se puede aumentar el número de colaboradores para el mismo. Los coautores también pueden hacer sus sugerencias y correcciones al texto del artículo. La empresa enumera docenas de artículos cuyas autorías dicen estar disponibles, con tarifas que comienzan en 650$ USD.

En conclusión decir que la venta de autorías representa un desafío para la integridad de la investigación científica y la ética académica. También es necesario recordar la importancia de mantener altos estándares en la publicación científica y de abordar la presión excesiva para publicar de manera más equitativa y transparente en la comunidad académica.