Archivo de la etiqueta: Plagio

¿Podemos asegurarnos de que los sistemas de detección de la IA generativa sean precisos y justos?:

Statement on Principles for the Development and Use of Systems to Detect Generative AI Content. ACM, oct. 2023

Texto completo

Con el interés público centrado en tecnologías de IA generativa en constante aumento, algunos de los problemas más apremiantes giran en torno a preguntas como «¿Se está utilizando la IA generativa para crear imágenes y videos falsos?» y «¿Los estudiantes están utilizando la IA generativa para escribir trabajos y hacer trampa en los exámenes?» Por estas razones, hay una creciente demanda de sistemas que puedan detectar si una imagen, archivo de audio o trabajo escrito ha sido creado por un humano o un sistema de IA.

A pesar de que los sistemas de detección de IA están comenzando a proliferar, no existen estándares de la industria ni regulaciones gubernamentales que garanticen que estos sistemas sean precisos o justos. Debido a que el impacto de estos sistemas en las personas puede ser significativo, el Association for Computing Machinery’s US Technology Policy Committee (ACM USTPC) ha emitido una Declaración de Principios para el Desarrollo y Uso de Sistemas de Detección de Contenido de IA Generativa.

La introducción a la nueva Declaración de USTPC destaca diversos escenarios en los que sería deseable contar con sistemas para detectar contenido generado por IA. Por ejemplo, los empleadores que desean saber si se utilizó IA generativa para completar una solicitud de trabajo o las empresas de medios que intentan determinar si los comentarios publicados en plataformas fueron dejados por humanos o chatbots.

Al mismo tiempo, la Declaración señala que «la demanda de tales sistemas no es un indicador de su equidad o precisión». El comité continúa explicando que «ninguna tecnología de detección actualmente disponible es lo suficientemente confiable como para basar exclusivamente decisiones críticas, potencialmente alteradoras de la vida y la carrera…»

La declaración proporciona un contexto técnico sobre por qué no se puede garantizar la equidad y precisión de los sistemas de detección de IA generativa existentes y establece seis principios y recomendaciones específicos:

  1. Bajo riesgo de rechazos incorrectos y proceso de apelación impulsado por humanos: El uso de sistemas para detectar imágenes generadas por IA y otros medios que automáticamente marcan las presentaciones para su rechazo solo debe ser aceptable si estos sistemas de detección tienen un riesgo extremadamente bajo de rechazos incorrectos y si se proporciona un proceso de apelación impulsado por humanos.
  2. Presentaciones de alto riesgo: Generalmente no es apropiado rechazar automáticamente presentaciones de texto en circunstancias de alto riesgo que se clasifican como producidas por un sistema de IA generativa, incluso si se proporciona un proceso para apelar dichos rechazos. Ejemplos de presentaciones de alto riesgo incluyen (pero no se limitan a) tareas en el aula y solicitudes de admisión a una institución educativa, crédito o empleo.
  3. Códigos de conducta: Las entidades que utilizan sistemas de detección de IA generativa deben adoptar directrices, como códigos de conducta, manuales del empleado y códigos de honor ejecutables, que requieran que aquellos afiliados a la entidad cumplan con las políticas de IA de la organización.
  4. Impugnación de resultados: De acuerdo con declaraciones anteriores de USTPC, las personas deben tener la oportunidad de impugnar resultados siempre que se tome una decisión adversa sobre ellas, en su totalidad o en parte, basada en la salida de un sistema de IA.
  5. Formación adecuada: Los evaluadores de contenido humano deben recibir una formación adecuada de manera continua sobre los métodos y herramientas adecuados para validar el contenido presentado.
  6. Aumento de la financiación: Sería prudente y beneficioso aumentar la financiación del sector público y privado para la investigación sobre cómo desarrollar mecanismos de detección mejores, realizar análisis de impacto, realizar investigaciones de usuario y otros asuntos relacionados.

En palabras de Simson Garfinkel, autor principal de la declaración y presidente del Subcomité de Gobierno Digital de USTPC: «En principio, detectar texto e imágenes generados por la IA es un problema abierto. Aunque podría ser posible construir un sistema que pueda detectar el contenido generado por la IA de hoy, tal detector podría utilizarse para construir el sistema de generación de IA del mañana que evite dicha detección. Esta declaración se emite para agregar una voz de experiencia técnica al pánico moral sobre el uso de la IA generativa. Estamos diciendo que el texto e imágenes producidos por sistemas de IA generativa no pueden detectarse de manera confiable hoy. También alentamos a todas las instituciones a abstenerse de desplegar sistemas que pretendan detectar y descartar automáticamente materiales porque supuestamente fueron creados por un sistema de IA generativa».

Larry Medsker, presidente del Comité de Política Tecnológica de ACM de los Estados Unidos, agregó: «Esta nueva Declaración es parte de una serie continua que el Comité de Tecnología de ACM de los Estados Unidos publica para informar al público sobre las nuevas tecnologías y sus impactos en la sociedad. Recientemente, hemos estado especialmente activos en brindar aportes oportunos para abordar los nuevos desarrollos en IA». En esta línea, los miembros de USTPC han publicado “Principles for the Development, Deployment and Use of Generative AI” y “Statement on Principles for Responsible Algorithmic Systems.”

Además del autor principal Simson Garfinkel, los principales contribuyentes a la “Statement on Principles for the Development and Use of Systems to Detect Generative AI Content” incluyen a los miembros del comité Houssam Abbas, Andrew Appel, Harish Arunachalam, Ricardo Baeza-Yates, David Bauman, Ravi Jain, Carl Landwehr, Larry Medsker, Neeti Pokhriyal, Arnon Rosenthal y Marc Rotenberg.

Un artículo aprobado y aceptado en una revista de Springer Nature aparece con la frase «Regenerate response» comando de ChatTGPT para reformular los resultados

Joelving, Author Frederik. «Signs of Undeclared ChatGPT Use in Papers Mounting». Retraction Watch (blog), 6 de octubre de 2023. https://retractionwatch.com/2023/10/06/signs-of-undeclared-chatgpt-use-in-papers-mounting/.

La semana pasada, una revista ambiental publicó un artículo sobre el uso de energía renovable en la limpieza de tierras contaminadas, con un costo de acceso de 40 euros, y aparentemente escrito por investigadores chinos. El artículo incluía una frase peculiar, «Regenerate response», lo que planteó dudas sobre la posibilidad de contenido generado por IA. Este incidente destaca una tendencia creciente de uso de IA, en particular ChatGPT, en la investigación sin una debida declaración. El autor del artículo y la persona de contacto de la empresa no respondieron a las solicitudes de comentarios. Springer Nature, el editor, declaró que están investigando cuidadosamente el asunto de acuerdo con las mejores prácticas, pero no pudieron proporcionar más detalles en este momento.

Supuestamente escrito por investigadores en China, «Revitalizing our earth: unleashing the power of green energy in soil remediation for a sustainable future» incluye la frase superflua «Regenerate response» al final de una sección de métodos. Para aquellos que no están familiarizados, «Regenerate response» es un botón en ChatGPT de OpenAI que incita al chatbot a reformular una respuesta insatisfactoria.

«¿Los autores copiaron y pegaron la salida de ChatGPT e incluyeron por error la etiqueta del botón?» se preguntó Guillaume Cabanac, profesor de informática en la Universidad de Toulouse, en Francia, en un comentario en PubPeer..

Y agregó: «¿Cómo es que esta expresión sin sentido sobrevivió a la revisión de pruebas por parte de los coautores, editores, revisores, correctores de estilo y maquetadores?»

Este caso es el ejemplo más reciente de una creciente tendencia de uso descuidado y no declarado de ChatGPT en la investigación. Hasta ahora, Cabanac, cuyo trabajo fue cubierto en Nature el mes pasado, ha publicado más de 30 artículos en PubPeer que contienen esas dos palabras reveladoras y sueltas. Y eso no incluye los artículos que aparecen en revistas depredadoras, dijo el investigador científico a Retraction Watch.

«El software informático se ha utilizado durante décadas para ayudar a los autores», dijo Cabanac. «Solo piensa en Grammarly o DeepL para personas como yo. No soy hablante nativo de inglés, así que voy a WordReference, a veces voy a DeepL. Pero lo que hago es mirar el resultado y corregir los errores».

ChatGPT y otras herramientas que utilizan sistemas de IA conocidos como modelos de lenguaje a gran escala tienden a inventar cosas. Como informamos a principios de este año, ese trabajo independiente puede ser un problema para los investigadores que buscan ayuda para encontrar referencias.

«A veces elabora cosas que no estaban en la mente de los investigadores», dijo Cabanac. «Y ese es el punto de inflexión para mí. Cuando las personas utilizan el sistema para generar algo que no tenían en mente, como fabricar datos, generar texto con referencias a trabajos que ni siquiera leyeron, esto es inaceptable».

Según algunos editores, los chatbots tienen usos legítimos al escribir artículos. La clave es informar a los lectores sobre lo que se hizo.

El autor correspondiente del artículo ambiental, Kangyan Li de ESD China Ltd., no respondió a las solicitudes de comentarios. Tampoco lo hizo una persona de contacto mencionada en el sitio web de su empresa.

Un portavoz de Springer Nature, que publica la revista Environmental Science and Pollution Research en la que apareció el artículo, dijo que el editor estaba «investigando cuidadosamente el problema de acuerdo con las mejores prácticas de COPE» pero no pudo compartir más detalles en este momento.

No está claro cómo los autores, y mucho menos la revista, pudieron pasar por alto la extraña frase. «Tal vez no se trate de los autores, sino de una fábrica de papel», dijo Cabanac, refiriéndose a organizaciones poco fiables que venden espacios de autor en artículos científicos que pueden contener datos falsos.

«Regenerar respuesta» no es la única señal de participación no declarada de un chatbot que ha visto Cabanac. Un ejemplo aún más atroz es la frase «Como modelo lingüístico de IA, yo…«, que ha encontrado en nueve artículos hasta ahora.

A Cabanac le preocupa que un descuido tan flagrante, posiblemente la punta del iceberg, pueda pasar desapercibido tanto para el personal editorial como para los revisores.

Algunos de los detectores de plagio por IA consideran que la Constitución de EE.UU. o el Génesis fueron escritos utilizando una herramienta de IA generativa

Harwood, Michelle. «AI Wrote the US Constitution, Says AI Content Detector». Medium (blog), 7 de septiembre de 2023. https://medium.com/@michellehwd/ai-wrote-the-us-constitution-says-ai-content-detector-f24681fdc75f.

Si se introdujeran algunos extractos de la Constitución de EE.UU. en las herramientas de detección de IA, éstas afirmarían que fue escrita por herramientas de IA como ChatGPT y Google Bard, etc. ZeroGPT parece estar seguro en un 94% de que la IA escribió la Constitución, mientras que originality.ai lo está en un 60%. La Constitución se redactó en el año 1787, es decir, hace más de 200 años. Entonces, ¿crees que es posible que ese viejo documento tenga orígenes de IA? Bueno, eso sólo puede ocurrir si los propios redactores eran robots o si utilizaron una máquina del tiempo para llegar a la era de la tecnología de IA.

La pregunta es, ¿por qué estas herramientas parecen estar tan seguras de etiquetar el documento de hace un año como generado por la IA? Cuando los detectores de IA reciben un texto para analizar, normalmente comprueban la estructura del texto, lo comparan con sus conocimientos y concluyen si ellos habrían escrito de la misma manera al recibir la misma consulta. En caso afirmativo, la herramienta simplemente clasifica el texto como escrito por la IA.

Al analizar la estructura del texto, las herramientas de detección de IA suelen utilizar dos variables diferentes: la perplejidad y la explosividad. Cuanto menor sea el porcentaje de estas dos variables detectadas en el texto, mayores serán las probabilidades de que el contenido esté generado por IA.

Los detectores de IA que etiquetan la Constitución de EE.UU. como generada por IA han suscitado dudas sobre su precisión. De hecho, este no es el único caso en que una herramienta de detección de contenidos de IA ha dado falsos positivos. Anteriormente, también se había descubierto que el Libro del Génesis había sido escrito por IA.

Varios expertos han cuestionado la fiabilidad de los detectores de IA y han expresado su preocupación por sus vulnerabilidades. «No existe ninguna herramienta que pueda detectar de forma fiable la escritura ChatGPT-4/Bing/Bard», tuiteó Mollick recientemente. «Las herramientas existentes están entrenadas en GPT-3.5, tienen altas tasas de falsos positivos (10%+), y son increíblemente fáciles de engañar». Además, ChatGPT por sí mismo no puede evaluar si el texto está escrito por IA o no, añadió, por lo que no se puede simplemente pegar un texto y preguntar si fue escrito por ChatGPT.

En el caso del detector de IA basado en marcas de agua, la robustez reveló que «un atacante puede utilizar un parafraseador para eliminar las firmas LLM de un texto generado por IA para evitar su detección» e incluso puede falsear el detector de marcas de agua para hacer que un texto humano auténtico se detecte como generado por IA.

En una conversación con Ars Technica, Tian de GPTZero pareció darse cuenta de lo que se avecinaba y dijo que planea redirigir su empresa lejos de la detección de IA convencional hacia algo más ambiguo. «En comparación con otros detectores, como Turn-it-in, estamos cambiando nuestra atención lejos de construir detectores para atrapar a los estudiantes, y en su lugar, la próxima versión de GPTZero no estará detectando IA, sino resaltando lo más humano y ayudando a profesores y estudiantes a navegar juntos el nivel de participación de la IA en la educación», dijo.

Sin embargo, a pesar de los problemas inherentes con la precisión, GPTZero sigue anunciándose como «construido para educadores», y su sitio muestra con orgullo una lista de universidades que supuestamente utilizan la tecnología. Existe una extraña tensión entre los objetivos declarados de Tian de no castigar a los estudiantes y su deseo de ganar dinero con su invento. Pero sean cuales sean los motivos, el uso de estos productos defectuosos puede tener efectos terribles en los estudiantes. Quizá el resultado más perjudicial del uso de estas herramientas inexactas e imperfectas sea el coste personal de las falsas acusaciones.

Un caso publicado por USA Today pone de relieve la cuestión de forma llamativa. Un estudiante fue acusado de hacer trampas basándose en herramientas de detección de texto de IA y tuvo que presentar su caso ante una junta de honor. Su defensa incluyó mostrar su historial de Google Docs para demostrar su proceso de investigación. A pesar de que el tribunal no encontró pruebas de que hubiera hecho trampas, el estrés de prepararse para defenderse llevó al estudiante a sufrir ataques de pánico. Situaciones similares se han producido docenas (si no cientos) de veces en los EE.UU. y se documentan comúnmente en hilos desesperados de Reddit.

Las sanciones habituales por deshonestidad académica suelen incluir suspensos, libertad condicional académica, suspensión o incluso expulsión, dependiendo de la gravedad y la frecuencia de la infracción. Es una acusación difícil de afrontar, y el uso de tecnología defectuosa para imponer esos cargos parece casi una caza de brujas académica moderna.

Así pues, finalmente, no existe una fórmula perfecta en la que podamos confiar para diferenciar entre texto escrito por humanos y texto generado por máquinas.

Editores, ¡no utilicen herramientas de detección de IA!

Staiman, Avi. «Publishers, Don’t Use AI Detection Tools!» The Scholarly Kitchen, 14 de septiembre de 2023. https://scholarlykitchen.sspnet.org/2023/09/14/publishers-dont-use-ai-detection-tools/.

La semana pasada recibí una llamada desesperada de un estudiante de máster de Austria que estaba inconsolable. Acababa de enviar su tesis a su universidad para que la revisaran y había sido marcada como escrita por IA. La universidad le había dado una oportunidad más para revisar y volver a presentar su trabajo. Si pasaba la herramienta de detección de IA, revisarían el trabajo y le darían una nota final. Si no superaba la comprobación automática, lo rechazarían automáticamente y lo expulsarían deshonrosamente de su programa, tirando por la borda dos años de estudio.

¿Herramientas de detección de IA para defender la integridad de la investigación?

El reciente auge en el desarrollo de tecnologías de IA en el ámbito de la escritura ha provocado el aumento y la proliferación de detectores de IA en el mundo académico. Estos detectores prometen ser los guardianes de la integridad académica combatiendo el plagio y los contenidos generados por IA. Aunque la ambición es noble, su aplicación práctica ha tenido su buena dosis de deficiencias críticas.

El supuesto fundamental que subyace a la creación de herramientas de detección de IA parece ser que la escritura con IA debería poder detectarse del mismo modo que se detecta el plagio. Sin embargo, hay una diferencia fundamental: el plagio simplemente busca coincidencias exactas con obras existentes, un criterio objetivo que puede identificarse, medirse y reproducirse. Por otro lado, la escritura de IA es original por derecho propio (aunque se extraiga de fuentes no originales) y no puede rastrearse fácilmente hasta su fuente.

Mi oposición a que las editoriales académicas recurran a herramientas de detección obedece a razones tanto pragmáticas como ideológicas. Empecemos por las cuestiones pragmáticas.

Problemas con los falsos positivos

Los grandes modelos lingüísticos aprenden de la escritura humana y se construyen para parecerse a ella en sus resultados. Ya con el lanzamiento de ChatGPT, quedó claro que la IA generativa podía producir una escritura que imitara con éxito la de los humanos. Cuantificar los respectivos componentes humanos y de IA en un documento concreto es todo un reto y, a menudo, los autores mezclan sus propias palabras con las sugeridas por la herramienta de IA.

Las imperfecciones de los detectores de IA son cada vez más evidentes, ya que a menudo identifican erróneamente contenidos genuinamente generados por humanos. Los estudios han mostrado tasas de error de hasta el 9% o más, una cifra demasiado alta para vivir con ella. Un caso notable fue el de una herramienta de IA que marcó la Constitución de EE.UU. como producida por IA. Este falso positivo no sólo pone de manifiesto la flagrante imperfección de estos detectores, sino que también subraya las posibles trampas que aguardan a los autores académicos que tratan estos informes como fidedignos. Un caso humorístico pero inquietante de este tipo de confusión surgió después de que un profesor de Texas A&M suspendiera toda su clase después de que ChatGPT respondiera afirmativamente cuando le preguntó si había escrito los trabajos entregados por los estudiantes.

En un vídeo reciente, Turnitin admitió con sorprendente franqueza que su software de detección de IA debe tomarse «con cautela». Además, dicen que los profesores tendrán que ser los que «hagan la interpretación final» de lo que crea la IA generativa.

¿No es esa precisamente la razón por la que los profesores recurren a estas herramientas?

Las universidades están empezando a comprender las implicaciones de estas admisiones y han empezado a tomar medidas aconsejando a su profesorado que no utilice estas herramientas. En un informe de orientación publicado por la Universidad de Vanderbilt, señalan que Turnitin, su proveedor de software contra el plagio, afirmó originalmente tener una tasa positiva del 1% en la detección de trabajos escritos con IA tras el lanzamiento de su herramienta de detección de IA, pero luego aumentó esa tasa al 4% tras un uso y unas pruebas más amplias. Aunque esas cifras mejoren, no sería difícil para los autores malintencionados pasar los resultados de la IA por un software de parafraseo para eliminar rastros del original. La propia OpenAI cerró un proyecto que intentaba detectar sus propios resultados. Muchas universidades ya han cambiado de rumbo y están buscando políticas alternativas.

Daños colaterales de las falsas acusaciones

La falacia de los detectores de IA tiene consecuencias en el mundo real. Timnit Gebru, fundadora y directora ejecutiva del Distributed AI Research Institute (DAIR), compartió recientemente un angustioso correo electrónico que recibió en el que se acusaba injustamente a un escritor de emplear IA. Este tipo de incidentes pueden causar una angustia emocional indebida y empañar potencialmente la reputación profesional de un investigador. El efecto dominó puede traducirse en desconfianza, escepticismo y descarrilamiento de la carrera académica, por no hablar de las prolongadas batallas legales.

Peor aún, es más probable que estos detectores marquen como generados por IA los trabajos de hablantes de inglés como lengua adicional (EAL) que los de sus homólogos nativos de habla inglesa. Lo último que querría cualquier editor es arriesgarse a introducir aún más prejuicios y discriminación contra los autores EAL.

¿Por qué corremos de nuevo a prohibir la escritura asistida por IA?

Las editoriales académicas deberían ser cautelosas a la hora de adoptar herramientas de detección de IA por razones que van más allá de la integridad de la investigación.

Si bien es probable que la mayoría de los editores no quieran publicar investigaciones que hayan sido obviamente realizadas por ChatGPT, adoptar políticas en las que los verificadores de IA sean estándar es también hacer una declaración educativa y de valores sobre cómo vemos el uso de la IA generativa en la expresión de hallazgos académicos. En lugar de rechazar las herramientas de IA en la escritura académica, ¿qué pasaría si las utilizáramos como herramientas educativas y como medio para igualar las condiciones de los académicos de la EAL?

Instituciones como la Universidad de Yale son pioneras en la utilización de la IA para mejorar el proceso de escritura. Ethan y Lilach Mollick, de la Wharton School, han creado un curso práctico en línea sobre IA para el aula que incluye la integración de la GPT en las tareas. Estos avances ponen de relieve un posible camino a seguir en el que la IA ayude a la escritura académica en lugar de entorpecerla.

Conclusión

Aunque la motivación para integrar los detectores de IA en la revisión académica es bienintencionada, los retos que introducen exigen un enfoque diferente. El sector de las publicaciones académicas debe estar alerta, sopesar los posibles escollos frente a las promesas y explorar formas de integrar armoniosamente la IA en la bibliografía académica.

Frontiers retira 38 artículos vinculados a la «venta de autoría»

Kincaid, Author Ellie. «Frontiers Retracts Nearly 40 Papers Linked to ‘Authorship-for-Sale’». Retraction Watch (blog), 8 de septiembre de 2023. https://retractionwatch.com/2023/09/08/frontiers-retracts-nearly-40-papers-linked-to-authorship-for-sale/.

La editorial Frontiers ha retractado casi 40 artículos en varias revistas que estaban vinculados a la «práctica no ética de comprar o vender autoría en artículos de investigación», según un comunicado de prensa publicado en el sitio web de la empresa el lunes.

El fenómeno conocido como «Authorship-for-Sale» se ha convertido en una preocupación creciente en el mundo académico y científico. Se refiere a la práctica de vender o comprar posiciones de autor en artículos de investigación académica, especialmente en revistas científicas indexadas por el Índice de Citas de la Ciencia (SCI) y otras bases de datos prestigiosas. Esta problemática se ha convertido en un síntoma de la creciente presión para publicar y obtener reconocimiento en la comunidad científica (Publish or Perish).

En estos días Frontiers retracto 38 artículos vinculados a la venta de autoría después de una investigación de su unidad de integridad de la investigación. Los investigadores que publicaron en PubPeer identificaron anuncios para comprar posiciones de autor en algunos de los artículos retirados, lo que alertó a la editorial. El comunicado también señala que Frontiers está adoptando nuevas políticas para prevenir la venta de autorías en los artículos que publica.

La antigua política de la editorial simplemente establecía que «las solicitudes para modificar la lista de autores después de la presentación deben hacerse a la oficina editorial utilizando el formulario de cambio de autoría».

Ahora, tales solicitudes «solo se concederán en circunstancias excepcionales y después de una evaluación exhaustiva por parte de la unidad de integridad de la investigación de Frontiers», según el comunicado. La editorial también llevará un registro de las solicitudes «para identificar patrones y tendencias sospechosos».

La nueva política también establece que Frontiers rechazará los cambios en la autoría solicitados después de la aceptación como regla general, y:

«En caso de preocupaciones sobre posibles manipulaciones de autoría, Frontiers se reserva el derecho de contactar a la(s) institución(es) de los autores para una investigación adicional y/o rechazar los cambios solicitados.»


Las «fábricas de papers» (en inglés, «Paper mills») es un término coloquial utilizados para describir sitios web o empresas que se dedican a la producción y venta de artículos académicos o científicos fraudulentos o de baja calidad. Estos sitios a menudo ofrecen la posibilidad de comprar artículos de investigación que pueden ser utilizados para cumplir con requisitos académicos, como la publicación de investigaciones en revistas científicas.

Hace dos años, Retraction Watch informó sobre un sitio web con sede en Rusia que afirmaba haber intermediado en autorías para más de 10.000 investigadores. Y ahora, se da noticias de lo que parecen ser dos sitios muy similares: uno de Irán y otro de Letonia

El sitio en Irán, Teziran.org, afirma ofrecer una variedad de servicios, desde ayuda con problemas de inmigración hasta formación científica. Lo que llamó especialmente nuestra atención fue una sección del sitio que enumera una serie de «artículos listos para su aceptación»:

«La impresión de artículos colaborativos ISI o la impresión de artículos colaborativos ISI es una forma de ayudar a los investigadores que tienen dificultades para realizar su investigación; También, a los investigadores que no tienen suficiente experiencia para escribir un artículo y, por ejemplo, no dominan el inglés o la edición especializada; O personas que no tienen las instalaciones (espacio, herramientas, taller, etc.) para realizar la investigación que desean de manera completa y suficiente; O aquellos que no tienen el conocimiento necesario para recopilar datos y no conocen completamente el método de investigación, y muchos otros investigadores con diversos problemas. Este grupo de personas puede utilizar el método de impresión de artículos colaborativos ISI y contribuir a la escritura del artículo en la medida de lo posible».

Varios de los artículos ya habían sido publicados. Sin embargo, cuando se intentó verificar si la autoría de los artículos listados realmente estuvo a la venta, los autores correspondientes de dos de los artículos negaron haber ofrecido alguna vez la venta de autorías en el sitio. Ambos dijeron que nuestras solicitudes de comentarios fueron lo primero que escucharon sobre Teziran.org.

En Letonia, la empresa Science Publisher Company también afirma ofrecer autorías a la venta:

Como uno de los mayores proveedores en publicaciones científicas, SIA Science Publisher ofrece sus servicios para publicar artículos ya elaborados sobre una amplia variedad de temas. Puedes comprar la posición de un autor o un artículo completo. Inicialmente, los artículos terminados están diseñados para un equipo de seis autores. Al comprar un artículo completo, se puede aumentar el número de colaboradores para el mismo. Los coautores también pueden hacer sus sugerencias y correcciones al texto del artículo. La empresa enumera docenas de artículos cuyas autorías dicen estar disponibles, con tarifas que comienzan en 650$ USD.

En conclusión decir que la venta de autorías representa un desafío para la integridad de la investigación científica y la ética académica. También es necesario recordar la importancia de mantener altos estándares en la publicación científica y de abordar la presión excesiva para publicar de manera más equitativa y transparente en la comunidad académica.

OpenAI cierra AI Text Classifier, su herramienta de detección de escritura generada por IA, debido a la baja tasa de precisión

David, Emilia. «OpenAI Can’t Tell If Something Was Written by AI after All». The Verge, 25 de julio de 2023. https://www.theverge.com/2023/7/25/23807487/openai-ai-generated-low-accuracy.

Según la información proporcionada, OpenAI decidió cerrar AI Text Classifier, su herramienta diseñada para distinguir la escritura humana de la IA debido a su baja tasa de precisión. La compañía anunció en su blog que el clasificador de IA sería discontinuado a partir del 20 de julio.

Tras la irrupción de ChatGPT de OpenAI y su rápido crecimiento, la sociedad se apresuró a comprender esta tecnología. Sin embargo, varios sectores expresaron preocupación acerca del uso de texto y arte generados por IA. Especialmente los educadores temían que los alumnos dejaran de estudiar y confiaran en ChatGPT para completar sus tareas escolares. En algunos colegios de Nueva York, incluso se prohibió el acceso a ChatGPT dentro del recinto escolar debido a inquietudes sobre la precisión, la seguridad y la posibilidad de hacer trampas.

OpenAI anunció que, mientras cierra la herramienta de detección de escritura generada por IA, tiene planes de desarrollar y desplegar mecanismos que permitan a los usuarios identificar si el contenido de audio o visual ha sido generado por IA. Aunque aún no se han dado a conocer los detalles específicos de estos mecanismos.

Además, OpenAI admitió que su AI Text Classifier utilizado para detectar texto generado por IA no era muy preciso y podía generar falsos positivos. Esto significa que en ocasiones etiquetaba texto escrito por humanos como si fuera generado por IA. Antes de implementar la actualización que cerró la herramienta, OpenAI expresó la posibilidad de mejorar el rendimiento de su herramienta mediante el uso de más datos de entrenamiento.

La desinformación a través de la IA también ha sido motivo de preocupación, con estudios que demuestran que los textos generados por la IA podrían ser más convincentes que los escritos por humanos. Los gobiernos aún no han encontrado la forma de frenar la IA y, por ahora, dejan que grupos y organizaciones individuales establezcan sus propias normas y desarrollen sus propias medidas de protección para hacer frente a la avalancha de textos generados por ordenador. Y parece que, por ahora, nadie, ni siquiera la empresa que ayudó a poner en marcha la locura de la IA generativa, tiene respuestas sobre cómo hacer frente a todo esto. Aunque a algunos les pillen, cada vez va a ser más difícil diferenciar fácilmente la IA del trabajo humano.

.

La mitad de los estudiantes admite haber utilizado ChatGPT u otras aplicaciones de inteligencia artificial para realizar la mayoría de sus tareas académicas

«Half of College Students Say Using AI Is Cheating | BestColleges». Accedido 21 de julio de 2023. https://www.bestcolleges.com/research/college-students-ai-tools-survey/.

Una encuesta reciente realizada a 1.000 estudiantes universitarios y de posgrado reveló datos alarmantes: el 43% de los estudiantes encuestados admitió haber utilizado ChatGPT u otras aplicaciones de inteligencia artificial similares; el 30% confesó haber recurrido a la inteligencia artificial para realizar la mayoría de sus tareas académicas; y el 17% aceptó haber presentado trabajos de curso generados por la inteligencia artificial sin editarlos o modificarlos. Algo más de la mitad de los estudiantes (51%) son consciente de que utilizar herramientas de IA para realizar trabajos y exámenes se considera trampa o plagio. Dos de cada diez (20%) no están de acuerdo y el resto se muestra neutral.

Entre los estudiantes que afirman haber utilizado herramientas de IA para sus tareas escolares, la mitad (50%) las utiliza para algunas partes, pero realiza la mayor parte por sí mismo. Tres de cada diez (30%) utilizan la IA para la mayor parte de su tarea, y el 17% la utiliza para completar una tarea y entregarla sin modificaciones.

Estos resultados ponen de manifiesto el impacto que la inteligencia artificial está teniendo en el ámbito educativo, pero también resaltan el creciente problema de la deshonestidad académica. La facilidad con la que se puede acceder y utilizar herramientas de IA para hacer trampas plantea desafíos éticos y académicos para las instituciones educativas y los educadores.

Es esencial abordar esta problemática y fomentar la integridad académica entre los estudiantes. Las instituciones educativas deben tomar medidas para concienciar sobre los riesgos de hacer trampas con la IA y promover una cultura de honestidad y responsabilidad en el aprendizaje. Asimismo, es importante desarrollar estrategias de detección y prevención efectivas para abordar esta situación y garantizar la equidad y la legitimidad en la evaluación del rendimiento estudiantil.

Resumen de datos

  • El 43% de los estudiantes universitarios ha utilizado ChatGPT o una aplicación de IA similar.
  • De los que han utilizado herramientas de IA, el 50% dice haberlas utilizado para ayudar a completar tareas o exámenes. Esto supone el 22% de todos los universitarios encuestados.
  • Sin embargo, la mayoría de los estudiantes universitarios (57%) no tienen intención de utilizar o seguir utilizando la IA para completar sus tareas escolares.
  • El 31% afirma que sus profesores, los materiales del curso o los códigos de honor de la escuela han prohibido explícitamente las herramientas de IA.
  • Más de la mitad de los estudiantes universitarios (54%) afirma que sus profesores no han hablado abiertamente del uso de herramientas de IA como ChatGPT.
  • 6 de cada 10 universitarios (60%) afirman que sus profesores o centros de enseñanza no han especificado cómo utilizar las herramientas de IA de forma ética o responsable.
  • El 61% de los estudiantes universitarios cree que las herramientas de IA como ChatGPT se convertirán en la nueva normalidad.

Esta encuesta se llevó a cabo del 6 al 13 de marzo de 2023 y fue realizada por Pure Spectrum. Participaron en la encuesta 1.000 encuestados de todo el país que estaban matriculados en un programa de grado o posgrado presencial, en línea o híbrido. Los encuestados tenían entre 16 y 61 años, la mayoría (94%) entre 16 y 32 años, y estaban cursando estudios de grado, licenciatura, máster, doctorado o formación profesional.

¿Son fiables los detectores de texto generado por Inteligencia artificial?

Hines, Kristi. «Should You Trust An AI Detector?» Search Engine Journal, 18 de julio de 2023. https://www.searchenginejournal.com/should-you-trust-an-ai-detector/491949/.

La IA generativa está ganando terreno y se está utilizando cada vez más para crear diversos tipos de contenidos, como texto, imágenes, música y más. Esto ha llevado a una creciente preocupación sobre la fiabilidad de los detectores de IA para discernir entre contenidos generados por humanos y aquellos creados por algoritmos de inteligencia artificial. Turnitin resultó ser la herramienta más precisa en todos los enfoques, seguida de Compilatio y GPT-2 Output Detector.

Detectar y verificar si un contenido fue generado por una IA o por un ser humano es un desafío en constante evolución. A medida que la tecnología de IA avanza, también lo hacen las técnicas para ocultar la autoría de los contenidos generados por algoritmos. Esto puede plantear problemas en términos de veracidad, credibilidad y confiabilidad de la información que se comparte en línea. Para abordar esta preocupación, se han llevado a cabo diversos estudios para evaluar la eficacia de las herramientas de detección de IA en esta tarea. Estos estudios buscan mejorar y perfeccionar los algoritmos de detección y establecer métricas para evaluar su precisión.

Algunos enfoques utilizan marcadores específicos que pueden identificar ciertas características o patrones que son más comunes en contenidos generados por IA. Otros enfoques buscan analizar el estilo y la estructura de los textos o imágenes para identificar indicios de automatización.

¿Son parciales los detectores de IA? Los investigadores encontraron que los detectores de contenidos de IA, especialmente aquellos diseñados para identificar contenidos generados por modelos de lenguaje como GPT, pueden presentar un sesgo significativo en contra de los escritores no nativos de inglés. El estudio descubrió que estos detectores, diseñados para diferenciar entre contenidos generados por IA y contenidos generados por humanos, clasifican erróneamente muestras de escritura en inglés no nativo como generadas por IA, mientras que identifican con precisión muestras de escritura en inglés nativo.

Utilizando muestras de escritura de escritores nativos y no nativos, los investigadores descubrieron que los detectores clasificaban erróneamente más de la mitad de estas últimas muestras como generadas por IA. Los resultados sugieren que los detectores de GPT pueden penalizar involuntariamente a los escritores con expresiones lingüísticas limitadas, lo que subraya la necesidad de prestar más atención a la equidad y solidez de estas herramientas. Esto podría tener implicaciones significativas, sobre todo en contextos evaluativos o educativos, donde los hablantes no nativos de inglés podrían verse inadvertidamente penalizados.

Los investigadores también destacan la necesidad de seguir investigando para hacer frente a estos sesgos y perfeccionar los métodos de detección actuales para garantizar un panorama digital más equitativo y seguro para todos los usuarios.

En otro estudio sobre texto generado por IA, los investigadores documentan la optimización de ejemplos en contexto basada en la sustitución (SICO), que permite a los grandes modelos lingüísticos (LLM) como ChatGPT eludir la detección de los detectores de texto generado por IA. En el estudio se utilizaron tres tareas para simular situaciones reales de uso de los LLM en las que es crucial detectar el texto generado por IA: redacciones académicas, preguntas y respuestas abiertas y reseñas comerciales.

También se probó SICO frente a seis detectores representativos -incluidos modelos basados en la formación, métodos estadísticos y API- que superaron sistemáticamente a otros métodos en todos los detectores y conjuntos de datos.

Los investigadores comprobaron que SICO era eficaz en todos los escenarios de uso probados. En muchos casos, el texto generado por SICO era indistinguible del texto escrito por humanos. Sin embargo, también pusieron de relieve el posible mal uso de esta tecnología. Dado que SICO puede ayudar a que el texto generado por IA evada la detección, los actores malintencionados también podrían utilizarla para crear información engañosa o falsa que parezca escrita por humanos.

Ambos estudios señalan el ritmo al que el desarrollo de la IA generativa supera al de los detectores de texto de IA, y el segundo hace hincapié en la necesidad de una tecnología de detección más sofisticada.

Los investigadores de un tercer estudio recopilaron estudios anteriores sobre la fiabilidad de los detectores de IA, seguidos de sus datos, y publicaron varias conclusiones sobre estas herramientas.

  • Aydin & Karaarslan (2022) revelaron que iThenticate, una popular herramienta de detección de plagio, encontró altas tasas de coincidencia con el texto parafraseado por ChatGPT.
  • Wang et al. (2023) descubrieron que es más difícil detectar código generado por IA que contenido en lenguaje natural. Además, algunas herramientas mostraron sesgos, inclinándose por identificar el texto como generado por IA o escrito por humanos.
  • Pegoraro et al. (2023) descubrieron que detectar texto generado por ChatGPT es muy difícil, y que la herramienta más eficaz lograba una tasa de éxito inferior al 50%.
  • Van Oijen (2023) reveló que la precisión global de las herramientas en la detección de texto generado por IA era sólo de alrededor del 28%, y que la mejor herramienta lograba sólo un 50% de precisión. Por el contrario, estas herramientas eran más eficaces (alrededor del 83% de precisión) en la detección de contenido escrito por humanos.
  • Anderson et al. (2023) observaron que la paráfrasis reducía notablemente la eficacia del detector de salida GPT-2.

Utilizando 14 herramientas de detección de texto generadas por IA, los investigadores crearon varias docenas de casos de prueba en diferentes categorías, entre ellas:

Texto escrito por humanos.
Texto traducido.
Texto generado por IA.
Texto generado por IA con ediciones humanas.
Texto generado por IA con parafraseo de IA.

La mayoría de las herramientas probadas mostraron un sesgo hacia la clasificación precisa del texto escrito por humanos, en comparación con el texto generado o modificado por IA. El estudio destacó también el riesgo de falsas acusaciones y casos no detectados. Los falsos positivos fueron mínimos en la mayoría de las herramientas, excepto en GPT Zero, que presentó una tasa elevada.

Los casos no detectados eran preocupantes, sobre todo en el caso de los textos generados por IA que habían sido editados por personas o parafraseados por máquinas. La mayoría de las herramientas tenían dificultades para detectar este tipo de contenidos, lo que supone una amenaza potencial para la integridad académica y la imparcialidad entre los estudiantes. Turnitin resultó ser la herramienta más precisa en todos los enfoques, seguida de Compilatio y GPT-2 Output Detector.

Los investigadores sugieren que abordar estas limitaciones será crucial para implantar eficazmente herramientas de detección de texto generadas por IA en entornos educativos, garantizando la detección precisa de conductas indebidas y minimizando al mismo tiempo las acusaciones falsas y los casos no detectados.

¿Deberíamos confiar en las herramientas de detección de IA basándose en los resultados de estos estudios? Aunque los detectores de IA han demostrado cierta precisión a la hora de detectar texto generado por IA, también han mostrado sesgos, problemas de usabilidad y vulnerabilidades ante las técnicas de elusión Se necesitan mejoras para corregir los sesgos, aumentar la robustez y garantizar una detección precisa en diferentes contextos. La investigación y el desarrollo continuados son cruciales para fomentar la confianza en los detectores de IA y crear un panorama digital más equitativo y seguro.

Las herramientas de detección de texto mediante inteligencia artificial son muy fáciles de engañar

Weber-Wulff, Debora, Alla Anohina-Naumeca, Sonja Bjelobaba, Tomáš Foltýnek, Jean Guerrero-Dib, Olumide Popoola, Petr Šigut, y Lorna Waddington. «Testing of Detection Tools for AI-Generated Text». arXiv, 21 de junio de 2023. https://doi.org/10.48550/arXiv.2306.15666.

Después de semanas después del lanzamiento de ChatGPT, surgieron temores de que los estudiantes utilizaran el chatbot para generar ensayos aceptables en cuestión de segundos. En respuesta a estos temores, las startups comenzaron a desarrollar productos que prometían detectar si un texto había sido escrito por un humano o por una máquina.

El problema es que, según una nueva investigación que aún no ha sido revisada por pares, es relativamente fácil engañar estas herramientas y evitar su detección. Debora Weber-Wulff, profesora de medios y computación en la Universidad de Ciencias Aplicadas, HTW Berlin, trabajó con un grupo de investigadores de diversas universidades para evaluar la capacidad de 14 herramientas, incluyendo Turnitin, GPT Zero y Compilatio, para detectar textos escritos por ChatGPT de OpenAI.

La mayoría de estas herramientas funcionan buscando características distintivas de textos generados por IA, como la repetición, y luego calculando la probabilidad de que el texto haya sido generado por una IA. Sin embargo, el equipo descubrió que todas las herramientas probadas tenían dificultades para detectar textos generados por ChatGPT que habían sido ligeramente reorganizados por humanos y ocultados por una herramienta de parafraseo, lo que sugiere que todo lo que los estudiantes necesitan hacer es adaptar ligeramente los ensayos generados por la IA para evadir los detectores.

Los investigadores evaluaron las herramientas escribiendo ensayos cortos de nivel universitario sobre una variedad de temas, que incluían ingeniería civil, ciencias de la computación, economía, historia, lingüística y literatura. Los ensayos fueron escritos por los propios investigadores para asegurarse de que el texto no estuviera ya en línea, lo que significaría que podría haber sido utilizado para entrenar a ChatGPT. Luego, cada investigador escribió un texto adicional en bosnio, checo, alemán, letón, eslovaco, español o sueco. Esos textos se pasaron por la herramienta de traducción de IA DeepL o Google Translate para traducirlos al inglés.

El equipo luego utilizó ChatGPT para generar otros dos textos cada uno, que modificaron ligeramente en un intento de ocultar que habían sido generados por IA. Un conjunto fue editado manualmente por los investigadores, que reorganizaron las oraciones e intercambiaron palabras, mientras que otro fue reescrito utilizando una herramienta de parafraseo de IA llamada Quillbot. Al final, tenían 54 documentos para probar las herramientas de detección.

Descubrieron que si bien las herramientas eran buenas para identificar textos escritos por humanos (con una precisión promedio del 96%), tenían un desempeño más deficiente cuando se trataba de detectar textos generados por IA, especialmente cuando habían sido editados. Aunque las herramientas identificaron textos generados por ChatGPT con un 74% de precisión, esta cifra disminuyó al 42% cuando el texto generado por ChatGPT había sido ligeramente modificado.

Compilatio, que fabrica una de las herramientas probadas por los investigadores, señala que es importante recordar que su sistema solo indica pasajes sospechosos, que clasifica como posible plagio o contenido potencialmente generado por IA.

Webinar “La inteligencia artificial y su impacto en la escritura académica»

 Webinar «LA INTELIGENCIA ARTIFICIAL Y SU IMPACTO EN LA ESCRITURA ACADÉMICA”, dictado por el Lic. Julio Alonso Arévalo, Universidad de Guayaquil, dia 23 de junio de 2023

VER VIDEO

La IA generativa ha demostrado ser una herramienta poderosa para la creatividad y la innovación. A pesar de esta preocupación que suscita entre investigadores y educadores, la capacidad de la tecnología de utilizar consultas y comandos en lenguaje normal para producir resultados aparentemente personalizados la convierte en una herramienta valiosa para la educación y la investigación. Sin embargo, también plantea desafíos éticos y sociales, como la atribución adecuada de obras generadas por máquinas y la posibilidad de la difusión de contenido falso o manipulado. Por lo tanto, es importante abordar estos desafíos y utilizar la IA generativa de manera responsable y ética. La IA generativa también plantea cuestiones sobre la infracción de los derechos de autor. Los comentaristas y los tribunales han comenzado a abordar si los programas de IA generativa pueden ncumplir los derechos de autor de obras existentes.