Archivo de la etiqueta: Detectores

Integridad Científica e Inteligencia Artificial

CONFERENCIA: Integridad académica e Inteligencia Artificial
Martes 22 de octubre a las 17 h. de España. 9 h. Ciudad de México
con Julio Alonso Arévalo
III Seminario de Integridad Académica y Producción Científica



La inteligencia artificial está teniendo un impacto significativo en la escritura académica al ofrecer herramientas y recursos que facilitan el proceso de investigación, redacción y edición de documentos. Mediante el uso de algoritmos avanzados, los sistemas de inteligencia artificial pueden analizar grandes cantidades de información, extraer patrones y generar ideas para el desarrollo de un texto académico. Estas herramientas pueden ayudar a los estudiantes y profesores a ahorrar tiempo y esfuerzo al proporcionar sugerencias de vocabulario, estructura de párrafos y citas bibliográficas adecuadas. Además, la inteligencia artificial también puede contribuir a mejorar la calidad de los escritos académicos, al detectar errores gramaticales y de estilo, así como proporcionar recomendaciones para una redacción más clara y coherente. Sin embargo, es importante tener en cuenta que la inteligencia artificial no debe reemplazar el pensamiento crítico y la creatividad inherentes a la escritura académica, sino que debe utilizarse como una herramienta complementaria para mejorar y enriquecer el proceso de escritura.

Los detectores de IA acusan falsamente a los alumnos de hacer trampas con graves consecuencias

«AI Detectors Falsely Accuse Students of Cheating—With Big Consequences». Bloomberg.com.18 de octubre de 2024. https://www.bloomberg.com/news/features/2024-10-18/do-ai-detectors-work-students-face-false-cheating-accusations.

Un estudio revela que alrededor de dos tercios de los profesores utilizan regularmente herramientas para detectar contenido generado por IA. Este uso extendido puede llevar a que incluso pequeñas tasas de error se traduzcan en un gran número de acusaciones falsas.

Desde el lanzamiento de ChatGPT hace casi dos años, las escuelas han implementado diversas herramientas de detección para identificar contenido escrito por IA. Los mejores detectores de redacciones con IA son muy precisos, pero no son infalibles. Businessweek probó dos de los principales servicios -GPTZero y Copyleaks- en una muestra aleatoria de 500 redacciones de solicitudes universitarias enviadas a la Universidad A&M de Texas en el verano de 2022, poco antes del lanzamiento de ChatGPT, garantizando así que no habían sido generadas por IA. Los ensayos se obtuvieron a través de una solicitud de registros públicos, lo que significa que no formaban parte de los conjuntos de datos con los que se entrenan las herramientas de IA. Businessweek descubrió que los servicios marcaban falsamente entre el 1% y el 2% de los ensayos como probablemente escritos por IA, y en algunos casos afirmaban tener una certeza cercana al 100%.

Incluso una tasa de error tan pequeña como puede acumularse rápidamente, dado el gran número de trabajos que los estudiantes realizan cada año, con consecuencias potencialmente devastadoras para los estudiantes que son falsamente marcados. Al igual que ocurre con las acusaciones más tradicionales de engaño y plagio, los estudiantes que utilizan IA para hacer sus deberes tienen que rehacer sus tareas y se enfrentan a suspensos y períodos de prueba.

Los más vulnerables a acusaciones erróneas son aquellos que escriben de manera más genérica, como estudiantes no nativos en inglés o aquellos con estilos de escritura más mecánicos. Moira Olmsted, una estudiante de 24 años, fue acusada de utilizar IA para un trabajo en línea en la Universidad Central Methodist, lo que le valió una calificación de cero. La acusación se basó en un detector de IA que había marcado su trabajo como posiblemente generado por inteligencia artificial, a pesar de su estilo de escritura, influenciado por su trastorno del espectro autista. Aunque logró que la calificación fuera cambiada, recibió una advertencia de que futuras detecciones similares serían tratadas como plagio.

Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubrió que los detectores de IA eran «casi perfectos» cuando comprobaban redacciones escritas por estudiantes de octavo curso nacidos en EE.UU., pero marcaban más de la mitad de las redacciones escritas por estudiantes no nativos de inglés como generadas por IA. Turnitin, una popular herramienta de detección de IA ha declarado que tiene una tasa de falsos positivos del 4% al analizar frases. Turnitin se negó a poner su servicio a disposición para realizar pruebas. En una entrada del blog 2023, la Universidad de Vanderbilt, una de las principales escuelas que desactivaron el servicio de detección de IA de Turnitin por motivos de precisión, señaló que, de lo contrario, cientos de trabajos de estudiantes habrían sido marcados incorrectamente durante el curso académico como escritos en parte por IA. Las empresas de detección de IA insisten en que sus servicios no deben tratarse como juez, jurado y verdugo, sino como un dato para ayudar a informar y orientar a los profesores.

Businessweek también descubrió que los servicios de detección de IA a veces pueden ser engañados por herramientas automatizadas diseñadas para hacer pasar la escritura de IA por humana. Esto podría dar lugar a una carrera armamentística que enfrentara a una tecnología contra otra, dañando la confianza entre educadores y estudiantes con escasos beneficios educativos.

OpenAI ha anunciado recientemente que no lanzará una herramienta para detectar escritos generados por IA, en parte debido a preocupaciones sobre su impacto negativo en ciertos grupos, incluidos los estudiantes que hablan inglés como segunda lengua. Aunque algunas instituciones están reconsiderando el uso de detectores de IA, muchos colegios todavía confían en ellos. Startups de detección de IA han atraído inversiones significativas desde 2019, lo que refleja el aumento del uso de estas tecnologías. Sin embargo, la ansiedad y paranoia en el aula persisten, ya que los estudiantes dedican tiempo a defender la integridad de su trabajo y temen el uso de herramientas de asistencia de escritura comunes.

A pesar de que algunas empresas de detección de IA afirman tener tasas de error bajas, la presión sobre los estudiantes para evitar ser acusados de hacer trampa ha llevado a algunos a modificar sus trabajos, lo que, en muchos casos, ha empeorado su calidad. La situación ha provocado que algunos estudiantes eliminen herramientas como Grammarly de sus dispositivos por miedo a ser marcados como autores de contenido generado por IA. Bloomberg descubrió que utilizar Grammarly para «mejorar» una redacción o «hacer que suene académica» convertirá un trabajo que había pasado de estar escrito al 100% por humanos a estar escrito al 100% por IA.

Educadores y estudiantes consideran que el sistema actual es insostenible, dada la tensión que crea y el hecho de que la IA está aquí para quedarse. Algunos profesores prefieren confiar en su intuición y mantener un diálogo abierto con los estudiantes en lugar de depender de herramientas de detección.

¿Cómo saber si lo que lees lo ha escrito una IA?

Peterson, Jake. «How to Tell If What You’re Reading Was Written By AI». Lifehacker, 12 de agosto de 2024. https://lifehacker.com/tech/how-to-tell-if-what-youre-reading-was-written-by-ai.

Desde que ChatGPT introdujo la IA generativa en 2022, ha quedado claro que ya no se puede confiar en que todo lo que lees fue escrito por un humano. La IA puede generar textos de manera rápida y convincente, pero ¿cómo puedes estar seguro de que no proviene de un algoritmo?

Aunque algunos han adoptado esta tecnología, otros la rechazan. Incluso medios como CNET y G/O Media han enfrentado críticas por publicar contenido generado por IA debido a su calidad deficiente.

Los modelos de lenguaje, como GPT, no son conscientes ni inteligentes; simplemente predicen secuencias de palabras basadas en grandes conjuntos de datos. No obstante, existen señales que pueden delatar un texto generado por IA.

  1. Uso de palabras y frases comunes: Las IA suelen repetir ciertas palabras como «explorar», «destacar» o «testimonio». Aunque son válidas, el uso frecuente de estas puede ser una señal de texto generado por IA.
  2. Estilo de escritura: La IA tiende a usar un lenguaje grandilocuente y repetitivo, con descripciones floridas que no suelen aportar profundidad a los argumentos.
  3. Verificación de hechos y corrección: La IA puede cometer errores al «alucinar» hechos, generando información incorrecta. Además, los textos de IA suelen ser perfectos en cuanto a gramática, lo cual puede ser otra señal.

Aunque existen detectores de textos generados por IA, no siempre son confiables. La mejor manera de identificar un texto escrito por IA sigue siendo el análisis detallado.

BypassGPT: reescribe un contenido para convertirlo en una escritura indetectable por los mejores herramientas de detección de escritura de Inteligencia Artificial

BypassGPT

https://bypassgpt.ai

Según la propia empresa BypassGPT reescribe el contenido para convertirlo en una escritura de IA indetectable, ayudando a evitar la detección de IA incluso por parte de los detectores de IA más avanzados del mercado. Además también dice que humaniza el contenido sin errores, eliminando los errores gramaticales, sintácticos, de puntuación y ortográficos que podrían socavar la profesionalidad.

Estos sistemas modifican el texto original, cambiando términos y estructuras para que no sea tan fácilmente detectable por algoritmos de detección de IA. Para usarlo, se accede ala web como bypassgpt.ai/es, se pega el texto en la ventana izquierda y se hace clic en «Humanizar». El texto mejorado aparecerá en la ventana derecha.

Ofrece diferentes modos de funcionamiento: rápido, creativo o mejor. Es importante recordar que no garantiza que el texto no sea detectado como IA, especialmente si el original fue escrito por IA. Se recomienda probar los diferentes modos y revisar el texto resultante para mejorarlo.

BypassGPT, una herramienta diseñada para hacer que el texto escrito por la inteligencia artificial parezca más humano. Reconoce que, aunque BypassGPT puede ser útil, no garantiza que el texto sea indistinguible del contenido escrito por humanos. Esto se debe a que los detectores de IA también mejoran constantemente.

TrueMedia: una herramienta impulsada por inteligencia artificial para detectar videos, fotos y audio falsificados mediante IA

TrueMedia

TrueMedia, una nueva organización sin fines de lucro liderada por Oren Etzioni, que está desarrollando una herramienta impulsada por inteligencia artificial para detectar videos, fotos y audio falsificados mediante IA, con el objetivo de combatir la desinformación política antes de las elecciones de 2024. Respaldada por la fundación sin fines de lucro Camp.org de Garrett Camp,

TrueMedia tiene previsto lanzar una herramienta web gratuita que combina técnicas avanzadas de detección de deepfakes para ser utilizada inicialmente por periodistas y verificadores de hechos, con un lanzamiento público más amplio posteriormente. La tecnología de TrueMedia analizará los medios subidos para evaluar la probabilidad de manipulación por IA, centrándose en los deepfakes políticos. A pesar de los desafíos técnicos, TrueMedia está comprometida a tener un impacto genuino en la lucha contra la desinformación sin hacer juicios políticos sobre el contenido. Con un equipo compuesto por expertos y asesores de diversos campos, TrueMedia está muy centrada en las próximas elecciones, con el objetivo de demostrar su eficacia antes de considerar planes a largo plazo.

Las deficiencias de la detección generativa de IA

«The Shortcomings of Generative AI Detection: How Schools Should Approach Declining Teacher Trust In Students». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/the-shortcomings-of-generative-ai-detection-how-schools-should-approach-declining-teacher-trust-in-students/.

La inteligencia artificial generativa, que utiliza el aprendizaje automático para crear contenido en respuesta a indicaciones, ha suscitado preocupaciones sobre la deshonestidad académica en la educación. Aunque los temores de un fraude generalizado se han avivado, la investigación indica que el uso real con fines académicos deshonestos podría ser inferior a la percepción de los profesores. A pesar de esto, hay una creciente desconfianza entre los profesores, lo que lleva a acciones disciplinarias, afectando desproporcionadamente a ciertos grupos de estudiantes.

La inteligencia artificial generativa (Generative AI), que utiliza el aprendizaje automático para producir nuevo contenido (por ejemplo, texto o imágenes) en respuesta a indicaciones del usuario, se ha infiltrado en el sistema educativo y ha cambiado fundamentalmente las relaciones entre profesores y estudiantes.

En todo el país, los educadores han expresado niveles elevados de ansiedad sobre el uso de herramientas de Generative AI, como ChatGPT, por parte de los estudiantes para hacer trampa en tareas, exámenes y ensayos, además de temores de que los estudiantes pierdan habilidades críticas de pensamiento. Al respecto, un profesor incluso lo describió como algo que «ha infectado [el sistema educativo] como un escarabajo de la muerte, ahuecando estructuras sólidas desde adentro hasta su inminente colapso». En respuesta a estos temores, distritos escolares como Nueva York y Los Ángeles impusieron rápidamente prohibiciones para su uso tanto por parte de educadores como de estudiantes. Las escuelas recurrieron a herramientas como detectores de Generative AI para intentar restaurar el control y la confianza de los educadores; sin embargo, los esfuerzos de detección han sido insuficientes tanto en su implementación como en su eficacia.

Investigaciones del CDT confirman la disminución de la confianza…

Un hallazgo significativo a través de encuestas a profesores, padres y estudiantes es que la percepción de los profesores sobre el uso generalizado de Generative AI para hacer trampa parece ser en gran medida infundada. El 40% de los profesores que dicen que sus estudiantes han usado Generative AI para la escuela piensan que sus estudiantes lo han utilizado para escribir y enviar un ensayo. Pero solo el 19% de los estudiantes que informan haber usado Generative AI dicen que lo han utilizado para escribir y enviar un ensayo, un hallazgo respaldado por otras investigaciones de encuestas.

A pesar de la realidad de que una gran mayoría de estudiantes no utiliza Generative AI con fines académicos deshonestos, los profesores han desarrollado una mayor desconfianza en el trabajo de los estudiantes, quizás debido a la cobertura generalizada y aterradora de casos de trampa. El 62% de los profesores estuvo de acuerdo con la afirmación de que «[la] Generative AI me ha hecho más desconfiado sobre si el trabajo de mis estudiantes es realmente de ellos». Y esta desconfianza está afectando a ciertos grupos de estudiantes, que son disciplinados de manera desproporcionada por usar o ser acusados de usar Generative AI; los profesores de títulos I y los profesores de educación especial con licencia informan tasas más altas de acciones disciplinarias por el uso de Generative AI entre sus estudiantes.

Estos niveles elevados de desconfianza entre los profesores y las acciones disciplinarias subsiguientes han llevado a la frustración entre estudiantes y padres acerca de acusaciones erróneas de hacer trampa, lo que puede causar una brecha aún mayor entre profesores y estudiantes. Esta erosión de la confianza es potencialmente perjudicial para las comunidades escolares donde las relaciones sólidas entre educadores y estudiantes son imperativas para proporcionar un entorno de aprendizaje seguro y de calidad.

…Y herramientas de detección y capacitación insuficientes

Las herramientas diseñadas para detectar cuándo se usó Generative AI para producir contenido son actualmente las únicas soluciones tecnológicas disponibles para ayudar a los profesores a combatir la trampa basada en Generative AI; sin embargo, no resuelven los problemas de confianza existentes. En primer lugar, las políticas escolares sobre el uso de herramientas de detección de contenido son irregulares: solo el 17% de los profesores dicen que su escuela proporciona una herramienta de detección de contenido como parte de su plataforma tecnológica más amplia, y el 26% dice que su escuela recomienda su uso, pero deja a elección del educador elegir una e implementarla. Sin una guía sólida sobre el uso e implementación de las herramientas de detección de contenido, los profesores parecen dudar en utilizarlas como mecanismo de defensa contra la trampa. Solo el 38% de los profesores informan que usan una herramienta de detección de contenido de Generative AI con regularidad, y solo el 18% de los profesores están muy de acuerdo en que estas herramientas «son una forma precisa y efectiva de determinar si un estudiante está usando contenido generado por IA». La falta de confianza de los profesores está justificada, ya que, al menos en este momento, estas herramientas no son consistentemente efectivas para diferenciar entre texto generado por IA y escrito por humanos.

Además del uso de herramientas de detección, la confianza de los profesores en su propia eficacia para detectar la escritura creada por AI es baja: el 22% dice que son muy efectivos y el 43% dice que son algo efectivas. Esto es particularmente preocupante dado que la mayoría de los profesores no han recibido orientación sobre cómo detectar la trampa. Solo el 23% de los profesores que han recibido capacitación sobre las políticas y procedimientos de sus escuelas con respecto a Generative AI han recibido orientación sobre cómo detectar el uso de ChatGPT (u otra herramienta de Generative AI) cuando los estudiantes envían tareas escolares.

¿Cómo deberían abordar las escuelas la disminución de la confianza de los profesores?

Dadas nuestras investigaciones y lo que sabemos sobre las herramientas de detección de contenido de Generative AI, no son la respuesta, al menos por ahora. Estas herramientas sufren de problemas de precisión y pueden flagelar desproporcionadamente a los hablantes no nativos. En cambio, las escuelas deben:

  • Ofrecer capacitación a los profesores sobre cómo evaluar el trabajo de los estudiantes a la luz de la Generative AI: para ayudar a los profesores a sentir que tienen más control sobre la integridad académica en el aula, las escuelas deben capacitarlos adecuadamente para lidiar con la nueva realidad de la Generative AI. Esto implica proporcionarles capacitación sobre las limitaciones de los detectores y cómo responder si sospechan razonablemente que un estudiante está haciendo trampa.
  • Elaborar e implementar políticas claras sobre los usos permitidos y prohibidos: nuestras encuestas de este verano muestran que las escuelas no proporcionan orientación sobre lo que se define como «uso indebido» de la Generative AI, con un 37% de los profesores que informan que su escuela no tiene una política o no están seguros de si hay una política sobre Generative AI. Es imperativo que tanto los profesores como los estudiantes conozcan esto, para que todos estén en la misma página sobre el uso responsable de la Generative AI.
  • Alentar a los profesores a modificar las tareas para minimizar la efectividad de la Generative AI: comprender en qué no son buenas los sistemas de Generative AI puede ayudar a los profesores a diseñar tareas en las que el uso de Generative AI no sea útil para los estudiantes. Por ejemplo, los sistemas de Generative AI a menudo son ineficaces para proporcionar fuentes precisas para sus afirmaciones. Requerir que los estudiantes proporcionen citas para cualquier afirmación que hagan probablemente obligará a los estudiantes a ir mucho más allá de una respuesta generada.

‘ChatGPT Detector’ detecta documentos generados por IA con una precisión sin precedentes

Prillaman, McKenzie. «‘ChatGPT Detector’ Catches AI-Generated Papers with Unprecedented Accuracy». Nature, 6 de noviembre de 2023. https://doi.org/10.1038/d41586-023-03479-4.

Los grandes modelos lingüísticos como ChatGPT pueden generar textos que parecen auténticos a la velocidad del rayo, si bien, la gran mayoría de editores de revistas rechazan los modelos lingüísticos como autores de manuscritos. Por tanto, se necesita inmediatamente un medio para distinguir con precisión el texto generado por humanos del generado por inteligencia artificial (IA).

Según un estudio publicado el 6 de noviembre en Cell Reports Physical Science, una herramienta de aprendizaje automático puede identificar fácilmente cuándo los documentos de química están escritos utilizando el chatbot ChatGPT. El clasificador especializado, que superó a dos detectores de inteligencia artificial (IA) existentes, podría ayudar a las editoriales académicas a identificar documentos creados por generadores de texto de IA.

Se trata de un detector preciso de texto de IA para revistas científicas probando su capacidad en una serie de situaciones complejas, incluido el texto humano de una amplia variedad de revistas de química, el texto de IA del modelo de lenguaje más avanzado disponible públicamente (GPT-4) y, lo que es más importante, el texto de IA generado mediante mensajes diseñados para ocultar el uso de IA. En todos los casos, los textos humanos y de IA se asignaron con gran precisión. El texto generado por ChatGPT puede detectarse fácilmente en las revistas de química; este avance es un requisito previo fundamental para entender cómo afectará la generación automatizada de texto a las publicaciones científicas de ahora en adelante.

«La mayoría de la comunidad de análisis de texto busca un detector realmente general que funcione en cualquier cosa», dice la coautora Heather Desaire, una química de la Universidad de Kansas en Lawrence. Pero al crear una herramienta que se centra en un tipo específico de documento, «realmente estábamos buscando la precisión».

Los hallazgos sugieren que los esfuerzos para desarrollar detectores de IA podrían mejorar al adaptar el software a tipos específicos de escritura, dice Desaire. «Si puedes construir algo rápidamente y fácilmente, entonces no es tan difícil construir algo para diferentes dominios».

¿Podemos asegurarnos de que los sistemas de detección de la IA generativa sean precisos y justos?:

Statement on Principles for the Development and Use of Systems to Detect Generative AI Content. ACM, oct. 2023

Texto completo

Con el interés público centrado en tecnologías de IA generativa en constante aumento, algunos de los problemas más apremiantes giran en torno a preguntas como «¿Se está utilizando la IA generativa para crear imágenes y videos falsos?» y «¿Los estudiantes están utilizando la IA generativa para escribir trabajos y hacer trampa en los exámenes?» Por estas razones, hay una creciente demanda de sistemas que puedan detectar si una imagen, archivo de audio o trabajo escrito ha sido creado por un humano o un sistema de IA.

A pesar de que los sistemas de detección de IA están comenzando a proliferar, no existen estándares de la industria ni regulaciones gubernamentales que garanticen que estos sistemas sean precisos o justos. Debido a que el impacto de estos sistemas en las personas puede ser significativo, el Association for Computing Machinery’s US Technology Policy Committee (ACM USTPC) ha emitido una Declaración de Principios para el Desarrollo y Uso de Sistemas de Detección de Contenido de IA Generativa.

La introducción a la nueva Declaración de USTPC destaca diversos escenarios en los que sería deseable contar con sistemas para detectar contenido generado por IA. Por ejemplo, los empleadores que desean saber si se utilizó IA generativa para completar una solicitud de trabajo o las empresas de medios que intentan determinar si los comentarios publicados en plataformas fueron dejados por humanos o chatbots.

Al mismo tiempo, la Declaración señala que «la demanda de tales sistemas no es un indicador de su equidad o precisión». El comité continúa explicando que «ninguna tecnología de detección actualmente disponible es lo suficientemente confiable como para basar exclusivamente decisiones críticas, potencialmente alteradoras de la vida y la carrera…»

La declaración proporciona un contexto técnico sobre por qué no se puede garantizar la equidad y precisión de los sistemas de detección de IA generativa existentes y establece seis principios y recomendaciones específicos:

  1. Bajo riesgo de rechazos incorrectos y proceso de apelación impulsado por humanos: El uso de sistemas para detectar imágenes generadas por IA y otros medios que automáticamente marcan las presentaciones para su rechazo solo debe ser aceptable si estos sistemas de detección tienen un riesgo extremadamente bajo de rechazos incorrectos y si se proporciona un proceso de apelación impulsado por humanos.
  2. Presentaciones de alto riesgo: Generalmente no es apropiado rechazar automáticamente presentaciones de texto en circunstancias de alto riesgo que se clasifican como producidas por un sistema de IA generativa, incluso si se proporciona un proceso para apelar dichos rechazos. Ejemplos de presentaciones de alto riesgo incluyen (pero no se limitan a) tareas en el aula y solicitudes de admisión a una institución educativa, crédito o empleo.
  3. Códigos de conducta: Las entidades que utilizan sistemas de detección de IA generativa deben adoptar directrices, como códigos de conducta, manuales del empleado y códigos de honor ejecutables, que requieran que aquellos afiliados a la entidad cumplan con las políticas de IA de la organización.
  4. Impugnación de resultados: De acuerdo con declaraciones anteriores de USTPC, las personas deben tener la oportunidad de impugnar resultados siempre que se tome una decisión adversa sobre ellas, en su totalidad o en parte, basada en la salida de un sistema de IA.
  5. Formación adecuada: Los evaluadores de contenido humano deben recibir una formación adecuada de manera continua sobre los métodos y herramientas adecuados para validar el contenido presentado.
  6. Aumento de la financiación: Sería prudente y beneficioso aumentar la financiación del sector público y privado para la investigación sobre cómo desarrollar mecanismos de detección mejores, realizar análisis de impacto, realizar investigaciones de usuario y otros asuntos relacionados.

En palabras de Simson Garfinkel, autor principal de la declaración y presidente del Subcomité de Gobierno Digital de USTPC: «En principio, detectar texto e imágenes generados por la IA es un problema abierto. Aunque podría ser posible construir un sistema que pueda detectar el contenido generado por la IA de hoy, tal detector podría utilizarse para construir el sistema de generación de IA del mañana que evite dicha detección. Esta declaración se emite para agregar una voz de experiencia técnica al pánico moral sobre el uso de la IA generativa. Estamos diciendo que el texto e imágenes producidos por sistemas de IA generativa no pueden detectarse de manera confiable hoy. También alentamos a todas las instituciones a abstenerse de desplegar sistemas que pretendan detectar y descartar automáticamente materiales porque supuestamente fueron creados por un sistema de IA generativa».

Larry Medsker, presidente del Comité de Política Tecnológica de ACM de los Estados Unidos, agregó: «Esta nueva Declaración es parte de una serie continua que el Comité de Tecnología de ACM de los Estados Unidos publica para informar al público sobre las nuevas tecnologías y sus impactos en la sociedad. Recientemente, hemos estado especialmente activos en brindar aportes oportunos para abordar los nuevos desarrollos en IA». En esta línea, los miembros de USTPC han publicado “Principles for the Development, Deployment and Use of Generative AI” y “Statement on Principles for Responsible Algorithmic Systems.”

Además del autor principal Simson Garfinkel, los principales contribuyentes a la “Statement on Principles for the Development and Use of Systems to Detect Generative AI Content” incluyen a los miembros del comité Houssam Abbas, Andrew Appel, Harish Arunachalam, Ricardo Baeza-Yates, David Bauman, Ravi Jain, Carl Landwehr, Larry Medsker, Neeti Pokhriyal, Arnon Rosenthal y Marc Rotenberg.

Editores, ¡no utilicen herramientas de detección de IA!

Staiman, Avi. «Publishers, Don’t Use AI Detection Tools!» The Scholarly Kitchen, 14 de septiembre de 2023. https://scholarlykitchen.sspnet.org/2023/09/14/publishers-dont-use-ai-detection-tools/.

La semana pasada recibí una llamada desesperada de un estudiante de máster de Austria que estaba inconsolable. Acababa de enviar su tesis a su universidad para que la revisaran y había sido marcada como escrita por IA. La universidad le había dado una oportunidad más para revisar y volver a presentar su trabajo. Si pasaba la herramienta de detección de IA, revisarían el trabajo y le darían una nota final. Si no superaba la comprobación automática, lo rechazarían automáticamente y lo expulsarían deshonrosamente de su programa, tirando por la borda dos años de estudio.

¿Herramientas de detección de IA para defender la integridad de la investigación?

El reciente auge en el desarrollo de tecnologías de IA en el ámbito de la escritura ha provocado el aumento y la proliferación de detectores de IA en el mundo académico. Estos detectores prometen ser los guardianes de la integridad académica combatiendo el plagio y los contenidos generados por IA. Aunque la ambición es noble, su aplicación práctica ha tenido su buena dosis de deficiencias críticas.

El supuesto fundamental que subyace a la creación de herramientas de detección de IA parece ser que la escritura con IA debería poder detectarse del mismo modo que se detecta el plagio. Sin embargo, hay una diferencia fundamental: el plagio simplemente busca coincidencias exactas con obras existentes, un criterio objetivo que puede identificarse, medirse y reproducirse. Por otro lado, la escritura de IA es original por derecho propio (aunque se extraiga de fuentes no originales) y no puede rastrearse fácilmente hasta su fuente.

Mi oposición a que las editoriales académicas recurran a herramientas de detección obedece a razones tanto pragmáticas como ideológicas. Empecemos por las cuestiones pragmáticas.

Problemas con los falsos positivos

Los grandes modelos lingüísticos aprenden de la escritura humana y se construyen para parecerse a ella en sus resultados. Ya con el lanzamiento de ChatGPT, quedó claro que la IA generativa podía producir una escritura que imitara con éxito la de los humanos. Cuantificar los respectivos componentes humanos y de IA en un documento concreto es todo un reto y, a menudo, los autores mezclan sus propias palabras con las sugeridas por la herramienta de IA.

Las imperfecciones de los detectores de IA son cada vez más evidentes, ya que a menudo identifican erróneamente contenidos genuinamente generados por humanos. Los estudios han mostrado tasas de error de hasta el 9% o más, una cifra demasiado alta para vivir con ella. Un caso notable fue el de una herramienta de IA que marcó la Constitución de EE.UU. como producida por IA. Este falso positivo no sólo pone de manifiesto la flagrante imperfección de estos detectores, sino que también subraya las posibles trampas que aguardan a los autores académicos que tratan estos informes como fidedignos. Un caso humorístico pero inquietante de este tipo de confusión surgió después de que un profesor de Texas A&M suspendiera toda su clase después de que ChatGPT respondiera afirmativamente cuando le preguntó si había escrito los trabajos entregados por los estudiantes.

En un vídeo reciente, Turnitin admitió con sorprendente franqueza que su software de detección de IA debe tomarse «con cautela». Además, dicen que los profesores tendrán que ser los que «hagan la interpretación final» de lo que crea la IA generativa.

¿No es esa precisamente la razón por la que los profesores recurren a estas herramientas?

Las universidades están empezando a comprender las implicaciones de estas admisiones y han empezado a tomar medidas aconsejando a su profesorado que no utilice estas herramientas. En un informe de orientación publicado por la Universidad de Vanderbilt, señalan que Turnitin, su proveedor de software contra el plagio, afirmó originalmente tener una tasa positiva del 1% en la detección de trabajos escritos con IA tras el lanzamiento de su herramienta de detección de IA, pero luego aumentó esa tasa al 4% tras un uso y unas pruebas más amplias. Aunque esas cifras mejoren, no sería difícil para los autores malintencionados pasar los resultados de la IA por un software de parafraseo para eliminar rastros del original. La propia OpenAI cerró un proyecto que intentaba detectar sus propios resultados. Muchas universidades ya han cambiado de rumbo y están buscando políticas alternativas.

Daños colaterales de las falsas acusaciones

La falacia de los detectores de IA tiene consecuencias en el mundo real. Timnit Gebru, fundadora y directora ejecutiva del Distributed AI Research Institute (DAIR), compartió recientemente un angustioso correo electrónico que recibió en el que se acusaba injustamente a un escritor de emplear IA. Este tipo de incidentes pueden causar una angustia emocional indebida y empañar potencialmente la reputación profesional de un investigador. El efecto dominó puede traducirse en desconfianza, escepticismo y descarrilamiento de la carrera académica, por no hablar de las prolongadas batallas legales.

Peor aún, es más probable que estos detectores marquen como generados por IA los trabajos de hablantes de inglés como lengua adicional (EAL) que los de sus homólogos nativos de habla inglesa. Lo último que querría cualquier editor es arriesgarse a introducir aún más prejuicios y discriminación contra los autores EAL.

¿Por qué corremos de nuevo a prohibir la escritura asistida por IA?

Las editoriales académicas deberían ser cautelosas a la hora de adoptar herramientas de detección de IA por razones que van más allá de la integridad de la investigación.

Si bien es probable que la mayoría de los editores no quieran publicar investigaciones que hayan sido obviamente realizadas por ChatGPT, adoptar políticas en las que los verificadores de IA sean estándar es también hacer una declaración educativa y de valores sobre cómo vemos el uso de la IA generativa en la expresión de hallazgos académicos. En lugar de rechazar las herramientas de IA en la escritura académica, ¿qué pasaría si las utilizáramos como herramientas educativas y como medio para igualar las condiciones de los académicos de la EAL?

Instituciones como la Universidad de Yale son pioneras en la utilización de la IA para mejorar el proceso de escritura. Ethan y Lilach Mollick, de la Wharton School, han creado un curso práctico en línea sobre IA para el aula que incluye la integración de la GPT en las tareas. Estos avances ponen de relieve un posible camino a seguir en el que la IA ayude a la escritura académica en lugar de entorpecerla.

Conclusión

Aunque la motivación para integrar los detectores de IA en la revisión académica es bienintencionada, los retos que introducen exigen un enfoque diferente. El sector de las publicaciones académicas debe estar alerta, sopesar los posibles escollos frente a las promesas y explorar formas de integrar armoniosamente la IA en la bibliografía académica.

OpenAI cierra AI Text Classifier, su herramienta de detección de escritura generada por IA, debido a la baja tasa de precisión

David, Emilia. «OpenAI Can’t Tell If Something Was Written by AI after All». The Verge, 25 de julio de 2023. https://www.theverge.com/2023/7/25/23807487/openai-ai-generated-low-accuracy.

Según la información proporcionada, OpenAI decidió cerrar AI Text Classifier, su herramienta diseñada para distinguir la escritura humana de la IA debido a su baja tasa de precisión. La compañía anunció en su blog que el clasificador de IA sería discontinuado a partir del 20 de julio.

Tras la irrupción de ChatGPT de OpenAI y su rápido crecimiento, la sociedad se apresuró a comprender esta tecnología. Sin embargo, varios sectores expresaron preocupación acerca del uso de texto y arte generados por IA. Especialmente los educadores temían que los alumnos dejaran de estudiar y confiaran en ChatGPT para completar sus tareas escolares. En algunos colegios de Nueva York, incluso se prohibió el acceso a ChatGPT dentro del recinto escolar debido a inquietudes sobre la precisión, la seguridad y la posibilidad de hacer trampas.

OpenAI anunció que, mientras cierra la herramienta de detección de escritura generada por IA, tiene planes de desarrollar y desplegar mecanismos que permitan a los usuarios identificar si el contenido de audio o visual ha sido generado por IA. Aunque aún no se han dado a conocer los detalles específicos de estos mecanismos.

Además, OpenAI admitió que su AI Text Classifier utilizado para detectar texto generado por IA no era muy preciso y podía generar falsos positivos. Esto significa que en ocasiones etiquetaba texto escrito por humanos como si fuera generado por IA. Antes de implementar la actualización que cerró la herramienta, OpenAI expresó la posibilidad de mejorar el rendimiento de su herramienta mediante el uso de más datos de entrenamiento.

La desinformación a través de la IA también ha sido motivo de preocupación, con estudios que demuestran que los textos generados por la IA podrían ser más convincentes que los escritos por humanos. Los gobiernos aún no han encontrado la forma de frenar la IA y, por ahora, dejan que grupos y organizaciones individuales establezcan sus propias normas y desarrollen sus propias medidas de protección para hacer frente a la avalancha de textos generados por ordenador. Y parece que, por ahora, nadie, ni siquiera la empresa que ayudó a poner en marcha la locura de la IA generativa, tiene respuestas sobre cómo hacer frente a todo esto. Aunque a algunos les pillen, cada vez va a ser más difícil diferenciar fácilmente la IA del trabajo humano.

.