Archivo de la etiqueta: Detectores

Cómo identificar texto generado por IA: 7 maneras de saber si el contenido fue creado por un bot

Townsend, C. (2024, noviembre 26). How to identify AI-generated text: 7 ways to tell if content was made by a bot. Mashable. https://mashable.com/article/how-to-identify-ai-generated-text

A medida que el contenido generado por IA se vuelve más común en nuestra vida cotidiana, surgen preguntas como «¿Cómo identificar texto creado por IA?». Aunque la tecnología avanza, todavía hay formas de reconocerlo, principalmente con observación atenta.

A diferencia de las imágenes o los videos, el texto sintético es casi imposible de detectar a simple vista.

“Estos son algunos consejos para identificar posibles textos generados por IA:

  • Uso frecuente de palabras como “the”, “it” y “its”. («el», “ello” y “su”)
  • Ausencia de errores tipográficos: los textos generados por IA suelen ser demasiado perfectos.
  • Declaraciones conclusivas que resumen párrafos de manera impecable.
  • Escritura excesivamente prolija o con contenido inflado.
  • Información y fuentes falsas o fabricadas.
  • Un tono más avanzado que el habitual en los textos del escritor.
  • Frases repetitivas o gramática inusualmente pulida.

También existen detectores de texto generado por IA en el mercado, pero, según mi experiencia, es probable que sean menos fiables que tus propios ojos.”

Existen herramientas como GPTZero y Copyleaks que prometen detectar textos generados por IA. Sin embargo, su precisión es limitada, especialmente con modelos avanzados como GPT-4, que imitan el estilo humano con gran fluidez. Aunque las herramientas pueden ser útiles, la observación crítica sigue siendo la mejor forma de detectar textos generados por IA, especialmente a medida que los modelos se vuelven más sofisticados.

El uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica



Glynn, Alex. “Suspected Undeclared Use of Artificial Intelligence in the Academic Literature: An Analysis of the Academ-AI Dataset.” arXiv, November 30, 2024. https://arxiv.org/abs/2411.15218.

El artículo aborda un problema creciente en el ámbito académico: el uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica. Estas herramientas, como ChatGPT de OpenAI, han ganado popularidad en los últimos años, permitiendo a los investigadores utilizarlas para tareas como la generación de texto y la edición de manuscritos. Sin embargo, el uso de estas tecnologías plantea serias preocupaciones éticas cuando no se revela explícitamente en los trabajos publicados, a pesar de que las normativas de las editoriales lo exigen.

El estudio utiliza el conjunto de datos Academ-AI, diseñado para documentar ejemplos de uso sospechoso de IA en la literatura académica. Según Glynn, estos casos pueden identificarse gracias a patrones lingüísticos idiosincráticos que son característicos de los modelos de lenguaje generativo, como frases repetitivas o construcciones poco naturales que no encajan con el estilo habitual de los autores. De los primeros 500 casos analizados, el autor concluye que el uso no declarado de IA está ampliamente extendido, incluso en revistas científicas de prestigio y congresos relevantes. Sorprendentemente, estas prácticas se detectaron con mayor frecuencia en publicaciones con altos índices de citación y elevados costos de procesamiento de artículos (Article Processing Charges, APCs), lo que sugiere que incluso las editoriales con mayores recursos no están logrando prevenir este tipo de irregularidades.

Uno de los problemas más graves que destaca el análisis es la limitada capacidad de detección y corrección de estas irregularidades. Glynn señala que, aunque en algunos casos se han identificado textos sospechosos, las correcciones post-publicación son extremadamente escasas y, en la mayoría de las ocasiones, insuficientes para solucionar el problema de fondo. Esto deja en evidencia la falta de un sistema robusto que permita identificar y rectificar el uso indebido de IA en la etapa de revisión o tras la publicación.

Además, el autor subraya que muchos casos de uso no declarado de IA probablemente sean indetectables. Esto se debe a la creciente sofisticación de las herramientas de IA generativa, que permiten a los usuarios generar contenido que resulta más difícil de distinguir del texto escrito por humanos. Este fenómeno plantea un desafío significativo para las editoriales académicas, que deben encontrar formas de garantizar la transparencia sin depender exclusivamente de sistemas automatizados de detección.

El uso no declarado de IA en la literatura académica tiene profundas implicaciones para la ética y la integridad científica. Glynn advierte que estas prácticas no solo comprometen la credibilidad de los artículos afectados, sino que también amenazan la confianza en el sistema de publicación académica en su conjunto. El hecho de que los casos detectados sean más frecuentes en publicaciones de alto impacto amplifica la gravedad del problema, ya que estos trabajos suelen ser citados más ampliamente y, por lo tanto, tienen un impacto desproporcionado en la comunidad científica.

El estudio también pone de relieve las desigualdades que podrían surgir de esta situación. Mientras que algunos investigadores y editoriales tienen acceso a herramientas y recursos avanzados para verificar la autenticidad de los textos, otros carecen de estas capacidades, lo que podría generar un terreno desigual en la producción y evaluación de conocimiento académico.

Para mitigar este fenómeno, Glynn enfatiza la necesidad de que las editoriales refuercen sus políticas contra el uso no declarado de IA, especialmente en los casos que sean detectables. Esto implica no solo mejorar los procesos de revisión para identificar patrones sospechosos, sino también implementar sanciones claras y medidas correctivas efectivas. El autor sugiere que la transparencia y la rendición de cuentas deben convertirse en pilares fundamentales del proceso de publicación académica en la era digital.

En última instancia, el artículo concluye que abordar este problema de manera proactiva es esencial para preservar la calidad y la credibilidad de la literatura científica. En un contexto donde la inteligencia artificial desempeña un papel cada vez más importante, la comunidad académica debe establecer normas claras y efectivas para garantizar que el uso de estas herramientas sea transparente y ético. Esto no solo protegerá la integridad de las publicaciones científicas, sino que también fomentará un entorno de investigación más equitativo y confiable.

Una herramienta de Google permite detectar fácilmente la escritura generada por IA

«Google Tool Makes AI-Generated Writing Easily Detectable». New Scientist. Accedido 24 de octubre de 2024. https://www.newscientist.com/article/2452847-google-tool-makes-ai-generated-writing-easily-detectable/.

Google DeepMind ha desarrollado una técnica llamada watermarking que permite identificar texto generado por inteligencia artificial (IA) de manera automática. Esta tecnología, utilizada en las respuestas del chatbot Gemini, crea una especie de «marca» o firma en el texto que facilita distinguirlo del contenido escrito por humanos. La herramienta busca combatir el mal uso de los chatbots, como la propagación de desinformación y el fraude en entornos educativos y laborales.

El avance más reciente de Google es que ha hecho esta técnica disponible en código abierto, lo que permite que otros desarrolladores de IA puedan utilizarla en sus propios modelos de lenguaje. Pushmeet Kohli, de Google DeepMind, destaca que aunque esta tecnología, llamada SynthID, no es una solución definitiva, es un importante paso hacia la creación de herramientas más confiables para identificar contenido generado por IA.

La técnica funciona mediante un proceso llamado muestreo por torneo. Mientras el modelo genera una secuencia de texto, un algoritmo va guiando la selección de ciertas palabras (o tokens) que crean una firma estadística única. Este proceso aumenta la complejidad para quienes quieran eliminar o revertir esta marca. Según los investigadores de Google, este sistema ha sido probado en 20 millones de textos generados por Gemini sin que la calidad del texto se vea afectada, lo que demuestra su efectividad.

Sin embargo, los investigadores reconocen que esta técnica es más efectiva en textos largos que ofrecen múltiples formas de respuesta, como ensayos o correos electrónicos, y que no ha sido probada en tipos de respuestas más técnicas, como problemas de matemáticas o codificación. Además, expertos como Furong Huang de la Universidad de Maryland, señalan que un adversario con suficientes recursos computacionales podría eliminar estas marcas, aunque hacerlo requeriría un gran esfuerzo.

La herramienta también ha sido probada frente a otras técnicas de watermarking, y SynthID ha mostrado un mejor desempeño en la detección de contenido generado por IA. A pesar de su eficacia, Scott Aaronson, de la Universidad de Texas en Austin, advierte que ningún método de marcado es infalible, pero cree que puede ayudar a detectar una parte significativa de la desinformación o el engaño académico generado por IA.

Finalmente, los investigadores y expertos coinciden en que esta técnica es solo una parte de la solución y que se necesitan más salvaguardas contra el mal uso de los chatbots de IA. Furong Huang sugiere que la regulación gubernamental podría ayudar a hacer que el watermarking sea una medida estándar, asegurando un uso más seguro y confiable de los grandes modelos de lenguaje.

El potencial de la IA generativa y la detección, la disciplina y la desconfianza

Dwyer, M. ; Laird, E. Up in the Air Educators Juggling the Potential of Generative AI with Detection, Discipline, and Distrust. e Center for Democracy & Technology (CDT), 2024

Texto completo

Desde finales del curso 2022-23, los educadores han tenido una experiencia distinta con la inteligencia artificial generativa (IA). Las escuelas han aprovechado para reorganizarse y adaptarse tras la rápida aparición de ChatGPT el año anterior. El Centro para la Democracia y la Tecnología (CDT) realizó una encuesta en noviembre y diciembre de 2023 a maestros de secundaria para entender cómo interactúan con esta tecnología y qué apoyo reciben.

En agosto de 2023, el Centro para la Democracia y la Tecnología (CDT) realizó una encuesta para examinar las experiencias y opiniones de maestros, estudiantes y padres sobre varios aspectos de la tecnología, incluida la IA generativa, durante el año escolar 2022-23. Luego, entre noviembre y diciembre de 2023, CDT patrocinó una encuesta dirigida a maestros para analizar cambios en el uso reportado de IA generativa y evaluar el apoyo y la orientación que los maestros están recibiendo por parte de sus escuelas o distritos en el año escolar 2023-24. Para ello, se llevaron a cabo entrevistas en línea a 460 maestros de 6.º a 12.º grado realizadas entre noviembre y diciembre de 2023.

El estudio reveló avances y desafíos:

  • Mayor familiaridad y formación: Aunque ha aumentado el uso de IA generativa y las políticas escolares, persisten riesgos. A muchos maestros les falta orientación sobre el uso responsable por parte de los estudiantes y cómo detectar trabajos generados por IA.
  • Dependencia de herramientas de detección de IA: Los maestros confían cada vez más en estas herramientas, a pesar de que son poco efectivas. Esto podría afectar negativamente a los estudiantes.
  • Aumento en la disciplina estudiantil: Más estudiantes están siendo castigados por el uso de IA, con un riesgo mayor para estudiantes marginados.
  • Desconfianza hacia los estudiantes: Los maestros, especialmente en escuelas que prohíben la IA, siguen siendo más desconfiados respecto a la integridad académica de los estudiantes, lo que también ha resultado en más sanciones disciplinarias.

Las escuelas han avanzado significativamente en la creación de políticas y en proporcionar orientación a los docentes sobre el uso de la IA generativa en un corto periodo. En el año escolar anterior, muchas escuelas aún estaban desorientadas y rezagadas en cuanto a la implementación de normativas sobre IA generativa, y muchos maestros informaban que sus instituciones no tenían políticas claras al respecto. Sin embargo, en el año escolar 2023-24, más docentes reportan que sus escuelas han adoptado políticas y procedimientos, además de ofrecer mayor capacitación y apoyo en relación con el uso de estas herramientas.

  • 80% de los docentes han recibido capacitación formal sobre políticas de uso de IA generativa, un aumento de 37 puntos porcentuales respecto al año pasado.
  • 85% de los maestros afirman que sus escuelas tienen una política que permite o prohíbe el uso de herramientas de IA generativa, como ChatGPT, para tareas escolares, y 71% de ellos indican que es la primera vez que se implementa dicha política en sus instituciones.
  • Las políticas que permiten el uso de IA generativa para tareas casi se han duplicado en comparación con el año anterior (del 31% al 60%).
  • Además, 72% de los maestros afirman que las escuelas han solicitado su opinión sobre las políticas de uso de IA generativa en el aula, un porcentaje superior al de otras tecnologías escolares.

Los maestros se están volviendo cada vez más dependientes de las herramientas de detección de contenido generativo de IA sancionadas por las escuelas, lo cual es problemático ya que investigaciones indican que estas herramientas no son consistentemente efectivas para diferenciar entre texto generado por IA y escrito por humanos. Además, la mayoría de los docentes no han recibido orientación sobre cómo actuar si sospechan que un estudiante ha utilizado IA de manera inapropiada.

  • 68% de los maestros informan que utilizan regularmente una herramienta de detección de contenido de IA, lo que representa un aumento de 30 puntos porcentuales en comparación con el año pasado.
  • Solo 25% de los docentes se sienten muy efectivos a la hora de discernir si los trabajos fueron creados por IA o por los estudiantes mismos.
  • El uso de herramientas de detección sancionadas por las escuelas ha aumentado: 78% de los maestros informan que su escuela respalda alguna herramienta de este tipo, en comparación con el 43% del año pasado.

Esta situación genera preocupación, especialmente por el aumento en las sanciones disciplinarias hacia los estudiantes, que será tratado en la si

El aumento en el uso de la IA generativa ha generado un incremento en las sanciones disciplinarias hacia los estudiantes, en parte debido a la falta de capacitación docente y a la creciente dependencia de herramientas de detección de IA, que a menudo son ineficaces. Desde el año escolar pasado, las sanciones por el uso de IA generativa han aumentado un 16%, alcanzando al 64% de los estudiantes sancionados en el ciclo 2023-2024.

  • Herramientas de detección de IA: El uso regular de estas herramientas por los maestros está vinculado a un mayor número de sanciones. Un 72% de los maestros que las usan regularmente informan sobre estudiantes que han enfrentado consecuencias negativas.
  • Desigualdades en la disciplina: Estudiantes que dependen de dispositivos proporcionados por la escuela, así como aquellos de comunidades marginadas (negros, hispanos, rurales y de bajos ingresos), enfrentan mayor riesgo de sanciones.
  • Estudiantes con discapacidades: Los alumnos con planes IEP o 504 reportan un uso más frecuente de IA generativa, lo que, combinado con el mayor uso de herramientas de detección por parte de maestros de educación especial, aumenta el riesgo de acciones disciplinarias para estos estudiantes.

El aumento de estas sanciones plantea preocupaciones sobre las consecuencias educativas negativas, especialmente para poblaciones vulnerables.

Integridad Científica e Inteligencia Artificial

CONFERENCIA: Integridad académica e Inteligencia Artificial
Martes 22 de octubre a las 17 h. de España. 9 h. Ciudad de México
con Julio Alonso Arévalo
III Seminario de Integridad Académica y Producción Científica



La inteligencia artificial está teniendo un impacto significativo en la escritura académica al ofrecer herramientas y recursos que facilitan el proceso de investigación, redacción y edición de documentos. Mediante el uso de algoritmos avanzados, los sistemas de inteligencia artificial pueden analizar grandes cantidades de información, extraer patrones y generar ideas para el desarrollo de un texto académico. Estas herramientas pueden ayudar a los estudiantes y profesores a ahorrar tiempo y esfuerzo al proporcionar sugerencias de vocabulario, estructura de párrafos y citas bibliográficas adecuadas. Además, la inteligencia artificial también puede contribuir a mejorar la calidad de los escritos académicos, al detectar errores gramaticales y de estilo, así como proporcionar recomendaciones para una redacción más clara y coherente. Sin embargo, es importante tener en cuenta que la inteligencia artificial no debe reemplazar el pensamiento crítico y la creatividad inherentes a la escritura académica, sino que debe utilizarse como una herramienta complementaria para mejorar y enriquecer el proceso de escritura.

Los detectores de IA acusan falsamente a los alumnos de hacer trampas con graves consecuencias

«AI Detectors Falsely Accuse Students of Cheating—With Big Consequences». Bloomberg.com.18 de octubre de 2024. https://www.bloomberg.com/news/features/2024-10-18/do-ai-detectors-work-students-face-false-cheating-accusations.

Un estudio revela que alrededor de dos tercios de los profesores utilizan regularmente herramientas para detectar contenido generado por IA. Este uso extendido puede llevar a que incluso pequeñas tasas de error se traduzcan en un gran número de acusaciones falsas.

Desde el lanzamiento de ChatGPT hace casi dos años, las escuelas han implementado diversas herramientas de detección para identificar contenido escrito por IA. Los mejores detectores de redacciones con IA son muy precisos, pero no son infalibles. Businessweek probó dos de los principales servicios -GPTZero y Copyleaks- en una muestra aleatoria de 500 redacciones de solicitudes universitarias enviadas a la Universidad A&M de Texas en el verano de 2022, poco antes del lanzamiento de ChatGPT, garantizando así que no habían sido generadas por IA. Los ensayos se obtuvieron a través de una solicitud de registros públicos, lo que significa que no formaban parte de los conjuntos de datos con los que se entrenan las herramientas de IA. Businessweek descubrió que los servicios marcaban falsamente entre el 1% y el 2% de los ensayos como probablemente escritos por IA, y en algunos casos afirmaban tener una certeza cercana al 100%.

Incluso una tasa de error tan pequeña como puede acumularse rápidamente, dado el gran número de trabajos que los estudiantes realizan cada año, con consecuencias potencialmente devastadoras para los estudiantes que son falsamente marcados. Al igual que ocurre con las acusaciones más tradicionales de engaño y plagio, los estudiantes que utilizan IA para hacer sus deberes tienen que rehacer sus tareas y se enfrentan a suspensos y períodos de prueba.

Los más vulnerables a acusaciones erróneas son aquellos que escriben de manera más genérica, como estudiantes no nativos en inglés o aquellos con estilos de escritura más mecánicos. Moira Olmsted, una estudiante de 24 años, fue acusada de utilizar IA para un trabajo en línea en la Universidad Central Methodist, lo que le valió una calificación de cero. La acusación se basó en un detector de IA que había marcado su trabajo como posiblemente generado por inteligencia artificial, a pesar de su estilo de escritura, influenciado por su trastorno del espectro autista. Aunque logró que la calificación fuera cambiada, recibió una advertencia de que futuras detecciones similares serían tratadas como plagio.

Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubrió que los detectores de IA eran «casi perfectos» cuando comprobaban redacciones escritas por estudiantes de octavo curso nacidos en EE.UU., pero marcaban más de la mitad de las redacciones escritas por estudiantes no nativos de inglés como generadas por IA. Turnitin, una popular herramienta de detección de IA ha declarado que tiene una tasa de falsos positivos del 4% al analizar frases. Turnitin se negó a poner su servicio a disposición para realizar pruebas. En una entrada del blog 2023, la Universidad de Vanderbilt, una de las principales escuelas que desactivaron el servicio de detección de IA de Turnitin por motivos de precisión, señaló que, de lo contrario, cientos de trabajos de estudiantes habrían sido marcados incorrectamente durante el curso académico como escritos en parte por IA. Las empresas de detección de IA insisten en que sus servicios no deben tratarse como juez, jurado y verdugo, sino como un dato para ayudar a informar y orientar a los profesores.

Businessweek también descubrió que los servicios de detección de IA a veces pueden ser engañados por herramientas automatizadas diseñadas para hacer pasar la escritura de IA por humana. Esto podría dar lugar a una carrera armamentística que enfrentara a una tecnología contra otra, dañando la confianza entre educadores y estudiantes con escasos beneficios educativos.

OpenAI ha anunciado recientemente que no lanzará una herramienta para detectar escritos generados por IA, en parte debido a preocupaciones sobre su impacto negativo en ciertos grupos, incluidos los estudiantes que hablan inglés como segunda lengua. Aunque algunas instituciones están reconsiderando el uso de detectores de IA, muchos colegios todavía confían en ellos. Startups de detección de IA han atraído inversiones significativas desde 2019, lo que refleja el aumento del uso de estas tecnologías. Sin embargo, la ansiedad y paranoia en el aula persisten, ya que los estudiantes dedican tiempo a defender la integridad de su trabajo y temen el uso de herramientas de asistencia de escritura comunes.

A pesar de que algunas empresas de detección de IA afirman tener tasas de error bajas, la presión sobre los estudiantes para evitar ser acusados de hacer trampa ha llevado a algunos a modificar sus trabajos, lo que, en muchos casos, ha empeorado su calidad. La situación ha provocado que algunos estudiantes eliminen herramientas como Grammarly de sus dispositivos por miedo a ser marcados como autores de contenido generado por IA. Bloomberg descubrió que utilizar Grammarly para «mejorar» una redacción o «hacer que suene académica» convertirá un trabajo que había pasado de estar escrito al 100% por humanos a estar escrito al 100% por IA.

Educadores y estudiantes consideran que el sistema actual es insostenible, dada la tensión que crea y el hecho de que la IA está aquí para quedarse. Algunos profesores prefieren confiar en su intuición y mantener un diálogo abierto con los estudiantes en lugar de depender de herramientas de detección.

¿Cómo saber si lo que lees lo ha escrito una IA?

Peterson, Jake. «How to Tell If What You’re Reading Was Written By AI». Lifehacker, 12 de agosto de 2024. https://lifehacker.com/tech/how-to-tell-if-what-youre-reading-was-written-by-ai.

Desde que ChatGPT introdujo la IA generativa en 2022, ha quedado claro que ya no se puede confiar en que todo lo que lees fue escrito por un humano. La IA puede generar textos de manera rápida y convincente, pero ¿cómo puedes estar seguro de que no proviene de un algoritmo?

Aunque algunos han adoptado esta tecnología, otros la rechazan. Incluso medios como CNET y G/O Media han enfrentado críticas por publicar contenido generado por IA debido a su calidad deficiente.

Los modelos de lenguaje, como GPT, no son conscientes ni inteligentes; simplemente predicen secuencias de palabras basadas en grandes conjuntos de datos. No obstante, existen señales que pueden delatar un texto generado por IA.

  1. Uso de palabras y frases comunes: Las IA suelen repetir ciertas palabras como «explorar», «destacar» o «testimonio». Aunque son válidas, el uso frecuente de estas puede ser una señal de texto generado por IA.
  2. Estilo de escritura: La IA tiende a usar un lenguaje grandilocuente y repetitivo, con descripciones floridas que no suelen aportar profundidad a los argumentos.
  3. Verificación de hechos y corrección: La IA puede cometer errores al «alucinar» hechos, generando información incorrecta. Además, los textos de IA suelen ser perfectos en cuanto a gramática, lo cual puede ser otra señal.

Aunque existen detectores de textos generados por IA, no siempre son confiables. La mejor manera de identificar un texto escrito por IA sigue siendo el análisis detallado.

BypassGPT: reescribe un contenido para convertirlo en una escritura indetectable por los mejores herramientas de detección de escritura de Inteligencia Artificial

BypassGPT

https://bypassgpt.ai

Según la propia empresa BypassGPT reescribe el contenido para convertirlo en una escritura de IA indetectable, ayudando a evitar la detección de IA incluso por parte de los detectores de IA más avanzados del mercado. Además también dice que humaniza el contenido sin errores, eliminando los errores gramaticales, sintácticos, de puntuación y ortográficos que podrían socavar la profesionalidad.

Estos sistemas modifican el texto original, cambiando términos y estructuras para que no sea tan fácilmente detectable por algoritmos de detección de IA. Para usarlo, se accede ala web como bypassgpt.ai/es, se pega el texto en la ventana izquierda y se hace clic en «Humanizar». El texto mejorado aparecerá en la ventana derecha.

Ofrece diferentes modos de funcionamiento: rápido, creativo o mejor. Es importante recordar que no garantiza que el texto no sea detectado como IA, especialmente si el original fue escrito por IA. Se recomienda probar los diferentes modos y revisar el texto resultante para mejorarlo.

BypassGPT, una herramienta diseñada para hacer que el texto escrito por la inteligencia artificial parezca más humano. Reconoce que, aunque BypassGPT puede ser útil, no garantiza que el texto sea indistinguible del contenido escrito por humanos. Esto se debe a que los detectores de IA también mejoran constantemente.

TrueMedia: una herramienta impulsada por inteligencia artificial para detectar videos, fotos y audio falsificados mediante IA

TrueMedia

TrueMedia, una nueva organización sin fines de lucro liderada por Oren Etzioni, que está desarrollando una herramienta impulsada por inteligencia artificial para detectar videos, fotos y audio falsificados mediante IA, con el objetivo de combatir la desinformación política antes de las elecciones de 2024. Respaldada por la fundación sin fines de lucro Camp.org de Garrett Camp,

TrueMedia tiene previsto lanzar una herramienta web gratuita que combina técnicas avanzadas de detección de deepfakes para ser utilizada inicialmente por periodistas y verificadores de hechos, con un lanzamiento público más amplio posteriormente. La tecnología de TrueMedia analizará los medios subidos para evaluar la probabilidad de manipulación por IA, centrándose en los deepfakes políticos. A pesar de los desafíos técnicos, TrueMedia está comprometida a tener un impacto genuino en la lucha contra la desinformación sin hacer juicios políticos sobre el contenido. Con un equipo compuesto por expertos y asesores de diversos campos, TrueMedia está muy centrada en las próximas elecciones, con el objetivo de demostrar su eficacia antes de considerar planes a largo plazo.

Las deficiencias de la detección generativa de IA

«The Shortcomings of Generative AI Detection: How Schools Should Approach Declining Teacher Trust In Students». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/the-shortcomings-of-generative-ai-detection-how-schools-should-approach-declining-teacher-trust-in-students/.

La inteligencia artificial generativa, que utiliza el aprendizaje automático para crear contenido en respuesta a indicaciones, ha suscitado preocupaciones sobre la deshonestidad académica en la educación. Aunque los temores de un fraude generalizado se han avivado, la investigación indica que el uso real con fines académicos deshonestos podría ser inferior a la percepción de los profesores. A pesar de esto, hay una creciente desconfianza entre los profesores, lo que lleva a acciones disciplinarias, afectando desproporcionadamente a ciertos grupos de estudiantes.

La inteligencia artificial generativa (Generative AI), que utiliza el aprendizaje automático para producir nuevo contenido (por ejemplo, texto o imágenes) en respuesta a indicaciones del usuario, se ha infiltrado en el sistema educativo y ha cambiado fundamentalmente las relaciones entre profesores y estudiantes.

En todo el país, los educadores han expresado niveles elevados de ansiedad sobre el uso de herramientas de Generative AI, como ChatGPT, por parte de los estudiantes para hacer trampa en tareas, exámenes y ensayos, además de temores de que los estudiantes pierdan habilidades críticas de pensamiento. Al respecto, un profesor incluso lo describió como algo que «ha infectado [el sistema educativo] como un escarabajo de la muerte, ahuecando estructuras sólidas desde adentro hasta su inminente colapso». En respuesta a estos temores, distritos escolares como Nueva York y Los Ángeles impusieron rápidamente prohibiciones para su uso tanto por parte de educadores como de estudiantes. Las escuelas recurrieron a herramientas como detectores de Generative AI para intentar restaurar el control y la confianza de los educadores; sin embargo, los esfuerzos de detección han sido insuficientes tanto en su implementación como en su eficacia.

Investigaciones del CDT confirman la disminución de la confianza…

Un hallazgo significativo a través de encuestas a profesores, padres y estudiantes es que la percepción de los profesores sobre el uso generalizado de Generative AI para hacer trampa parece ser en gran medida infundada. El 40% de los profesores que dicen que sus estudiantes han usado Generative AI para la escuela piensan que sus estudiantes lo han utilizado para escribir y enviar un ensayo. Pero solo el 19% de los estudiantes que informan haber usado Generative AI dicen que lo han utilizado para escribir y enviar un ensayo, un hallazgo respaldado por otras investigaciones de encuestas.

A pesar de la realidad de que una gran mayoría de estudiantes no utiliza Generative AI con fines académicos deshonestos, los profesores han desarrollado una mayor desconfianza en el trabajo de los estudiantes, quizás debido a la cobertura generalizada y aterradora de casos de trampa. El 62% de los profesores estuvo de acuerdo con la afirmación de que «[la] Generative AI me ha hecho más desconfiado sobre si el trabajo de mis estudiantes es realmente de ellos». Y esta desconfianza está afectando a ciertos grupos de estudiantes, que son disciplinados de manera desproporcionada por usar o ser acusados de usar Generative AI; los profesores de títulos I y los profesores de educación especial con licencia informan tasas más altas de acciones disciplinarias por el uso de Generative AI entre sus estudiantes.

Estos niveles elevados de desconfianza entre los profesores y las acciones disciplinarias subsiguientes han llevado a la frustración entre estudiantes y padres acerca de acusaciones erróneas de hacer trampa, lo que puede causar una brecha aún mayor entre profesores y estudiantes. Esta erosión de la confianza es potencialmente perjudicial para las comunidades escolares donde las relaciones sólidas entre educadores y estudiantes son imperativas para proporcionar un entorno de aprendizaje seguro y de calidad.

…Y herramientas de detección y capacitación insuficientes

Las herramientas diseñadas para detectar cuándo se usó Generative AI para producir contenido son actualmente las únicas soluciones tecnológicas disponibles para ayudar a los profesores a combatir la trampa basada en Generative AI; sin embargo, no resuelven los problemas de confianza existentes. En primer lugar, las políticas escolares sobre el uso de herramientas de detección de contenido son irregulares: solo el 17% de los profesores dicen que su escuela proporciona una herramienta de detección de contenido como parte de su plataforma tecnológica más amplia, y el 26% dice que su escuela recomienda su uso, pero deja a elección del educador elegir una e implementarla. Sin una guía sólida sobre el uso e implementación de las herramientas de detección de contenido, los profesores parecen dudar en utilizarlas como mecanismo de defensa contra la trampa. Solo el 38% de los profesores informan que usan una herramienta de detección de contenido de Generative AI con regularidad, y solo el 18% de los profesores están muy de acuerdo en que estas herramientas «son una forma precisa y efectiva de determinar si un estudiante está usando contenido generado por IA». La falta de confianza de los profesores está justificada, ya que, al menos en este momento, estas herramientas no son consistentemente efectivas para diferenciar entre texto generado por IA y escrito por humanos.

Además del uso de herramientas de detección, la confianza de los profesores en su propia eficacia para detectar la escritura creada por AI es baja: el 22% dice que son muy efectivos y el 43% dice que son algo efectivas. Esto es particularmente preocupante dado que la mayoría de los profesores no han recibido orientación sobre cómo detectar la trampa. Solo el 23% de los profesores que han recibido capacitación sobre las políticas y procedimientos de sus escuelas con respecto a Generative AI han recibido orientación sobre cómo detectar el uso de ChatGPT (u otra herramienta de Generative AI) cuando los estudiantes envían tareas escolares.

¿Cómo deberían abordar las escuelas la disminución de la confianza de los profesores?

Dadas nuestras investigaciones y lo que sabemos sobre las herramientas de detección de contenido de Generative AI, no son la respuesta, al menos por ahora. Estas herramientas sufren de problemas de precisión y pueden flagelar desproporcionadamente a los hablantes no nativos. En cambio, las escuelas deben:

  • Ofrecer capacitación a los profesores sobre cómo evaluar el trabajo de los estudiantes a la luz de la Generative AI: para ayudar a los profesores a sentir que tienen más control sobre la integridad académica en el aula, las escuelas deben capacitarlos adecuadamente para lidiar con la nueva realidad de la Generative AI. Esto implica proporcionarles capacitación sobre las limitaciones de los detectores y cómo responder si sospechan razonablemente que un estudiante está haciendo trampa.
  • Elaborar e implementar políticas claras sobre los usos permitidos y prohibidos: nuestras encuestas de este verano muestran que las escuelas no proporcionan orientación sobre lo que se define como «uso indebido» de la Generative AI, con un 37% de los profesores que informan que su escuela no tiene una política o no están seguros de si hay una política sobre Generative AI. Es imperativo que tanto los profesores como los estudiantes conozcan esto, para que todos estén en la misma página sobre el uso responsable de la Generative AI.
  • Alentar a los profesores a modificar las tareas para minimizar la efectividad de la Generative AI: comprender en qué no son buenas los sistemas de Generative AI puede ayudar a los profesores a diseñar tareas en las que el uso de Generative AI no sea útil para los estudiantes. Por ejemplo, los sistemas de Generative AI a menudo son ineficaces para proporcionar fuentes precisas para sus afirmaciones. Requerir que los estudiantes proporcionen citas para cualquier afirmación que hagan probablemente obligará a los estudiantes a ir mucho más allá de una respuesta generada.