Archivo de la etiqueta: Inteligencia artificial

Integridad Científica e Inteligencia Artificial

CONFERENCIA: Integridad académica e Inteligencia Artificial
Martes 22 de octubre a las 17 h. de España. 9 h. Ciudad de México
con Julio Alonso Arévalo
III Seminario de Integridad Académica y Producción Científica



La inteligencia artificial está teniendo un impacto significativo en la escritura académica al ofrecer herramientas y recursos que facilitan el proceso de investigación, redacción y edición de documentos. Mediante el uso de algoritmos avanzados, los sistemas de inteligencia artificial pueden analizar grandes cantidades de información, extraer patrones y generar ideas para el desarrollo de un texto académico. Estas herramientas pueden ayudar a los estudiantes y profesores a ahorrar tiempo y esfuerzo al proporcionar sugerencias de vocabulario, estructura de párrafos y citas bibliográficas adecuadas. Además, la inteligencia artificial también puede contribuir a mejorar la calidad de los escritos académicos, al detectar errores gramaticales y de estilo, así como proporcionar recomendaciones para una redacción más clara y coherente. Sin embargo, es importante tener en cuenta que la inteligencia artificial no debe reemplazar el pensamiento crítico y la creatividad inherentes a la escritura académica, sino que debe utilizarse como una herramienta complementaria para mejorar y enriquecer el proceso de escritura.

Los detectores de IA acusan falsamente a los alumnos de hacer trampas con graves consecuencias

«AI Detectors Falsely Accuse Students of Cheating—With Big Consequences». Bloomberg.com.18 de octubre de 2024. https://www.bloomberg.com/news/features/2024-10-18/do-ai-detectors-work-students-face-false-cheating-accusations.

Un estudio revela que alrededor de dos tercios de los profesores utilizan regularmente herramientas para detectar contenido generado por IA. Este uso extendido puede llevar a que incluso pequeñas tasas de error se traduzcan en un gran número de acusaciones falsas.

Desde el lanzamiento de ChatGPT hace casi dos años, las escuelas han implementado diversas herramientas de detección para identificar contenido escrito por IA. Los mejores detectores de redacciones con IA son muy precisos, pero no son infalibles. Businessweek probó dos de los principales servicios -GPTZero y Copyleaks- en una muestra aleatoria de 500 redacciones de solicitudes universitarias enviadas a la Universidad A&M de Texas en el verano de 2022, poco antes del lanzamiento de ChatGPT, garantizando así que no habían sido generadas por IA. Los ensayos se obtuvieron a través de una solicitud de registros públicos, lo que significa que no formaban parte de los conjuntos de datos con los que se entrenan las herramientas de IA. Businessweek descubrió que los servicios marcaban falsamente entre el 1% y el 2% de los ensayos como probablemente escritos por IA, y en algunos casos afirmaban tener una certeza cercana al 100%.

Incluso una tasa de error tan pequeña como puede acumularse rápidamente, dado el gran número de trabajos que los estudiantes realizan cada año, con consecuencias potencialmente devastadoras para los estudiantes que son falsamente marcados. Al igual que ocurre con las acusaciones más tradicionales de engaño y plagio, los estudiantes que utilizan IA para hacer sus deberes tienen que rehacer sus tareas y se enfrentan a suspensos y períodos de prueba.

Los más vulnerables a acusaciones erróneas son aquellos que escriben de manera más genérica, como estudiantes no nativos en inglés o aquellos con estilos de escritura más mecánicos. Moira Olmsted, una estudiante de 24 años, fue acusada de utilizar IA para un trabajo en línea en la Universidad Central Methodist, lo que le valió una calificación de cero. La acusación se basó en un detector de IA que había marcado su trabajo como posiblemente generado por inteligencia artificial, a pesar de su estilo de escritura, influenciado por su trastorno del espectro autista. Aunque logró que la calificación fuera cambiada, recibió una advertencia de que futuras detecciones similares serían tratadas como plagio.

Un estudio realizado en 2023 por investigadores de la Universidad de Stanford descubrió que los detectores de IA eran «casi perfectos» cuando comprobaban redacciones escritas por estudiantes de octavo curso nacidos en EE.UU., pero marcaban más de la mitad de las redacciones escritas por estudiantes no nativos de inglés como generadas por IA. Turnitin, una popular herramienta de detección de IA ha declarado que tiene una tasa de falsos positivos del 4% al analizar frases. Turnitin se negó a poner su servicio a disposición para realizar pruebas. En una entrada del blog 2023, la Universidad de Vanderbilt, una de las principales escuelas que desactivaron el servicio de detección de IA de Turnitin por motivos de precisión, señaló que, de lo contrario, cientos de trabajos de estudiantes habrían sido marcados incorrectamente durante el curso académico como escritos en parte por IA. Las empresas de detección de IA insisten en que sus servicios no deben tratarse como juez, jurado y verdugo, sino como un dato para ayudar a informar y orientar a los profesores.

Businessweek también descubrió que los servicios de detección de IA a veces pueden ser engañados por herramientas automatizadas diseñadas para hacer pasar la escritura de IA por humana. Esto podría dar lugar a una carrera armamentística que enfrentara a una tecnología contra otra, dañando la confianza entre educadores y estudiantes con escasos beneficios educativos.

OpenAI ha anunciado recientemente que no lanzará una herramienta para detectar escritos generados por IA, en parte debido a preocupaciones sobre su impacto negativo en ciertos grupos, incluidos los estudiantes que hablan inglés como segunda lengua. Aunque algunas instituciones están reconsiderando el uso de detectores de IA, muchos colegios todavía confían en ellos. Startups de detección de IA han atraído inversiones significativas desde 2019, lo que refleja el aumento del uso de estas tecnologías. Sin embargo, la ansiedad y paranoia en el aula persisten, ya que los estudiantes dedican tiempo a defender la integridad de su trabajo y temen el uso de herramientas de asistencia de escritura comunes.

A pesar de que algunas empresas de detección de IA afirman tener tasas de error bajas, la presión sobre los estudiantes para evitar ser acusados de hacer trampa ha llevado a algunos a modificar sus trabajos, lo que, en muchos casos, ha empeorado su calidad. La situación ha provocado que algunos estudiantes eliminen herramientas como Grammarly de sus dispositivos por miedo a ser marcados como autores de contenido generado por IA. Bloomberg descubrió que utilizar Grammarly para «mejorar» una redacción o «hacer que suene académica» convertirá un trabajo que había pasado de estar escrito al 100% por humanos a estar escrito al 100% por IA.

Educadores y estudiantes consideran que el sistema actual es insostenible, dada la tensión que crea y el hecho de que la IA está aquí para quedarse. Algunos profesores prefieren confiar en su intuición y mantener un diálogo abierto con los estudiantes en lugar de depender de herramientas de detección.

Construyendo una cultura de alfabetización en inteligencia artificial generativa en la enseñanza de lenguas, literatura y escritura

Working Paper 1: Overview of the Issues, Statement of Principles, and Recommendations

Working Paper 2: Generative AI and Policy Development: Guidance from the MLA-CCCC Task Force

Working Paper 3: Building a Culture for Generative AI Literacy in College Language, Literature, and Writing

MLA 2024

Este documento de trabajo sostiene que los educadores deben aprovechar su experiencia colectiva para influir en el uso de la IA generativa, tanto en su campo profesional como en la sociedad en general. Esto se debe a que estas herramientas tienen un impacto significativo en nuestras actividades cívicas, culturales y económicas.

Este documento de trabajo argumenta que los educadores deben utilizar su experiencia colectiva para influir en el uso de la inteligencia artificial (IA) generativa, tanto en sus áreas profesionales como en la sociedad, dada la significativa influencia que estas herramientas tienen en nuestras actividades cívicas, culturales y económicas. Sin embargo, también se señala el riesgo de que al crear tales documentos, se estén limitando alternativas al consentir en lugar de resistir. Dado que la tecnología ya está presente, es esencial ofrecer perspectivas equilibradas sobre los riesgos y beneficios asociados a la IA generativa.

A medida que se concluye el trabajo en este documento en el verano de 2024, se observa que empresas como Apple y Google están integrando tecnologías de IA generativa en sus plataformas. Esto indica que la IA está lo suficientemente integrada en el ámbito educativo como para impactar la alfabetización de diversas maneras. Se definen varios términos relacionados con la IA, como IA artificial (que hace predicciones basadas en modelos estadísticos), IA generativa (que produce texto o imágenes a partir de un aviso del usuario) y modelos de lenguaje de gran tamaño (que generan texto utilizando cálculos estadísticos).

Se enfatiza que, aunque las herramientas de IA generativa parecen funcionar de manera casi mágica, son, en realidad, impulsadas por datos y algoritmos. Aunque pueden producir textos que parecen humanos, estas herramientas carecen de comprensión real y, a menudo, reproducen sesgos presentes en los datos con los que fueron entrenadas. Por lo tanto, es fundamental que los educadores mantengan una supervisión crítica sobre el uso de estas tecnologías, ya que la percepción de «inteligencia» en la IA puede crear expectativas irreales.

Dado que la IA generativa se está integrando en servicios y aplicaciones cotidianas, es urgente centrarse en la alfabetización en IA generativa. Este documento promueve que la alfabetización en IA debe centrarse en dos objetivos: el acceso a «lenguajes en evolución» en diferentes contextos y el desarrollo de marcos críticos que ayuden a imaginar mejores «futuros sociales». Se propone que la alfabetización en IA abarca no solo la fluidez técnica, sino también la capacidad crítica, creativa y comunitaria en relación con estas herramientas.

En cuanto a los estudiantes, se destaca la necesidad de estrategias prácticas para utilizar la IA generativa, entender cómo esta puede influir en sus expectativas de rendimiento y en la calidad de la educación que recibirán. La alfabetización en IA debe incluir la capacidad de diseñar o criticar herramientas, así como cuestionar la ética y eficacia de su uso.

Adolescentes, padres y la adopción de la IA generativa en casa y en la escuela

The Dawn of the AI Era: Teens, Parents, and the Adoption of Generative AI at Home and School. Common Sense, 2024

Descargar

El informe titulado The Dawn of the AI Era: Teens, Parents, and the Adoption of Generative AI at Home and School, publicado el 18 de septiembre de 2024, aborda el impacto de la inteligencia artificial generativa en la educación, especialmente desde la llegada de ChatGPT en 2022. Desde entonces, las escuelas han estado en el centro del debate sobre el uso de AI, con los estudiantes siendo pioneros en su aplicación para tareas escolares. A medida que los líderes educativos consideran cómo esta tecnología puede transformar el aprendizaje en el aula, se vuelve crucial entender cómo los jóvenes la adoptan en comparación con sus padres.

El informe destaca que los adolescentes están adoptando rápidamente la inteligencia artificial generativa, de manera similar a cómo se integró el uso de las redes sociales en sus vidas. La mayoría de los jóvenes utilizan estas herramientas principalmente para el trabajo escolar. Sin embargo, existe una desconexión significativa entre padres e hijos en este aspecto: muchos padres no están al tanto de que sus hijos utilizan la inteligencia artificial generativa. Se estima que siete de cada diez jóvenes han usado al menos un tipo de herramienta de AI generativa, lo que indica un uso generalizado que podría no ser evidente para los adultos a su alrededor.

Siete de cada diez adolescentes de entre 13 y 18 años afirman haber utilizado al menos un tipo de herramienta de inteligencia artificial generativa. Los motores de búsqueda con resultados generados por IA y los chatbots son considerablemente más populares que las herramientas que generan imágenes y videos. Al igual que con el crecimiento acelerado de las redes sociales, la adopción de herramientas de IA generativa entre los adolescentes ha sido rápida. A diferencia de otras tecnologías digitales, el uso de la IA generativa—que incluye motores de búsqueda con resultados generados por IA, chatbots y generadores de texto, así como generadores de imágenes y videos—es consistente en adolescentes de todas las edades, géneros y orígenes raciales y étnicos.

Los datos específicos son los siguientes:

  • El 56% de los adolescentes dice haber utilizado motores de búsqueda con resultados generados por IA, como Bing, Google SGE o Brave Summarizer.
  • El 51% ha utilizado chatbots o generadores de texto, como ChatGPT, Google Gemini o My AI de Snap.
  • El 34% ha utilizado generadores de imágenes, como DALL-E, Photoshop AI o Bing Image Creator.
  • El 22% de los adolescentes ha utilizado generadores de video IA, como Midjourney, Stable Diffusion o Google VideoPoet.

Las escuelas están teniendo dificultades para mantenerse al día con las implicaciones que estas tecnologías tienen sobre la enseñanza y el aprendizaje. La rapidez con que los estudiantes adoptan estas herramientas está superando la capacidad de las instituciones educativas para implementar políticas efectivas que aborden sus riesgos y beneficios.

Los adolescentes utilizan la inteligencia artificial generativa para una variedad de propósitos, siendo la ayuda con las tareas escolares el más común. En una encuesta, el 53% de los jóvenes afirmó usar IA generativa para recibir apoyo en sus deberes, mientras que el 42% la emplea para combatir el aburrimiento y el 41% para traducir de un idioma a otro.

La encuesta abarcó 14 actividades diferentes, clasificadas en dos categorías: actividades formales o educativas y actividades personales. Las actividades formales incluyen resumir o traducir contenido, crear imágenes o videos, generar ideas, ayudar con las tareas y redactar documentos, correos electrónicos y código. La mayoría de estas actividades son realizadas por aproximadamente un tercio a la mitad de los adolescentes, excepto la escritura de código, que solo ha sido utilizada por alrededor del 12%.

Dos de cada cinco adolescentes (40%) informan haber utilizado inteligencia artificial generativa para tareas escolares, con una división casi equitativa entre aquellos que lo hacen con el permiso de sus profesores y aquellos que no. Aunque el 70% de los adolescentes afirma usar IA generativa, solo un menor porcentaje la emplea específicamente para trabajos escolares.

  • El 40% de los adolescentes indica que ha utilizado IA generativa para ayudar con sus tareas, mientras que el 60% dice nunca haberlo hecho.
  • Además, los adolescentes latinos son más propensos a afirmar que han utilizado IA generativa para sus tareas escolares en comparación con sus compañeros blancos (45% frente a 36%).

Entre los adolescentes que han utilizado inteligencia artificial generativa para tareas escolares, el 63% afirma haber empleado chatbots o generadores de texto, mientras que un poco más de la mitad (57%) ha utilizado motores de búsqueda con resultados generados por IA. Los adolescentes que recurren a estas herramientas para apoyar su trabajo escolar utilizan diferentes tipos de sistemas:

  • 63% han usado chatbots o generadores de texto.
  • 57% han utilizado motores de búsqueda con resultados generados por IA.
  • 23% han recurrido a generadores de imágenes para sus tareas.
  • 13% han utilizado generadores de video para la escuela.

La mayoría de los padres no están al tanto del uso que sus hijos adolescentes hacen de la inteligencia artificial generativa. Entre los padres cuyos hijos informaron haber utilizado al menos una plataforma de IA generativa, solo el 37% pensaba que su hijo ya había utilizado dicha tecnología. Aproximadamente uno de cada cuatro (23%) de estos padres cree que su hijo no ha utilizado ninguna de estas plataformas, mientras que el 39% no está seguro de si su hijo ha usado estas herramientas.

Aproximadamente 6 de cada 10 adolescentes informan que su escuela no tiene reglas sobre cómo se puede usar la inteligencia artificial generativa o que no están seguros de si existen dichas reglas. Esto indica que muchas escuelas y maestros pueden no haber comunicado claramente o implementado políticas sobre el uso de IA generativa.

Entre los adolescentes que dijeron que sus profesores habían hablado sobre permitir o restringir el uso de IA generativa, el 29% mencionó que al menos un maestro había utilizado software para detectar el uso de IA en los escritos de los estudiantes. Aunque estas herramientas no siempre son precisas, algunos docentes dependen de ellas.

Los hallazgos incluyen:

  • El 10% de todos los adolescentes afirma que al menos un maestro ha marcado su trabajo como generado por IA cuando no era así.
  • Aproximadamente el 70% de los jóvenes cuya tarea fue marcada por un profesor también tuvo su trabajo sometido a software de detección de IA, mientras que el 27% indica que su trabajo no fue sometido.

Uno de los hallazgos más significativos del informe es la importancia de establecer canales de comunicación abiertos entre jóvenes, padres, cuidadores y educadores. Estos diálogos pueden influir en cómo tanto los jóvenes como sus padres perciben las oportunidades y los peligros que presenta la inteligencia artificial generativa en la educación. Fomentar una comunicación fluida puede no solo ayudar a crear políticas más consistentes en las aulas, sino también a educar a los jóvenes sobre las implicaciones de estas tecnologías.

El informe concluye que para preparar a los jóvenes para un futuro donde la inteligencia artificial tendrá un papel central, es fundamental promover una comprensión más profunda de sus capacidades y limitaciones. Alentar un diálogo abierto sobre el uso de la inteligencia artificial generativa puede ser clave para maximizar sus beneficios en el ámbito educativo y minimizar sus riesgos.

Penguin Random House prohíbe expresamente que sus libros sean usados para entrenar tecnologías de IA.



Battersby, Matilda. «Penguin Random House Underscores Copyright Protection in AI Rebuff.» The Bookseller, October 18, 2024. https://www.thebookseller.com/news/penguin-random-house-underscores-copyright-protection-in-ai-rebuff.

Penguin Random House (PRH), el mayor editor comercial del mundo, ha modificado el texto en sus páginas de derechos de autor para proteger la propiedad intelectual de sus autores frente al uso no autorizado de sus obras para entrenar modelos de inteligencia artificial (IA). El nuevo texto, que se aplicará globalmente en todas las nuevas publicaciones y reimpresiones, prohíbe expresamente que sus libros sean usados para entrenar tecnologías de IA. Esto responde a casos de infracción de derechos de autor en los EE.UU., donde se han utilizado libros pirateados para entrenar IA sin autorización.

El CEO de PRH UK, Tom Weldon, afirmó que la empresa «defenderá vigorosamente» los derechos de propiedad intelectual de sus autores, mientras que elogiaron la actualización de PRH desde la Sociedad de Autores y otras organizaciones. Sin embargo, pidieron que también se modifiquen los contratos de los autores para asegurar que su consentimiento sea requerido antes de utilizar IA en la creación o producción de sus obras.

Expertos legales indicaron que el verdadero riesgo está en el entrenamiento de los modelos de IA, y no tanto en los resultados que estos generan. La industria editorial busca establecer mejores prácticas en medio de un panorama de IA en rápida evolución, donde el uso no autorizado de contenido afecta los ingresos de autores y editores.

Bibliotecario de IA: la revolución de la IA crea demanda de un nuevo trabajo en auge

Case, Tony. «AI Revolution Creates Demand for Hot New Job: AI Librarian». WorkLife (blog), 15 de octubre de 2024. https://www.worklife.news/technology/ai-revolution-creates-demand-for-hot-new-job-ai-librarian/.

A medida que la IA transforma el mundo empresarial, incluido el ámbito de recursos humanos, está surgiendo un nuevo rol que conecta la experiencia humana con el aprendizaje automático: el bibliotecario de IA. Este puesto, aún poco conocido, se ha vuelto uno de los más demandados en el contexto del auge de la IA generativa, según un informe de Korn Ferry, que describe las habilidades necesarias para recopilar, organizar y analizar datos como el «sistema nervioso central de la IA».

Las empresas están en una lucha por atraer talento para trabajar con inteligencia artificial (IA), pero el foco no está solo en programadores, científicos de datos e ingenieros, sino también en bibliotecarios y corredores de seguros. A medida que las aplicaciones basadas en IA se expanden, crece la necesidad de profesionales con la capacidad de crear valor empresarial a partir de esta tecnología. Según Vinay Menon, líder global de la práctica de IA en Korn Ferry, las habilidades de recopilación, organización y análisis de datos que poseen bibliotecarios son consideradas el «sistema nervioso central de la IA».

La creciente demanda de bibliotecarios de IA resalta cómo la evolución tecnológica está creando roles que combinan habilidades tradicionales como la gestión de información con las exigencias modernas en entornos impulsados por datos. Jaycee Schwarz, especialista en adquisición de talento en la empresa Prizeout, explica que a medida que los sistemas de IA generan datos cada vez más complejos, no es suficiente con construir y desplegar tales sistemas; las empresas necesitan expertos que puedan curar y traducir esos datos en información útil.

Paul Farnsworth, director de tecnología en Dice, señala que, dado el escaso talento en IA, los responsables de contratación están buscando profesionales como bibliotecarios que tengan experiencia con datos y que puedan adquirir las habilidades necesarias en IA.

John Gikopoulos, jefe global de IA y automatización en Infosys Consulting, describe la evolución de la IA en tres actos: el primero, ayudar a las organizaciones a ser más eficientes; el segundo, automatizar la recolección de datos; y el tercero, «humanizar» la IA. Gikopoulos enfatiza que las empresas deben cambiar su forma de pensar sobre la IA y reeducarse en cómo interactúan con el mundo.

Dougal Martin, bibliotecario de IA en Deel, una empresa de nómina y soporte de recursos humanos, destaca que se requiere empatía, amor por la información y la capacidad de organizar datos complejos para entender las necesidades de los usuarios. Aunque el trabajo depende en gran medida de la tecnología, enfatiza la importancia del aporte humano, ya que la infraestructura del contenido debe ser generada por humanos para garantizar precisión y fiabilidad, especialmente en áreas como recursos humanos, donde están en juego cuestiones de cumplimiento y legales.

La ética también es fundamental en este proceso de reeducación, ya que numerosos ejemplos de sesgos inconscientes en la IA han demostrado la necesidad de construir equipos diversos e inclusivos. Afsheen Afshar, ex director de ciencia de datos en JPMorgan Chase, resalta la importancia de la cultura y el trabajo en equipo para crear valor a partir de la IA. Afshar advierte que la falta de alineación de incentivos y el compromiso pueden ser obstáculos para el aprovechamiento del potencial de la IA.

Los bibliotecarios de IA y los sistemas robustos de gestión del conocimiento son revolucionarios para los profesionales de recursos humanos, ya que ofrecen acceso rápido a información actualizada sobre cuestiones complejas, como leyes laborales internacionales y regulaciones de nómina. Martin advierte que la gestión de una gran cantidad de información conlleva desafíos únicos, como el riesgo de malentendidos en la traducción entre diferentes lenguas, lo que subraya la necesidad de supervisión humana en sistemas impulsados por IA.

A medida que las empresas navegan por la revolución de la IA, es probable que roles como el de bibliotecario de IA se vuelvan cada vez más esenciales, garantizando que el vasto potencial de la IA se base en información confiable. Colaborar con estos expertos en conocimiento puede llevar a una toma de decisiones más informada, mejor cumplimiento y, en última instancia, una gestión del talento más efectiva.

  • Un actuario de seguros es un profesional que utiliza métodos matemáticos, estadísticos y financieros para evaluar riesgos y determinar primas de seguros, reservas y otros aspectos financieros relacionados con las pólizas de seguros.

Adopción de la IA Generativa por investigadores de Biomedicina

“Adoption of Generative AI by Academic Biomedical Researchers”. Ithaka S+R, 2024

Texto completo

El informe «Adopción de la IA Generativa por Investigadores Biomédicos Académicos» fue publicado por Ithaka S+R el 17 de octubre de 2024. Este estudio analiza cómo los investigadores en el campo biomédico están utilizando la IA generativa, así como las percepciones y barreras que enfrentan en su adopción.

Desde el lanzamiento de ChatGPT en noviembre de 2022, ha surgido un debate nacional sobre el papel de la IA generativa en diversos sectores del trabajo intelectual, aunque la atención se ha centrado principalmente en su impacto en la enseñanza. El ámbito de la investigación biomédica presenta casos prometedores de uso, pero también riesgos significativos asociados a esta tecnología.

Los hallazgos del informe revelan que la adopción de la IA generativa es mixta. Muchos investigadores han experimentado con su uso, pero este es limitado en alcance y frecuencia. Las principales barreras para su adopción incluyen preocupaciones sobre la precisión de los resultados y cuestiones éticas. Debido a la calidad actual de las salidas de la IA generativa y la falta de mejores prácticas, es posible que su adopción se estabilice.

Ithaka S+R realizó una encuesta a investigadores biomédicos académicos sobre sus actitudes y uso de la IA generativa en contextos de investigación, que se llevó a cabo entre el 20 de febrero y el 29 de marzo de 2024, con 770 participantes.

Aunque la mayoría de los investigadores biomédicos han utilizado la IA generativa en el pasado, pocos la usan actualmente y casi ninguno lo hace de manera regular. De los investigadores que han utilizado la IA generativa:

  • 6 de cada 10 han empleado esta tecnología en su investigación.
  • El 31% la ha utilizado para revisar o editar gramática.
  • El 25% la ha usado para extraer información de la literatura científica.
  • El 22% la ha aplicado en tareas administrativas.
  • El 22% la ha usado para escribir código.

Sin embargo, solo el 40% de los investigadores biomédicos la utiliza actualmente. Las principales barreras para la adopción son:

  • El 55% reportó que los resultados no son suficientemente precisos o confiables.
  • Menos de 1 de cada 10 investigadores la utiliza regularmente.
  • El 47% señaló que hay falta de claridad sobre las mejores prácticas para la integridad de la investigación y el uso de la IA generativa.
  • El 56% expresó un gran interés en productos de IA generativa específicos para biomedicina.
  • Solo el 14% había utilizado herramientas o modelos de lenguaje específicos para biomedicina existentes.

Este informe es una contribución importante a la comprensión de las implicaciones de la IA generativa, y se anticipa que se publicará un análisis cualitativo más profundo sobre su uso en la educación superior más adelante en el año.

¿Se deben citar los chatbots de Inteligencia Artificial en un trabajo de investigación?

The Case for Not Citing Chatbots as Information Sources: 1. Hallucination Risk: Chatbots can confidently generate plausible but fabricated information, claims, or citations. 2. Lack of Originality: They summarize existing data; they do not possess firsthand expertise, original research, or genuine understanding. 3. Opaque Algorithms: The specific data sources, logic, or potential biases in a chatbot’s response are often unknown or proprietary. 4. Temporal Limitations: Their knowledge cutoff means they are unaware of the most current events, research, or developments. 5. Attribution Problems: Without clear, specific source citations provided by the AI, it’s impossible to verify the claims or build upon them. Ensure Academic and Research Integrity.
This infographic outlines five reasons chatbots should not be treated as authoritative information sources.

Antunes Nogueira, L.; Rein, Jan Ove. «Guest Post – The Case For Not Citing Chatbots As Information Sources (Part I) and (Part II)». The Scholarly Kitchen, 20 de junio de 2024. https://scholarlykitchen.sspnet.org/2024/06/19/chatbots-to-cite-or-not-to-cite-part-1/

Este artículo invita a reflexionar sobre las implicaciones éticas y prácticas del uso de IA generativa en la producción académica y la necesidad de normas más claras para su uso y citación.

Se revisan las políticas de 17 editores y organizaciones académicas, encontrando un consenso general sobre que los chatbots no cumplen los requisitos para ser considerados autores, ya que no pueden asumir la responsabilidad por los textos generados. Sin embargo, no existe una postura clara sobre si deben ser citados como fuentes.

Algunos, como International Committee of Medical Journal Editors (ICMJE) y Elsevier, son tajantes en su recomendación de no citarlos, mientras que la American Psychological Association (APA) ha ofrecido directrices sobre cómo citar chatbots como herramientas, sin admitirlos como fuentes de información.

El problema radica en que los textos generados por chatbots, aunque coherentes, no son rastreables ni verificables, lo que lleva a muchos a cuestionar su validez como fuentes. El caso de la retracción de un artículo por el uso de citas incorrectas generadas por ChatGPT ejemplifica los riesgos involucrados.

Citar es una norma sociocultural y ética en la academia, y sus razones incluyen:

  • Atribuir crédito a las ideas ajenas.
  • Proveer evidencia para respaldar un argumento.
  • Situar el trabajo dentro de un debate académico.
  • Facilitar que otros verifiquen las fuentes de información.

El uso de chatbots introduce un nuevo desafío, ya que sus respuestas, aunque parecen coherentes, no representan fuentes verificables de información, sino productos generados probabilísticamente por algoritmos.

El debate sobre si los chatbots deben ser citados como fuentes se divide en dos posturas:

  1. Pro-citación: Se argumenta que si el contenido no es propio, debe citarse para evitar el plagio, lo que implicaría tratar al chatbot como una fuente.
  2. Anti-citación: Quienes se oponen a citarlos como fuentes destacan que los textos generados por IA no pueden ser rastreados ni verificados, lo que los hace inadecuados para ser tratados como fuentes. Sugieren que los chatbots deben considerarse como herramientas, similares a otras usadas en la investigación, y que su uso debe ser explicado en las secciones metodológicas del trabajo.

Los autores concluyen que la irrupción de los chatbots obliga a reconsiderar las prácticas de citación y a discernir entre herramientas de asistencia y fuentes de información verificables.

Se proponen varias razones para no citar chatbots. Primero, citar chatbots entraría en conflicto con las políticas académicas, ya que citar a estos sistemas podría legitimar a las empresas detrás de la tecnología como autores, lo que comprometería la responsabilidad intelectual. Además, citar chatbots podría contaminar el ecosistema informativo al difundir datos generados por IA, lo que erosionaría la calidad de los modelos de lenguaje y promovería la desinformación.

Otro punto relevante es que los chatbots no fueron diseñados como máquinas de verdad. Su funcionamiento se basa en cálculos probabilísticos de secuencias de palabras, no en la verificación de hechos. Por ello, los resultados que generan pueden incluir falsedades (hallucinations). Sin embargo, los chatbots podrían ser útiles en tareas de extracción de información, siempre que se basen en bases de datos confiables.

El texto también plantea que crear reglas que obliguen a citar a los chatbots sería impráctico y enviaría un mensaje erróneo, ya que las herramientas actuales no pueden detectar de manera confiable el uso de textos generados por IA. Además, legitimar la práctica de citar chatbots como fuentes podría llevar al mal uso de estas herramientas, lo que resultaría contraproducente para la academia. En lugar de ello, se propone una inversión en alfabetización en IA y un enfoque normativo flexible, basado en normas socioculturales que evolucionen con el tiempo y que establezcan prácticas adecuadas para el uso de estas herramientas.

En conclusión, se sugiere que las instituciones académicas deben adoptar una postura clara que desincentive la citación de chatbots como fuentes de información, y que promueva su uso adecuado como herramientas de apoyo en el proceso de investigación. Las instituciones académicas, junto con editoriales y revistas, tienen el poder de guiar la normalización de las prácticas sobre la divulgación del uso de IA, lo cual sería crucial para mantener la integridad del ecosistema informativo.

Características de los artículos científicos fabricados con Inteligencia Artificial en Google Scholar

Haider, J., Söderström, K. R., Ekström, B., & Rödl, M. (2024). GPT-fabricated scientific papers on Google Scholar: Key features, spread, and implications for preempting evidence manipulation. Harvard Kennedy School (HKS) Misinformation Review. https://doi.org/10.37016/mr-2020-156

Descargar

El artículo analiza el creciente número de trabajos científicos cuestionables generados por inteligencia artificial (IA), como ChatGPT, que se están publicando en revistas académicas y repositorios. Estos trabajos, que imitan el estilo de la escritura científica, están siendo fácilmente localizados y listados por Google Scholar junto con investigaciones legítimas. El estudio se centró en un grupo de estos artículos y encontró que muchos tratan temas aplicados y a menudo controversiales, como el medio ambiente, la salud y la computación, áreas particularmente vulnerables a la desinformación. La preocupación radica en el aumento del potencial de manipulación malintencionada de la base de evidencia, especialmente en temas divisivos políticamente.

El estudio se centra en la producción y difusión de publicaciones cuestionables generadas con transformadores preentrenados (GPT) que son accesibles a través de Google Scholar, abordando varios aspectos clave: primero, se investiga dónde se publican o depositan estas publicaciones dudosas. Este análisis busca identificar los tipos de revistas y plataformas que albergan este contenido. En segundo lugar, se examinan las características principales de estas publicaciones en relación con las categorías temáticas predominantes, permitiendo una comprensión más profunda de los temas que son más susceptibles al uso indebido de la inteligencia artificial generativa. Además, se explora cómo se difunden estas publicaciones en la infraestructura de investigación para la comunicación académica, prestando atención a los canales y plataformas que facilitan su circulación. Esto incluye la identificación de dominios y repositorios donde se comparten estos trabajos. Finalmente, la investigación cuestiona el papel de la infraestructura de comunicación académica en la preservación de la confianza pública en la ciencia y la evidencia, considerando los desafíos que presenta el uso inapropiado de la inteligencia artificial generativa en este contexto. Este aspecto subraya la necesidad de una regulación más efectiva y la implementación de criterios de calidad en la publicación académica.

Para ello, se recuperó, descargó y analizó una muestra de artículos científicos con indicios de uso de GPT encontrados en Google Scholar, utilizando una combinación de codificación cualitativa y estadísticas descriptivas. Todos los artículos contenían al menos una de dos frases comunes generadas por agentes conversacionales que utilizan grandes modelos de lenguaje (LLM) como ChatGPT. Luego, se utilizó Google Search para determinar la extensión de las copias de estos artículos cuestionables en diversos repositorios, archivos, bases de datos de citas y plataformas de redes sociales.

Aproximadamente dos tercios de los artículos recuperados fueron producidos, al menos en parte, mediante el uso no divulgado y potencialmente engañoso de GPT. La mayoría de estos trabajos (57%) abordaban temas relevantes para políticas públicas, como el medio ambiente, la salud y la computación, los cuales son susceptibles a operaciones de influencia. La mayoría de estos artículos estaban disponibles en varias copias en diferentes dominios (redes sociales, archivos y repositorios).

La mayoría de los artículos sospechosos de uso fraudulento de ChatGPT se encontraron en revistas no indexadas o como trabajos en proceso, aunque algunos también aparecieron en revistas establecidas, conferencias y repositorios. En total, se identificaron 139 artículos, de los cuales 19 estaban en revistas indexadas, 89 en revistas no indexadas, 19 eran trabajos estudiantiles y 12 eran documentos de trabajo. La mayoría de los artículos trataban temas de relevancia política, como la salud y el medio ambiente, y se encontraban principalmente en revistas no indexadas.

Existen dos riesgos principales derivados del uso cada vez más común de GPT para producir de manera masiva publicaciones científicas falsas. Primero, la abundancia de “estudios” fabricados que se infiltran en todas las áreas de la infraestructura de investigación amenaza con sobrecargar el sistema de comunicación académica y poner en peligro la integridad del registro científico. El segundo riesgo es que el contenido, aunque parezca científicamente convincente, haya sido creado de manera engañosa con herramientas de IA y esté optimizado para ser recuperado por motores de búsqueda académicos públicos, especialmente Google Scholar. Aunque esta posibilidad sea pequeña, su conocimiento podría socavar la confianza en el conocimiento científico y representar graves riesgos para la sociedad.

El estudio subraya que el problema de las publicaciones científicas fraudulentas generadas por GPT es solo la punta del iceberg, con implicaciones profundas para la confianza en la ciencia y para la sociedad en general.

Los estudiantes universitarios no saben cómo y para que pueden utilizar herramientas de inteligencia artificial generativa (IA) para sus tareas académicas

Mowreader, Ashley. «Survey: When Should College Students Use AI? They’re Not Sure.» Inside Higher Ed, October 14, 2024. https://www.insidehighered.com/news/student-success/academic-life/2024/07/03/survey-college-student-academic-experience.

Una encuesta de Inside Higher Ed, realizada en mayo de 2024, reveló que el 31% de los estudiantes universitarios no está seguro de cuándo se les permite usar herramientas de inteligencia artificial generativa (IA) en sus trabajos académicos. Aunque las herramientas de IA son cada vez más comunes en la educación superior, muchas instituciones no han establecido políticas claras sobre su uso. Solo el 16% de los estudiantes indicó que sus universidades han publicado una política al respecto.

La encuesta incluyó a más de 5.000 estudiantes, y los datos muestran que la orientación sobre el uso de la IA proviene principalmente de los profesores, quienes son los responsables de decidir cuándo y cómo se puede utilizar. Sin embargo, una gran parte de los profesores aún no se siente segura sobre el uso de IA en la enseñanza.

Expertos como Afia Tasneem y Dylan Ruediger señalan que, aunque la IA inicialmente fue vista con preocupación por su potencial para facilitar el plagio, ahora se considera una habilidad crucial para el desarrollo profesional. Sin embargo, advierten que la falta de políticas claras podría generar desigualdades en el acceso y uso de estas herramientas, especialmente entre estudiantes de comunidades históricamente desfavorecidas.

Las instituciones de educación superior deben proporcionar formación sobre el uso adecuado de la IA y desarrollar políticas coherentes que equilibren el aprendizaje con la ética y la integridad académica.