Archivo de la etiqueta: Inteligencia artificial

La inteligencia artificial centrada en el humano tiene el potencial de mejorar el trabajo en las bibliotecas.

Mazarakis, Athanasios, y Isabella Peters. Human-Centred AI: First Steps for the Enrichment of Library Work. CDV Mediatalk, 2023

Ver original

¿Qué papel desempeñará la inteligencia artificial en el trabajo en las bibliotecas en el futuro? La inteligencia artificial centrada en el humano tiene el potencial de mejorar el trabajo en las bibliotecas. El Dr. Athanasios Mazarakis y la Prof. Dra. Isabella Peters informan sobre los resultados actuales de su investigación y esbozan formas de integrar la inteligencia artificial centrada en el humano en la vida laboral cotidiana

El artículo enfatiza la importancia de la inteligencia artificial centrada en el ser humano (HCAI, por sus siglas en inglés) en el lugar de trabajo y propone una teoría interdisciplinaria para lograr este objetivo. Hemos llegado a conclusiones para la HCAI en el lugar de trabajo utilizando perspectivas de disciplinas que se centran principalmente en individuos (psicología), tecnología (HCI), trabajo (HFE) o el contexto laboral como un campo de investigación entre muchos (ciencia de la información y aprendizaje para adultos). Las implicaciones teóricas y prácticas se derivan de las consideraciones disciplinarias básicas y de las experiencias y observaciones actuales del proyecto CoCo-Projekt financiado por el Ministerio Federal de Educación e Investigación de Alemania (Connect & Collect: nube respaldada por IA para investigación e innovación interdisciplinaria para el trabajo futuro) con el fin de armonizar la HCAI con los requisitos actuales de empleados y empresas, que sitúan a las personas en el centro al lidiar con la complejidad de la información, los datos y las decisiones.

IA centrada en el ser humano

Utilización de teorías y métodos interdisciplinarios para la integración en bibliotecas Para el personal de bibliotecas, esto significa que la integración de la inteligencia artificial centrada en el ser humano debe estar en la vanguardia del desarrollo del trabajo y la formación. Esto se puede lograr mediante la incorporación de teorías y métodos interdisciplinarios que se centren en las personas, la tecnología, el trabajo y el contexto laboral.

Primeros pasos hacia la inteligencia artificial centrada en el ser humano en bibliotecas

Un primer paso útil para los bibliotecarios sería familiarizarse con las teorías y métodos interdisciplinarios propuestos en este artículo. Luego, pueden evaluar cómo se pueden aplicar estas teorías y métodos a su trabajo y formación. Además, los bibliotecarios pueden colaborar con otros profesionales de campos relacionados para obtener una perspectiva interdisciplinaria más amplia sobre el tema. En detalle, los tres aspectos se organizan de la siguiente manera:

  1. Incorporar principios de diseño centrados en el usuario: El personal de la biblioteca puede aplicar principios de diseño centrados en el usuario para asegurar que los sistemas de IA se desarrollen teniendo en cuenta las necesidades y preferencias de los usuarios, como aquellos que toman prestada literatura. Esto puede incluir la realización de investigaciones de usuarios para comprender las necesidades y preferencias de los usuarios de la biblioteca y utilizar esta información para diseñar sistemas de IA que sean intuitivos y fáciles de usar.
  2. Desarrollar experiencia en IA: Los bibliotecarios pueden adquirir habilidades en IA para entender mejor las capacidades y limitaciones de los sistemas de IA. Esto puede incluir aprender sobre los diferentes tipos de sistemas de IA, cómo funcionan y cómo se pueden utilizar para mejorar los servicios de la biblioteca.
  3. Colaboración con otros expertos: Los bibliotecarios pueden colaborar con otros profesionales de campos relacionados para obtener una perspectiva interdisciplinaria más amplia sobre el tema de la inteligencia artificial centrada en el ser humano. Esto puede incluir trabajar con expertos en psicología, interacción humano-computadora, ciencia de la información y educación para adultos para desarrollar una comprensión más amplia del impacto de la IA en los servicios de la biblioteca.

Medidas acompañantes y condiciones marco para la inteligencia artificial centrada en el ser humano en bibliotecas

Además, la observancia de la transparencia y la protección de datos de la IA en los servicios de biblioteca es un aspecto ético en el que el personal de la biblioteca debe trabajar. Además, la capacitación adicional y el desarrollo de materiales de formación son puntos relevantes para la comunicación de la inteligencia artificial centrada en el ser humano por parte de las bibliotecas. Junto con esto, los bibliotecarios deben preguntar a los interesados sobre sus necesidades y preferencias con respecto a los sistemas de IA. Finalmente, las bibliotecas deben observar y evaluar los sistemas de IA relevantes. Específicamente, esto significa lo siguiente:

  1. Desarrollar pautas éticas: Los bibliotecarios pueden desarrollar pautas éticas para el uso de la IA en los servicios de la biblioteca. Esto puede incluir establecer principios para el uso responsable de la IA, como garantizar la transparencia y responsabilidad en la toma de decisiones, proteger la privacidad del usuario y evitar sesgos y discriminación.
  2. Proporcionar formación y apoyo: Los bibliotecarios pueden ofrecer formación y apoyo al personal de la biblioteca y a los usuarios en el uso de sistemas de IA. Esto puede incluir el desarrollo de materiales de formación, la oferta de talleres y seminarios web, y proporcionar apoyo personalizado a los usuarios que lo necesiten.
  3. Participación de los interesados: Los bibliotecarios pueden interactuar con los interesados (usuarios y bibliotecarios de otras bibliotecas) para recopilar comentarios y sugerencias sobre el uso de la IA en los servicios de la biblioteca. Esto puede incluir la organización de grupos de enfoque, la realización de encuestas y la recopilación de comentarios a través de las redes sociales y otros canales.
  4. Monitoreo y evaluación de los sistemas de IA: Los bibliotecarios pueden monitorear y evaluar los sistemas de IA para asegurarse de que funcionen según lo previsto y proporcionen los resultados deseados. Esto puede incluir el análisis de datos de uso, la realización de pruebas con usuarios y la recopilación de comentarios del personal de la biblioteca y los usuarios. Al monitorear y evaluar los sistemas de IA, los bibliotecarios pueden identificar áreas de mejora y realizar ajustes según sea necesario.

Mejora del trabajo de la biblioteca mediante la integración de la inteligencia artificial centrada en el ser humano

En resumen, el artículo de Frontiers «What is critical for human-centered AI at work? – Toward an interdisciplinary theory» aporta valiosas ideas para el desarrollo del trabajo y la formación en las bibliotecas. Dando prioridad a la integración de la IA centrada en el ser humano, centrándose en el elemento humano e incorporando teorías y métodos interdisciplinarios, el personal bibliotecario puede mejorar su trabajo. Existe una gran variedad de aplicaciones en el contexto bibliotecario que pueden automatizarse o ya se están automatizando: Chatbots, catalogación, clasificación, sistemas de recomendación, recomendaciones personalizadas, gestión de inventarios, reconocimiento de textos e imágenes, así como análisis y generación de textos. Esto demuestra lo importante que es hoy en día la IA centrada en el ser humano. En el artículo se insinúa su potencial para el futuro. En cualquier caso, será apasionante ver cómo se desarrollan los avances en el sector de las bibliotecas.

OpenAI lanza GPT Store, una tienda de aplicaciones para sus usuarios de ChatGPT Plus.

Ir a GPT Store

OpenAI ha lanzado GPT Store, una tienda de aplicaciones para sus usuarios de ChatGPT. Accesible para suscriptores de ChatGPT Plus (20$ al mes) y usuarios de los planes comerciales ChatGPT Team y Enterprise (que van desde 25$ hasta miles de dólares por usuario al mes), la tienda presenta GPTs (aplicaciones) a los usuarios.

OpenAI informa que más de 3 millones de usuarios han creado versiones personalizadas de ChatGPT desde noviembre. Los usuarios gratuitos de ChatGPT no tendrán acceso a las aplicaciones inicialmente. La Tienda GPT permite que cualquiera cree y publique un GPT en la web después de verificar su perfil.

Buscadores alternativos a Google con IA generativa: análisis de You.com, Perplexity AI y Bing Chat

Codina, Lluís. 2023. «Buscadores alternativos a Google con IA generativa: análisis de You.com, Perplexity AI y Bing Chat». Infonomy 1 (1). https://doi.org/10.3145/infonomy.23.002.

Análisis comparativo de tres buscadores alternativos a Google con inteligencia artificial generativa: You.com, Perplexity AI y Bing Chat. Presentación de las características generales de los tres tipos de búsqueda actuales en internet: recuperación de información, sistemas de respuestas, y búsqueda generativa. Análisis funcional y de la interfaz de los tres sistemas seleccionados. Recomendaciones generales de su uso en entornos académicos.

Un estudio revela que los LLM de los Sistemas de Inteligencia Artificial son parciales y no se ajustan a las preferencias humanas a la hora de evaluar textos

Koo, Ryan, Minhwa Lee, Vipul Raheja, Jong Inn Park, Zae Myung Kim, y Dongyeop Kang. 2023. «Benchmarking Cognitive Biases in Large Language Models as Evaluators». arXiv. https://doi.org/10.48550/arXiv.2309.17012.

En respuesta a la creciente preocupación sobre los posibles sesgos en los LLMs y su impacto en aplicaciones del mundo real, se llevó a cabo un estudio. El estudio se centró en analizar 15 LLMs diferentes utilizando el «Cognitive Bias Benchmark for LLMs as EvaluatoRs» (CoBBLEr). La motivación principal detrás de esta investigación fue identificar y mitigar sesgos que podrían llevar a preferencias injustas y disparidades en las evaluaciones de texto.

El estudio revela que los grandes modelos de lenguaje exhiben sesgos cognitivos y no se alinean con las preferencias humanas en la evaluación de textos. Entender estos sesgos es crucial, ya que los LLMs se utilizan cada vez más en aplicaciones del mundo real, desde recomendaciones de contenido hasta la evaluación de solicitudes de empleo. Cuando estos modelos son sesgados, pueden tomar decisiones o hacer predicciones que son injustas o inexactas.

Imaginemos un sistema de inteligencia artificial utilizado para evaluar solicitudes de empleo. El sistema utiliza un gran modelo de lenguaje para evaluar la calidad de la carta de presentación. Pero si ese modelo tiene un sesgo inherente, como favorecer textos más largos o ciertas palabras clave, podría favorecer injustamente a algunos solicitantes sobre otros, incluso si no son necesariamente más calificados.

Sesgos Cognitivos en LLMs: Investigadores de la Universidad de Minnesota y Grammarly realizaron un estudio para medir los sesgos cognitivos en los grandes modelos de lenguaje cuando se utilizan para evaluar automáticamente la calidad del texto.

El equipo de investigación seleccionó 15 LLMs de cuatro rangos de tamaño diferentes y analizó sus respuestas. Se les pidió a los modelos que evaluaran las respuestas de otros LLMs, por ejemplo, «System Star es mejor que System Square».

Para este propósito, los investigadores introdujeron el «COgnitive Bias Benchmark for LLMs as EvaluatoRs» (COBBLER), un referente para medir seis sesgos cognitivos diferentes en las evaluaciones de LLMs.

Resultados y Conclusiones: El estudio muestra que los LLMs presentan sesgos al juzgar la calidad del texto. Se identificaron sesgos clave, como la egocentricidad y la preferencia de orden, ambos con el potencial de influir en la evaluación del contenido de texto. Las implicaciones de estos sesgos son particularmente críticas en aplicaciones como la recomendación de contenido y la selección de solicitudes de empleo, donde los LLMs desempeñan un papel crucial en la toma de decisiones. Los investigadores también examinaron la correlación entre las preferencias humanas y las preferencias de la máquina, encontrando que estas no se alinean estrechamente (superposición de sesgos de rango: 49.6%).

Según el equipo de investigación, los resultados sugieren que los LLMs no deberían utilizarse para la anotación automática basada en preferencias humanas. Incluso los modelos ajustados a instrucciones o entrenados con retroalimentación humana mostraron diversos sesgos cognitivos al utilizarse como anotadores automáticos.

La baja correlación entre las calificaciones humanas y las calificaciones de la máquina sugiere que las preferencias de la máquina y las humanas generalmente no están muy cercanas. Esto plantea la pregunta de si los LLMs son capaces de proporcionar calificaciones justas en absoluto.

Con capacidades de evaluación que incluyen varios sesgos cognitivos y un bajo porcentaje de acuerdo con las preferencias humanas, los hallazgos sugieren que los LLMs aún no son adecuados como evaluadores automáticos justos y confiables.

Soluciones Propuestas:

  1. Algoritmos de Mitigación de Sesgos: Desarrollar e implementar algoritmos que puedan identificar y mitigar sesgos en los LLMs, asegurando evaluaciones justas y objetivas.
  2. Actualizaciones Regulares de Evaluación: Establecer un sistema de evaluación continua y actualizaciones para los LLMs, con el fin de abordar sesgos emergentes y mejorar su alineación con las preferencias humanas.
  3. Transparencia y Explicabilidad: Mejorar la transparencia y explicabilidad de los LLMs para proporcionar información sobre sus procesos de toma de decisiones, permitiendo una mejor comprensión y rendición de cuentas.
  4. Datos de Entrenamiento Diversificados: Asegurar que los LLMs se entrenen con conjuntos de datos diversos que representen con precisión la variedad de perspectivas y voces en la sociedad, reduciendo el riesgo de resultados sesgados.

Conclusión: Los hallazgos del estudio subrayan la necesidad de medidas proactivas para abordar los sesgos cognitivos en los LLMs. Al implementar las soluciones propuestas, podemos mejorar la confiabilidad y equidad de los LLMs, haciéndolos más adecuados para aplicaciones del mundo real donde el juicio imparcial es crucial. Esta investigación sirve como base para los esfuerzos continuos destinados a mejorar el uso ético y responsable de la inteligencia artificial en los procesos de toma de decisiones

MusicLM de Google un avanzado generador de música basado en inteligencia artificial (IA) que puede convertir un fragmento de texto en una canción

MusicLM

MusicLM es un modelo que genera música de alta fidelidad a partir de descripciones textuales como «una relajante melodía de violín acompañada de un riff de guitarra distorsionado». MusicLM plantea el proceso de generación de música condicional como una tarea de modelado jerárquico secuencia a secuencia, y genera música a 24 kHz que se mantiene constante durante varios minutos.

La revolución de la IA: En 2022, ChatGPT, DALL-E 2 y otras IA avanzadas capaces de generar texto o imágenes impresionantes en respuesta a comandos de usuario ganaron popularidad. Sin embargo, no fueron las primeras IA generativas ni los únicos ejemplos de lo que las redes neuronales pueden hacer.

¿Qué hay de nuevo? La novedad es MusicLM, un generador de música basado en IA presentado por Google en enero de 2023. Esta tecnología representa uno de los ejemplos más impresionantes, ya que puede generar clips de hasta 5 minutos de duración basados en descripciones de texto, logrando que la música suene más parecida a algo que podría grabar un humano que otros generadores de IA.

MusicLM supera a los sistemas anteriores tanto en calidad de audio como en adherencia a la descripción textual. Además, demostramos que MusicLM puede condicionarse tanto al texto como a una melodía, ya que puede transformar melodías silbadas y tarareadas según el estilo descrito en un pie de texto.

¿Cómo funciona? Google entrenó MusicLM con más de 280.000 horas de música proveniente de MuLan, un modelo entrenado para vincular la música con descripciones escritas en lenguaje natural. Luego, crearon MusicCaps, un conjunto de datos públicamente accesible con más de 5.500 clips de música para evaluar el generador de música de IA.

En comparación con otros generadores de música basados en texto, como Mubert y Riffusion, Google enfrentó a MusicLM a través de varias métricas cuantitativas para evaluar la calidad auditiva y la adherencia a una descripción de texto. Según un documento compartido por Google en el servidor de preimpresión arXiv, MusicLM superó a las otras IA en todos los aspectos evaluados.

Mirando hacia el futuro: Aunque MusicLM puede producir audio que suena más cercano a la música escrita por humanos, aún no puede replicar estructuras de canciones tradicionales y la calidad vocal es deficiente. Google destaca la necesidad de trabajos futuros para abordar estos problemas y mejorar la calidad general del audio. Además, aproximadamente el 1% de la producción de MusicLM se puede emparejar aproximadamente con el audio en sus datos de entrenamiento, un problema que debe abordarse antes de su lanzamiento público.

Chatbots de inteligencia artificial en las bibliotecas universitarias: la llegada de ChatGPT

Adetayo, A.J. (2023), «Artificial intelligence chatbots in academic libraries: the rise of ChatGPT«, Library Hi Tech News, Vol. 40 No. 3, pp. 18-21. https://doi.org/10.1108/LHTN-01-2023-0007

El estudio examina el surgimiento de los chatbots de inteligencia artificial en bibliotecas universitarias, centrándose específicamente en el desarrollo de ChatGPT. La investigación tiene como objetivo explorar las aplicaciones potenciales de esta tecnología en el ámbito académico, al tiempo que identifica los riesgos asociados. Para llevar a cabo esta evaluación, se realizó una revisión de la literatura utilizando fuentes de Google Scholar y revistas indexadas en la base de datos Scopus.

Los resultados del estudio indican que ChatGPT tiene el potencial de ser una herramienta útil para servicios técnicos y de lectores en bibliotecas universitarias. Puede ayudar en tareas como responder a consultas de referencia básicas, facilitar la navegación en el sitio web de la biblioteca y colaborar en investigaciones, catalogación, clasificación y desarrollo de colecciones. Sin embargo, el estudio también destaca preocupaciones importantes, como la posibilidad de respuestas inexactas a consultas, el riesgo de mal uso, la comprensión limitada, restricciones en la entrada de información y una dependencia excesiva de la tecnología.

Como conclusión, se sugiere que ChatGPT se utilice como una tecnología complementaria en lugar de un reemplazo para los bibliotecarios humanos en entornos académicos. Este artículo se presenta como uno de los primeros en abordar específicamente el potencial y los desafíos asociados con el uso de ChatGPT en bibliotecas universitarias

Las deficiencias de la detección generativa de IA

«The Shortcomings of Generative AI Detection: How Schools Should Approach Declining Teacher Trust In Students». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/the-shortcomings-of-generative-ai-detection-how-schools-should-approach-declining-teacher-trust-in-students/.

La inteligencia artificial generativa, que utiliza el aprendizaje automático para crear contenido en respuesta a indicaciones, ha suscitado preocupaciones sobre la deshonestidad académica en la educación. Aunque los temores de un fraude generalizado se han avivado, la investigación indica que el uso real con fines académicos deshonestos podría ser inferior a la percepción de los profesores. A pesar de esto, hay una creciente desconfianza entre los profesores, lo que lleva a acciones disciplinarias, afectando desproporcionadamente a ciertos grupos de estudiantes.

La inteligencia artificial generativa (Generative AI), que utiliza el aprendizaje automático para producir nuevo contenido (por ejemplo, texto o imágenes) en respuesta a indicaciones del usuario, se ha infiltrado en el sistema educativo y ha cambiado fundamentalmente las relaciones entre profesores y estudiantes.

En todo el país, los educadores han expresado niveles elevados de ansiedad sobre el uso de herramientas de Generative AI, como ChatGPT, por parte de los estudiantes para hacer trampa en tareas, exámenes y ensayos, además de temores de que los estudiantes pierdan habilidades críticas de pensamiento. Al respecto, un profesor incluso lo describió como algo que «ha infectado [el sistema educativo] como un escarabajo de la muerte, ahuecando estructuras sólidas desde adentro hasta su inminente colapso». En respuesta a estos temores, distritos escolares como Nueva York y Los Ángeles impusieron rápidamente prohibiciones para su uso tanto por parte de educadores como de estudiantes. Las escuelas recurrieron a herramientas como detectores de Generative AI para intentar restaurar el control y la confianza de los educadores; sin embargo, los esfuerzos de detección han sido insuficientes tanto en su implementación como en su eficacia.

Investigaciones del CDT confirman la disminución de la confianza…

Un hallazgo significativo a través de encuestas a profesores, padres y estudiantes es que la percepción de los profesores sobre el uso generalizado de Generative AI para hacer trampa parece ser en gran medida infundada. El 40% de los profesores que dicen que sus estudiantes han usado Generative AI para la escuela piensan que sus estudiantes lo han utilizado para escribir y enviar un ensayo. Pero solo el 19% de los estudiantes que informan haber usado Generative AI dicen que lo han utilizado para escribir y enviar un ensayo, un hallazgo respaldado por otras investigaciones de encuestas.

A pesar de la realidad de que una gran mayoría de estudiantes no utiliza Generative AI con fines académicos deshonestos, los profesores han desarrollado una mayor desconfianza en el trabajo de los estudiantes, quizás debido a la cobertura generalizada y aterradora de casos de trampa. El 62% de los profesores estuvo de acuerdo con la afirmación de que «[la] Generative AI me ha hecho más desconfiado sobre si el trabajo de mis estudiantes es realmente de ellos». Y esta desconfianza está afectando a ciertos grupos de estudiantes, que son disciplinados de manera desproporcionada por usar o ser acusados de usar Generative AI; los profesores de títulos I y los profesores de educación especial con licencia informan tasas más altas de acciones disciplinarias por el uso de Generative AI entre sus estudiantes.

Estos niveles elevados de desconfianza entre los profesores y las acciones disciplinarias subsiguientes han llevado a la frustración entre estudiantes y padres acerca de acusaciones erróneas de hacer trampa, lo que puede causar una brecha aún mayor entre profesores y estudiantes. Esta erosión de la confianza es potencialmente perjudicial para las comunidades escolares donde las relaciones sólidas entre educadores y estudiantes son imperativas para proporcionar un entorno de aprendizaje seguro y de calidad.

…Y herramientas de detección y capacitación insuficientes

Las herramientas diseñadas para detectar cuándo se usó Generative AI para producir contenido son actualmente las únicas soluciones tecnológicas disponibles para ayudar a los profesores a combatir la trampa basada en Generative AI; sin embargo, no resuelven los problemas de confianza existentes. En primer lugar, las políticas escolares sobre el uso de herramientas de detección de contenido son irregulares: solo el 17% de los profesores dicen que su escuela proporciona una herramienta de detección de contenido como parte de su plataforma tecnológica más amplia, y el 26% dice que su escuela recomienda su uso, pero deja a elección del educador elegir una e implementarla. Sin una guía sólida sobre el uso e implementación de las herramientas de detección de contenido, los profesores parecen dudar en utilizarlas como mecanismo de defensa contra la trampa. Solo el 38% de los profesores informan que usan una herramienta de detección de contenido de Generative AI con regularidad, y solo el 18% de los profesores están muy de acuerdo en que estas herramientas «son una forma precisa y efectiva de determinar si un estudiante está usando contenido generado por IA». La falta de confianza de los profesores está justificada, ya que, al menos en este momento, estas herramientas no son consistentemente efectivas para diferenciar entre texto generado por IA y escrito por humanos.

Además del uso de herramientas de detección, la confianza de los profesores en su propia eficacia para detectar la escritura creada por AI es baja: el 22% dice que son muy efectivos y el 43% dice que son algo efectivas. Esto es particularmente preocupante dado que la mayoría de los profesores no han recibido orientación sobre cómo detectar la trampa. Solo el 23% de los profesores que han recibido capacitación sobre las políticas y procedimientos de sus escuelas con respecto a Generative AI han recibido orientación sobre cómo detectar el uso de ChatGPT (u otra herramienta de Generative AI) cuando los estudiantes envían tareas escolares.

¿Cómo deberían abordar las escuelas la disminución de la confianza de los profesores?

Dadas nuestras investigaciones y lo que sabemos sobre las herramientas de detección de contenido de Generative AI, no son la respuesta, al menos por ahora. Estas herramientas sufren de problemas de precisión y pueden flagelar desproporcionadamente a los hablantes no nativos. En cambio, las escuelas deben:

  • Ofrecer capacitación a los profesores sobre cómo evaluar el trabajo de los estudiantes a la luz de la Generative AI: para ayudar a los profesores a sentir que tienen más control sobre la integridad académica en el aula, las escuelas deben capacitarlos adecuadamente para lidiar con la nueva realidad de la Generative AI. Esto implica proporcionarles capacitación sobre las limitaciones de los detectores y cómo responder si sospechan razonablemente que un estudiante está haciendo trampa.
  • Elaborar e implementar políticas claras sobre los usos permitidos y prohibidos: nuestras encuestas de este verano muestran que las escuelas no proporcionan orientación sobre lo que se define como «uso indebido» de la Generative AI, con un 37% de los profesores que informan que su escuela no tiene una política o no están seguros de si hay una política sobre Generative AI. Es imperativo que tanto los profesores como los estudiantes conozcan esto, para que todos estén en la misma página sobre el uso responsable de la Generative AI.
  • Alentar a los profesores a modificar las tareas para minimizar la efectividad de la Generative AI: comprender en qué no son buenas los sistemas de Generative AI puede ayudar a los profesores a diseñar tareas en las que el uso de Generative AI no sea útil para los estudiantes. Por ejemplo, los sistemas de Generative AI a menudo son ineficaces para proporcionar fuentes precisas para sus afirmaciones. Requerir que los estudiantes proporcionen citas para cualquier afirmación que hagan probablemente obligará a los estudiantes a ir mucho más allá de una respuesta generada.

El NIST identifica tipos de ciberataques que manipulan el comportamiento de los sistemas de inteligencia artificial (IA)

«NIST Identifies Types of Cyberattacks That Manipulate Behavior of AI Systems». 2024. NIST, enero. https://www.nist.gov/news-events/news/2024/01/nist-identifies-types-cyberattacks-manipulate-behavior-ai-systems.

La publicación, una colaboración entre el gobierno, la academia y la industria, tiene la intención de ayudar a los desarrolladores y usuarios de IA a comprender los tipos de ataques que podrían esperar, junto con enfoques para mitigarlos, con la comprensión de que no hay una solución única.

Los sistemas de IA han permeado la sociedad moderna, trabajando en capacidades que van desde conducir vehículos hasta ayudar a los médicos a diagnosticar enfermedades o interactuar con clientes como chatbots en línea. Para aprender a realizar estas tareas, se entrenan con vastas cantidades de datos: un vehículo autónomo podría mostrar imágenes de carreteras con señales de tráfico, por ejemplo, mientras que un chatbot basado en un modelo de lenguaje grande (LLM) podría exponerse a registros de conversaciones en línea. Estos datos ayudan a la IA a predecir cómo responder en una situación dada.

Un problema importante es que los datos en sí mismos pueden no ser confiables. Sus fuentes pueden ser sitios web e interacciones con el público. Hay muchas oportunidades para que actores malintencionados corrompan estos datos, tanto durante el período de entrenamiento de un sistema de IA como después, mientras la IA continúa refinando sus comportamientos al interactuar con el mundo físico. Esto puede hacer que la IA se comporte de manera indeseable. Por ejemplo, los chatbots pueden aprender a responder con lenguaje abusivo o racista cuando se sortean cuidadosamente las protecciones mediante indicaciones maliciosas.

«En su mayor parte, los desarrolladores de software necesitan que más personas usen su producto para que pueda mejorar con la exposición», dijo Vassilev. «Pero no hay garantía de que la exposición sea buena. Un chatbot puede generar información negativa o tóxica cuando se le indica con un lenguaje cuidadosamente diseñado».

En parte porque los conjuntos de datos utilizados para entrenar una IA son demasiado grandes para que las personas los supervisen y filtren con éxito, todavía no hay una forma infalible de proteger la IA contra el desvío. Para ayudar a la comunidad de desarrolladores, el nuevo informe ofrece una visión de los tipos de ataques que podrían sufrir sus productos de IA y enfoques correspondientes para reducir el daño.

El informe considera los cuatro principales tipos de ataques: evasión, envenenamiento, privacidad y ataques de abuso. También los clasifica según múltiples criterios, como los objetivos y metas del atacante, las capacidades y el conocimiento.

  • Los ataques de evasión, que ocurren después de que se implementa un sistema de IA, intentan alterar una entrada para cambiar cómo el sistema responde a ella. Ejemplos incluirían agregar marcas a señales de alto para hacer que un vehículo autónomo las interprete como señales de límite de velocidad o crear marcas de carril confusas para hacer que el vehículo se desvíe de la carretera.
  • Los ataques de envenenamiento ocurren en la fase de entrenamiento al introducir datos corruptos. Un ejemplo sería deslizar numerosas instancias de lenguaje inapropiado en registros de conversaciones, para que un chatbot interprete estas instancias como parloteo lo suficientemente común como para usarlo en sus propias interacciones con clientes.

Los ataques de privacidad, que ocurren durante la implementación, son intentos de aprender información sensible sobre la IA o los datos en los que se entrenó para mal usarla. Un adversario puede hacerle numerosas preguntas legítimas a un chatbot y luego utilizar las respuestas para ingeniería inversa del modelo para encontrar sus puntos débiles o adivinar sus fuentes. Agregar ejemplos indeseados a esas fuentes en línea podría hacer que la IA se comporte de manera inapropiada, y hacer que la IA olvide esos ejemplos específicos no deseados después del hecho puede ser difícil.

Los ataques de abuso implican la inserción de información incorrecta en una fuente, como una página web o un documento en línea, que una IA luego absorbe. A diferencia de los ataques de envenenamiento mencionados anteriormente, los ataques de abuso intentan darle a la IA piezas incorrectas de información de una fuente legítima pero comprometida para cambiar el uso previsto del sistema de IA.

«La mayoría de estos ataques son bastante fáciles de llevar a cabo y requieren un conocimiento mínimo del sistema de IA y capacidades adversarias limitadas», dijo la coautora Alina Oprea, profesora en la Universidad Northeastern. «Los ataques de envenenamiento, por ejemplo, pueden llevarse a cabo controlando unas pocas docenas de muestras de entrenamiento, lo que sería un porcentaje muy pequeño de todo el conjunto de entrenamiento».

Los autores, que también incluyeron a los investigadores de Robust Intelligence Inc., Alie Fordyce e Hyrum Anderson, desglosan cada una de estas clases de ataques en subcategorías y agregan enfoques para mitigarlos, aunque la publicación reconoce que las defensas que los expertos en IA han ideado contra ataques adversarios hasta ahora son incompletas.

Las mejores herramientas de Inteligencia Artificial Generativa

TOP AI tools! Index by Generative AI 2024

Ver listado completo

ChatGPT – Use it for engaging conversations, gain insights, automate tasks, and witness the future of AI, all in one place. https://chat.openai.com/

Copilot – Copilot focuses on programming and coding assistance. https://www.microsoft.com/en-us/microsoft-copilot

Bing AI Search – AI-powered search assistant for research and creativity. https://www.bing.com/new

Wand AI – Creating advanced AI models and systems. https://wand.ai

Notion – Connected workspace with AI for writing, planning, and sharing. https://affiliate.notion.so/hsaconq7prdk

Character.ai – Allows non-technical users to create their own chatbots and converse with chatbots created by other users. https://beta.character.ai/

Mintlify – Meet the modern standard for public facing documentation. Beautiful out of the box, easy to maintain, and optimized for user engagement. https://mintlify.com/

Scribe – Turn any process into a step-by-step guide, instantly. https://scribehow.com/

Snyk – It is trained on security-specific data, and is all curated by top security researchers to give you all the power of AI without any of the drawbacks. https://snyk.io/

Tabnine – AI assistant that speeds up delivery and keeps your code safe https://www.tabnine.com/

WebCopilot – Write your Notion pages with AI. Speed up your writing process and focus on what matters.https://www.webcopilot.ai/

Replit Ghostwriter – An AI pair programmer that helps you write better code, faster. https://replit.com/site/ghostwriter

Anyword – Get more conversions and sales with Anyword. Anyword’s powerful predictive analytics tell you what works before you go live. https://anyword.com/

Rytr – A better, faster way to write profile bios, Facebook ads and landing page copies. https://rytr.me/

Bearly AI – Drop in research papers, pdfs, articles, word docs and more to get a thorough summary of the content.https://bearly.ai/

Inflection –  A personal AI for everyone. https://inflection.ai/

Glean – The AI-powered work assistant. https://www.glean.com/

New Relic – Data for engineers to monitor, debug, and improve their entire stack. https://newrelic.com/

Afforai – Afforai is an AI chatbot that searches, summarizes, and translates info from multiple sources to produce trustworthy research. https://afforai.com/

Quickchat AI – No-code platform that leverages Large Language Models such as OpenAI’s GPT to craft customizable AI Assistants tailored to your business. https://www.quickchat.ai/

Patched – Automated security patches for your code repositories. – https://www.patched.codes/

Agent4.ai – Lets you create custom voice experiences for callers to your business or mobile phone. https://agent4.ai/

Log Analyzer Pro GPT – Log Analyzer Pro GPT, specializes in analyzing systems, applications, web servers, and database logs, particularly for finance and healthcare industries. https://loganalyzergpt.com/

Apex – Use APEX A.L.I.C.E to unlock value from data in real-time. https://www.apexe3.com/

Stelo AI – Your AI-based Intelligent Document Processing Partner https://stelo.ai/

Ivy AI – Ivy is an all-in-one AI chatbot built to power recruitment, retention, and customer service across your organization. https://ivy.ai/

Inteligencia artificial generativa: una introducción a la tecnología de inteligencia artificial generativa y sus implicaciones en la educación.

Generative AI : An introduction to generative artificial intelligence technology and its implications on education. JISC, 2023

Texto completo

Las herramientas de IA generativa, como ChatGPT, ya están teniendo un impacto significativo en la educación. Estas herramientas están planteando retos considerables en torno a la evaluación y la integridad académica, pero también presentan oportunidades, como el ahorro de tiempo del personal al ayudar en la creación de materiales de aprendizaje o la presentación a los estudiantes de nuevas herramientas para mejorar su forma de trabajar.

El impacto de la IA generativa se está dejando sentir mucho más allá de la educación y ya está empezando a cambiar nuestra forma de trabajar. Esto plantea más retos y oportunidades a la hora de garantizar que la educación prepara a los estudiantes para un lugar de trabajo mejorado por la IA y que las evaluaciones son auténticas pero sólidas.

Puntos clave

  • La preocupación inicial se centra en la evaluación y la integridad académica.
  • La acción inmediata es que todo el personal se comprometa con la IA generativa y la pruebe por sí mismo, aprendiendo cómo se verán afectadas sus evaluaciones.
  • La IA generativa puede utilizarse de muchas otras formas, además de para producir trabajos para la evaluación.
  • La IA generativa se utilizará cada vez más en el lugar de trabajo
  • Es probable que la IA generativa sea omnipresente, por lo que prohibirla no es una opción.