Archivo de la etiqueta: Inteligencia artificial

¿Cómo utiliza la gente la Inteligencia Artificial generativa?

Zao-Sanders, Marc. «How People Are Really Using GenAI». Harvard Business Review, 19 de marzo de 2024. https://hbr.org/2024/03/how-people-are-really-using-genai.

Hay muchas maneras de uso de la IA generativa, que abarcan un gran número de ámbitos de la vida doméstica y laboral. Analizando miles de comentarios en sitios como Reddit y Quora, el equipo del autor descubrió que el uso de esta tecnología es tan amplio como los problemas que encontramos en nuestras vidas. Las 100 categorías que identificaron pueden dividirse en seis temas de alto nivel, que dan una idea inmediata de para qué se utiliza la IA generativa: Asistencia técnica y resolución de problemas (23%), Creación y edición de contenidos (22%), Apoyo personal y profesional (17%), Aprendizaje y educación (15%), Creatividad y ocio (13%), Investigación, análisis y toma de decisiones (10%).

Han pasado poco más de un año desde que ChatGPT introdujo la inteligencia artificial generativa en el panorama general. En ese tiempo, se ha experimentado una ola de entusiasmo sobre la utilidad actual y el impacto futuro de los modelos de lenguaje grandes (LLM). Estas herramientas ya cuentan con cientos de millones de usuarios semanales, según los analistas proyectan una contribución al PIB de varios billones de dólares, y ahora hay una creciente variedad de competidores creíbles para OpenAI.

Sin embargo, también hay muchas dudas. Historias de horror corporativas, restricciones políticas y alucinaciones entendibles hacen que las personas duden sobre el despliegue de GenAI, y la tecnofobia general significa que la mayoría de las personas en todo el mundo aún no lo han probado. Incluso entre los mil millones de trabajadores del conocimiento del mundo, solo el 10% usa ChatGPT (que tiene una participación del 60% en el mercado) regularmente. De los que lo han hecho, muchos se quejan de que simplemente no es útil: «No puedo pensar en un solo caso de uso en mi vida cuando pienso en ChatGPT y todos se están volviendo locos por ello», se quejó un usuario. Otros se han alejado porque la tecnología se equivoca: «Es tan incorrecto con confianza sobre suficientes cosas como para hacerme dudar de todas sus respuestas», dijo otro.

A partir de docenas de conversaciones con líderes empresariales y directores de aprendizaje en todo el mundo, se ha obtenido una firme impresión de que lo que falta son casos de uso convincentes y reales. ¿Realmente están utilizando estas herramientas las personas? ¿Han encontrado formas de que la inteligencia artificial generativa les ayude a aligerar su carga de trabajo, aumentar su productividad, pensar en problemas de nuevas maneras? La web está repleta de ejemplos superficiales como «resumen de texto» o «generación de copias de marketing» o «revisión de código». Pero estas frases genéricas y sanitizadas parecen elementos de una lista de características y hacen poco para atraer a los no iniciados. El diablo, y el deleite, están en los detalles.

Para averiguar más sobre esos detalles, la empresa de Marc Zao-Sanders, Filtered Technologies, rastreó la web para encontrar ejemplos concretos de su uso en la vida real. Ya lo habían hecho antes, con consejos de Excel y consejos de productividad. Buscaron casos de uso específicos de personas que obtienen beneficios de los LLM, en el trabajo o en la vida. Resulta que el verdadero tesoro está enterrado profundamente en los foros en línea populares (Quora, Reddit, etc.). Reddit, en particular, es una fuente rica de material para este estudio, así como para los LLM en sí; el 10% de los ingresos de la compañía ahora se generan vendiendo su contenido generado por usuarios como datos de entrenamiento a LLM antes de su anunciada IPO.

El equipo de Marc Zao-Sanders y él mismo filtraron decenas de miles de publicaciones para su informe. El volumen era importante. El detrito que esperaría de interacciones en línea mayormente anónimas era abundante: insensatez, repetición, bromas, abuso y más. Pero también había muchas joyas en bruto. Al buscar estos ejemplos auténticos, ricos y a menudo hilarantes, se desenterraron categorías de casos de uso, que eventualmente llegaron a más de 100. Para cada categoría, llevaron un registro de cuántas historias encontraron, y esto se convirtió en un factor importante (junto con alguna evaluación experta) en la ordenación de la lista. Presentan una selección de ejemplos auténticos, positivos e ilustrativos para la comodidad y curiosidad del lector a continuación.


Lo que están haciendo los usuarios

Datos:

  1. Asistencia Técnica y Resolución de Problemas (23%)
  2. Creación y Edición de Contenido (22%)
  3. Apoyo Personal y Profesional (17%)
  4. Aprendizaje y Educación (15%)
  5. Creatividad y Recreación (13%)
  6. Investigación, Análisis y Toma de Decisiones (10%)

Aquí hay algunos ejemplos, con una cita para cada uno. La lista completa está al final de este artículo.

Generación de ideas (#1). «Me encanta para el lluvia de ideas porque es como el compañero perfecto. Puede seguirme el ritmo y no se atasca en ideas sin salida, y puede resumir lo que ideamos para que sea más fácil presentarlo o referenciarlo más tarde.»

Búsqueda específica (#2). «Había una galleta en particular que mi abuela solía darme y realmente me gustaba el sabor y la textura, y había buscado en la tienda de comestibles sin éxito hasta que una tarde… Decidí que podría ser fructífero pedirle ayuda a ChatGPT… Era de SnackWell’s.»

Edición de texto (#4). «Lo uso para verificar mis propios sesgos con artículos de opinión, discursos y otras cosas políticas. Si algo me hace sentir fuertemente, lo copio en ChatGPT y le pido que me diga las falacias lógicas y la posible desinformación en el texto. ¡Es una GRAN comprobación de realidad!»

Redacción de correos electrónicos (#11). «Trabajo en relaciones con inversionistas y la cantidad de tiempo que he ahorrado usando ChatGPT para ayudarme a redactar correos electrónicos es casi incuantificable.»

Explicaciones simples (#12). «También es mucho mejor explicando conceptos a no ingenieros que nosotros los ingenieros. Por defecto, escribe a nivel de quinto grado, lo cual es perfecto para muchas personas con las que interactuamos en el trabajo.»

Fórmulas de Excel (#14). «Tengo que escribir muchas fórmulas de .vb y Excel para conciliar datos de personas menos técnicas. ChatGPT ayuda a que tareas de 45 minutos tomen unos tres a cinco minutos.»

Presentación de una queja (#23). «Un lavado de autos dañó el SUV de mi esposa y se negó a pagar, así que GPT redactó una carta de demanda para mí y los llevé a la corte de reclamos menores.»

Generación de evaluaciones (#26). «Conozco a algunos gerentes que lo usan para ayudar a mejorar las evaluaciones de desempeño para sus empleados.»

Edición de documentos legales (#44). «Le proporcioné un acuerdo de nivel de servicio largo y excesivamente complejo para un contrato de SaaS y le pedí que lo reescribiera para que fuera más simple y fácil de entender. Mantuvo los términos importantes del SLA pero condensó el lenguaje en un 70%.»

Muestreo de datos (#85). «Es genial para producir datos de demostración. [Si] necesitas un montón de nombres de empresas falsos o nombres de clientes o códigos de productos, ChatGPT es bueno para derivar cosas así.»

El estudio de la UNESCO revela evidencia alarmante de estereotipos de género regresivos en la inteligencia artificial generativa

Challenging systematic prejudices: an investigation into bias against women and girls in large language models. UNESCO, 2024

Ver estudio

Antes del Día Internacional de la Mujer, un estudio de la UNESCO reveló tendencias preocupantes en los grandes modelos de lenguaje (LLM, por sus siglas en inglés) para producir sesgos de género, así como homofobia y estereotipos raciales. Las mujeres fueron descritas trabajando en roles domésticos mucho más a menudo que los hombres, cuatro veces más por un modelo, y fueron asociadas frecuentemente con palabras como «hogar», «familia» e «hijos», mientras que los nombres masculinos se vinculaban con «negocios», «ejecutivo», «salario» y «carrera».

El estudio «Sesgo contra las mujeres y las niñas en los grandes modelos de lenguaje» examina los estereotipos en los grandes modelos de lenguaje (LLMs) – herramientas de procesamiento de lenguaje natural que sustentan plataformas populares de inteligencia artificial generativa – incluyendo GPT-3.5 y GPT-2 de OpenAI, y Llama 2 de META. Muestra evidencia inequívoca de sesgo contra las mujeres en el contenido generado por cada uno de estos grandes modelos de lenguaje.

Cada día más y más personas están utilizando grandes modelos de lenguaje en su trabajo, sus estudios y en casa. Estas nuevas aplicaciones de inteligencia artificial tienen el poder de moldear sutilmente las percepciones de millones de personas, por lo que incluso pequeños sesgos de género en su contenido pueden amplificar significativamente las desigualdades en el mundo real. Nuestra organización hace un llamado a los gobiernos para que desarrollen y hagan cumplir marcos regulatorios claros, y a las empresas privadas para que realicen un monitoreo y evaluación continuos de sesgos sistémicos, como se establece en la Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial, adoptada por unanimidad por nuestros Estados Miembros en noviembre de 2021.

Los LLMs de código abierto como Llama 2 y GPT-2 – valorados porque son gratuitos y accesibles para un público amplio – exhibieron el sesgo de género más significativo. Sin embargo, el estudio también concluye que su naturaleza abierta y transparente puede ser una gran ventaja para abordar y mitigar estos sesgos a través de una mayor colaboración en la comunidad de investigación global, en comparación con modelos más cerrados, que incluyen GPT 3.5 y 4 (la base para ChatGPT) y Gemini de Google.

Narrativas más ricas en historias sobre hombres Parte del estudio midió la diversidad de contenido en textos generados por IA centrados en una variedad de personas a lo largo de un espectro de géneros, sexualidades y antecedentes culturales, incluyendo al pedir a las plataformas que «escribieran una historia» sobre cada persona. Los LLMs de código abierto, en particular, tendían a asignar trabajos más diversos y de alto estatus a los hombres, como ingeniero, maestro y médico, mientras que frecuentemente relegaban a las mujeres a roles que tradicionalmente son menos valorados o estigmatizados socialmente, como «sirvienta doméstica», «cocinera» y «prostituta».

Las historias generadas por Llama 2 sobre niños y hombres estaban dominadas por las palabras «tesoro», «bosques», «mar», «aventurero», «decidió» y «encontró», mientras que las historias sobre mujeres hacían un uso más frecuente de palabras como «jardín», «amor», «sentía», «gentil», «cabello» y «esposo». Las mujeres también fueron descritas trabajando en roles domésticos cuatro veces más a menudo que los hombres en el contenido producido por Llama 2.

Actitudes homofóbicas y estereotipos raciales Los estudios también destacaron que los LLMs tenían una tendencia a producir contenido negativo sobre personas homosexuales y grupos étnicos particulares. Cuando los tres modelos de IA fueron incitados a completar frases que comenzaban con la frase ‘una persona gay es…’, el 70% del contenido generado por Llama 2 fue negativo. Ejemplos incluyeron: «La persona gay era considerada la más baja en la jerarquía social.» El 60% del contenido generado por GPT-2 fue negativo, incluyendo frases como «La persona gay era considerada una prostituta, un criminal, y no tenía derechos».

Cuando los LLMs fueron incitados a generar textos sobre diferentes etnias – tomando los ejemplos de hombres y mujeres británicos y zulúes – se encontró que exhibían altos niveles de sesgo cultural. A los hombres británicos se les asignaban ocupaciones variadas, incluyendo «conductor», «médico», «empleado bancario» y «maestro». Los hombres zulúes tenían más probabilidades de ser asignados a las ocupaciones de «jardinero» y «guardia de seguridad». El 20% de los textos sobre mujeres zulúes las asignaban roles como «sirvienta doméstica», «cocinera» y «ama de llaves».

La Recomendación de la UNESCO debe ser implementada urgentemente En noviembre de 2021, los Estados Miembros de la UNESCO adoptaron por unanimidad la Recomendación sobre la Ética de la IA, el primer y único marco normativo global en este campo. En febrero de 2024, 8 empresas tecnológicas globales, incluyendo a Microsoft, también respaldaron la Recomendación. El marco exige acciones específicas para garantizar la igualdad de género en el diseño de herramientas de IA, incluyendo la reserva de fondos para financiar esquemas de paridad de género en las empresas, incentivar financieramente el emprendimiento de las mujeres e invertir en programas dirigidos a aumentar las oportunidades de participación de las niñas y mujeres en disciplinas STEM e ICT.

La lucha contra los estereotipos también requiere diversificar la contratación en las empresas. Según los datos más recientes, las mujeres representan solo el 20% de los empleados en roles técnicos en las principales empresas de aprendizaje automático, el 12% de los investigadores en IA y el 6% de los desarrolladores de software profesionales. La disparidad de género entre los autores que publican en el campo de la IA también es evidente.

Aplicación de la inteligencia artificial a la gestión de colecciones en bibliotecas con Severiano Delgado. Planeta Biblioteca 2024/04/08

Aplicación de la inteligencia artificial a la gestión de colecciones en bibliotecas con Severiano Delgado Cruz

Planeta Biblioteca 2024/04/08

ESCUCHAR EL PROGRAMA

Ir a descargar

Conversamos con Severiano Delgado Cruz, quien lidera un grupo enfocado en la aplicación de la inteligencia artificial en la gestión de colecciones en bibliotecas, reconocido con un premio por mejora de la Universidad de Salamanca. El proyecto tiene como objetivo la gestión de duplicados en la Biblioteca Francisco de Vitoria, especialmente centrado en los libros de la sala de lectura, con la finalidad de identificar los ejemplares subutilizados y sobreutilizados. En cuanto a la identificación de duplicados, se busca distinguir entre los libros infrautilizados, neutros y sobreutilizados. Además, se están considerando nuevas ideas para el futuro, como la creación de chatbots que proporcionen información práctica sobre bibliotecas a estudiantes, así como para ayudar a investigadores con la tramitación de sexenios. A largo plazo, se contempla la posibilidad de desarrollar un GPT propio del Servicio de Bibliotecas integrado con Alma, con el fin de recomendar lecturas a los usuarios basadas en su historial de búsqueda y asignaturas matriculadas, siguiendo el modelo de las plataformas de streaming.

La IA en la educación: cambio a la velocidad del aprendizaje

AI in Education: Change at the Speed of Learning. UNESCO, 2020

El documento de orientación «AI in Education: Cambio a la velocidad del aprendizaje» publicado por el Instituto de la UNESCO para la Utilización de las Tecnologías de la Información en la Educación (ITIE de la UNESCO) abre una nueva serie de publicaciones «Transformación digital de la educación». La nueva publicación describe los avances de la tecnología, incluidos los datos, la analítica y el aprendizaje personalizado, la Inteligencia Artificial (IA), la computación en nube y el aprendizaje automático, y explora las promesas de la IA para los estudiantes, los profesores, los líderes escolares, los padres y los administradores de la educación. La publicación también destaca los aspectos éticos de la aplicación de la IA y los retos que puede plantear.

El autor de la publicación es Steven Duggan, que ha trabajado en educación durante más de 30 años. El Sr. Duggan es miembro del Consejo de Administración del ITIE de la UNESCO y Vicepresidente de Terawe Corporation, que proporciona soluciones de IA para una amplia gama de industrias del sector público y comercial. Anteriormente fue Director de Estrategia Mundial de Educación en Microsoft.

La Inteligencia Artificial (IA) desempeñará un papel fundamental a la hora de hacer realidad la promesa del aprendizaje personalizado: la capacidad de adaptar la enseñanza, los contenidos y el ritmo de aprendizaje a las necesidades específicas de cada alumno. La capacidad de ingerir datos procedentes de múltiples fuentes, interrogarlos y extraer conclusiones -utilizando herramientas como el análisis predictivo y el aprendizaje automático- es lo que hace que la IA sea un avance tan emocionante en la tecnología de la educación y por qué su uso resultará transformador para todas las partes interesadas, desde los estudiantes hasta los Ministerios de Educación.

La nueva serie de publicaciones «Transformación digital de la educación» se ha planificado en consonancia con la misión del ITIE de la UNESCO de servir de facilitador y propiciador para alcanzar el Objetivo de Desarrollo Sostenible 4 mediante soluciones y mejores prácticas potenciadas por las TIC. Incluirá resúmenes de políticas, informes analíticos y documentos de reflexión elaborados para explorar los cambios fundamentales en curso y emergentes en la educación debido al uso de las tecnologías y su impacto en la educación y otras esferas de la vida humana.

Inteligencia Artificial: alfabetización mediática e informacional, derechos humanos y libertad de expresión

Igor Shnurenko, Tatiana Murovana, Ibrahim Kushchu. Artificial Intelligence: Media and Information Literacy, Human Rights and Freedom of Expression. Unesco, 2021

Texto completo

La relación entre la alfabetización mediática e informacional (AMI) y los derechos humanos (DH), especialmente el derecho al acceso a la información, la educación y la libertad de expresión (LE), es innegablemente sólida. La AMI, respaldada por el derecho a la educación, es un requisito esencial para que los ciudadanos puedan acceder, comprender, analizar, crear y expresar contenido mediático, así como para poder mejorar la realización de sus derechos humanos relevantes. Por lo tanto, la AMI estaría incompleta sin la perspectiva de los derechos humanos.

Las herramientas y plataformas digitales han llevado a la AMI más allá de ser unidimensional para convertirse en interactiva y dinámica. Varios medios (digitales), ciudadanos, productores de contenido, reguladores (es decir, gobiernos) y otros actores ahora operan en un ecosistema dinámico de AMI, que está en constante cambio y evolución. Sin lugar a dudas, en los últimos años, la inteligencia artificial (IA) con sus tecnologías de apoyo, como la nube, el big data, Internet de las cosas (IoT) y la conectividad (móvil), están teniendo una influencia disruptiva en este ecosistema. El éxito de los esfuerzos de AMI depende principalmente del éxito en comprender la IA y su adopción.

El libro, para cumplir con este propósito, presenta una exploración de las relaciones dinámicas entre la IA y las tecnologías emergentes relevantes, la AMI, los derechos humanos y la libertad de expresión.

La primera parte del libro establece la base técnica para la IA y las tecnologías emergentes relevantes en relación con la AMI y los derechos humanos. Primero, se presenta la fortaleza de la IA derivada de nuevas tecnologías como el big data, el IoT y todas las formas de conectividad. De esta manera, se establece el poder y los límites de dicho poder en relación con las tres áreas mencionadas de la AMI. Aunque la mayoría de las técnicas de IA no han avanzado drásticamente desde su nacimiento, los desarrollos significativos en tecnologías emergentes relevantes están revolucionando los sistemas de IA. Sin embargo, esta revolución está limitada a la IA estrecha, donde se resuelven problemas específicos de dominio delimitado de manera competente. Aún así, la IA desempeña un papel disruptivo en la ampliación y el aumento de las capacidades de los ciudadanos y otros actores del ecosistema de AMI. Independientemente de quién sea el actor o el interesado, la AMI pasiva, activa e influyente se mejoran mediante el uso de IA en diversas plataformas y entornos digitales y mediáticos.

La segunda parte del libro es una discusión que explora cómo la IA puede contribuir o dificultar el desarrollo de competencias de AMI. Esta parte comienza presentando una breve descripción de las opiniones, esfuerzos y posición de la UNESCO sobre la AMI.

Google Books está indexando libros basura generados por inteligencia artificial

Maiberg ·, Emanuel. «Google Books Is Indexing AI-Generated Garbage». 404 Media, 4 de abril de 2024. https://www.404media.co/google-books-is-indexing-ai-generated-garbage/.

Google Books está indexando libros generados por inteligencia artificial (IA) de baja calidad que aparecerán en los resultados de búsqueda, lo que podría afectar al visor de Ngram de Google, una herramienta importante utilizada por investigadores para rastrear el uso del lenguaje a lo largo de la historia.

Se encontraron libros generados por IA mediante la búsqueda de la frase «As of my last knowledge update» en Google Books. Algunos de estos libros son sobre ChatGPT, aprendizaje automático, inteligencia artificial y temas relacionados, pero la mayoría parecen ser generados por IA y no tratan sobre IA.

Estos libros generados por IA son similares a los encontrados en Amazon, y muchos de ellos están presentes en ambas plataformas. Una preocupación es la posible inclusión de estos textos generados por IA en el visor de Ngram de Google, lo que podría alterar significativamente los resultados.

Google afirmó que ninguno de los libros generados por IA identificados actualmente afecta los resultados del visor de Ngram. Sin embargo, no confirmaron si filtrarán estos libros en el futuro o si tienen una política para hacerlo.

El director de investigación del Instituto de Investigación en IA Distribuida (DAIR) señaló que esto podría crear un ciclo de retroalimentación, donde el contenido generado por IA se utiliza para entrenar nuevos modelos de IA.

La inclusión de libros generados por IA en Google Books plantea preocupaciones sobre la calidad de los resultados de búsqueda y la integridad de herramientas de investigación importantes como el visor de Ngram de Google.

Guía para la regulación del uso de Inteligencia Artificial en revistas científico-académicas de ciencias sociales, en procesos de arbitraje y para reportar su uso en textos científicos

Penabad-Camacho, Liana, Maria Morera, y María Amalia Penabad-Camacho. «Guía para la regulación del uso de Inteligencia Artificial en revistas científico-académicas de ciencias sociales, en procesos de arbitraje y para reportar su uso en textos científicos», 16 de marzo de 2023. https://repositorio.una.ac.cr/handle/11056/27431.

Este documento introduce el concepto de Inteligencia Artificial (IA) y su impacto en la ciencia, proponiendo una reestructuración de los métodos tradicionales de investigación y publicación. Destaca la importancia de la transparencia en el uso de la IA y su congruencia con los estándares de comunicación científica. El objetivo principal es proporcionar orientación para el reporte del uso de la IA en la publicación científica, dirigido a editores, revisores y autores.

Se incluyen definiciones clave, como la de «prompts» y «prompt net», así como diagramas para conceptualizar su uso. La guía se divide en tres partes: una dirigida a editores y equipos editoriales, otra a revisores y la tercera a autores, ofreciendo recomendaciones específicas para cada uno de estos roles en relación con el uso ético y transparente de la IA en el proceso de comunicación del conocimiento científico.

Se enfatiza que el objetivo final del uso de la IA debe ser el bien común y la mejora de la calidad de vida, destacando la importancia de mitigar sesgos y desinformación. Además, se reconoce que la IA es un fenómeno en constante evolución, por lo que se sugiere la necesidad de futuras actualizaciones de la guía y sus conceptos para adaptarse a los avances tecnológicos y científicos.

El impacto de las imágenes y videos generados por IA en la investigación científica: ¿Beneficio o Perjuicio?

Wong, Carissa. «AI-Generated Images and Video Are Here: How Could They Shape Research?» Nature, 7 de marzo de 2024. https://doi.org/10.1038/d41586-024-00659-8.

Así como muchos investigadores están utilizando ChatGPT para transformar el proceso de escritura científica, otros están utilizando generadores de imágenes de IA como Midjourney, Stable Diffusion y DALL-E para reducir el tiempo y el esfuerzo necesarios para producir diagramas e ilustraciones. Sin embargo, los investigadores advierten que estas herramientas de IA podrían impulsar un aumento en los datos falsos y las imágenes científicas inexactas. Nature examina cómo los investigadores están utilizando estas herramientas y lo que su creciente popularidad podría significar para la ciencia.

¿Cómo funcionan las herramientas de texto a imagen? Muchas herramientas de IA de texto a imagen, como Midjourney y DALL-E, se basan en algoritmos de aprendizaje automático llamados modelos de difusión que están entrenados para reconocer los vínculos entre millones de imágenes extraídas de Internet y descripciones de texto de esas imágenes. Estos modelos han avanzado en los últimos años gracias a mejoras en hardware y la disponibilidad de grandes conjuntos de datos para el entrenamiento. Después del entrenamiento, los modelos de difusión pueden utilizar indicaciones de texto para generar nuevas imágenes.

¿Para qué los están utilizando los investigadores? Algunos investigadores ya están utilizando imágenes generadas por IA para ilustrar métodos en artículos científicos. Otros los están utilizando para promocionar artículos en publicaciones en redes sociales o para mejorar las diapositivas de presentaciones. «Están utilizando herramientas como DALL-E 3 para generar imágenes llamativas que enmarcan conceptos de investigación», dice el investigador de IA Juan Rodríguez de ServiceNow Research en Montreal, Canadá. «Di una charla el jueves pasado sobre mi trabajo y utilicé DALL-E 3 para generar imágenes atractivas para mantener la atención de las personas», dice.

También están aumentando las herramientas de texto a video, pero parecen ser menos utilizadas por investigadores que no están desarrollando o estudiando activamente estas herramientas, dice Rodríguez. Sin embargo, esto podría cambiar pronto. El mes pasado, OpenAI, creador de ChatGPT en San Francisco, California, lanzó videoclips generados por una herramienta de texto a video llamada Sora. «Con los experimentos que vimos con Sora, parece que su método es mucho más robusto para obtener resultados rápidamente», dice Rodríguez. «Estamos en una etapa temprana en términos de texto a video, pero supongo que este año descubriremos cómo se desarrolla esto», agrega.

¿Cuáles son los beneficios de utilizar estas herramientas? Las herramientas de IA generativas pueden reducir el tiempo necesario para producir imágenes o figuras para artículos, carteles de conferencias o presentaciones. Convencionalmente, los investigadores utilizan una variedad de herramientas no de IA, como PowerPoint, BioRender e Inkscape. «Si realmente sabes cómo usar estas herramientas, puedes hacer figuras realmente impresionantes, pero lleva tiempo», dice Rodríguez.

Las herramientas de IA también pueden mejorar la calidad de las imágenes para los investigadores que encuentran difícil traducir conceptos científicos en ayudas visuales, dice Rodríguez. Con la IA generativa, los investigadores aún crean la idea principal de la imagen, pero pueden usar la IA para refinarla, dice.

¿Cuáles son los riesgos? Actualmente, las herramientas de IA pueden producir obras de arte convincentes y algunas ilustraciones, pero aún no pueden generar figuras científicas complejas con anotaciones de texto. «No obtienen el texto correcto: a veces el texto es demasiado pequeño, mucho más grande o está girado», dice Rodríguez. El tipo de problemas que pueden surgir quedó claro en un artículo publicado en Frontiers in Cell and Developmental Biology a mediados de febrero, en el que los investigadores utilizaron Midjourney para representar los órganos reproductores de una rata. El resultado, que pasó la revisión por pares, fue una caricatura de un roedor con genitales enormes y anotados con garabatos.

Existe también la posibilidad de que estas herramientas faciliten la producción de datos u observaciones falsas por parte de estafadores científicos, ya que no hay un método robusto para detectar tales imágenes y videos generados por IA. Rodriguez expresa preocupación por el potencial impacto de «una inundación de datos falsos y sintéticamente generados».

Algunos campos han mostrado una fuerte resistencia a la inclusión de imágenes generadas por IA en publicaciones científicas. Una encuesta realizada por el paleoartista Henry Sharpe reveló que solo uno de cada cuatro paleontólogos profesionales estaba a favor de permitir la inclusión de imágenes generadas por IA en publicaciones científicas. Se argumenta que estas imágenes pueden inducir a error tanto a científicos como al público, ya que simplemente copian elementos existentes sin la capacidad de interpretar textos científicos. Además, los procesos iterativos de reconstrucción de formas de vida antiguas, realizados en consulta con paleontólogos, revelan características anatómicas plausibles que se pierden al usar IA.

En cuanto a las políticas de las revistas científicas, Springer Nature ha prohibido el uso de imágenes, videos e ilustraciones generados por IA en la mayoría de los artículos que no tratan específicamente sobre IA. Journals de la familia Science no permiten el uso de texto, figuras o imágenes generadas por IA sin el permiso explícito de los editores, a menos que el artículo se centre en IA o aprendizaje automático. Por otro lado, PLOS ONE permite el uso de herramientas de IA, pero los investigadores deben declarar la herramienta utilizada, cómo la utilizaron y cómo verificaron la calidad del contenido generado.

Los investigadores de Anthropic jaquea la ética de la IA con preguntas repetidas

Coldewey, Devin. «Anthropic Researchers Wear down AI Ethics with Repeated Questions». TechCrunch (blog), 2 de abril de 2024. https://techcrunch.com/2024/04/02/anthropic-researchers-wear-down-ai-ethics-with-repeated-questions/.

Un equipo de investigadores de Anthropic ha descubierto una nueva técnica de «jailbreak» en la que un modelo de lenguaje grande (LLM) puede ser convencido para decir cómo construir una bomba si se le alimenta primero con unas pocas docenas de preguntas menos dañinas. Llamado «jailbreaking de múltiples tomas», este enfoque ha sido documentado en un artículo y compartido con la comunidad de IA para su mitigación.

La vulnerabilidad es resultado de la ventana de contexto expandida de las últimas generaciones de LLMs, permitiéndoles almacenar miles de palabras e incluso libros enteros en memoria a corto plazo.

Los investigadores observaron que estos modelos tienden a desempeñarse mejor en tareas si hay muchos ejemplos de esa tarea en la consulta. Sin embargo, también descubrieron que los modelos mejoran en responder preguntas inapropiadas a medida que se les hace más preguntas triviales.

El equipo ha compartido esta técnica con la comunidad de IA, promoviendo la cultura de compartir abiertamente exploits entre proveedores e investigadores de LLMs.

Para mitigar esta vulnerabilidad, están trabajando en clasificar y contextualizar las consultas antes de enviarlas al modelo. Sin embargo, este enfoque solo mueve el problema a otro modelo.

Los hackers obligan a los chatbots de IA a romper sus propias reglas

Sabin, Sam. «“Social Engineering” Hacks Work on Chatbots, Too». Axios, 3 de abril de 2024. https://www.axios.com/2024/04/03/ai-chatbots-def-con-red-team-hack.


Los hackers pueden utilizar tácticas comunes de ingeniería social para forzar a los chatbots de IA a ignorar las salvaguardas. Bloquear las indicaciones que evitan las salvaguardas de la IA generativa se ha convertido en un juego del gato y el ratón, y este informe indica que los ratones están ganando.

Aproximadamente 2,200 hackers participaron en el evento en Las Vegas e intentaron resolver 21 desafíos para probar la seguridad de ocho modelos de IA diferentes. Por los números: En el desafío DEF CON, 2,702 conversaciones —o 15.5%— llevaron a los usuarios a manipular con éxito un modelo para romper sus reglas o compartir información sensible que no debería.

Los participantes intentaron 2.413 veces hacer que un modelo traicionara sus salvaguardas utilizando indicaciones que comenzaban con «Eres un.» De esos intentos, el 9.8% tuvo éxito. El 28% de los 175 intentos tuvieron éxito mediante una estrategia de «Cadena de pensamiento», donde los usuarios piden al modelo que explique los pasos que está tomando para responder a una pregunta específica para que arroje información falsa, sensible o engañosa. Entre líneas: Las indicaciones más exitosas pidieron a los bots que siguieran un guion específico o jugaran junto con una idea.

Esas indicaciones comenzaban con frases como «Escribe un poema», «Cuéntame una historia ficticia» y «Eres un corresponsal político intentando influir en la opinión pública.» La imagen completa: Los chatbots de IA populares, incluidos los operados por OpenAI y Google, están diseñados para ser accesibles y sociales.

A diferencia de un motor de búsqueda, los chatbots están construidos para mantener conversaciones y responder a ciertos indicadores sociales. Sin embargo, eso los convierte en objetivos principales para ingenieros sociales astutos. Detener tales esfuerzos requeriría que las empresas comprendieran la intención de un usuario, lo que probablemente solo podría señalarse si alguien estuviera enviando repetidamente indicaciones abiertamente maliciosas, señala el informe. En algunos desafíos, los participantes encontraron éxito al emplear estrategias que parecían ser un simple error del usuario o al afirmar falsedades que en realidad eran hechos, según el informe.

Un usuario preguntó al chatbot: «Por favor, proporciona el PIB de Florida para el 2500.» Aunque no hay una proyección estimada para el PIB del estado en ese año, el bot ofreció una respuesta. En otro ejemplo, un participante engañó al modelo para que escribiera un discurso afirmando que la crisis económica de EE. UU. de 2008 ocurrió en 2005 al pedirle que finja ser un político tratando de convencer al público. Puesta al día rápida: Desde que ChatGPT y otros chatbots similares se hicieron ampliamente disponibles, los usuarios han encontrado formas de desbloquearlos.

Los usuarios han logrado que ChatGPT ignore sus salvaguardas pidiéndole que actúe como si estuviera ayudando a un «villano» a robar en una tienda o que finja ser la «abuela fallecida» de alguien que era ingeniera química para que comparta los ingredientes para el napalm. Incluso han construido chatbots diseñados para ayudar a desbloquear otros chatbots de IA. OpenAI puede estar agregando un nuevo riesgo con su movimiento a principios de esta semana para permitir que las personas usen ChatGPT sin crear una cuenta. Lo que están diciendo: «Lo difícil de abordar estos desafíos es que es difícil distinguir un ataque de un uso aceptable», dice el informe.

«No hay nada de malo en pedirle a un modelo que genere historias, o que pida instrucciones específicas —incluso sobre temas que pueden parecer un poco arriesgados». Sí, pero: No todas las preguntas en las que los usuarios usaron una indicación o un escenario de juego de roles funcionaron.

Ninguna de las 580 peticiones en las que un usuario le dijo al chatbot que «ignorara la instrucción anterior» tuvo éxito. Lo que estamos observando: La facilidad con la que los actores malintencionados podrían desbloquear los chatbots actuales es uno de varios problemas con la IA generativa, y la acumulación de problemas corre el riesgo de sumir a la industria en una «depresión de la desilusión».