Archivo de la etiqueta: Inteligencia artificial

Inteligencia artificial (IA) «palabra del año» para Oxford, Cambridge y Merriam-Webster.

«AI invades ‘word of the year’ lists at Oxford, Cambridge and Merriam-Webster | TechCrunch». 2023. Accedido 31 de diciembre de 2023. 

Ver completo

La inteligencia artificial (IA) ha dominado el ámbito tecnológico en 2023, y esto se refleja en las listas de «palabra del año» de Oxford, Cambridge y Merriam-Webster. Las palabras relacionadas con la IA resaltadas por estas instituciones ya existen, pero han sido apropiadas con nuevos significados.

En el caso de Cambridge, la palabra es «alucinar», que se refiere a la tendencia de los modelos generativos de IA, como ChatGPT, a inventar información en lugar de admitir que no saben algo. El problema es que estos sistemas no tienen conciencia de lo que no saben, ya que en realidad no saben nada.

Merriam-Webster eligió «auténtico» como su palabra del año, destacando la creciente confusión entre lo «real» y lo «falso» en un mundo afectado por la IA, deepfakes y otros temas relacionados.

Oxford, por otro lado, seleccionó «prompt» como su palabra del año. Se destaca que el término ha ganado una nueva connotación relacionada con el lado humano de la generación de IA. «Prompt» ahora se utiliza como verbo cuando se le indica a un sistema de IA que genere algo basado en una entrada específica.

El artículo reflexiona sobre la aceptación de palabras relacionadas con la IA en el léxico general y destaca la rapidez con la que la tecnología avanza. Aunque términos más avanzados como «espacio latente» aún no han entrado en uso común, se espera que el léxico continúe evolucionando a medida que la tecnología avanza.

El New York Times demanda a OpenAI y Microsoft por infracción de derechos de autor

Grynbaum, M. M., & Mac, R. (2023, diciembre 27). The Times Sues OpenAI and Microsoft Over A.I. Use of Copyrighted Work. The New York Times. https://www.nytimes.com/2023/12/27/business/media/new-york-times-open-ai-microsoft-lawsuit.html

La demanda es la última de una serie de demandas que buscan limitar el uso del presunto «scraping» de amplios fragmentos de contenido de internet, sin compensación, para entrenar a los llamados modelos grandes de inteligencia artificial de lenguaje. Actores, escritores, periodistas y otros creadores que publican sus trabajos en internet temen que la IA aprenda de su material y proporcione chatbots competitivos y otras fuentes de información sin una compensación adecuada.


El periódico The New York Times ha presentado una demanda contra OpenAI y Microsoft, acusándolos de infringir derechos de autor. La queja sostiene que las compañías utilizaron millones de artículos del Times sin permiso para entrenar modelos de inteligencia artificial de lenguaje, como ChatGPT, creando así una competencia directa para el Times. Esta demanda se suma a una serie de acciones legales que buscan limitar el uso del supuesto «scraping» de contenido de internet sin compensación para entrenar modelos de inteligencia artificial de lenguaje. Aunque las negociaciones para una compensación justa estuvieron en marcha desde abril, el Times afirma que no se ha llegado a una resolución con las compañías. La demanda busca daños por miles de millones de dólares y una orden permanente contra la presunta infracción, lo que podría sentar un precedente para la industria. Otras empresas de medios, como Disney, CNN y el propio Times, han bloqueado el acceso a ChatGPT. Este conflicto destaca los desafíos continuos en torno al uso de material con derechos de autor para entrenar modelos de inteligencia artificial.

Sin embargo, la demanda del Times es la primera entre los principales editores de noticias que se enfrenta a OpenAI y Microsoft, las marcas de IA más reconocidas. Microsoft (MSFT) tiene un asiento en la junta directiva de OpenAI y una inversión multimillonaria en la compañía.

En una queja presentada el miércoles, el Times dijo que tiene el deber de informar a sus suscriptores, pero el «uso ilegal del trabajo del Times por parte de Microsoft y OpenAI para crear productos de inteligencia artificial que compiten con él amenaza la capacidad del Times para proporcionar ese servicio». El periódico señaló que OpenAI y Microsoft utilizaron otras fuentes en su «copia a gran escala», pero «dieron énfasis particular al contenido del Times» buscando «montarse en la inversión masiva del Times en su periodismo al utilizarlo para construir productos sustitutivos sin permiso ni pago».

En su queja, el Times dijo que objetó cuando descubrió meses atrás que su trabajo se había utilizado para entrenar los modelos de lenguaje grandes de las compañías. A partir de abril, el Times dijo que comenzó a negociar con OpenAI y Microsoft para recibir una compensación justa y establecer los términos de un acuerdo.

Los investigadores tienen una herramienta mágica para entender la IA: Harry Potter

Borgman, C. L., & Brand, A. (2023). The Future of Data in Research Publishing: From Nice to Have to Need to Have? Harvard Data Science Review. https://doi.org/10.1162/99608f92.b73aae77


Más de dos décadas después de que J.K. Rowling introdujera al mundo a un universo de criaturas mágicas, bosques prohibidos y un mago adolescente, Harry Potter está encontrando una renovada relevancia en un ámbito muy diferente de la literatura: la investigación en inteligencia artificial (IA). Un número creciente de investigadores está utilizando los libros de Harry Potter, superventas, para experimentar con la tecnología generativa de inteligencia artificial, citando la influencia perdurable de la serie en la cultura popular y la amplia gama de datos lingüísticos y juegos de palabras complejos en sus páginas. Revisar una lista de estudios y papers académicos que hacen referencia a Harry Potter ofrece una instantánea de la investigación en inteligencia artificial de vanguardia y algunas de las preguntas más difíciles que enfrenta la tecnología.

En quizás el ejemplo más destacado recientemente, Harry, Hermione y Ron son los protagonistas de un artículo titulado «¿Quién es Harry Potter?» que arroja luz sobre una nueva técnica que ayuda a los modelos de lenguaje grandes a olvidar selectivamente información. Es una tarea de alto riesgo para la industria: los modelos de lenguaje grandes, que alimentan a los chatbots de IA, se construyen con vastas cantidades de datos en línea, incluido material con derechos de autor y otro contenido problemático. Esto ha llevado a demandas y escrutinio público para algunas empresas de IA. Los autores del artículo, los investigadores de Microsoft Mark Russinovich y Ronen Eldan, afirmaron haber demostrado que los modelos de IA pueden ser modificados o editados para eliminar cualquier conocimiento de la existencia de los libros de Harry Potter, incluyendo personajes e historias, sin sacrificar las capacidades de toma de decisiones y análisis del sistema de IA en general. El dúo eligió los libros debido a su familiaridad universal. «Creíamos que sería más fácil para las personas en la comunidad de investigación evaluar el modelo resultante de nuestra técnica y confirmar por sí mismos que el contenido realmente se ha ‘desaprendido'», dijo Russinovich, director de tecnología de Microsoft Azure. «Casi cualquier persona puede idear preguntas para el modelo que indaguen si ‘sabe’ de los libros. Incluso personas que no los hayan leído serían conscientes de elementos de la trama y personajes».

En otro estudio, investigadores de la Universidad de Washington en Seattle, la Universidad de California en Berkeley y el Instituto Allen de IA desarrollaron un nuevo modelo de lenguaje llamado Silo que puede eliminar datos para reducir riesgos legales. Sin embargo, el rendimiento del modelo disminuyó significativamente si solo se entrenaba con texto de bajo riesgo, como libros sin derechos de autor o documentos gubernamentales, según un artículo publicado a principios de este año.

Para profundizar, los investigadores utilizaron libros de Harry Potter para ver si fragmentos individuales de texto influyen en el rendimiento de un sistema de IA. Crearon dos almacenes de datos, o colecciones de sitios web y documentos. El primero incluía todos los libros publicados excepto el primer libro de Harry Potter; otro incluía todos los libros de la serie menos el segundo, y así sucesivamente. «Cuando se eliminan los libros de Harry Potter del almacén de datos, la perplejidad empeora», dijeron los investigadores, refiriéndose a la medida de precisión de los modelos de IA.

Los estudios de IA han citado a Harry Potter durante al menos una década, pero se ha vuelto más común a medida que académicos y tecnólogos se han centrado en herramientas de IA que pueden procesar y responder al lenguaje natural con respuestas relevantes. Con Harry Potter, «la abundancia de escenas, diálogos y momentos emocionales lo hace muy relevante para el área específica del procesamiento del lenguaje natural», dijo Leila Wehbe, una investigadora de Carnegie Mellon que realizó un conjunto de experimentos en 2014 recopilando datos de resonancia magnética cerebral de personas que leían historias de Harry Potter para comprender mejor los mecanismos del lenguaje. En arXiv, un repositorio de investigación científica de acceso abierto, los papers recientes incluyen «Aprendizaje automático para el desarrollo de pociones en Hogwarts«, «Grandes modelos de lenguaje se encuentran con Harry Potter» y «Detección de hechizos en literatura fantástica con una inteligencia artificial basada en transformadores«.

Incluso cuando no es central para la investigación, Harry Potter también es una referencia literaria favorita para los investigadores. Un estudio, por ejemplo, utilizó las obras de Rowling para poner a prueba la inteligencia de sistemas de IA como los que dieron origen al chatbot ChatGPT, un tema que ha generado mucha controversia en debates recientes. Terrence Sejnowski, director del laboratorio de neurobiología computacional en el Instituto de Estudios Biológicos Salk, argumentó en el artículo que los chatbots simplemente reflejan la inteligencia y los sesgos de sus usuarios, como el Espejo de Oesed en el primer libro de Harry Potter, que refleja los deseos de una persona. «Harry Potter es popular entre los investigadores más jóvenes», dijo Wehbe. «Lo habrían leído cuando eran niños o adolescentes, pensando en ellos al elegir un corpus de texto escrito o hablado».

La curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura.

AI is Deterministic Based Upon the Starting Data – AI Alignment Could Be Relatively Easy. Next Big Future November 27, 2023 by Brian Wang

Texto completo

Un empleado de OpenAI ha observado que los Modelos de Lenguaje Grandes (LLM) que comienzan con el mismo conjunto de datos convergen hacia el mismo punto. Esto sugiere que la curación de los datos es un paso crítico en la creación de una Inteligencia Artificial Súper Inteligente (ASI) segura. Si podemos cargar la IA con ejemplos éticos deseados y a favor de la humanidad desde el principio, el sistema resultante debería tener un núcleo de seguridad alineado con los valores humanos.

La superinteligencia artificial (ASI) es un sistema basado en software con capacidades intelectuales más allá de las de los humanos en una amplia gama de categorías y campos de acción. La ASI aún no existe y es un estado hipotético de la inteligencia artificial (IA). La ASI difiere de la inteligencia artificial regular (IA), que implica la simulación basada en software de las capacidades intelectuales humanas, como el aprendizaje a través de la adquisición de información, el razonamiento y la autocorrección

Se plantea la posibilidad de que sea muy fácil entrenar al LLM en datos acumulados de todos los estudios relacionados con el conocimiento de la alineación de la IA. En teoría, la IA debería aprender y absorber las lecciones de manera efectiva.

El autor, Brian Wang, destaca la importancia de la curación de datos para la seguridad de la IA y sugiere que alinear la IA con valores éticos humanos podría ser relativamente fácil si se aborda desde el inicio con la información correcta.

Cabe señalar que algunos comentarios en la publicación plantean dudas sobre la premisa, argumentando que simplemente escalar un LLM puede no ser suficiente para lograr una ASI y que se pueden necesitar avances fundamentales en la comprensión y modelos internos de la IA.

VideoPoet: El último gran modelo lingüístico de Google genera vídeos por Inteligencia Artificial

VideoPoet

Google ha presentado VideoPoet, un nuevo sistema generativo de inteligencia artificial que puede crear y editar videos a partir de texto y otros inputs.


Google presenta VideoPoet, un sistema de inteligencia artificial que puede generar y editar video a partir de texto y otros inputs, incluyendo texto a video, imagen a video y estilización de video. 

VideoPoet puede generar videos de longitud variable y con una variedad de movimientos y estilos, según el contenido de texto. También puede tomar una imagen de entrada y animarla con una indicación, predecir flujo óptico e información de profundidad para estilización de video, y generar audio. Por defecto, el modelo genera videos en orientación vertical para adaptar su salida a contenido de formato corto.

VideoPoet utiliza múltiples tokenizadores (MAGVIT V2 para video e imagen y SoundStream para audio) para entrenar un modelo de lenguaje autoregresivo en modalidades de video, imagen, audio y texto. También se puede controlar el movimiento de la cámara en los videos mediante indicaciones de texto que describen el movimiento de la cámara.

En el futuro, el marco podría admitir generación de cualquier tipo a cualquier tipo y ampliarse a texto a audio, audio a video y subtitulado de video para habilitar aplicaciones aún más versátiles.

Aunque la compañía no ha revelado si tiene planes de poner el modelo a disposición, la integración en un eventual Bard Advanced parece posible. También, Google ha producido un cortometraje utilizando VideoPoet, utilizando Bard como guionista.

OpenAI lanza un documento para guiar el desarrollo seguro de la inteligencia artificial

Preparedness 
Framework
(Beta)

PDF

OpenAI, empresa creadora de ChatGPT, ha lanzado un «marco preparatorio» para guiar el desarrollo seguro de sistemas de inteligencia artificial cada vez más poderosos. El marco, considerado un «documento vivo», tiene como objetivo ayudar a la empresa a «rastrear, evaluar, prever y protegerse contra riesgos catastróficos» que podrían surgir con los avances en la inteligencia artificial.

Esta iniciativa es parte del compromiso voluntario de OpenAI con la Casa Blanca y otros interesados para el desarrollo seguro y transparente de la inteligencia artificial. Según Anton Dahbura, experto en inteligencia artificial y co-director del Instituto de Autonomía Asegurada de la Universidad Johns Hopkins, este marco es un buen «primer paso en un viaje muy largo».

El marco detalla cómo la empresa evaluará sus sistemas emergentes y determinará si es seguro proceder. Incluye la creación de un Grupo Asesor de Seguridad para supervisar la evaluación de riesgos y asesorar a la dirección en decisiones de seguridad. Además, establece niveles de riesgo, como «bajo», «medio», «alto» y «crítico», con varios criterios para evaluar áreas como ciberseguridad, amenazas CBRN (químicas, biológicas, radiológicas, nucleares) y persuasión.

Solo los modelos de inteligencia artificial con una puntuación de mitigación de «medio» o menos pueden ser implementados, y solo aquellos con una puntuación de mitigación de «alto» o menos pueden seguir desarrollándose. OpenAI también se compromete a buscar constantemente «desconocidos-ignorados», explorando categorías actualmente desconocidas de riesgos catastróficos.

El CEO de OpenAI, Sam Altman, ha afirmado que los beneficios superan los riesgos para los sistemas que la empresa ha lanzado al público, pero destaca la necesidad de intervenciones regulatorias gubernamentales para mitigar los riesgos de modelos cada vez más poderosos.

Aunque la administración Biden ha propuesto una «Hoja de Ruta para una Declaración de Derechos de la IA», OpenAI, por ahora, se centra en desarrollar pautas internas, como su nuevo marco. Dahbura elogia la proactividad de OpenAI y destaca que el marco es más detallado y menos genérico que otros documentos aspiracionales de alto nivel en la industria de la inteligencia artificial.

Escritores demandan a OpenAI y Microsoft por supuesto uso no autorizado de libros en inteligencia artificial

Brittain, Blake, y Blake Brittain. 2023. «Pulitzer-Winning Authors Join OpenAI, Microsoft Copyright Lawsuit». Reuters, 21 de diciembre de 2023, sec. Legal. https://www.reuters.com/legal/pulitzer-winning-authors-join-openai-microsoft-copyright-lawsuit-2023-12-20/.

Un grupo de 11 autores de no ficción se ha unido a una demanda en la corte federal de Manhattan que acusa a OpenAI y Microsoft de utilizar indebidamente libros escritos por los autores para entrenar los modelos detrás del popular chatbot ChatGPT de OpenAI y otros programas basados en inteligencia artificial.

Los escritores, incluyendo a los ganadores del Premio Pulitzer Taylor Branch, Stacy Schiff y Kai Bird, argumentan que las compañías infringieron sus derechos de autor al usar sus obras para entrenar los modelos de lenguaje GPT de OpenAI.

Representantes de OpenAI y Microsoft no respondieron de inmediato a las solicitudes de comentarios el miércoles.

El abogado de los escritores, Rohit Nath, afirmó que «los acusados están obteniendo miles de millones de dólares de su uso no autorizado de libros de no ficción, y los autores de estos libros merecen una compensación justa y un trato adecuado por ello».

La demanda, presentada por el escritor y editor de Hollywood Reporter, Julian Sancton, alega que OpenAI «raspó» los trabajos de los autores junto con gran cantidad de otro material con derechos de autor de Internet sin permiso para enseñar a sus modelos GPT a responder a instrucciones de texto humano.

La demanda también afirma que Microsoft ha estado «profundamente involucrado» en el entrenamiento y desarrollo de los modelos y es responsable de la infracción de derechos de autor. Los autores piden daños monetarios no especificados y una orden para que las compañías dejen de infringir sus derechos de autor.

OpenAI y Axel Springer firman un acuerdo que permite que ChatGPT se entrene con datos de la editorial

Knibbs, Kate. s. f. «Journalists Had “No Idea” About OpenAI’s Deal to Use Their Stories». Wired. Accedido 22 de diciembre de 2023. https://www.wired.com/story/openai-axel-springer-news-licensing-deal-whats-in-it-for-writers/.

OpenAI y el conglomerado mediático alemán Axel Springer firmaron la semana pasada un acuerdo de licencia a largo plazo que permite a OpenAI incorporar artículos de los medios de Axel Springer, como Business Insider y Politico, en sus productos, incluido ChatGPT. Aunque el acuerdo se centra en el uso de trabajos periodísticos, los periodistas cuyas historias se compartirán como parte del acuerdo no fueron consultados previamente.

Empleados de Business Insider revelaron que se enteraron del acuerdo de inteligencia artificial al mismo tiempo que se anunció públicamente. PEN Guild, el sindicato estadounidense que representa a alrededor de 280 trabajadores de Politico y E&E News, otra publicación de Axel Springer, afirmó que «no fue consultado ni informado sobre la decisión de que los robots resumieran nuestro trabajo».

Este acuerdo destaca la tendencia emergente de empresas de inteligencia artificial que buscan acuerdos con empresas de medios en lugar de recopilar datos de entrenamiento mediante el rastreo no autorizado de contenido con derechos de autor en Internet. Mientras algunas asociaciones de escritores ven estos acuerdos como una alternativa positiva al rastreo de datos, hay dudas sobre si realmente beneficiarán a los periodistas.

El editor de Techdirt, Mike Masnick, cuestiona la efectividad de estos acuerdos y sugiere que podrían ser estrategias para evitar demandas de las editoras a cambio de cierto acceso a la tecnología. Además, se desconoce cómo afectará financieramente a los periodistas individuales el acuerdo entre OpenAI y Axel Springer.

El acuerdo, que implica que OpenAI pagará a Axel Springer millones de euros, según Bloomberg, plantea preguntas sobre si los periodistas recibirán alguna compensación. Aunque Axel Springer considera que el acuerdo beneficia a los periodistas y a la industria del periodismo, algunos críticos dudan de que el acceso indirecto a la tecnología realmente mejore las condiciones laborales de los periodistas.

En el contexto de la creciente automatización en la industria de los medios, sindicatos y líderes laborales están vigilando de cerca estos acuerdos para proteger los derechos e integridad del trabajo de los periodistas. La cuestión de si estos acuerdos serán beneficiosos a largo plazo y cómo afectarán a la industria de los medios sigue siendo objeto de debate.

El uso de la IA generativa por parte de los estudiantes: la amenaza de las alucinaciones

«Students’ Use of Generative AI: The Threat of Hallucinations». 2023. Center for Democracy and Technology (blog). 18 de diciembre de 2023. https://cdt.org/insights/students-use-of-generative-ai-the-threat-of-hallucinations/.


Los sistemas de inteligencia artificial generativa entrenados con grandes cantidades de datos existentes utilizan el aprendizaje automático para producir nuevo contenido (como texto o imágenes) en respuesta a las indicaciones de los usuarios. En educación, la inteligencia artificial generativa se menciona con mayor frecuencia en el contexto de la integridad académica, con profesores expresando temores sobre el fraude en el aula.

Sin embargo, la encuesta a profesores, padres y estudiantes muestra que el 45 por ciento de los estudiantes que dicen haber utilizado inteligencia artificial generativa informan haberlo hecho por razones personales, mientras que solo el 23 por ciento informa haberlo utilizado para la escuela. De aquellos que han utilizado la tecnología por razones personales, muchas de las aplicaciones son de gran importancia: el 29 por ciento la ha utilizado para lidiar con la ansiedad o problemas de salud mental, el 22 por ciento para lidiar con problemas con amigos y el 16 por ciento para lidiar con problemas familiares. Como resultado, incluso en el contexto de uso personal, los sistemas de inteligencia artificial generativa que producen información incorrecta pueden tener consecuencias perjudiciales significativas.

¿Qué son las alucinaciones y por qué ocurren? Por su estilo de escritura y la forma en que proporcionan información, los sistemas de inteligencia artificial generativa pueden parecer fuentes confiables y autorizadas de información. Sin embargo, estos sistemas a menudo producen texto que es factualmente incorrecto. Estos errores factuales se conocen como «alucinaciones». Las alucinaciones son una consecuencia tanto del diseño como de la estructura operativa de los sistemas de inteligencia artificial generativa.

Desde el punto de vista del diseño, los sistemas de inteligencia artificial generativa están construidos con la intención de imitar el texto producido por humanos. Para lograr esto, generalmente se entrenan con enormes conjuntos de datos de texto a partir de los cuales el sistema aprende sobre la estructura de oraciones y párrafos, y luego produce texto que parece tener sentido para los lectores humanos al predecir repetidamente la siguiente palabra más lógica. Este proceso no está diseñado para crear contenido que sea verdadero o correcto, sino que tenga sentido.

Estructuralmente, la mayoría de los sistemas de inteligencia artificial generativa operan «desconectados», lo que significa que no están obteniendo activamente datos de internet para responder a indicaciones. Por lo tanto, están limitados a los datos contenidos en sus conjuntos de datos de entrenamiento. Esto hace que los sistemas de inteligencia artificial generativa sean particularmente poco confiables cuando se trata de eventos actuales que no aparecen en sus conjuntos de datos de entrenamiento.

Los posibles impactos perjudiciales de las alucinaciones en los estudiantes La realidad de las alucinaciones de inteligencia artificial generativa, junto con los altos niveles de uso personal por parte de los estudiantes para asuntos importantes, plantea grandes preocupaciones sobre el acceso a información precisa en momentos de crisis. Por ejemplo, los estudiantes podrían estar haciendo preguntas a ChatGPT (u otra herramienta de inteligencia artificial generativa) sobre cómo lidiar con un problema de salud mental en curso, que podría ser potencialmente una situación de vida o muerte. Dado que la mayoría de los sistemas de inteligencia artificial generativa probablemente utilizados por los estudiantes se entrenan con información recopilada de internet, podrían replicar malentendidos comunes sobre problemas sensibles como desafíos de salud mental, roles de género y orientación sexual.

Además de las alucinaciones tradicionales, que son simplemente información incorrecta, la inteligencia artificial generativa también puede tener impactos emocionales significativos en los estudiantes que utilizan la herramienta por razones personales al replicar prejuicios sociales contra poblaciones marginadas, incluidas cuestiones de raza, género u orientación sexual. Los estudiantes, especialmente durante las etapas vitales de desarrollo de la educación K-12, pueden internalizar estos prejuicios, ya sea contra ellos mismos o contra otros.

Las alucinaciones también son motivo de preocupación significativa cuando los estudiantes utilizan plataformas de inteligencia artificial generativa con fines académicos. La posibilidad de que los estudiantes reciban información inexacta puede ir en contra directa del objetivo de las escuelas de proporcionar información confiable y de calidad a los estudiantes. Los estudiantes que no comprenden las posibilidades de alucinaciones de estas herramientas pueden usarlas de manera ineficaz y perder usos beneficiosos. Sin comprender las limitaciones de la inteligencia artificial generativa, los estudiantes pueden no poder aprovechar de manera efectiva su potencial como herramienta para complementar su aprendizaje y habilidades de pensamiento crítico.

¿Cómo deben abordar las escuelas el problema de las alucinaciones?

Para combatir las posibles consecuencias devastadoras de las alucinaciones de inteligencia artificial generativa tanto en contextos personales como académicos, las escuelas deben:

  • Comprender las limitaciones de la inteligencia artificial generativa y asegurarse de que los maestros estén adecuadamente capacitados. Aunque los beneficios potenciales de estas herramientas para mejorar el aprendizaje pueden ser emocionantes, es imperativo que los funcionarios escolares estén completamente familiarizados con las deficiencias tecnológicas e impartan ese conocimiento a los educadores. Los maestros desempeñan un papel crucial para garantizar que la inteligencia artificial generativa se utilice de manera responsable y apropiada en el aula. Pero para hacerlo, necesitan acceso a recursos y capacitación.
  • Continuar invirtiendo en consejeros y otros apoyos de salud mental. Las escuelas deben tener cuidado de no dirigir a los estudiantes hacia el uso de inteligencia artificial generativa como recurso sobre temas tan sensibles como su salud mental. Los problemas de salud mental en curso requieren empatía y experiencia humanas, por lo que las escuelas no deben adquirir herramientas de inteligencia artificial generativa para reemplazar o incluso triar el cuidado que de otro modo proporcionaría un ser humano. Si las escuelas van a adquirir una herramienta para complementar a los consejeros y apoyos de salud mental ya existentes, deberían hacer referencia a nuestra guía sobre principios de adquisición responsables, ya que incluso como herramienta complementaria, los sistemas de inteligencia artificial generativa pueden causar daño si no se prueban y regulan adecuadamente.
  • Brindar educación a los estudiantes sobre qué es la inteligencia artificial generativa, cómo funciona y por qué ocurren las alucinaciones. Para combatir la exageración no controlada del público en torno a la inteligencia artificial generativa, las escuelas deben dotar a los estudiantes con conocimientos básicos sobre la tecnología, sus capacidades y limitaciones, y cómo puede salir mal tanto en usos académicos como personales.
  • Brindar educación a los estudiantes sobre la alfabetización mediática y las habilidades de investigación. El lanzamiento de ChatGPT en noviembre pasado subrayó la necesidad de que los estudiantes comprendan cómo ser consumidores responsables y efectivos del conocimiento a través de nuevas herramientas tecnológicas. El uso de la inteligencia artificial generativa es cada vez más inevitable de la misma manera que el uso de internet, por lo que es vital que las escuelas proporcionen a los estudiantes capacitación y recursos sobre cómo evaluar la precisión y confiabilidad de la información obtenida a través de ChatGPT y otras plataformas de inteligencia artificial generativa.
  • Asegurarse de que maestros y estudiantes comprendan cuándo es apropiado usar la inteligencia artificial generativa. La inteligencia artificial generativa no está destinada a reemplazar la enseñanza y el aprendizaje tradicionales en ningún caso; no es un reemplazo del conocimiento y no es un terapeuta o consejero efectivo para problemas personales. Sin embargo, puede usarse, por ejemplo, como una herramienta de apoyo para mejorar la escritura o como una herramienta novedosa para la investigación al explorar un nuevo tema. Las escuelas deben proporcionar orientación y capacitación tanto a maestros como a estudiantes sobre cómo hacer un uso efectivo de la inteligencia artificial generativa.

El índice de transparencia de los principales modelos de Inteligencia Artificial revela que la gran mayoría son opacos

Índice de Transparencia de Modelos Fundamentales

«New Index Finds AI Models Are Murky, Not Transparent At All». 2023. Accedido 21 de diciembre de 2023. https://www.darkreading.com/cyber-risk/new-index-finds-ai-models-are-murky-not-transparent-at-all.


El Índice de Transparencia de Modelos Fundamentales de la Inteligencia Artificial es una evaluación que se realiza a los principales modelos de IA para medir la transparencia en su desarrollo y funcionamiento. Cuando se menciona que la gran mayoría de estos modelos son opacos, significa que existe una falta significativa de claridad y divulgación sobre cómo se entrenan, las fuentes de datos que utilizan, y cómo toman decisiones.


La nueva orden ejecutiva sobre inteligencia artificial (IA) firmada por el presidente de Estados Unidos, Joe Biden, detalla cómo la industria debe asegurarse de que la IA sea confiable y útil. La orden sigue a discusiones destacadas en julio y septiembre entre empresas de IA y la Casa Blanca, que resultaron en promesas sobre cómo las empresas de IA serán más transparentes acerca de las capacidades y limitaciones de la tecnología.

Hacer promesas de transparencia es un paso positivo, pero es necesario contar con un método para medir cuán bien se están cumpliendo esas promesas. Un método podría ser el Model Transparency Index desarrollado por el Centro de Investigación sobre Modelos Fundamentales de la Universidad de Stanford. El índice calificó 10 modelos de IA en función de 100 métricas diferentes, incluyendo cómo se entrenan los modelos, información sobre las propiedades y funciones del modelo, y cómo se distribuyen y utilizan los modelos. Las puntuaciones se calcularon en base a datos disponibles públicamente, aunque las empresas tuvieron la oportunidad de proporcionar información adicional para cambiar la puntuación.

¿Cómo se ve la transparencia al hablar de algunos de los modelos fundamentales más utilizados? No es buena. «Ningún desarrollador importante de modelos fundamentales se acerca a proporcionar transparencia adecuada, revelando una falta fundamental de transparencia en la industria de la IA», escribieron los investigadores de Stanford en el resumen de sus hallazgos.

Llama 2 de Meta recibió la puntuación total más alta en el índice, con 54 sobre 100.

El GPT-4 de OpenAI obtuvo 48, lo cual no es sorprendente, ya que OpenAI decidió retener detalles «sobre la arquitectura (incluido el tamaño del modelo), hardware, ordenador de entrenamiento, construcción del conjunto de datos [y] método de entrenamiento» al pasar de GPT-3 a GPT-4 a principios de este año.

En su mayor parte, los sistemas de IA potentes, como el GPT-4 de OpenAI y el PaLM2 de Google, son sistemas de caja negra. Estos modelos se entrenan con grandes volúmenes de datos y se pueden adaptar para su uso en una amplia variedad de aplicaciones. Pero para un creciente grupo de personas preocupadas por cómo se utiliza la IA y cómo podría afectar a las personas, el hecho de que haya poca información disponible sobre cómo se entrenan y utilizan estos modelos es un problema.

Según los investigadores, hay un poco más de transparencia en torno a la protección de datos de usuario y la funcionalidad básica del modelo. Los modelos de IA obtuvieron buenos resultados en indicadores relacionados con la protección de datos de usuario (67%), detalles básicos sobre cómo se desarrollan sus modelos fundamentales (63%), las capacidades de sus modelos (62%) y sus limitaciones (60%).

La nueva orden ejecutiva describe varias cosas que deben suceder para mejorar la transparencia. Los desarrolladores de IA deberán compartir los resultados de las pruebas de seguridad y otra información con el gobierno. El Instituto Nacional de Estándares y Tecnología tiene la tarea de crear estándares para garantizar que las herramientas de IA sean seguras y seguras antes de su lanzamiento público.

Las empresas que desarrollen modelos que representen riesgos serios para la salud y seguridad públicas, la economía o la seguridad nacional deberán notificar al gobierno federal cuando estén entrenando el modelo y compartir los resultados de las pruebas de seguridad antes de hacer públicos los modelos.