Archivo de la etiqueta: Deepfakes

Guía para abordar los deepfakess en las escuelas : kit de herramientas

Future of Privacy Forum. A School Administrator’s Guide to Addressing Deepfakes: Problem of Practice Toolkit. Issue Brief: Education. 2025

Texto completo

Este kit de herramientas, publicado por el Future of Privacy Forum, está diseñado para guiar a los administradores escolares en la identificación, respuesta y mitigación de los daños potenciales que representan los deepfakes.

Los deepfakes son medios sintéticos realistas (imágenes, videos, audio o texto) creados o manipulados con inteligencia artificial (IA) que pueden hacer que las personas parezcan decir o hacer cosas que no hicieron. El documento establece que la IA generativa presenta desafíos éticos y de seguridad significativos para las escuelas, ya que se puede utilizar para difundir desinformación, perpetrar fraudes y acosar a estudiantes y personal, socavando la confianza. Además, se señala que los deepfakes impactan y dañan de manera desproporcionada a ciertos grupos demográficos, lo que puede resultar en un aumento del acoso y la hipersexualización.

El kit de herramientas recomienda que los distritos realicen una Autoevaluación de Preparación para identificar su nivel actual de preparación. Para ello, deben revisar y actualizar sus políticas existentes (como las de bullying, acoso, Título IX y uso de tecnología) para abordar explícitamente los deepfakes y el abuso sexual basado en imágenes. Es crucial que los líderes escolares revisen las leyes estatales y locales relativas a la posesión y distribución de Imágenes Íntimas No Consensuadas (NCII) y Material de Abuso Sexual Infantil (CSAM) para asegurar el cumplimiento. También se enfatiza la necesidad de contar con políticas que reconozcan que la detección confiable de deepfakes es difícil debido a las limitaciones de las tecnologías de detección.

Se anima a los distritos a desarrollar un programa de capacitación para educar a estudiantes, padres y personal sobre las implicaciones de privacidad, los impactos socioemocionales, el riesgo desproporcionado para ciertos grupos y las posibles consecuencias del mal uso de los deepfakes. Además, el kit incluye Escenarios de práctica (como un incidente de deepfake de desnudez de un estudiante y un incidente generado por un empleado) para facilitar discusiones críticas.

La guía concluye con la importancia de establecer un equipo de respuesta a incidentes claramente definido y protocolos de comunicación para garantizar la privacidad y la integridad de la investigación, y para utilizar métodos de justicia restaurativa para reparar el daño causado al individuo objetivo y a la comunidad en general







.

VASA-1 de Microsoft puede transformar fotografías en animaciones sincronizadas en video que imitan el habla humana

VASA-1

Ejemplo 1

Ejemplo 2


Microsoft Research ha logrado un avance en tecnología de animación al desarrollar una aplicación de inteligencia artificial que convierte una imagen estática de una persona y una pista de audio en una animación realista con expresiones faciales adecuadas. El sistema, llamado VASA-1, puede transformar imágenes estáticas, como fotografías, dibujos o pinturas, en animaciones «exquisitamente sincronizadas» que imitan el habla humana y el canto.

VASA-1 está entrenado con miles de imágenes con una amplia variedad de expresiones faciales y puede producir imágenes de 512×512 píxeles a 45 cuadros por segundo. Sin embargo, debido al potencial de mal uso, el equipo de investigación actualmente no ha puesto el sistema disponible públicamente. Están dedicados a desarrollar la IA de manera responsable y no tienen planes de lanzar una demostración en línea, API, producto o detalles adicionales hasta estar seguros de que la tecnología se utilizará de manera responsable y de acuerdo con las regulaciones adecuadas.

El modelo principal, VASA-1, es capaz no solo de producir movimientos de labios exquisitamente sincronizados con el audio, sino también de capturar un amplio espectro de matices faciales y movimientos naturales de la cabeza que contribuyen a la percepción de autenticidad y vivacidad. Las innovaciones principales incluyen un modelo holístico de generación de dinámicas faciales y movimientos de cabeza que funciona en un espacio latente facial, y el desarrollo de un espacio latente facial expresivo y disociado utilizando videos. A través de experimentos extensos, incluida la evaluación en un conjunto de nuevas métricas, se demuestra que el método supera significativamente a los métodos anteriores en diversas dimensiones de manera integral. El método no solo ofrece una alta calidad de video con dinámicas faciales y de cabeza realistas, sino que también admite la generación en línea de videos de 512×512 a hasta 40 FPS con una latencia inicial insignificante. Allana el camino para interacciones en tiempo real con avatares realistas que emulan comportamientos conversacionales humanos.

El enfoque de investigación se centra en generar habilidades visuales afectivas para avatares virtuales de IA, con el objetivo de aplicaciones positivas. No pretenden crear contenido que se utilice para engañar o malinterpretar. Sin embargo, como otras técnicas relacionadas de generación de contenido, aún podría ser potencialmente mal utilizado para suplantar a humanos. Se oponen a cualquier comportamiento que cree contenidos engañosos o perjudiciales de personas reales, y están interesados en aplicar la técnica para avanzar en la detección de falsificaciones. Actualmente, los videos generados por este método aún contienen artefactos identificables, y el análisis numérico muestra que aún hay una brecha para lograr la autenticidad de los videos reales.

Aunque reconocen la posibilidad de mal uso, es imperativo reconocer el sustancial potencial positivo de la técnica. Los beneficios, como mejorar la equidad educativa, mejorar la accesibilidad para personas con desafíos de comunicación, ofrecer compañía o apoyo terapéutico a quienes lo necesitan, entre muchos otros, subrayan la importancia de la investigación y otras exploraciones relacionadas. Están dedicados a desarrollar la IA de manera responsable, con el objetivo de avanzar en el bienestar humano.

Dado dicho contexto, no tienen planes de lanzar una demostración en línea, API, producto, detalles de implementación adicionales o cualquier oferta relacionada hasta estar seguros de que la tecnología se utilizará de manera responsable y de acuerdo con las regulaciones adecuadas.

Los deepfakes : una de las amenazas más destacadas en el panorama actual de la desinformación y la manipulación digital


Los deepfakes, un término derivado de la combinación de «deep learning» (aprendizaje profundo) y «fakes» (falsificaciones), se han erigido como una de las amenazas más destacadas en el panorama actual de la desinformación y la manipulación digital. Estas tecnologías posibilitan la creación de contenido audiovisual extremadamente realista y manipulado, utilizando algoritmos de inteligencia artificial. Esta capacidad plantea implicaciones de gran envergadura para la seguridad, la privacidad y la confianza en la información en el entorno digital contemporáneo.

Con la proliferación de herramientas y software que facilitan la creación de deepfakes, se ha vuelto cada vez más fácil para cualquier persona con acceso a la tecnología generar videos falsos convincentes. Elaborar un deepfake implica el uso de técnicas avanzadas de inteligencia artificial y procesamiento de imágenes para manipular videos y crear contenido falso que parezca auténtico.

En primer lugar, los deepfakes presentan un riesgo significativo para la integridad de la información y la confianza pública. Al ser capaces de generar vídeos, audios e imágenes indistinguibles de los originales, estos medios manipulados pueden ser utilizados para difundir información falsa, calumnias o propaganda con un grado de credibilidad que puede engañar a los espectadores. Esto plantea un desafío sustancial para la verificación de la información y la capacidad del público para discernir entre lo real y lo falso.

Una de las preocupaciones principales relacionadas con los deepfakes es su capacidad para engañar a los espectadores y hacer que crean que están viendo a individuos reales diciendo o haciendo cosas que nunca ocurrieron. Esta capacidad de crear contenido falso con un nivel de realismo sorprendente plantea riesgos significativos para la seguridad y la privacidad de las personas. Por ejemplo, los deepfakes podrían utilizarse para fabricar vídeos comprometedores de figuras públicas o personas comunes y corrientes, lo que podría causar daño a su reputación y poner en peligro su seguridad personal.

Además de los riesgos individuales, los deepfakes también representan una amenaza para la sociedad en su conjunto. Con la capacidad de generar contenido falsificado convincente, los deepfakes pueden ser utilizados para difundir información falsa y desacreditar a personas o instituciones. Esto socava la confianza en la información y puede alimentar la polarización y la discordia en la sociedad. En el ámbito político, por ejemplo, los deepfakes podrían ser utilizados para crear vídeos manipulados de candidatos o líderes políticos con el objetivo de influir en el resultado de elecciones o desestabilizar gobiernos.

Dada la sofisticación de los deepfakes y su capacidad para engañar a los espectadores, es fundamental desarrollar técnicas efectivas para identificar y mitigar este tipo de contenido falso. Aquí se destacan algunas estrategias clave para detectar deepfakes:

  1. Análisis forense: Los investigadores han desarrollado métodos forenses para analizar la autenticidad de los videos, como la detección de artefactos visuales y anomalías en el contenido. Estos análisis pueden revelar pistas sutiles que indican la manipulación digital, como inconsistencias en la iluminación, la perspectiva o el movimiento facial.
  2. Modelos de aprendizaje automático: Se están utilizando modelos de aprendizaje automático para identificar patrones distintivos en los deepfakes. Estos modelos pueden entrenarse con conjuntos de datos de videos reales y deepfakes para aprender a distinguir entre ambos. Al detectar características específicas asociadas con la generación de deepfakes, estos modelos pueden identificar videos sospechosos y alertar a los usuarios.
  3. Verificación de metadatos: La verificación de metadatos, como la fecha, la hora y el lugar de grabación, puede proporcionar información importante sobre la autenticidad de un video. Los deepfakes a menudo carecen de metadatos coherentes o contienen inconsistencias que pueden ser detectadas mediante un análisis detallado.
  4. Colaboración entre la industria y la academia: La colaboración entre la industria tecnológica y la comunidad académica es crucial para desarrollar y mejorar continuamente las técnicas de detección de deepfakes. Al compartir datos, herramientas y conocimientos, los investigadores pueden avanzar en la capacidad de detectar y mitigar la propagación de contenido falso.
  5. Educación y concienciación: La educación pública sobre los deepfakes y su impacto en la desinformación es fundamental para combatir esta amenaza. Al aumentar la conciencia sobre los riesgos asociados con el consumo de contenido digital y proporcionar herramientas para identificar deepfakes, se puede empoderar a los usuarios para que sean más críticos y cautelosos al interactuar con medios digitales.

De este modo, los deepfakes plantean preocupaciones éticas y legales sobre el uso indebido de la imagen y la voz de las personas. La creación y difusión de deepfakes sin el consentimiento de los sujetos involucrados puede infringir sus derechos de privacidad y dignidad, lo que plantea preguntas sobre la responsabilidad y la regulación de estas tecnologías emergentes. A medida que los deepfakes se vuelven más accesibles y sofisticados, es crucial abordar estas preocupaciones para proteger los derechos y la seguridad de los individuos afectados.

El explosivo crecimiento del fraude impulsado por la IA

Melo, María Florencia. «Infografía: El explosivo crecimiento del fraude impulsado por la IA». Statista Daily Data, 15 de marzo de 2024. https://es.statista.com/grafico/31907/paises-con-mayores-aumentos-de-casos-de-fraude-de-deepfake.

Los deepfakes, videos, fotos y audios manipulados mediante inteligencia artificial, se han convertido en una presencia común en varias plataformas en línea, presentando situaciones como Donald Trump posando con votantes negros o el Papa con una chaqueta estilo puffer: . Con ajustes adecuados, cualquiera puede generar imágenes que parezcan auténticas o hacer que las voces de figuras prominentes en política o entretenimiento digan lo que sea.

Esta tecnología también se utiliza para perpetrar fraudes de identidad, fabricando documentos falsos o suplantando la identidad de personas a través de llamadas telefónicas. Los casos de fraude relacionados con deepfakes han experimentado un incremento significativo entre 2022 y 2023 en numerosos países, según revela nuestro gráfico basado en el último informe anual del proveedor de verificación de identidad Sumsub.

Por ejemplo, el número de intentos de fraude en Filipinas aumentó un 4.500% interanual, seguido de países como Vietnam, Estados Unidos y Bélgica. Con el potencial de la inteligencia artificial en constante crecimiento, los intentos de fraude mediante deepfakes podrían expandirse a otras áreas. Pavel Goldman-Kalaydin, Jefe de Inteligencia Artificial y Aprendizaje Automático de Sumsub, menciona en el informe que «hemos observado cómo las falsificaciones profundas se han vuelto cada vez más convincentes en los últimos años, y esto continuará y se extenderá hacia nuevas formas de fraude, como los deepfakes de voz».

Aunque la creación de un deepfake en sí no constituye un delito, muchos gobiernos están avanzando hacia una regulación más estricta en el uso de la inteligencia artificial para evitar daños a las partes involucradas. Además, alrededor de 400 expertos en inteligencia artificial y tecnología firmaron una carta abierta el mes pasado instando a los gobiernos de todo el mundo a tomar medidas en contra de los deepfakes.

Detectar y combatir la información falsa de los Deepfakes

Combating Deepfakes (Spotlight Brief, via GAO) GAO-24-107292, March, 2024

Texto completo

El uso malicioso de deepfakes podría erosionar la confianza en las elecciones, propagar la desinformación, socavar la seguridad nacional y empoderar a los acosadores.

Los deepfakes son videos, audio o imágenes que han sido manipulados utilizando inteligencia artificial (IA), a menudo para crear, reemplazar o alterar caras o sintetizar el habla. Pueden parecer auténticos a simple vista y al oído humano. Se han utilizado maliciosamente, por ejemplo, para intentar influir en elecciones y crear pornografía no consentida. Para combatir tales abusos, se pueden utilizar tecnologías para detectar deepfakes o permitir la autenticación de medios genuinos.

Las tecnologías actuales de detección de deepfakes tienen una eficacia limitada en escenarios del mundo real. » Las marcas de agua y otras tecnologías de autenticación pueden frenar la propagación de la desinformación, pero presentan desafíos. » Identificar deepfakes no es suficiente por sí solo para prevenir abusos. Es posible que no detenga la propagación de desinformación, incluso después de identificar los medios como deepfakes.

Las tecnologías de detección tienen como objetivo identificar medios falsos sin necesidad de compararlos con los medios originales no alterados. Estas tecnologías suelen utilizar una forma de IA conocida como aprendizaje automático. Los modelos se entrenan con datos de medios reales y falsos conocidos. Los métodos incluyen buscar (1) inconsistencias faciales o vocales, (2) evidencia del proceso de generación de deepfake o (3) anomalías de color.

Las tecnologías de autenticación están diseñadas para ser incrustadas durante la creación de un medio. Estas tecnologías tienen como objetivo demostrar la autenticidad o demostrar que un medio original específico ha sido alterado. Incluyen: 

  • Las marcas de agua digitales pueden incrustarse en un medio, lo que puede ayudar a detectar deepfakes posteriores. Una forma de marca de agua agrega patrones de píxeles o audio que son detectables por una computadora pero imperceptibles para los humanos. Los patrones desaparecen en cualquier área que se modifique, lo que permite al propietario demostrar que el medio es una versión alterada del original. Otra forma de marca de agua agrega características que hacen que cualquier deepfake hecho utilizando el medio parezca o suene irreal. 
  • Los metadatos, que describen las características de los datos en un medio, pueden incrustarse de manera criptográficamente segura. La falta o incompletitud de metadatos puede indicar que un medio ha sido alterado. 
  • Blockchain. Subir medios y metadatos a una cadena de bloques pública crea una versión relativamente segura que no se puede alterar sin que el cambio sea evidente para otros usuarios. Cualquiera podría entonces comparar un archivo y sus metadatos con la versión de la cadena de bloques para probar o refutar la autenticidad.

Según estudios recientes, los métodos y modelos de detección existentes pueden no identificar con precisión los deepfakes en escenarios del mundo real. Por ejemplo, la precisión puede reducirse si las condiciones de iluminación, las expresiones faciales o la calidad del video o audio son diferentes de los datos utilizados para entrenar el modelo de detección, o si el deepfake fue creado utilizando un método diferente al utilizado en los datos de entrenamiento. Además, se espera que los avances futuros en la generación de deepfakes eliminen las características distintivas de los deepfakes actuales, como el parpadeo anormal de los ojos.

Tecnologías de autenticación. Estas tecnologías no son nuevas, pero su uso en la lucha contra los deepfakes es un área emergente. Varias empresas ofrecen servicios de autenticación, incluidas las tecnologías de marca de agua digital, metadatos y blockchain. Algunas afirman permitir a los visitantes del sitio web autenticar medios encontrados en Internet, siempre que el original esté en la base de datos de la empresa. Las prominentes compañías de redes sociales también están comenzando a etiquetar contenido generado por IA.

  • Defensas combinadas. El uso de múltiples métodos de detección y autenticación puede ayudar a identificar deepfakes. 
  • Conjuntos de datos de entrenamiento actualizados. Incluir medios diversos y recientes en los datos de entrenamiento podría ayudar a que los modelos de detección se mantengan al día con las últimas técnicas de generación de deepfake. 
  • Competencias. Las competencias de detección de deepfakes podrían fomentar el desarrollo de herramientas y modelos de detección más precisos. Una competencia de 2019 incluyó a más de 2.000 participantes y generó más de 35.000 modelos.

Estos son algunos desafíos:

  • Desinformación y confianza pública. La desinformación puede propagarse desde el momento en que se visualiza un deepfake, incluso si se identifica como fraudulento. Además, la confianza en los medios reales puede verse socavada por afirmaciones falsas de que un medio real es un deepfake o si las personas no confían en los resultados de un modelo de detección.
  • Adaptación a la detección. Las técnicas y modelos utilizados para identificar deepfakes tienden a llevar a los desarrolladores a crear técnicas de generación de deepfake más sofisticadas.

Más de 400 expertos en IA, artistas y políticos firmaron la carta pidiendo regular la propagación de deepfakes dañinos

Shapero, Julia. «Facebook Whistleblower, AI Godfather Join Hundreds Calling for Deepfake Regulation». Text. The Hill (blog), 21 de febrero de 2024. https://thehill.com/policy/technology/4480812-facebook-whistleblower-ai-godfather-deepfake-regulation/.

Más de 400 expertos en IA, artistas y políticos firmaron la carta, que instaba a los gobiernos a aprobar leyes que criminalicen la pornografía infantil generada por deepfakes y establezcan sanciones penales para aquellos que creen o faciliten la propagación de deepfakes dañinos de manera consciente.

La carta también sugirió que los desarrolladores y distribuidores de software estén obligados a prevenir que sus productos creen deepfakes dañinos y sean responsables si sus medidas son fácilmente eludibles.

Los deepfakes, descritos en la carta como «voces, imágenes o videos generados por IA no consensuales y gravemente engañosos, que una persona razonable confundiría como reales», representan riesgos crecientes a medida que la tecnología de IA se ha vuelto más ampliamente disponible.

«Los deepfakes son una gran amenaza para la sociedad humana y ya están causando un daño creciente a individuos, comunidades y al funcionamiento de la democracia», dijo Andrew Critch, investigador de IA de la Universidad de California, Berkeley, y autor principal de la carta, en un comunicado.

«Necesitamos acción inmediata para combatir la proliferación de deepfakes, y mis colegas y yo creamos esta carta como una forma para que las personas de todo el mundo muestren su apoyo a los esfuerzos legislativos para detener los deepfakes», agregó.

Imágenes explícitas generadas por IA de la superestrella del pop Taylor Swift se volvieron virales el mes pasado, lo que llevó a la Casa Blanca a expresar preocupaciones.

«Estamos alarmados por los informes de la circulación de las … imágenes falsas», dijo en ese momento la secretaria de prensa de la Casa Blanca, Karine Jean-Pierre.

«Aunque las empresas de redes sociales toman sus propias decisiones independientes sobre la gestión de contenido, creemos que tienen un papel importante que desempeñar en la aplicación de sus propias reglas para evitar la propagación de información errónea e imágenes íntimas no consensuales de personas reales», agregó.

También se enviaron mensajes que imitaban al presidente Biden a votantes de Nuevo Hampshire el mes pasado, instándolos a no emitir su voto en las primarias del estado y destacando preocupaciones sobre la posible desinformación electoral.

A principios de este mes, la Comisión Federal de Comunicaciones prohibió el uso de voces generadas por IA en llamadas automáticas. La Comisión Federal de Comercio también propuso una regla la semana pasada que prohibiría la suplantación de personas, señalando el reciente aumento de deepfakes generados por IA.

Los «deepfakes», y su impacto potencial en los procesos democráticos

AI-powered disinformation is spreading — is Canada ready for the political impact? The rise of deepfakes comes as billions of people around the world prepare to vote this year. Catharine Tunney · CBC News · Posted: Jan 18, 2024 4:00 AM EST | Last Updated: January 21

Ver artículo

Pocos días antes de las elecciones nacionales eslovacas del pasado otoño, una misteriosa grabación de voz empezó a difundir una mentira en Internet. El archivo manipulado hacía parecer que Michal Simecka, líder del partido Eslovaquia Progresista, hablaba de comprar votos con un periodista local. Sin embargo, la conversación nunca se produjo y el archivo fue posteriormente desmentido como un engaño «deepfake».

El artículo aborda la creciente preocupación por la desinformación impulsada por inteligencia artificial, especialmente los «deepfakes», y su impacto potencial en los procesos democráticos en Canadá. Se destaca un incidente reciente en Eslovaquia, donde un «deepfake» manipuló una grabación de voz para difundir información falsa sobre un líder político justo antes de las elecciones nacionales. El artículo subraya el desafío global de combatir la desinformación, ya que miles de millones de personas están a punto de votar en diversas elecciones, incluida la muy esperada contienda presidencial en los Estados Unidos.

Se señala la creciente amenaza de los «deepfakes», utilizando el caso eslovaco como ejemplo y resaltando la dificultad para determinar la extensión de la influencia de los «deepfakes» en los resultados electorales. Expertos como Hany Farid de la Universidad de California-Berkeley expresan preocupaciones sobre el impacto de los «deepfakes» en la credibilidad y la responsabilidad de los políticos, ya que la facilidad para crear contenido manipulado plantea temores de que los individuos ya no sean responsables de sus acciones o declaraciones.

La Agencia de Seguridad de las Comunicaciones (CSE), la agencia de inteligencia cibernética de Canadá, reconoce la amenaza y expresa inquietudes sobre la interferencia extranjera. Se describen los preparativos de la CSE para posibles ataques de inteligencia artificial en las elecciones canadienses, incluida la autoridad para eliminar contenido engañoso y operaciones cibernéticas defensivas.

Se menciona el Protocolo Público de Incidentes Críticos en Elecciones, establecido en 2019, que monitorea y alerta al público sobre amenazas creíbles a las elecciones de Canadá. Se plantean críticas sobre la efectividad del protocolo para detectar contenido falso e interferencia extranjera.

La CSE advierte que la tecnología de inteligencia artificial avanza a un ritmo que dificultará la detección de «deepfakes». Se insta al público a desarrollar «escepticismo profesional» y a ser cauteloso con el contenido en línea.

La diputada conservadora Michelle Rempel Garner expresa preocupaciones sobre la respuesta del gobierno a la amenaza de «deepfakes» y pide medidas más fuertes. Se sugiere la adopción de marcas de agua en el contenido generado por inteligencia artificial para ayudar a los usuarios a distinguir entre contenido real y falso.

Hany Farid aboga por la responsabilidad de las empresas de inteligencia artificial, sugiriendo la inclusión de marcas de agua duraderas en el contenido generado por inteligencia artificial. El Ministro de Seguridad Pública, Dominic LeBlanc, reconoce las preocupaciones y da indicios de futuras medidas gubernamentales para abordar el problema.

Se destacan los esfuerzos para educar al público sobre el reconocimiento de contenido engañoso, incluida la creación de un juego de mesa y programas de divulgación. Las recomendaciones incluyen ver contenido en vivo durante las elecciones y abordar la desinformación al interactuar con amigos y familiares.

En conclusión, el artículo destaca la urgencia de que Canadá aborde la amenaza de la desinformación impulsada por la inteligencia artificial, enfatizando la necesidad de un enfoque multifacético que involucre soluciones tecnológicas, medidas regulatorias, educación pública y análisis posterior de contenido cuestionable.

YouTube establece nuevas pautas para videos creados con inteligencia artificial (IA)

Hayes, Dade. «YouTube Issues New Guidelines For Videos Using AI». Deadline (blog), 14 de noviembre de 2023. https://deadline.com/2023/11/youtube-ai-artificial-intelligence-videos-shorts-deepfakes-1235611370/.

En una entrada de blog, el gigante del video digital indicó que el nuevo enfoque establecerá límites para videos que parecen realistas pero dependen de herramientas de inteligencia artificial. La empresa también está implementando nuevas etiquetas para informar a los espectadores cuando el video que están viendo ha sido alterado o creado sintéticamente.

«Esto es especialmente importante en casos en los que el contenido trata temas sensibles, como elecciones, conflictos en curso y crisis de salud pública, o funcionarios públicos», escribieron las vicepresidentas de Gestión de Productos, Jennifer Flannery O’Connor y Emily Moxley, en la entrada del blog. «Los creadores que elijan consistentemente no divulgar esta información pueden estar sujetos a la eliminación de contenido, la suspensión u otras sanciones. Trabajaremos con los creadores antes de implementar esto para asegurarnos de que comprendan estos nuevos requisitos». El auge de la IA ha inquietado a una gran parte de la sociedad, incluido Hollywood, donde actores y escritores recientemente estuvieron seis meses en huelga en parte por preocupaciones sobre el daño potencial que la tecnología podría causar.

La nueva postura de YouTube se produce aproximadamente un mes después de que la empresa presentara un conjunto de nuevas capacidades, incluido un caché de material de IA searchable llamado Dream Screen diseñado para la plataforma Shorts. Shorts, una respuesta a TikTok, ha atraído más de 70 mil millones de vistas diarias de más de 2 mil millones de usuarios registrados. Cuando se le preguntó en ese momento sobre el riesgo de propagar deepfakes u otro contenido engañoso, el CEO Neal Mohan admitió que «podría haber desafíos en torno a tecnologías como esta». Pero dijo que todos los videos mejorados con IA estarían sujetos a las pautas de la comunidad de YouTube. «Las reglas que se aplican al contenido de video en YouTube se aplican a todo lo que viste hoy».

La entrada del blog también menciona que los usuarios que tengan problemas con algún video que encuentren en YouTube pueden participar en un proceso de solicitud de privacidad recientemente ampliado. Este proceso permite a cualquiera solicitar la eliminación de contenido generado por IA u otro contenido sintético o alterado que simule a una persona identificable, incluyendo su rostro o voz. Esta opción se extiende al ámbito de los videos musicales, donde la IA puede permitir que imitaciones de la voz o estilo único de un artista o rapero se difundan potencialmente.

Deepfakes y la seguridad de las herramientas de IA: formas de navegar por este turbio panorama

IndiaTimes. «Deepfakes And The Safety Of AI Tools: Ways To Navigate This Murky Landscape», 6 de noviembre de 2023. https://www.indiatimes.com/technology/news/deepfakes-and-the-safety-of-ai-tools-619754.html.


Los deepfakes, medios sintéticos que manipulan vídeos y audio, plantean riesgos significativos, incluida la erosión de la confianza pública y la amenaza a la privacidad. La detección y atribución de deepfakes sigue siendo desafiante, lo que destaca la necesidad de estrategias de seguridad. Se sugieren soluciones como invertir en algoritmos de detección, promover la alfabetización mediática, establecer leyes claras y éticas, y fomentar la colaboración entre empresas, investigadores y responsables políticos para abordar estos desafíos y garantizar el uso responsable de la IA.

Los deepfakes son medios sintéticos que incluyen vídeos y audio manipulados, sustituyendo la imagen de una persona por otra. A la luz de un reciente vídeo de deepfake en el que participaba la actriz india Rashmika Mandanna, vuelven a surgir demandas de regulación de las herramientas de inteligencia artificial (IA).  El vídeo, creado con tecnología deepfake, muestra el rostro de Mandanna superpuesto al cuerpo de otra mujer. Los videos deepfake se crean utilizando algoritmos de inteligencia artificial para manipular y fabricar contenido de apariencia realista, a menudo con intenciones maliciosas. En este caso, el vídeo muestra falsamente a Mandanna entrando a un ascensor con un vestido negro. La tecnología deepfake es cada vez más sofisticada y accesible, lo que pone de relieve los riesgos asociados a su uso indebido. ¿Cuáles son los riesgos de estas herramientas de IA?

Los deepfakes pueden erosionar la confianza en las instituciones y en la información que producen y difunden. Las herramientas de IA pueden crear vídeos y audio que luego pueden ser utilizados por agentes malintencionados para cambiar la percepción pública, difundir información errónea y sembrar la discordia en la sociedad. Los deepfakes pueden utilizarse para dañar reputaciones, incitar a la violencia y montar escándalos políticos.

Amenaza a la privacidad individual

La privacidad y la reputación de las personas se enfrentan a un riesgo significativo por culpa de los deepfakes. La capacidad de generar medios sintéticos realistas puede utilizarse para producir pornografía no consentida, profundizar los casos de ciberacoso y dañar la posición personal o profesional de una persona. En estos casos, las víctimas de deepfakes pueden sufrir angustia emocional, aislamiento social e incluso pérdidas económicas.

Modificación de la opinión pública

Los deepfakes pueden utilizarse para manipular la opinión pública sobre una persona o un partido político, con la posibilidad de interferir en las elecciones. Estas herramientas pueden ser utilizadas por actores malintencionados para crear vídeos de figuras políticas haciendo declaraciones falsas o incurriendo en comportamientos poco éticos con el fin de influir en el sentimiento de los votantes. Debido a ello, la confianza en las instituciones públicas y el alcance de la democracia pueden verse socavados.

Dificultades para identificar los deepfakes

Aunque hay algunos signos reveladores, como el movimiento distorsionado, los deepfakes siguen siendo en gran medida difíciles de detectar, al menos a primera vista. Además, también son difíciles de atribuir. Con los continuos avances en este tipo de tecnología, será aún más difícil distinguir entre medios auténticos y manipulados, lo que facilitará que los deepfakes se propaguen sin reparos.

Estrategias para garantizar la seguridad

A la luz de las preocupaciones que rodean a estas falsificaciones, es imperativo desarrollar estrategias para prevenir su uso indebido. ¿Cuáles son las posibles soluciones contra el uso indebido de deepfakes?

  • Invertir en algoritmos de detección que puedan ayudar a identificar deepfakes inmediatamente. Con los avances en el aprendizaje automático y la inteligencia artificial, estos deepfakes pueden ser más fáciles de identificar.
  • Es esencial promover la alfabetización mediática capacitando a las personas para evaluar la información que consumen. Para que esto funcione, es necesario educar a las personas sobre la existencia y los peligros de los deepfakes.
  • Es necesario desarrollar leyes y normativas claras para abordar el uso indebido de los deepfakes y proteger a las personas de cualquier daño. Esto significa definir límites legales para la creación y distribución de medios sintéticos, establecer sanciones por uso indebido y proporcionar recursos a las víctimas.
  • Las empresas tecnológicas, los investigadores y los responsables políticos deben trabajar juntos para hacer frente a los retos que plantean los deepfakes. Además, es esencial promover directrices éticas para el consumo de medios sintéticos.

Como la tecnología de IA sigue evolucionando a este ritmo, es imperativo establecer medidas contra el uso indebido de deepfakes. Mediante la aplicación de mecanismos de detección eficaces, la promoción de la alfabetización mediática, el establecimiento de marcos jurídicos claros y el fomento de prácticas éticas de desarrollo de la IA, podemos mitigar los efectos negativos de los deepfakes y salvaguardar el uso responsable de las herramientas de IA. Para saber más sobre el mundo de la tecnología y la ciencia, sigue leyendo Indiatimes.com y haz clic aquí para consultar nuestras guías prácticas.