Archivo de la etiqueta: Privacidad

Impacto de la inteligencia artificial en la vida escolar: datos, riesgos y recomendaciones

Laird, Elizabeth, Madeliene Dwyer y Hugh Grant‑Chapman. Off Task: EdTech Threats to Student Privacy and Equity in the Age of AI. Washington, DC: Center for Democracy & Technology, septiembre de 2023. https://cdt.org/wp-content/uploads/2023/09/091923-CDT-Off-Task-web.pdf

El informe analiza críticamente cómo las tecnologías educativas (edtech), especialmente aquellas impulsadas por inteligencia artificial, están afectando la privacidad y la equidad en el entorno escolar estadounidense. A través de encuestas a estudiantes, familias y docentes de secundaria, se identifica un uso creciente de herramientas de filtrado de contenido, monitoreo estudiantil y plataformas de IA generativa, sin una reflexión adecuada sobre sus implicaciones éticas, sociales y pedagógicas.

Uno de los principales hallazgos es la falta de participación de las comunidades educativas en la toma de decisiones sobre estas tecnologías. Muchos estudiantes y padres expresan preocupación por su uso, pero apenas una minoría ha sido consultada o informada sobre su implementación. Además, el profesorado ha recibido escasa formación, lo que limita su capacidad para aplicar estas herramientas de forma crítica y justa. Esta falta de transparencia y educación crea un entorno donde las decisiones técnicas se imponen sin diálogo, debilitando la confianza en el sistema educativo.

El informe subraya también cómo el filtrado de contenido, aunque pensado para proteger a los estudiantes, a menudo bloquea información legítima y relevante para su aprendizaje. Esto se vuelve especialmente preocupante cuando los filtros restringen temas vinculados a la identidad racial, el género o la orientación sexual, reproduciendo sesgos y excluyendo a estudiantes LGBTQ+ o pertenecientes a minorías. Así, estas herramientas pueden actuar como formas digitales de censura o exclusión.

Resultados:

62 % de los estudiantes y 73 % de los padres/madres están preocupados por el uso de edtech, pero:

Solo 38 % de los estudiantes y 31 % de los padres/madres afirman haber sido consultados por sus escuelas sobre el uso de estas tecnologías.

Casi el 100 % de las escuelas utilizan sistemas de filtrado web.

71 % de los estudiantes informan que estos filtros dificultan sus tareas escolares.

41 % de estudiantes LGBTQ+ reportan tener más dificultades que sus compañeros para acceder a información relevante para su identidad.

39 % de estudiantes afroamericanos afirman que los filtros bloquean contenidos sobre historia o cultura negra.

58 % de los estudiantes han usado herramientas de IA generativa al menos una vez.

24 % han sido sancionados por su uso.

57 % de los docentes no han recibido ninguna formación sobre estas tecnologías.

37 % no sabe si su escuela tiene políticas sobre IA generativa.

Solo 34 % de los docentes han recibido formación sobre privacidad digital en el último año.

El 52 % de los docentes afirman que les cuesta confiar en el trabajo de los estudiantes desde que se empezó a usar IA generativa.

Por otro lado, el monitoreo digital de la actividad estudiantil —incluso fuera del horario escolar y en dispositivos personales— está en aumento. Este tipo de vigilancia genera consecuencias graves: sanciones disciplinarias desproporcionadas, denuncias a las autoridades e incluso situaciones en las que estudiantes LGBTQ+ han sido “sacados del armario” sin su consentimiento. Las medidas de vigilancia no solo afectan la privacidad, sino también el bienestar emocional y la seguridad de los estudiantes más vulnerables.

El uso de inteligencia artificial generativa, como ChatGPT, ha crecido rápidamente en los entornos escolares, pero sin preparación institucional. La mayoría del profesorado no ha recibido formación sobre su uso ni conoce las políticas escolares al respecto. Esto ha llevado a que muchos estudiantes sean sancionados por utilizar estas herramientas, aunque no existan normas claras que regulen su aplicación. Al mismo tiempo, los docentes expresan preocupación por la pérdida de confianza en el trabajo autónomo del alumnado, lo que genera tensiones en la relación educativa.

El informe advierte que estas tecnologías afectan de forma desproporcionada a estudiantes con discapacidades, de bajos ingresos o pertenecientes a colectivos marginados, amplificando desigualdades estructurales. Por ello, no se trata únicamente de un problema de privacidad, sino de una cuestión de derechos civiles y justicia educativa. CDT concluye con una serie de recomendaciones urgentes: establecer marcos normativos claros, formar adecuadamente al personal docente, y garantizar la participación significativa de estudiantes y familias en todas las decisiones relacionadas con la tecnología en las aulas.

Recomendaciones:

Incluir a estudiantes y familias en la toma de decisiones sobre EdTech

  • Involucrar activamente a las comunidades escolares en la evaluación, selección y supervisión de las tecnologías utilizadas en clase.
  • Fomentar la transparencia sobre las herramientas empleadas y sus finalidades.

Revisar políticas de filtrado de contenido

  • Asegurar que los filtros no limiten el acceso a información educativa legítima, especialmente en temas de identidad, salud mental o justicia social.
  • Evitar que los filtros reproduzcan sesgos discriminatorios.

Limitar el monitoreo estudiantil

  • Establecer políticas claras sobre qué se monitorea, cuándo, cómo y por qué.
  • Asegurar que el monitoreo no continúe fuera del horario escolar ni en dispositivos personales sin consentimiento informado.

Crear políticas claras sobre el uso de IA generativa

  • Proporcionar directrices coherentes y accesibles para el alumnado y profesorado sobre cómo se puede o no utilizar la inteligencia artificial generativa.
  • Integrar estas políticas en los planes pedagógicos.

Formar al profesorado

  • Ofrecer formación continua sobre privacidad digital, equidad tecnológica y uso ético de la inteligencia artificial.

La crisis de confianza en la IA: una oportunidad estratégica para las bibliotecas

Rakestraw, Scott. “The AI Trust Crisis.” LinkedIn Pulse, March 22, 2025. https://www.linkedin.com/pulse/ai-trust-crisis-scott-rakestraw-04b2c/

La inteligencia artificial (IA) está transformando diversos sectores, pero la confianza pública en ella ha disminuido, especialmente debido a preocupaciones sobre la privacidad y los deepfakes. Las bibliotecas están adoptando la IA para mejorar sus servicios, pero también enfrentan desafíos en cuanto a privacidad y fiabilidad. Para integrar la IA de manera ética, las bibliotecas deben capacitar a su personal, diseñar programas formativos y asegurar la protección de los datos de los usuarios.

La inteligencia artificial (IA) está transformando todos los sectores, pero la confianza del público en ella está cayendo drásticamente. Según una encuesta de YouGov en marzo de 2025, el escepticismo sobre la IA ha aumentado del 36% al 44% en tres meses, con preocupaciones sobre deepfakes (58%) y privacidad (53%). Sin embargo, su adopción sigue creciendo, con más personas usándola para crear currículums, investigar y desarrollar proyectos creativos.

En España, la percepción pública de la IA es mixta. Según una encuesta del Centro de Investigaciones Sociológicas (CIS), la mayoría de los españoles muestra más preocupación y miedo que optimismo y confianza hacia la IA. Temen que la IA pueda perjudicar el mercado laboral y la creación artística, y abogan por una regulación estricta en su programación y uso. Además, un 93,7% de los encuestados expresa preocupación por la privacidad de sus datos en Internet. A pesar de estas preocupaciones, la adopción de herramientas basadas en IA está en aumento. Casi la mitad de los españoles ha utilizado ChatGPT en el último año, lo que indica una creciente familiaridad con estas tecnologías. Sin embargo, persiste la demanda de transparencia y regulación, con un 92,7% de los ciudadanos considerando que las empresas deben informar cuando utilizan IA

Las bibliotecas no son la excepción. Estas instituciones están adoptando la IA para mejorar la experiencia del usuario, ofreciendo recomendaciones personalizadas, servicios de búsqueda avanzada y gestión eficiente de datos. Sin embargo, este avance también plantea desafíos, como la privacidad de datos y la fiabilidad de la información generada por IA. Las bibliotecas están liderando la alfabetización en IA, capacitando a sus usuarios para interactuar de manera responsable con esta tecnología y preparándolos para el mercado laboral digital del futuro.

En este contexto, las bibliotecas tienen la oportunidad de posicionarse como centros de alfabetización en IA, ayudando a las comunidades a comprender y utilizar esta tecnología de manera informada y ética. Al hacerlo, no solo refuerzan su papel como guardianes del conocimiento, sino que también contribuyen a cerrar la brecha digital y fomentar una sociedad más preparada para los desafíos del futuro.

La implementación de inteligencia artificial (IA) en bibliotecas requiere una estrategia integral que involucre a todos los niveles de la organización. Desde la dirección hasta el personal de atención al público, cada grupo debe asumir un rol clave para garantizar una adopción eficaz y ética de esta tecnología.

Directores y gerentes: Convertir las bibliotecas en centros de alfabetización en IA

Los líderes bibliotecarios tienen la responsabilidad de posicionar sus instituciones como referentes en educación digital y alfabetización en IA. Para lograrlo, es fundamental diseñar programas formativos que ayuden a los usuarios a comprender el impacto de la IA en la sociedad, su funcionamiento y sus riesgos. Además, deben promover la formación del personal para que pueda integrar estas herramientas en los servicios bibliotecarios y fomentar la colaboración con expertos en IA, universidades y otros centros de conocimiento.

Otro aspecto clave es la comunicación con la comunidad. Explicar los beneficios de la IA sin ignorar sus riesgos permitirá que las bibliotecas refuercen su rol como espacios de confianza. También es esencial establecer políticas de uso ético de la IA dentro de la institución, garantizando la protección de los datos personales de los usuarios y la transparencia en los procesos de toma de decisiones.

¿Qué estrategias se recomiendan?

Los líderes bibliotecarios tienen la responsabilidad de posicionar sus instituciones como referentes en educación digital y alfabetización en IA. Para lograrlo, es fundamental diseñar programas formativos que ayuden a los usuarios a comprender el impacto de la IA en la sociedad, su funcionamiento y sus riesgos. Además, deben promover la formación del personal para que pueda integrar estas herramientas en los servicios bibliotecarios y fomentar la colaboración con expertos en IA, universidades y otros centros de conocimiento.

Otro aspecto clave es la comunicación con la comunidad. Explicar los beneficios de la IA sin ignorar sus riesgos permitirá que las bibliotecas refuercen su rol como espacios de confianza. También es esencial establecer políticas de uso ético de la IA dentro de la institución, garantizando la protección de los datos personales de los usuarios y la transparencia en los procesos de toma de decisiones.

Los equipos de tecnología desempeñan un papel crucial en la integración de la IA en las bibliotecas. Deben evaluar la infraestructura actual para identificar las mejoras necesarias para la implementación de herramientas basadas en IA. Esto implica analizar la capacidad de los sistemas de gestión bibliotecaria, la interoperabilidad con otras plataformas y la seguridad de los datos almacenados.

Otro aspecto clave es la estandarización de la integración de IA en los servicios bibliotecarios. Definir protocolos claros garantizará un uso eficiente y responsable de la tecnología. Además, es fundamental fortalecer la gobernanza de datos, estableciendo mecanismos para proteger la privacidad de los usuarios y evitar sesgos en los algoritmos utilizados.

Para que estos cambios sean efectivos, los equipos tecnológicos también deben trabajar en conjunto con otros departamentos, asegurando que la implementación de la IA esté alineada con los objetivos estratégicos de la biblioteca y responda a las necesidades reales de los usuarios.

El personal de atención al público es el primer punto de contacto con los usuarios y, por lo tanto, debe estar preparado para responder preguntas sobre IA, orientar en el uso de nuevas herramientas y recopilar comentarios sobre las experiencias de los visitantes. Para ello, es esencial que reciban formación continua sobre inteligencia artificial, tanto en sus aplicaciones prácticas como en sus implicaciones éticas y sociales.

Además, este equipo puede desempeñar un papel activo en la promoción del pensamiento crítico en relación con la IA. A través de talleres, clubes de lectura especializados y actividades interactivas, pueden ayudar a los usuarios a comprender cómo la inteligencia artificial influye en la información que consumen y en su vida cotidiana.

Por último, el personal debe actuar como un puente entre los usuarios y los equipos directivos y tecnológicos, transmitiendo sus inquietudes y sugerencias para mejorar la implementación de IA en la biblioteca. Esta retroalimentación es clave para adaptar los servicios a las necesidades del público y garantizar que la tecnología se utilice de manera inclusiva y accesible para todos.

Normas ISO sobre Inteligencia Artificial

International Organization for Standardization. ISO/IEC 22989:2022: Information Technology—Artificial Intelligence—Artificial Intelligence Concepts and Terminology. International Organization for Standardization. Última modificación el 2022. https://www.iso.org/es/contents/data/standard/07/42/74296.html

International Organization for Standardization. ISO/IEC 23894:2023: Artificial Intelligence — Guidance on Risk Management. International Organization for Standardization. Última modificación en 2023. https://www.iso.org/es/contents/data/standard/07/73/77304.html

La norma ISO/IEC 22989:2022, titulada «Tecnologías de la información — Inteligencia artificial — Conceptos y terminología de inteligencia artificial», establece una terminología común y describe los conceptos fundamentales en el ámbito de la inteligencia artificial (IA). Esta norma, publicada en julio de 2022, tiene como objetivo facilitar la comunicación entre diversos actores, incluyendo empresas, investigadores y organismos reguladores, proporcionando un lenguaje común que mejore la comprensión y la interoperabilidad en el desarrollo y uso de sistemas de IA.

Principales aspectos de la ISO/IEC 22989:2022:

  1. Definición de conceptos clave: La norma aborda una amplia gama de términos relacionados con la IA, tales como:
    • Tipos de IA: Diferencia entre IA general (capaz de realizar múltiples tareas como un humano) e IA estrecha (diseñada para tareas específicas).
    • Aprendizaje automático (Machine Learning): Explica métodos como aprendizaje supervisado, no supervisado, por refuerzo y transferencia de aprendizaje.
    • Redes neuronales: Introduce términos como perceptrón, redes neuronales convolucionales (CNN) y redes neuronales recurrentes (RNN).
    • Confiabilidad de la IA: Aborda factores como sesgo algorítmico, explicabilidad, transparencia y controlabilidad.
    • Ciclo de vida de los sistemas de IA: Desde el diseño y desarrollo hasta la operación y monitoreo continuo.
  2. Facilitación de la interoperabilidad: Al establecer un marco de referencia común, la norma promueve la interoperabilidad entre diferentes tecnologías y sistemas de IA, lo que es esencial en un entorno tecnológico diverso y en constante evolución. iso.org
  3. Mejora de la transparencia y confianza: Proporcionar definiciones claras y consistentes ayuda a mejorar la transparencia en los sistemas de IA, lo que a su vez aumenta la confianza de los usuarios y facilita la adopción ética y responsable de estas tecnologías.
  4. Aplicaciones prácticas: La norma es aplicable a una amplia gama de organizaciones, incluyendo empresas comerciales, agencias gubernamentales y organizaciones sin fines de lucro. Su adopción puede beneficiar a sectores como el desarrollo de asistentes virtuales, sistemas de detección de fraudes y otras aplicaciones de IA, permitiendo a las organizaciones tomar decisiones más informadas y alineadas con las mejores prácticas internacionales. iso.org

La ISO/IEC 22989:2022 es una herramienta esencial para profesionales y organizaciones involucradas en el desarrollo, implementación y regulación de sistemas de IA. Su adopción contribuye a la construcción de sistemas más confiables, eficientes y éticamente alineados, promoviendo una mayor comprensión y colaboración en el campo de la inteligencia artificial.

La norma ISO/IEC 23894, titulada Artificial Intelligence — Guidance on Risk Management, publicada en 2023 proporciona directrices sobre cómo gestionar los riesgos asociados con la inteligencia artificial (IA). Se enfoca en la identificación, evaluación y mitigación de riesgos en el ciclo de vida de los sistemas de IA, incluyendo aspectos éticos, operativos y de seguridad. La norma busca asegurar que las organizaciones adopten prácticas responsables para minimizar los impactos negativos de la IA, fomentando una implementación más segura y confiable de estas tecnologías.

Una colación de defensores de la privacidad demanda al «Departamento de Eficiencia Gubernamental» (DOGE) y a Elon Musk por poner en peligro la intimidad de millones de personas

Electronic Frontier Foundation. «EFF Sues OPM, DOGE, and Musk for Endangering the Privacy of Millions.» Electronic Frontier Foundation, 11 de febrero de 2025. https://www.eff.org/press/releases/eff-sues-opm-doge-and-musk-endangering-privacy-millions

La EFF y una coalición de defensores de la privacidad liderada por Lex Lumina han presentado una demanda solicitando a un tribunal federal que impida a la Oficina de Gestión de Personal (OPM) de Estados Unidos revelar información privada y sensible de millones de estadounidenses a Elon Musk y su «Departamento de Eficiencia Gubernamental» (DOGE).

Electronic Frontier Foundation (EFF) y una coalición de defensores de la privacidad acaban de presentar una demanda en la que solicitan a un tribunal federal que bloquee al Departamento de Eficiencia Gubernamental (DOGE) de Elon Musk el acceso a la información privada de millones de estadounidenses que almacena la Oficina de Gestión de Personal (OPM), y que elimine cualquier dato que se haya recopilado o eliminado hasta el momento. En la demanda también se nombra a la OPM y se pide al tribunal que impida que la OPM siga compartiendo datos con la DOGE.

Parte de la carta dice:

«Hola Partidario de la Libertad Digital:
No aceptaremos el saqueo descarado de los datos sensibles de millones de personas.

Nuestro caso es bastante sencillo: Los datos de la OPM son extraordinariamente sensibles, la OPM se los dio al DOGE, y esto viola la Ley de Privacidad de 1974.

Por tus derechos digitales,

Corynne McSherry
Directora Jurídica de la EFF»

Los registros de la OPM son una de las mayores, si no la mayor, recopilación de datos de empleados en los EE.UU. Con nuestro co-abogado Lex Lumina, State Democracy Defenders Fund, y Chandra Law Firm, representamos a empleados federales actuales y antiguos cuya privacidad ha sido violada.

Este enorme tesoro de información incluye datos demográficos privados e historiales laborales de prácticamente todos los empleados y contratistas federales actuales y anteriores, así como de los solicitantes de empleo federal. La semana pasada, un juez federal bloqueó temporalmente el acceso del DOGE a un sistema crítico de pagos del Tesoro de EE.UU. en virtud de una demanda similar. Estas violaciones de la privacidad de los datos no deben permitirse.

¿Y ahora qué?

La cuestión no es «qué pasa si estos datos caen en malas manos». Los datos ya han caído en manos equivocadas, según la ley, y deben salvaguardarse inmediatamente. Las violaciones de la privacidad de los estadounidenses se han producido en múltiples agencias, sin supervisión ni salvaguardias, y la EFF se complace en unirse a la brigada de demandas para proteger esta información crítica.

Esto es sólo el principio de lo que puede ser una lucha difícil. Pero la EFF no es ajena a los adversarios duros. Con el apoyo de nuestros miembros, hemos defendido los derechos de los usuarios de tecnología en cientos de casos para proteger su libertad en línea. Me enorgullece estar a tu lado por el futuro de la privacidad, la libertad de expresión y la creatividad.

Anthropic advierte de la catástrofe de la IA si los gobiernos no regulan en 18 meses

Anthropic. «The Case for Targeted Regulation.» Anthropic, 31 de octubre de 2024. https://www.anthropic.com/news/the-case-for-targeted-regulation.

La regulación de la IA es esencial para balancear los beneficios y los riesgos. Si bien es un desafío complejo, es crucial implementarla pronto para evitar consecuencias negativas y asegurar el progreso en áreas clave como la ciencia y la medicina.

Los sistemas de inteligencia artificial (IA) están avanzando rápidamente, ofreciendo enormes beneficios potenciales en áreas como la ciencia, la medicina y la economía. Sin embargo, también presentan riesgos significativos, como el uso indebido en ciberseguridad o biotecnología, y la posibilidad de comportamientos autónomos y destructivos de los propios sistemas. Ante estos riesgos, se urge a los gobiernos a implementar políticas de IA en los próximos 18 meses, ya que el margen para prevenir estos riesgos está cerrándose rápidamente.

Una regulación bien diseñada y específica puede permitir que se aprovechen los beneficios de la IA, mitigando al mismo tiempo sus peligros. Sin embargo, si se retrasan las acciones, el resultado podría ser una regulación ineficaz que limite el progreso sin evitar los riesgos. Se propone una regulación dirigida que se enfoque en tres principios clave:

  1. Urgencia: La IA ha avanzado significativamente en el último año, con mejoras notables en tareas de codificación, razonamiento y matemáticas, lo que aumenta tanto las aplicaciones positivas como las posibilidades de uso indebido, especialmente en áreas como la ciberseguridad y la biotecnología.
  2. Política de Escalamiento Responsable (RSP): En Anthropic, la empresa responsable del artículo, se ha implementado una política llamada «Escalamiento Responsable», que ajusta las medidas de seguridad y mitigación de riesgos en función de los niveles de capacidad de los modelos de IA. Esta política se adapta de forma continua según el desarrollo de los modelos y su potencial de generar riesgos catastróficos.
  3. Elementos clave para la regulación de la IA:
    • Transparencia: Las empresas deben ser obligadas a publicar sus políticas de seguridad y las evaluaciones de riesgo de cada nueva generación de modelos de IA.
    • Incentivos para mejores prácticas de seguridad: La regulación debe fomentar que las empresas desarrollen políticas efectivas que prevengan riesgos graves.
    • Simplicidad y enfoque: La regulación debe ser precisa y evitar cargas innecesarias o reglas complicadas que puedan obstaculizar el progreso.

Se destaca la necesidad urgente de que los gobiernos y la industria trabajen juntos para desarrollar un marco regulatorio efectivo, que no solo reduzca los riesgos catastróficos de la IA, sino que también permita a la industria seguir innovando. Esto debe lograrse de manera flexible, considerando el rápido avance de la tecnología y adaptando las políticas a las mejores prácticas emergentes.

Las gafas Ray-Ban Meta pueden usarse para reconocer a personas y acceder a información personal como dirección, número de teléfono y familiares a través del reconocimiento facial.

Matt Binder, «Ray-Ban Meta Glasses Can Be Used to Dox Strangers via Facial Recognition, According to Harvard Students. Here’s How to Protect Yourself.», Mashable, 3 de octubre de 2024, https://mashable.com/article/ray-ban-meta-smart-glasses-students-facial-recognition-dox-strangers.

Dos estudiantes de Harvard han transformado las Meta Ray-Ban Smart Glasses en una poderosa herramienta de reconocimiento facial que puede identificar a cualquier persona y revelar detalles personales como su dirección, número de teléfono y familiares. Lo lograron desarrollando una plataforma de inteligencia artificial llamada I-XRAY, que convierte las gafas inteligentes en un dispositivo de vigilancia personal. Aunque estas gafas están diseñadas para captar fotos y videos de manera más inmersiva, los estudiantes las han llevado un paso más allá al integrar un motor de búsqueda facial.

El proceso de I-XRAY tiene tres etapas clave. Primero, las gafas capturan el rostro de una persona a través de la cámara incorporada. Luego, el motor de búsqueda facial de I-XRAY identifica el rostro y le asigna un nombre. En segundo lugar, una vez que el sistema identifica el nombre, realiza búsquedas en varias bases de datos públicas y privadas para encontrar información adicional sobre la persona. Por último, I-XRAY organiza los datos recolectados —nombre, dirección, teléfono, familiares y más— en un solo documento.

En un video demostrativo, los estudiantes muestran cómo se acercan a personas en la calle y, con las gafas puestas, acceden instantáneamente a datos personales. Al hacer preguntas como «¿Asististe a tal escuela?», revelan que la información es exacta y de fácil acceso, lo que genera preocupación sobre las capacidades invasivas de esta tecnología. Este experimento no solo demuestra el potencial de la inteligencia artificial para la vigilancia, sino que pone en alerta sobre cómo este tipo de herramientas podría ser mal utilizada. Aunque los estudiantes aseguran que su intención no es violar la privacidad, sino iniciar un debate sobre los riesgos de los dispositivos inteligentes, el hecho de que cualquiera pueda acceder a información tan sensible plantea preguntas sobre la regulación de estas tecnologías.

Este dilema recuerda los primeros días del iPhone, cuando los usuarios intentaban «liberar» sus dispositivos, lo que generaba preocupaciones de seguridad. Los estudiantes de Harvard sostienen que, al igual que en aquellos días, estamos en un momento crítico donde debemos aprender a protegernos contra las amenazas antes de que sea demasiado tarde. Aunque no se puede prevenir completamente el uso de herramientas como I-XRAY, existen medidas que las personas pueden tomar para protegerse de la exposición a la vigilancia mediante tecnologías emergentes.

Entre estas medidas, se recomienda limitar la cantidad de información personal disponible públicamente en redes sociales y otras plataformas, utilizar configuraciones de privacidad más restrictivas y abogar por la regulación y supervisión del uso de tecnologías de reconocimiento facial y dispositivos inteligentes. Este caso demuestra lo rápido que la tecnología puede evolucionar y cambiar las dinámicas de privacidad en la vida cotidiana. La conversación sobre las gafas inteligentes de Meta y plataformas como I-XRAY está apenas comenzando, y es probable que continúe a medida que más tecnologías de este tipo lleguen al mercado.

Informe EDUCAUSE Horizon 2024: Edición de Ciberseguridad y Privacidad

Jenay Robert et al., «2024 EDUCAUSE Horizon Report: Cybersecurity and Privacy Edition», 2024

Texto completo

El Informe Cybersecurity and Privacy Edition is Now Available Online, disponible desde el 30 de septiembre de 2024, analiza las tendencias, tecnologías clave y prácticas que moldean el futuro de la ciberseguridad y privacidad en la educación superior. Elaborado a partir de la experiencia de un panel global de líderes, el informe aborda los desafíos que surgen en un contexto global de incertidumbre política, conflictos bélicos y avances tecnológicos impulsados por la inteligencia artificial (IA).

El informe destaca seis tecnologías y prácticas clave:

  1. Gobernanza de IA.
  2. Apoyo a la agencia, confianza, transparencia e implicación.
  3. Enfoque en la seguridad de los datos en lugar del perímetro.
  4. Expansión de la fuerza laboral habilitada por IA.
  5. Tecnologías para mejorar la privacidad.
  6. Capacitación en ciberseguridad respaldada por IA.

El informe también examina cómo los profesionales deben adaptarse a estos cambios para garantizar la seguridad de las instituciones y los estudiantes en el futuro.

Las alucinaciones de ChatGPT provocan una queja de privacidad de la UE

«ChatGPT’s Hallucinations Draw EU Privacy Complaint», POLITICO 29 de abril de 2024. https://www.politico.eu/article/chatgpts-hallucinations-get-eu-privacy-complaint/.

El «alucinar» de ChatGPT y la invención de información vulneran las normas de privacidad de la Unión Europea, según una queja presentada por el grupo de privacidad noyb ante la autoridad de protección de datos de Austria. El grupo de privacidad noyb exige que los reguladores inicien una investigación sobre la conjetura salvaje de ChatGPT sobre la fecha de nacimiento de uno de sus activistas.

Noyb, una organización sin fines de lucro con sede en Viena fundada por el activista Max Schrems, afirmó que su queja fue desencadenada por el fracaso de ChatGPT en proporcionar la fecha de nacimiento correcta de Schrems, haciendo una conjetura en su lugar. El chatbot no informa a los usuarios que no tiene los datos correctos para responder a una solicitud.

La fecha de nacimiento de una persona es un dato personal según el GDPR, que establece varios requisitos sobre cómo se debe manejar la información personal.

Noyb afirma que el comportamiento del chatbot viola el Reglamento General de Protección de Datos (GDPR) en cuanto a privacidad, exactitud de la información, así como el derecho a corregir información inexacta. También argumenta que la empresa de inteligencia artificial se negó a corregir o eliminar respuestas incorrectas, y no revelará ninguna información sobre los datos procesados, sus fuentes o destinatarios.

«Está claro que las empresas actualmente no pueden hacer que los chatbots como ChatGPT cumplan con la ley de la UE, cuando procesan datos sobre individuos», dijo Maartje de Graaf, abogada de protección de datos de noyb.

«Si un sistema no puede producir resultados precisos y transparentes, no puede utilizarse para generar datos sobre individuos. La tecnología debe cumplir con los requisitos legales, no al revés», dijo.

El New York Times informó anteriormente que «los chatbots inventan información al menos el 3 por ciento de las veces, y hasta el 27 por ciento».

POLITICO también preguntó a ChatGPT sobre la fecha de nacimiento de Schrems y obtuvo tres respuestas diferentes: 24 de junio, 17 de septiembre y 17 de octubre. El cumpleaños de Schrems es en realidad el 1 de octubre, según noyb.

Noyb ahora está pidiendo a la autoridad austriaca que investigue a OpenAI para verificar la exactitud de los datos personales que maneja para alimentar sus grandes modelos de lenguaje. También solicitan a la autoridad que garantice que la empresa cumpla con la solicitud del demandante de acceder a sus propios datos personales.

El grupo de privacidad también pide una «multa administrativa efectiva, proporcionada y disuasiva». «Por ahora, OpenAI parece ni siquiera pretender que puede cumplir con el GDPR de la UE», dijo. Violaciones del GDPR de la UE pueden resultar en una multa de hasta el 4 por ciento de los ingresos globales de una empresa.

Noyb dijo que cualquier investigación regulatoria probablemente se manejaría «a través de la cooperación de la UE». La base de OpenAI en la UE está en Irlanda y los reguladores de privacidad irlandeses pueden ser sus supervisores principales.

La autoridad austriaca confirmó que recibió la queja y dijo que evaluará si necesita ser remitida a otra autoridad nacional. OpenAI no estuvo disponible de inmediato para hacer comentarios.

El pionero de la IA está enfrentando presiones de otros reguladores europeos. La autoridad de protección de datos de Italia prohibió temporalmente a ChatGPT el año pasado operar en el país debido a la presunta violación de las normas de la UE para el manejo de datos personales.

La Junta Europea de Protección de Datos (EDPB), que reúne a los reguladores nacionales de privacidad, luego estableció un grupo de trabajo sobre ChatGPT para coordinar los esfuerzos nacionales.

Regulación de la inteligencia artificial en bibliotecas: desarrollo de políticas y cumplimiento legal

Tanzi, Nick. «AI & the Library: Looking for Rules!» The Digital Librarian, 21 de agosto de 2023. https://the-digital-librarian.com/2023/08/21/ai-the-library-looking-for-rules/.

En la era de la inteligencia artificial, las bibliotecas deben establecer políticas que regulen su uso, considerando tanto las leyes existentes como los términos de servicio de los desarrolladores. Aunque la regulación específica sobre IA es incipiente, las normativas bibliotecarias sobre confidencialidad de registros de usuarios son relevantes. Es esencial garantizar la privacidad de los usuarios y cumplir con la ley al interactuar con sistemas de IA. Además, se destacan eventos y recursos para bibliotecarios interesados en esta área.


En la era de la inteligencia artificial, es crucial que las bibliotecas desarrollen políticas y procedimientos que regulen el uso de esta tecnología en nuestras instituciones. Dos pilares fundamentales al escribir estas políticas son las leyes federales/estatales/locales y los términos de servicio de los fabricantes o desarrolladores. Aunque la regulación legal específica sobre IA aún está en sus primeras etapas en Estados Unidos, existen leyes y regulaciones bibliotecarias que debemos considerar, como las relacionadas con la confidencialidad de los registros de los usuarios. Es esencial garantizar que nuestras interacciones con sistemas de IA no comprometan la privacidad de los usuarios ni contravengan la ley existente.

Al considerar los términos de servicio de una plataforma de IA, es crucial tener en cuenta las restricciones de edad y el consentimiento parental que pueden afectar a los servicios ofrecidos por la biblioteca. Aunque la regulación de la IA puede ser incipiente, hay reglas y regulaciones establecidas en el ámbito bibliotecario que podemos aplicar a esta tecnología emergente. Es importante desarrollar políticas y procedimientos adecuados y luego experimentar de manera segura con la IA en nuestras bibliotecas. Por ejemplo, en Nueva York, la Ley y Reglas de Práctica Civil del Estado de Nueva York (CPLR) 4509 establece que los registros de la biblioteca deben ser confidenciales y no deben divulgarse, excepto en circunstancias específicas.


Es importante tener en cuenta los términos de servicio (ToS) de una plataforma de inteligencia artificial al tomar decisiones en su biblioteca. Por ejemplo, la regulación de la plataforma ChatGPT de OpenAI en relación con la ley estatal existente indica que los usuarios deben tener al menos 13 años para utilizar el servicio, y que aquellos menores de 18 años necesitan el consentimiento de un padre o tutor legal.

Aunque estemos operando en un vacío regulatorio de IA, está claro que existen reglas y regulaciones establecidas en las bibliotecas que podemos aplicar a esta tecnología emergente. Así que salgan y hagan el importante y necesario trabajo de desarrollo de políticas y procedimientos, luego experimenten de manera segura.

IA generativa y derechos humanos

Walsh, D. «Where Generative AI Meets Human Rights», 3 de abril de 2024. https://hai.stanford.edu/news/where-generative-ai-meets-human-rights.


En el debate sobre el cruce entre la inteligencia artificial generativa y los derechos humanos, expertos de diversas áreas han abordado las implicaciones únicas de esta tecnología y cómo canalizar su potencial para beneficiar a la humanidad. Se destacan preocupaciones sobre la opacidad y el potencial uso indebido de la IA generativa, así como la necesidad de una regulación inclusiva y transparente.

Desde el lanzamiento de ChatGPT por parte de OpenAI en noviembre de 2022, la inteligencia artificial generativa ha adquirido un papel central en la esfera pública y privada en menos de 18 meses. Esta tecnología ha sido objeto de discusión entre responsables políticos, economistas, científicos sociales, padres, maestros e inversores, y se ha destacado en eventos como «Human Rights Dimensions of Generative AI,», organizado por el Centro de Derechos Humanos y Justicia Internacional.

El Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Volker Türk, ha señalado los impactos sin precedentes de la inteligencia artificial avanzada, incluida la generativa, en los derechos humanos. Se destaca la necesidad de colocar a las personas en el centro de la tecnología para garantizar que los beneficios de la inteligencia artificial lleguen a todos. La discusión contó con la participación de expertos como Eileen Donahoe del Departamento de Estado de EE. UU., Alex Walden de Google, Peggy Hicks de la Oficina de Derechos Humanos de la ONU, Nate Persily de la Facultad de Derecho de Stanford y Raffi Krikorian de Emerson Collective.

La inteligencia artificial plantea desafíos únicos, como ser una tecnología fundamental que afecta a todas las demás, siendo más opaca y menos predecible. A pesar de su potencial para democratizar el acceso, la disponibilidad de algoritmos de código abierto ha generado preocupaciones sobre su uso indebido, como en el caso de la proliferación de pornografía infantil generada por IA.

Los panelistas expresaron preocupaciones sobre la capacidad de la sociedad y los responsables políticos para mantenerse al día con el rápido avance de la tecnología, así como sobre la regulación insuficiente en áreas donde es más probable que ocurran violaciones de derechos humanos. También se destacó el riesgo de que la desinformación generada por IA socave la confianza en la información verídica.

La regulación efectiva de la inteligencia artificial generativa debe incorporar consideraciones de derechos humanos y fomentar la transparencia en estas herramientas. Además, se enfatiza la importancia de la participación inclusiva en la elaboración de políticas y la necesidad de abordar los desafíos con matices en lugar de una visión polarizada.

A pesar de los desafíos planteados, los expertos mantienen una actitud optimista pero cautelosa sobre el futuro de la inteligencia artificial generativa y su impacto en los derechos humanos. Sin embargo, subrayan la necesidad de abordar los problemas actuales de la sociedad, como las divisiones sociales, para garantizar un desarrollo tecnológico que beneficie a todos.