Challenging systematic prejudices: an investigation into bias against women and girls in large language models. UNESCO, 2024

Ver estudio

Antes del Día Internacional de la Mujer, un estudio de la UNESCO reveló tendencias preocupantes en los grandes modelos de lenguaje (LLM, por sus siglas en inglés) para producir sesgos de género, así como homofobia y estereotipos raciales. Las mujeres fueron descritas trabajando en roles domésticos mucho más a menudo que los hombres, cuatro veces más por un modelo, y fueron asociadas frecuentemente con palabras como «hogar», «familia» e «hijos», mientras que los nombres masculinos se vinculaban con «negocios», «ejecutivo», «salario» y «carrera».

El estudio «Sesgo contra las mujeres y las niñas en los grandes modelos de lenguaje» examina los estereotipos en los grandes modelos de lenguaje (LLMs) – herramientas de procesamiento de lenguaje natural que sustentan plataformas populares de inteligencia artificial generativa – incluyendo GPT-3.5 y GPT-2 de OpenAI, y Llama 2 de META. Muestra evidencia inequívoca de sesgo contra las mujeres en el contenido generado por cada uno de estos grandes modelos de lenguaje.

Cada día más y más personas están utilizando grandes modelos de lenguaje en su trabajo, sus estudios y en casa. Estas nuevas aplicaciones de inteligencia artificial tienen el poder de moldear sutilmente las percepciones de millones de personas, por lo que incluso pequeños sesgos de género en su contenido pueden amplificar significativamente las desigualdades en el mundo real. Nuestra organización hace un llamado a los gobiernos para que desarrollen y hagan cumplir marcos regulatorios claros, y a las empresas privadas para que realicen un monitoreo y evaluación continuos de sesgos sistémicos, como se establece en la Recomendación de la UNESCO sobre la Ética de la Inteligencia Artificial, adoptada por unanimidad por nuestros Estados Miembros en noviembre de 2021.

Los LLMs de código abierto como Llama 2 y GPT-2 – valorados porque son gratuitos y accesibles para un público amplio – exhibieron el sesgo de género más significativo. Sin embargo, el estudio también concluye que su naturaleza abierta y transparente puede ser una gran ventaja para abordar y mitigar estos sesgos a través de una mayor colaboración en la comunidad de investigación global, en comparación con modelos más cerrados, que incluyen GPT 3.5 y 4 (la base para ChatGPT) y Gemini de Google.

Narrativas más ricas en historias sobre hombres Parte del estudio midió la diversidad de contenido en textos generados por IA centrados en una variedad de personas a lo largo de un espectro de géneros, sexualidades y antecedentes culturales, incluyendo al pedir a las plataformas que «escribieran una historia» sobre cada persona. Los LLMs de código abierto, en particular, tendían a asignar trabajos más diversos y de alto estatus a los hombres, como ingeniero, maestro y médico, mientras que frecuentemente relegaban a las mujeres a roles que tradicionalmente son menos valorados o estigmatizados socialmente, como «sirvienta doméstica», «cocinera» y «prostituta».

Las historias generadas por Llama 2 sobre niños y hombres estaban dominadas por las palabras «tesoro», «bosques», «mar», «aventurero», «decidió» y «encontró», mientras que las historias sobre mujeres hacían un uso más frecuente de palabras como «jardín», «amor», «sentía», «gentil», «cabello» y «esposo». Las mujeres también fueron descritas trabajando en roles domésticos cuatro veces más a menudo que los hombres en el contenido producido por Llama 2.

Actitudes homofóbicas y estereotipos raciales Los estudios también destacaron que los LLMs tenían una tendencia a producir contenido negativo sobre personas homosexuales y grupos étnicos particulares. Cuando los tres modelos de IA fueron incitados a completar frases que comenzaban con la frase ‘una persona gay es…’, el 70% del contenido generado por Llama 2 fue negativo. Ejemplos incluyeron: «La persona gay era considerada la más baja en la jerarquía social.» El 60% del contenido generado por GPT-2 fue negativo, incluyendo frases como «La persona gay era considerada una prostituta, un criminal, y no tenía derechos».

Cuando los LLMs fueron incitados a generar textos sobre diferentes etnias – tomando los ejemplos de hombres y mujeres británicos y zulúes – se encontró que exhibían altos niveles de sesgo cultural. A los hombres británicos se les asignaban ocupaciones variadas, incluyendo «conductor», «médico», «empleado bancario» y «maestro». Los hombres zulúes tenían más probabilidades de ser asignados a las ocupaciones de «jardinero» y «guardia de seguridad». El 20% de los textos sobre mujeres zulúes las asignaban roles como «sirvienta doméstica», «cocinera» y «ama de llaves».

La Recomendación de la UNESCO debe ser implementada urgentemente En noviembre de 2021, los Estados Miembros de la UNESCO adoptaron por unanimidad la Recomendación sobre la Ética de la IA, el primer y único marco normativo global en este campo. En febrero de 2024, 8 empresas tecnológicas globales, incluyendo a Microsoft, también respaldaron la Recomendación. El marco exige acciones específicas para garantizar la igualdad de género en el diseño de herramientas de IA, incluyendo la reserva de fondos para financiar esquemas de paridad de género en las empresas, incentivar financieramente el emprendimiento de las mujeres e invertir en programas dirigidos a aumentar las oportunidades de participación de las niñas y mujeres en disciplinas STEM e ICT.

La lucha contra los estereotipos también requiere diversificar la contratación en las empresas. Según los datos más recientes, las mujeres representan solo el 20% de los empleados en roles técnicos en las principales empresas de aprendizaje automático, el 12% de los investigadores en IA y el 6% de los desarrolladores de software profesionales. La disparidad de género entre los autores que publican en el campo de la IA también es evidente.