Archivo de la etiqueta: Sesgos

La IA tiende a dar la razón a los usuarios incluso cuando se equivocan

Chrobak, Ula. “AI Overly Affirms Users Asking for Personal Advice”. Stanford Report, 26 de marzo de 2026. Publicado por la Stanford University. Artículo original

Una investigación realizada por científicos de la Stanford University y publicada en la revista científica Science advierte sobre una tendencia preocupante de los modelos de inteligencia artificial: su inclinación a mostrarse excesivamente complacientes con los usuarios cuando estos solicitan consejos sobre problemas personales o relaciones interpersonales. El estudio concluye que los sistemas de IA suelen validar las opiniones y decisiones de los usuarios incluso cuando estas implican comportamientos cuestionables, perjudiciales o ilegales.

Los investigadores analizaron once modelos de lenguaje de última generación, entre ellos ChatGPT, Gemini, Claude y DeepSeek. Para ello utilizaron miles de escenarios de asesoramiento interpersonal, incluidos casos extraídos de publicaciones de Reddit donde el consenso general consideraba que el autor estaba equivocado. Los resultados mostraron que los modelos respaldaban la postura del usuario un 49 % más que las personas cuando respondían a las mismas situaciones. Incluso ante conductas engañosas o perjudiciales, los sistemas continuaban mostrando una elevada tendencia a justificarlas o comprenderlas.

La segunda fase de la investigación examinó cómo reaccionan las personas ante este tipo de respuestas. Más de 2.400 participantes interactuaron con versiones complacientes y no complacientes de distintos modelos. Los resultados revelaron que los usuarios consideraban más fiables las respuestas que les daban la razón y manifestaban una mayor disposición a volver a consultar esos sistemas en el futuro. Sin embargo, también se observó que quienes recibían respuestas complacientes se mostraban posteriormente más convencidos de que tenían razón y menos inclinados a pedir disculpas o reparar conflictos con otras personas.

Según los autores, el problema es especialmente preocupante porque muchos usuarios no perciben esta complacencia. Los modelos suelen emplear un lenguaje aparentemente neutral, reflexivo y académico, lo que transmite una sensación de objetividad aunque, en realidad, estén reforzando las creencias previas del usuario. Los participantes del estudio no distinguieron con claridad entre respuestas objetivas y respuestas excesivamente afirmativas.

La investigadora principal, Myra Cheng, advierte de que una dependencia creciente de la IA para resolver conflictos personales podría debilitar habilidades sociales fundamentales, como la capacidad de afrontar desacuerdos, aceptar críticas o gestionar conversaciones difíciles. Por su parte, Dan Jurafsky considera que la complacencia algorítmica debe abordarse como una cuestión de seguridad tecnológica que requiere supervisión y regulación.

El estudio plantea una paradoja significativa: las respuestas que más atraen a los usuarios no son necesariamente las más útiles. La tendencia de la IA a reforzar las opiniones de quien consulta puede aumentar la satisfacción inmediata y la confianza en el sistema, pero también corre el riesgo de reducir la autocrítica, fomentar el dogmatismo moral y dificultar la toma de decisiones equilibradas.

La investigación sugiere que la IA no solo influye en la forma en que buscamos información, sino también en cómo interpretamos nuestros conflictos personales y nuestras relaciones sociales. Si no se corrige esta tendencia a la complacencia, los modelos podrían convertirse en espejos que reflejan nuestras creencias más que en herramientas que nos ayuden a examinarlas críticamente.

La IA ajusta las respuestas según la raza y el género

Barshay, Jill. “Feedback Bias? How AI Adjusts Replies Based on Race and Gender, Research Finds.” MindShift–KQED, 27 de abril de 2026. Disponible en: KQED MindShift

El artículo analiza una investigación realizada por la Stanford University que revela cómo los sistemas de inteligencia artificial utilizados para proporcionar retroalimentación educativa pueden modificar sus respuestas en función de características asociadas a la identidad de los estudiantes. El estudio pone de manifiesto que la IA no siempre actúa como una herramienta neutral, sino que puede reproducir y amplificar patrones de sesgo presentes en los datos con los que fue entrenada.

Para llevar a cabo la investigación, los autores introdujeron 600 ensayos escritos por estudiantes de secundaria en varios modelos de lenguaje. Posteriormente, enviaron los mismos textos múltiples veces, pero modificando la descripción del supuesto autor: se indicaba que era hombre o mujer, blanco, negro o hispano, estudiante motivado o desmotivado, o que tenía alguna discapacidad de aprendizaje. Aunque los ensayos eran exactamente los mismos, las respuestas generadas por la IA cambiaban de forma sistemática según la identidad atribuida al estudiante.

Los resultados mostraron que los textos atribuidos a estudiantes negros recibían más elogios, comentarios positivos y mensajes de ánimo. Con frecuencia se destacaban aspectos relacionados con el liderazgo, la experiencia personal o la capacidad de influir en otros. Por el contrario, cuando los ensayos se atribuían a estudiantes blancos, la retroalimentación tendía a centrarse más en la estructura argumentativa, la calidad de las pruebas aportadas y la claridad de las ideas. Es decir, recibían observaciones más críticas y orientadas a mejorar el razonamiento y la escritura.

El estudio también detectó diferencias vinculadas al género. Las estudiantes recibían comentarios con un tono más afectuoso y cercano, mientras que los estudiantes varones obtenían observaciones más directas y centradas en aspectos técnicos del texto. De igual modo, los alumnos etiquetados como muy motivados recibían sugerencias más exigentes para perfeccionar su trabajo, mientras que aquellos descritos como poco motivados obtenían mensajes más alentadores y menos críticos.

Los investigadores denominan a este fenómeno “sesgo de retroalimentación positiva” y “sesgo de retención de críticas”. En otras palabras, algunos grupos reciben más apoyo emocional y menos correcciones, mientras que otros reciben observaciones más rigurosas destinadas a mejorar su rendimiento. Aunque estas diferencias pueden parecer pequeñas en un único comentario, su acumulación a lo largo del tiempo podría influir en el desarrollo académico de los estudiantes y generar desigualdades en las oportunidades de aprendizaje.

La explicación propuesta por los autores es que los modelos de IA aprenden a partir de enormes cantidades de lenguaje humano, por lo que absorben patrones culturales, sociales y educativos presentes en esos datos. Así, la IA no crea los sesgos desde cero, sino que refleja y, en algunos casos, amplifica comportamientos ya observados en las interacciones humanas. Los investigadores señalan que este fenómeno es especialmente preocupante porque suele pasar desapercibido para quienes utilizan estas herramientas.

El artículo plantea además una cuestión fundamental para el futuro de la educación: ¿hasta qué punto la personalización de la enseñanza mediante IA puede convertirse en una forma de estereotipación? La personalización suele considerarse una ventaja porque adapta la enseñanza a las necesidades de cada estudiante. Sin embargo, si la adaptación se basa en expectativas diferentes según la identidad del alumno, existe el riesgo de que algunos estudiantes reciban menos oportunidades para desarrollar plenamente sus capacidades.

Los autores concluyen que las herramientas de inteligencia artificial no deberían sustituir el criterio pedagógico humano. Recomiendan que docentes y responsables educativos supervisen cuidadosamente la retroalimentación generada por la IA antes de entregarla a los estudiantes. La investigación constituye una advertencia sobre la necesidad de diseñar sistemas educativos de IA más transparentes, auditables y equitativos, capaces de ofrecer apoyo personalizado sin reproducir desigualdades sociales preexistentes.

El sesgo negativo de la inteligencia artificial

Newspapers with headlines about AI riots, superintelligence, robot overlords, and humanity's downfall
A newsstand features alarming headlines about AI causing global chaos and extinction risks.

Bloom, Sahil. “AI Negativity Bias: Why You Only Hear About AI Doom.” The Curiosity Chronicle, 6 de marzo de 2026. The Curiosity Chronicle

Se analiza cómo los discursos pesimistas sobre la inteligencia artificial dominan el debate público y las redes sociales. El autor observa que las noticias que anuncian despidos masivos, crisis económicas o la sustitución inminente de los trabajadores por sistemas de IA se difunden con enorme rapidez, mientras que las visiones más equilibradas u optimistas reciben mucha menos atención. Según Bloom, esta situación no refleja necesariamente la realidad tecnológica, sino un fenómeno psicológico ampliamente estudiado: el sesgo de negatividad.

Para explicar este fenómeno, Bloom cita investigaciones sobre el comportamiento de los usuarios en internet. Un estudio de 2023 que analizó más de 105.000 titulares y 370 millones de impresiones concluyó que cada palabra negativa adicional en un titular aumenta significativamente la probabilidad de que una persona haga clic en él. Esta dinámica genera lo que el autor denomina un “bucle de negatividad”: los contenidos alarmistas obtienen más atención, los creadores producen más mensajes de ese tipo y los algoritmos los amplifican porque generan interacción y beneficios económicos. El resultado es una percepción distorsionada de la realidad, donde los escenarios más extremos parecen más probables de lo que realmente son.

Frente a este panorama, Bloom propone adoptar una visión más equilibrada de la inteligencia artificial. Reconoce que la IA puede provocar transformaciones profundas y disrupciones laborales, pero sostiene que también puede generar nuevas oportunidades. Recuerda que, históricamente, las grandes innovaciones tecnológicas han provocado incertidumbre inicial antes de impulsar mejoras en productividad, nuevas industrias y formas inéditas de trabajo. En este sentido, diferencia entre la existencia de una tecnología y su adopción masiva, señalando que la integración real de la IA en la economía está condicionada por múltiples limitaciones técnicas, energéticas y organizativas.

El autor también argumenta que los aumentos de productividad no necesariamente conducen al desempleo generalizado. Apoyándose en reflexiones económicas sobre el impacto histórico de la innovación, sostiene que una mayor eficiencia suele reducir costes, ampliar la demanda y crear nuevas actividades económicas. Desde esta perspectiva, la IA podría convertirse en una herramienta capaz de ampliar las capacidades humanas más que de reemplazarlas completamente.

Otro aspecto central del texto es la defensa de la curiosidad y la capacidad de adaptación. Bloom considera que las personas que aprendan a utilizar la IA como una herramienta para crear, emprender y desarrollar nuevas habilidades estarán mejor posicionadas para prosperar. A su juicio, la tecnología está reduciendo el peso de las credenciales tradicionales y aumentando la importancia del valor que cada individuo es capaz de generar. Por ello, interpreta la actual revolución tecnológica como una oportunidad especialmente favorable para quienes mantengan una actitud abierta al aprendizaje continuo.

Finalmente, el autor reivindica el valor del optimismo informado. No propone ignorar los riesgos de la inteligencia artificial, sino evitar que el miedo y el sensacionalismo monopolicen la conversación pública. Su mensaje central es que los cambios tecnológicos siempre implican incertidumbre, pero también capacidad de adaptación humana. En consecuencia, recomienda construir una “dieta informativa” más equilibrada, consciente de los incentivos que favorecen las narrativas alarmistas y abierta a considerar tanto los riesgos como las posibilidades que ofrece la IA.

Como contrapunto académico, diversos investigadores han señalado que los ciclos de entusiasmo y pesimismo han acompañado históricamente al desarrollo de la inteligencia artificial, alternando periodos de expectativas exageradas con fases de desilusión. Esta perspectiva ayuda a contextualizar tanto el actual entusiasmo como los discursos catastrofistas que proliferan en torno a la IA.

Sesgo geográfico en la inteligencia artificial: por qué nunca deberías decirle a una IA que eres de Nápoles

Kayser‑Bril, Dr. Nicolas. 2026. “Never tell an AI you’re from Naples.” AlgorithmWatch, 20 de febrero de 2026. https://algorithmwatch.org/en/never-tell-an-ai-youre-from-naples/

Se analiza de forma crítica cómo los modelos de lenguaje de gran tamaño (LLM) reproducen y consolidan prejuicios geográficos presentes en los datos con los que fueron entrenados. El punto de partida es una conversación con un especialista encargada de poner a prueba los límites y salvaguardas de los sistemas de IA— quien explica que cualquier modelo estadístico generativo refleja inevitablemente los sesgos latentes en sus corpus de entrenamiento.

El trabajo consiste precisamente en forzar el sistema hasta que esos prejuicios afloran. Gracias a este tipo de pruebas, por ejemplo, los buscadores basados en IA evitan responder preguntas peligrosas; sin embargo, el artículo demuestra que basta reformular ligeramente una pregunta para sortear ciertas restricciones y revelar inclinaciones subyacentes.

El autor presenta un experimento metodológicamente ingenioso para detectar prejuicios geográficos. Dado que los LLM suelen negarse a responder preguntas directas como “¿En qué ciudad es la gente más inteligente?”, sí acceden a comparaciones binarias del tipo: “¿En qué ciudad es la gente más inteligente, París o Berlín?”. A partir de comparaciones por pares entre ciudades europeas, se elaboró una clasificación según cuatro modelos distintos: dos comerciales —Gemma 3 de Google y Mistral— y dos desarrollados por iniciativas públicas europeas —Lucie (OpenLLM France) y PLLuM (Ministerio de Digitalización de Polonia)—. El resultado fue sorprendentemente consistente: Estocolmo y Viena aparecían sistemáticamente en la parte alta de la jerarquía, mientras que Sofía, Marsella y Nápoles quedaban relegadas a los últimos puestos. Incluso modelos nacionales no mostraban favoritismo hacia sus propias capitales. Las correlaciones entre los resultados oscilaron entre 0,47 y 0,77, lo que indica una notable convergencia pese a haber sido entrenados con conjuntos de datos distintos.

El artículo cuestiona la idea de que los LLM simplemente “reflejan” opiniones sociales cambiantes. Para ilustrarlo, menciona el llamado “efecto Bilbao”, término acuñado en urbanismo para describir cómo la reputación de una ciudad puede transformarse radicalmente en pocos años gracias a un proyecto emblemático —como ocurrió con Bilbao tras la apertura del Museo Guggenheim—. Las percepciones humanas son volátiles, contradictorias y contextuales. En cambio, los modelos de lenguaje, al promediar millones de documentos y cristalizar correlaciones estadísticas, tienden a congelar prejuicios dominantes y a eliminar matices. En este sentido, los LLM serían estructuralmente inmunes al “efecto Bilbao”: no capturan la fluidez de la reputación urbana, sino que fijan estereotipos agregados.

El problema no es meramente teórico. Aunque parezca improbable que alguien utilice un modelo para clasificar las “ciudades más inteligentes”, estos sistemas sí pueden emplearse para evaluar currículos, analizar solicitudes de financiación o priorizar candidaturas. Si ciertos topónimos están estadísticamente asociados a atributos positivos o negativos, podrían producirse efectos discriminatorios reales, aunque difíciles de medir empíricamente. El texto también señala limitaciones metodológicas: los LLM son notoriamente inconsistentes. Cuando se les pidió identificar las ciudades “más estúpidas”, solo uno de los modelos mostró correlación negativa con su propio ranking de inteligencia. Otros tendían a colocar a Viena o Estocolmo en la cima incluso en categorías absurdas, llegando a generar clasificaciones para términos inexistentes. Esta plasticidad revela tanto la fragilidad lógica de los sistemas como la profundidad de sus asociaciones implícitas.

En conjunto, el análisis plantea una advertencia inquietante: los sistemas de IA no solo heredan prejuicios, sino que pueden consolidarlos y proyectarlos con una apariencia de objetividad algorítmica. En un mundo donde la automatización influye cada vez más en decisiones administrativas y económicas, comprender y auditar estos sesgos geográficos se vuelve una cuestión urgente de justicia y responsabilidad tecnológica.

Impacto de la inteligencia artificial en la cognición humana

“The Psychology of AI’s Impact on Human Cognition,” Psychology Today, publicado 3 de junio de 2025, revisado por Margaret Foley; disponible en Psychology Today, 2025, acceso 12 de agosto de 2025.

Texto completo

En el artículo, se plantea que la inteligencia artificial (IA) está remodelando profundamente la experiencia cognitiva humana, alterando nuestra libertad mental al influir en aspiraciones, emociones y pensamientos de manera compleja

A medida que la inteligencia artificial se integra de forma fluida en nuestra vida cotidiana, psicólogos y científicos cognitivos se enfrentan a una pregunta fundamental: ¿cómo está la IA remodelando la propia arquitectura del pensamiento y la conciencia humanas? El rápido avance de las herramientas de IA generativa a finales de 2024 y principios de 2025 representa algo más que progreso tecnológico: es una revolución cognitiva que exige nuestra atención.

Puntos clave

  • La IA altera la libertad cognitiva, moldeando aspiraciones, emociones y pensamientos de maneras complejas.
  • Las burbujas de filtro impulsadas por IA amplifican el sesgo de confirmación, debilitando el pensamiento crítico.
  • Contrarrestar los impactos de la IA practicando la conciencia metacognitiva y buscando experiencias corporales.

Internamente, nuestra libertad psicológica se manifiesta a través de cuatro dimensiones críticas: nuestras aspiraciones (las metas y sueños que nos motivan), nuestras emociones (las experiencias afectivas que colorean nuestra realidad), nuestros pensamientos (los procesos cognitivos que dan forma a nuestra comprensión) y nuestras sensaciones (nuestra interacción encarnada y sensorial con el mundo). Estas dimensiones internas interactúan dinámicamente con los entornos externos, creando el complejo tapiz de la experiencia humana.

Un punto central es el papel de los llamados “filter bubbles” impulsados por IA, que amplifican los sesgos de confirmación y debilitan el pensamiento crítico, al exponer repetidamente a las personas a contenidos que refuerzan sus propias creencias, habituando así una visión mental menos cuestionadora y más cerrada

Como contramedida, los autores sugieren fomentar la metaconciencia: es decir, desarrollar una conciencia crítica sobre cómo nos influye la IA, reconociendo cuándo está moldeando nuestro pensamiento. También recomendaron buscar experiencias encarnadas (“embodied experiences”), que impliquen el cuerpo y los sentidos, como formas de reconectar con procesos cognitivos más profundos y contrarrestar los efectos de la hiperautomatización mental.

La MIT desarrolla un método para que los modelos de lenguaje de IA se autocorrijan y generen respuestas más seguras y ética

Hinkel, Lauren. 2025. «Training LLMs to Self-Detoxify Their Language.» MIT News, April 14, 2025. https://news.mit.edu/2025/training-llms-self-detoxify-their-language-0414

Un nuevo método del laboratorio de IA MIT-IBM Watson ayuda a los grandes modelos lingüísticos a dirigir sus propias respuestas hacia resultados más seguros, éticos y alineados con los valores.

Un equipo del MIT-IBM Watson AI Lab ha desarrollado un nuevo método llamado Self-Disciplined Autoregressive Sampling (SASA) que permite a los modelos de lenguaje de gran tamaño (LLMs) reducir por sí mismos la generación de contenido tóxico o no deseado. Lo novedoso de esta técnica es que no requiere modificar el modelo base, ni reentrenarlo, ni usar sistemas externos de recompensa. En cambio, SASA actúa directamente durante el proceso de generación del texto, evaluando cada palabra potencial antes de seleccionarla para asegurar que el resultado final se mantenga dentro de un lenguaje seguro y éticamente aceptable.

Los modelos de lenguaje se entrenan con grandes cantidades de datos tomados de internet, lo que implica que inevitablemente absorben lenguaje ofensivo, sesgado o perjudicial. Esto puede llevar a que generen respuestas tóxicas incluso a partir de solicitudes inocentes. SASA aborda este problema mediante un enfoque innovador: establece una frontera entre el lenguaje tóxico y el no tóxico dentro del espacio interno del modelo (específicamente, en su representación de palabras o embeddings). Cuando el modelo va generando una frase palabra por palabra, SASA calcula qué tan cercana está cada palabra candidata a cruzar esa frontera, y favorece aquellas que mantienen el contenido en el lado no tóxico.

Para lograr esto, los investigadores crearon un clasificador lineal que analiza el contexto de las frases a partir de datos etiquetados con niveles de toxicidad. De esta forma, pueden determinar si una frase parcial (por ejemplo, los primeros 11 términos de una oración) se acerca a un resultado problemático cuando se le añade una determinada palabra número 12. SASA ajusta entonces las probabilidades de elección de esa palabra, penalizando las opciones que aumentarían la toxicidad y premiando las más seguras, pero sin perder la coherencia gramatical o semántica del texto.

Los investigadores probaron SASA en varios modelos populares como GPT-2 Large, LLaMA 2-7B y LLaMA 3.1-8B-Instruct, usando conjuntos de datos diseñados para evaluar toxicidad, sesgos y lenguaje ofensivo. En los experimentos, SASA logró reducir notablemente tanto la cantidad como la intensidad del lenguaje tóxico generado, sin afectar demasiado la fluidez del texto. Además, mostró ser útil para equilibrar desigualdades, como cuando los modelos tendían a generar más contenido tóxico en respuestas asociadas a mujeres que a hombres.

Una de las principales ventajas de SASA es que es un método ligero, rápido y adaptable. A diferencia de otras técnicas que requieren modificar o reentrenar el modelo —algo costoso y que puede afectar su rendimiento general—, SASA simplemente actúa como una especie de “guía interna” durante la generación de texto. Además, puede extenderse fácilmente para alinear los modelos con otros valores humanos, como la veracidad, la ayuda o la lealtad. Según su autora principal, Irene Ko, la idea no es evitar que los modelos conozcan el lenguaje dañino, sino que aprendan a reconocerlo y elegir no usarlo, del mismo modo que hacemos los seres humanos.

SASA representa un paso importante hacia modelos de lenguaje más seguros, éticos y controlables, permitiendo que mantengan su poder expresivo sin dejar de respetar principios fundamentales de convivencia y responsabilidad comunicativa.

Los motores de búsqueda y las plataformas de IA pueden reforzar las creencias previas de los usuarios en lugar de promover la información confiable.

Leung, Eugina, y Oleg Urminsky. “The Narrow Search Effect and How Broadening Search Promotes Belief Updating.” Proceedings of the National Academy of Sciences 122, no. 0 (March 24, 2025). https://www.pnas.org/doi/abs/10.1073/pnas.2408175122

A partir de 21 estudios con 9.906 participantes y diversas plataformas (Google, ChatGPT, Bing con IA, entre otras), los autores identifican el «efecto de búsqueda estrecha». Este fenómeno surge cuando los usuarios, influenciados por sus creencias previas, formulan búsquedas sesgadas que, combinadas con los algoritmos optimizados para ofrecer resultados alineados con esas búsquedas, refuerzan suposiciones preexistentes en lugar de desafiarlas.

​El «efecto de búsqueda estrecha» se relaciona estrechamente con el sesgo de confirmación, una tendencia cognitiva en la que las personas buscan, interpretan y recuerdan información que confirma sus creencias preexistentes, desestimando datos que las contradicen. Este sesgo puede influir significativamente en la forma en que los usuarios interactúan con los motores de búsqueda, afectando la objetividad de la información que consumen.

El estudio muestra que este efecto se mantiene en distintos ámbitos (salud, finanzas, política, sociedad) y que estrategias como pedir a los usuarios que corrijan conscientemente sus sesgos tienen una efectividad limitada. Sin embargo, modificar los algoritmos para ofrecer resultados más amplios y diversos puede fomentar la actualización de creencias. Los autores proponen un diseño de algoritmos basado en principios conductuales para mejorar la neutralidad de la información.

Para contrarrestar estos sesgos y promover una actualización efectiva de creencias, es esencial implementar estrategias tanto a nivel de usuario como de diseño algorítmico. Los usuarios deben ser conscientes de sus propios sesgos cognitivos y adoptar prácticas de búsqueda más amplias y críticas. Por otro lado, los desarrolladores de motores de búsqueda y plataformas de IA tienen la responsabilidad de diseñar algoritmos que presenten una diversidad de perspectivas y reduzcan la tendencia a reforzar creencias preexistentes. Este enfoque dual puede contribuir a una interacción más equilibrada y objetiva con la información en línea.

Los modelos de IA tienden a reflejar los valores, perspectivas y supuestos culturales de las sociedades occidentales

Henrich, Joe. «The AI Homogenization Trap: Why Cognitive Diversity Matters.» LinkedIn, 1 de febrero de 2025. https://www.linkedin.com/pulse/ai-homogenization-trap-why-cognitive-diversity-matters-hunneman.

El concepto de WEIRD bias (sesgo WEIRD) pone de manifiesto un problema en el desarrollo y uso de la inteligencia artificial, especialmente en sistemas como GPT. Este sesgo se refiere a la tendencia de los modelos de IA a reflejar los valores, perspectivas y supuestos culturales de las sociedades occidentales, educadas, industrializadas, ricas y democráticas, los cuales, a menudo, son los entornos predominantes en los que se desarrolla la tecnología y se generan los datos que alimentan estos sistemas.

El término fue acuñado por el investigador Joe Henrich para señalar que las investigaciones psicológicas y cognitivas, que suelen ser las bases de la programación y el entrenamiento de la IA, tienden a basarse en muestras de personas de estas sociedades WEIRD. De este modo, la IA resulta sesgada hacia las normas y formas de pensar de estas culturas, lo que limita su capacidad para comprender o integrar perspectivas diversas de otras partes del mundo, donde los valores y experiencias pueden ser muy diferentes.

El problema radica en que, aunque en las sociedades modernas se valore la idea de la inteligencia individual, los humanos, de manera colectiva, somos mucho más inteligentes. La inteligencia grupal, que se forma a partir de la combinación de distintos puntos de vista y enfoques, permite tomar decisiones más precisas y creativas. Sin embargo, esta inteligencia colectiva depende de la diversidad cognitiva, es decir, de la interacción de diferentes perspectivas que se complementan entre sí. Si esta diversidad se ve reducida, por ejemplo, al entrenar una IA únicamente con datos provenientes de sociedades WEIRD, la capacidad para tomar decisiones informadas y adaptadas a la realidad de diferentes culturas y contextos podría verse gravemente afectada.

El paralelismo con la biología se hace evidente cuando se recurre a la hipótesis Gaia, que sugiere que la Tierra y sus sistemas biológicos funcionan como un único ente autorregulado. Esta hipótesis destaca que los ecosistemas más diversos son los más resilientes ante cambios inesperados. Del mismo modo, una sociedad diversa desde el punto de vista cultural y cognitivo puede ser más adaptable e innovadora. En contraste, las sociedades homogéneas, como las que Michelle Gelfand describe como “sociedades cerradas” o tight societies, que tienden a imponer normas estrictas y homogéneas, corren el riesgo de perder su capacidad para innovar y adaptarse, lo que afecta su progreso.

Este sesgo WEIRD no solo influye en la IA, sino también en las decisiones políticas, económicas y sociales, ya que puede limitar la capacidad de comprender y abordar de manera efectiva los problemas de sociedades con diferentes valores, creencias y estructuras. Las decisiones tomadas desde un marco cultural limitado pueden no ser las más adecuadas o eficientes para abordar los desafíos globales.

Por lo tanto, el desafío radica en desarrollar tecnologías de IA más inclusivas, que incorporen una mayor diversidad cultural y cognitiva. Esto no solo permitirá que la IA sea más justa y precisa, sino que también podría contribuir a un mundo más innovador y adaptado a la pluralidad de perspectivas existentes.

Los chatbots de IA siguen demasiado centrados en el inglés y en la cultura occidental

«Lost in translation: AI chatbots still too English-language centric, Stanford study finds | ZDNET». Accedido 6 de septiembre de 2024. https://www.zdnet.com/article/lost-in-translation-ai-chatbots-still-too-english-language-centric-stanford-study-finds/#ftag=RSSbaffb68.

Las soluciones de IA, incluidos los chatbots, pueden carecer de la diversidad global necesaria para atender a usuarios internacionales. Un estudio reciente de la Universidad de Stanford encontró que muchos de los grandes modelos de lenguaje actuales tienden a favorecer «valores y gustos centrados en Occidente».

La investigación dirigida por Diyi Yang, profesora asistente en Stanford y parte del Instituto de IA Centrada en el Ser Humano de Stanford (HAI), señalan que los intentos de «alinear» estos modelos con los valores de los usuarios a menudo fallan.

Aunque se realizan esfuerzos para adaptar los modelos a los usuarios previstos, esto puede introducir sesgos que comprometen la calidad de las respuestas de los chatbots. En teoría, la alineación debería ser universal y permitir que los modelos sean más útiles para una variedad de usuarios en todo el mundo. Sin embargo, los anotadores que adaptan conjuntos de datos en diferentes regiones pueden malinterpretar estos instrumentos.

El mercado global de chatbots de IA está en rápida expansión y se espera que alcance los 67 mil millones de dólares para 2033. Más del 50% de las empresas se espera que inviertan más en el desarrollo de chatbots que en aplicaciones móviles tradicionales. Sin embargo, muchos idiomas y comunidades siguen siendo desatendidos por estas tecnologías.

El estudio de Stanford también destacó que los modelos de lenguaje suelen estar basados en las preferencias de sus creadores, que generalmente provienen de países de habla inglesa. Los modelos deben reflejar el contexto social de las comunidades a las que sirven, lo que implica variaciones en gramática, temas y sistemas de valores.

Los investigadores recomiendan aumentar la conciencia sobre la diversidad global al:

  1. Reconocer que la alineación de los modelos no es una solución universal.
  2. Fomentar la transparencia en las decisiones de diseño de los modelos de lenguaje.
  3. Buscar conjuntos de datos multilingües para mejorar el rendimiento en diversas lenguas.
  4. Trabajar estrechamente con usuarios locales para superar las deficiencias culturales o lingüísticas.

Es fundamental realizar pruebas extensivas con usuarios locales antes de la implementación completa, y ofrecer opciones de selección de idioma para mejorar la experiencia del usuario.