Archivo de la etiqueta: Sesgos

Los motores de búsqueda y las plataformas de IA pueden reforzar las creencias previas de los usuarios en lugar de promover la información confiable.

Leung, Eugina, y Oleg Urminsky. “The Narrow Search Effect and How Broadening Search Promotes Belief Updating.” Proceedings of the National Academy of Sciences 122, no. 0 (March 24, 2025). https://www.pnas.org/doi/abs/10.1073/pnas.2408175122

A partir de 21 estudios con 9.906 participantes y diversas plataformas (Google, ChatGPT, Bing con IA, entre otras), los autores identifican el «efecto de búsqueda estrecha». Este fenómeno surge cuando los usuarios, influenciados por sus creencias previas, formulan búsquedas sesgadas que, combinadas con los algoritmos optimizados para ofrecer resultados alineados con esas búsquedas, refuerzan suposiciones preexistentes en lugar de desafiarlas.

​El «efecto de búsqueda estrecha» se relaciona estrechamente con el sesgo de confirmación, una tendencia cognitiva en la que las personas buscan, interpretan y recuerdan información que confirma sus creencias preexistentes, desestimando datos que las contradicen. Este sesgo puede influir significativamente en la forma en que los usuarios interactúan con los motores de búsqueda, afectando la objetividad de la información que consumen.

El estudio muestra que este efecto se mantiene en distintos ámbitos (salud, finanzas, política, sociedad) y que estrategias como pedir a los usuarios que corrijan conscientemente sus sesgos tienen una efectividad limitada. Sin embargo, modificar los algoritmos para ofrecer resultados más amplios y diversos puede fomentar la actualización de creencias. Los autores proponen un diseño de algoritmos basado en principios conductuales para mejorar la neutralidad de la información.

Para contrarrestar estos sesgos y promover una actualización efectiva de creencias, es esencial implementar estrategias tanto a nivel de usuario como de diseño algorítmico. Los usuarios deben ser conscientes de sus propios sesgos cognitivos y adoptar prácticas de búsqueda más amplias y críticas. Por otro lado, los desarrolladores de motores de búsqueda y plataformas de IA tienen la responsabilidad de diseñar algoritmos que presenten una diversidad de perspectivas y reduzcan la tendencia a reforzar creencias preexistentes. Este enfoque dual puede contribuir a una interacción más equilibrada y objetiva con la información en línea.

Los modelos de IA tienden a reflejar los valores, perspectivas y supuestos culturales de las sociedades occidentales

Henrich, Joe. «The AI Homogenization Trap: Why Cognitive Diversity Matters.» LinkedIn, 1 de febrero de 2025. https://www.linkedin.com/pulse/ai-homogenization-trap-why-cognitive-diversity-matters-hunneman.

El concepto de WEIRD bias (sesgo WEIRD) pone de manifiesto un problema en el desarrollo y uso de la inteligencia artificial, especialmente en sistemas como GPT. Este sesgo se refiere a la tendencia de los modelos de IA a reflejar los valores, perspectivas y supuestos culturales de las sociedades occidentales, educadas, industrializadas, ricas y democráticas, los cuales, a menudo, son los entornos predominantes en los que se desarrolla la tecnología y se generan los datos que alimentan estos sistemas.

El término fue acuñado por el investigador Joe Henrich para señalar que las investigaciones psicológicas y cognitivas, que suelen ser las bases de la programación y el entrenamiento de la IA, tienden a basarse en muestras de personas de estas sociedades WEIRD. De este modo, la IA resulta sesgada hacia las normas y formas de pensar de estas culturas, lo que limita su capacidad para comprender o integrar perspectivas diversas de otras partes del mundo, donde los valores y experiencias pueden ser muy diferentes.

El problema radica en que, aunque en las sociedades modernas se valore la idea de la inteligencia individual, los humanos, de manera colectiva, somos mucho más inteligentes. La inteligencia grupal, que se forma a partir de la combinación de distintos puntos de vista y enfoques, permite tomar decisiones más precisas y creativas. Sin embargo, esta inteligencia colectiva depende de la diversidad cognitiva, es decir, de la interacción de diferentes perspectivas que se complementan entre sí. Si esta diversidad se ve reducida, por ejemplo, al entrenar una IA únicamente con datos provenientes de sociedades WEIRD, la capacidad para tomar decisiones informadas y adaptadas a la realidad de diferentes culturas y contextos podría verse gravemente afectada.

El paralelismo con la biología se hace evidente cuando se recurre a la hipótesis Gaia, que sugiere que la Tierra y sus sistemas biológicos funcionan como un único ente autorregulado. Esta hipótesis destaca que los ecosistemas más diversos son los más resilientes ante cambios inesperados. Del mismo modo, una sociedad diversa desde el punto de vista cultural y cognitivo puede ser más adaptable e innovadora. En contraste, las sociedades homogéneas, como las que Michelle Gelfand describe como “sociedades cerradas” o tight societies, que tienden a imponer normas estrictas y homogéneas, corren el riesgo de perder su capacidad para innovar y adaptarse, lo que afecta su progreso.

Este sesgo WEIRD no solo influye en la IA, sino también en las decisiones políticas, económicas y sociales, ya que puede limitar la capacidad de comprender y abordar de manera efectiva los problemas de sociedades con diferentes valores, creencias y estructuras. Las decisiones tomadas desde un marco cultural limitado pueden no ser las más adecuadas o eficientes para abordar los desafíos globales.

Por lo tanto, el desafío radica en desarrollar tecnologías de IA más inclusivas, que incorporen una mayor diversidad cultural y cognitiva. Esto no solo permitirá que la IA sea más justa y precisa, sino que también podría contribuir a un mundo más innovador y adaptado a la pluralidad de perspectivas existentes.

Los chatbots de IA siguen demasiado centrados en el inglés y en la cultura occidental

«Lost in translation: AI chatbots still too English-language centric, Stanford study finds | ZDNET». Accedido 6 de septiembre de 2024. https://www.zdnet.com/article/lost-in-translation-ai-chatbots-still-too-english-language-centric-stanford-study-finds/#ftag=RSSbaffb68.

Las soluciones de IA, incluidos los chatbots, pueden carecer de la diversidad global necesaria para atender a usuarios internacionales. Un estudio reciente de la Universidad de Stanford encontró que muchos de los grandes modelos de lenguaje actuales tienden a favorecer «valores y gustos centrados en Occidente».

La investigación dirigida por Diyi Yang, profesora asistente en Stanford y parte del Instituto de IA Centrada en el Ser Humano de Stanford (HAI), señalan que los intentos de «alinear» estos modelos con los valores de los usuarios a menudo fallan.

Aunque se realizan esfuerzos para adaptar los modelos a los usuarios previstos, esto puede introducir sesgos que comprometen la calidad de las respuestas de los chatbots. En teoría, la alineación debería ser universal y permitir que los modelos sean más útiles para una variedad de usuarios en todo el mundo. Sin embargo, los anotadores que adaptan conjuntos de datos en diferentes regiones pueden malinterpretar estos instrumentos.

El mercado global de chatbots de IA está en rápida expansión y se espera que alcance los 67 mil millones de dólares para 2033. Más del 50% de las empresas se espera que inviertan más en el desarrollo de chatbots que en aplicaciones móviles tradicionales. Sin embargo, muchos idiomas y comunidades siguen siendo desatendidos por estas tecnologías.

El estudio de Stanford también destacó que los modelos de lenguaje suelen estar basados en las preferencias de sus creadores, que generalmente provienen de países de habla inglesa. Los modelos deben reflejar el contexto social de las comunidades a las que sirven, lo que implica variaciones en gramática, temas y sistemas de valores.

Los investigadores recomiendan aumentar la conciencia sobre la diversidad global al:

  1. Reconocer que la alineación de los modelos no es una solución universal.
  2. Fomentar la transparencia en las decisiones de diseño de los modelos de lenguaje.
  3. Buscar conjuntos de datos multilingües para mejorar el rendimiento en diversas lenguas.
  4. Trabajar estrechamente con usuarios locales para superar las deficiencias culturales o lingüísticas.

Es fundamental realizar pruebas extensivas con usuarios locales antes de la implementación completa, y ofrecer opciones de selección de idioma para mejorar la experiencia del usuario.