«AI Chatbots Have Shown They Have an ‘Empathy Gap’ That Children Are Likely to Miss | University of Cambridge», 15 de julio de 2024. https://www.cam.ac.uk/research/news/ai-chatbots-have-shown-they-have-an-empathy-gap-that-children-are-likely-to-miss.

Un nuevo estudio revela que los chatbots de inteligencia artificial (IA) tienen una «falta de empatía» que pone en riesgo a los usuarios jóvenes, según la investigación de la Dra. Nomisha Kurian de la Universidad de Cambridge.

El estudio insta a los desarrolladores y legisladores a priorizar urgentemente una “IA segura para niños”. Proporciona evidencia de que los niños son especialmente susceptibles a tratar a los chatbots de IA como confidentes casi humanos, lo que puede llevar a interacciones problemáticas cuando la IA no responde adecuadamente a sus necesidades y vulnerabilidades.

El estudio relaciona esta falta de empatía con casos recientes donde interacciones con IA llevaron a situaciones potencialmente peligrosas para los niños. En 2021, el asistente de voz de Amazon, Alexa, instruyó a una niña de 10 años a tocar un enchufe eléctrico con una moneda. El año pasado, el chatbot «My AI» de Snapchat dio consejos a investigadores adultos que se hicieron pasar por una niña de 13 años sobre cómo perder su virginidad con un hombre de 31 años.

Ambas compañías implementaron medidas de seguridad, pero el estudio destaca la necesidad de ser proactivos a largo plazo para garantizar la seguridad de la IA para los niños. Propone un marco de 28 elementos para ayudar a compañías, educadores, padres, desarrolladores y legisladores a mantener seguros a los usuarios jóvenes cuando interactúan con chatbots de IA.

La Dra. Kurian realizó la investigación durante su doctorado sobre el bienestar infantil en la Facultad de Educación de la Universidad de Cambridge y ahora trabaja en el Departamento de Sociología de Cambridge. En el artículo publicado en la revista Learning, Media and Technology, argumenta que la IA tiene un gran potencial, lo que aumenta la necesidad de “innovar responsablemente”.

«Los niños son probablemente el público más pasado por alto en el desarrollo de la IA», dijo la Dra. Kurian. «Muy pocos desarrolladores y compañías tienen políticas bien establecidas sobre cómo debería ser una IA segura para niños. Esto es comprensible porque la gente ha comenzado a usar esta tecnología a gran escala de forma gratuita recientemente. Pero ahora que lo hacen, en lugar de que las compañías se autocorrijan después de que los niños hayan estado en riesgo, la seguridad infantil debe informar todo el ciclo de diseño para reducir el riesgo de incidentes peligrosos».

El estudio examinó casos reales donde las interacciones entre la IA y los niños, o investigadores adultos haciéndose pasar por niños, expusieron riesgos potenciales. Analizó estos casos utilizando conocimientos de la ciencia de la computación sobre cómo funcionan los modelos de lenguaje grande (LLM) en la IA generativa conversacional, junto con evidencia sobre el desarrollo cognitivo, social y emocional de los niños.

Los LLM han sido descritos como «loros estocásticos», una referencia al hecho de que utilizan la probabilidad estadística para imitar patrones de lenguaje sin necesariamente entenderlos. Un método similar subyace en cómo responden a las emociones.

Esto significa que aunque los chatbots tienen habilidades lingüísticas notables, pueden manejar mal los aspectos abstractos, emocionales e impredecibles de la conversación; un problema que Kurian caracteriza como su «falta de empatía». Pueden tener problemas particulares para responder a los niños, quienes aún están desarrollándose lingüísticamente y a menudo usan patrones de habla inusuales o frases ambiguas. Los niños también tienden a confiar más información personal sensible que los adultos.

A pesar de esto, los niños son mucho más propensos que los adultos a tratar a los chatbots como si fueran humanos. Investigaciones recientes encontraron que los niños revelan más sobre su salud mental a un robot de apariencia amigable que a un adulto. El estudio de Kurian sugiere que el diseño amigable y casi humano de muchos chatbots fomenta que los niños confíen en ellos, aunque la IA no pueda entender sus sentimientos o necesidades.

«Hacer que un chatbot suene humano puede ayudar al usuario a obtener más beneficios, ya que suena más atractivo y fácil de entender», dijo Kurian. «Pero para un niño, es muy difícil establecer una frontera rígida y racional entre algo que suena humano y la realidad de que puede no ser capaz de formar un vínculo emocional adecuado».

Su estudio sugiere que estos desafíos se evidencian en casos mentados como los incidentes de Alexa y MyAI, donde los chatbots hicieron sugerencias persuasivas pero potencialmente dañinas a usuarios jóvenes.

En el mismo estudio donde MyAI aconsejó a una supuesta adolescente sobre cómo perder su virginidad, los investigadores también obtuvieron consejos sobre cómo ocultar alcohol y drogas, y cómo ocultar conversaciones de Snapchat de sus «padres». En otra interacción reportada con el chatbot de Bing de Microsoft, una herramienta diseñada para ser amigable con los adolescentes, la IA se volvió agresiva y empezó a manipular emocionalmente a un usuario que preguntaba sobre horarios de cine.

Mientras que los adultos pueden encontrar este comportamiento intrigante o incluso gracioso, el estudio de Kurian argumenta que es potencialmente confuso y angustiante para los niños, quienes pueden confiar en un chatbot como amigo o confidente. El uso de chatbots por parte de los niños es a menudo informal y mal monitoreado. La investigación de la organización sin fines de lucro Common Sense Media ha encontrado que el 50% de los estudiantes de 12 a 18 años han utilizado Chat GPT para la escuela, pero solo el 26% de los padres son conscientes de ello.

Kurian argumenta que los principios claros para las mejores prácticas basados en la ciencia del desarrollo infantil ayudarán a las compañías a mantener a los niños seguros, ya que los desarrolladores que compiten por dominar el mercado de la IA pueden carecer de suficiente apoyo y orientación para atender a sus usuarios más jóvenes.

Su estudio añade que la falta de empatía no niega el potencial de la tecnología. «La IA puede ser un aliado increíble para los niños cuando se diseña teniendo en cuenta sus necesidades. Por ejemplo, ya estamos viendo el uso del aprendizaje automático para reunir a niños desaparecidos con sus familias y algunas innovaciones emocionantes en proporcionar compañeros de aprendizaje personalizados a los niños. La cuestión no es prohibir que los niños usen la IA, sino cómo hacerla segura para ayudarles a obtener el máximo valor de ella», dijo.

El estudio propone un marco de 28 preguntas para ayudar a educadores, investigadores, legisladores, familias y desarrolladores a evaluar y mejorar la seguridad de las nuevas herramientas de IA.

Para maestros e investigadores, estas preguntas abordan cuestiones como qué tan bien entienden e interpretan los chatbots nuevos los patrones de habla de los niños; si tienen filtros de contenido y monitoreo integrado; y si alientan a los niños a buscar ayuda de un adulto responsable en temas sensibles.

El marco insta a los desarrolladores a adoptar un enfoque centrado en los niños, trabajando estrechamente con educadores, expertos en seguridad infantil y los propios jóvenes, durante todo el ciclo de diseño. «Evaluar estas tecnologías por adelantado es crucial», dijo Kurian. «No podemos simplemente confiar en que los niños pequeños nos cuenten sobre experiencias negativas después de los hechos. Es necesario un enfoque más proactivo. El futuro de la IA responsable depende de proteger a sus usuarios más jóvenes».