Brandom, David. ChatGPT: An AI OpenAI Like a Librarian, Search Google. [Gizmodo]. 2024-06-13. https://gizmodo.com/chatgpt-ai-openai-like-a-librarian-search-google-1850238908

El modelo predominante de acceso y recuperación de información antes de que los motores de búsqueda se convirtieran en la norma -bibliotecarios y expertos en la materia o en la búsqueda que proporcionaban información relevante- era interactivo, personalizado, transparente y autorizado. Hoy en día, los motores de búsqueda son la principal forma de acceder a la información, pero introducir unas cuantas palabras clave y obtener una lista de resultados ordenados por alguna función desconocida no es lo ideal.

Una nueva generación de sistemas de acceso a la información basados en inteligencia artificial, como Bing/ChatGPT de Microsoft, Google/Gemini y Meta/LLaMA, está cambiando el modo tradicional de entrada y salida de los motores de búsqueda. Estos sistemas son capaces de tomar frases completas e incluso párrafos como entrada y generar respuestas personalizadas en lenguaje natural.

Casi 4.000 empleos se perdieron el mes pasado a causa de la IA, según un informe
Nvidia afirma que su nuevo superordenador «cierra oficialmente la brecha digital». Las antiguas predicciones sobre IA demuestran que nuestras esperanzas y temores no son nuevos, aunque la tecnología sí lo sea

A primera vista, esto podría parecer lo mejor de ambos mundos: respuestas personales y personalizadas combinadas con la amplitud y profundidad del conocimiento en Internet. Pero como investigador que estudia los sistemas de búsqueda y recomendación, creo que el panorama es, en el mejor de los casos, contradictorio.

Los sistemas de IA como ChatGPT y Gemini se basan en grandes modelos lingüísticos. Un modelo lingüístico es una técnica de aprendizaje automático que utiliza una gran cantidad de textos disponibles, como artículos de Wikipedia y PubMed, para aprender patrones. En términos sencillos, estos modelos calculan qué palabra es probable que venga a continuación, dado un conjunto de palabras o una frase. De este modo, son capaces de generar frases, párrafos e incluso páginas que corresponden a una consulta de un usuario.

Gracias al entrenamiento sobre grandes volúmenes de texto, el ajuste fino y otros métodos basados en el aprendizaje automático, este tipo de técnica de recuperación de información funciona con bastante eficacia. Los grandes sistemas basados en modelos lingüísticos generan respuestas personalizadas para satisfacer las consultas de información. Los resultados han sido tan impresionantes que ChatGPT alcanzó los 100 millones de usuarios en un tercio del tiempo que tardó TikTok en llegar a ese hito. La gente lo ha utilizado no sólo para encontrar respuestas, sino para generar diagnósticos, crear planes de dieta y hacer recomendaciones de inversión.

Sin embargo, hay muchos inconvenientes. En primer lugar, consideremos lo que constituye el núcleo de un gran modelo lingüístico: un mecanismo mediante el cual conecta las palabras y, presumiblemente, sus significados. Esto produce un resultado que a menudo parece una respuesta inteligente, pero se sabe que los grandes sistemas de modelos lingüísticos producen declaraciones casi como loros sin una comprensión real. Así, aunque el resultado generado por estos sistemas pueda parecer inteligente, no es más que un reflejo de patrones subyacentes de palabras que la IA ha encontrado en un contexto apropiado.

Esta limitación hace que los grandes sistemas de modelos lingüísticos sean susceptibles de inventar o «alucinar» respuestas. Los sistemas tampoco son lo suficientemente inteligentes como para entender la premisa incorrecta de una pregunta y responder de todos modos a preguntas erróneas. Por ejemplo, cuando se le pregunta qué cara de presidente de EE.UU. aparece en el billete de 100 dólares, ChatGPT responde Benjamin Franklin sin darse cuenta de que Franklin nunca fue presidente y de que la premisa de que el billete de 100 dólares tiene la foto de un presidente de EE.UU. es incorrecta.

El problema es que, aunque estos sistemas se equivoquen sólo un 10% de las veces, no se sabe qué 10%. La gente tampoco tiene la capacidad de validar rápidamente las respuestas de los sistemas. Esto se debe a que estos sistemas carecen de transparencia: no revelan con qué datos se han entrenado, qué fuentes han utilizado para dar respuestas o cómo se generan esas respuestas.

Por ejemplo, puedes pedirle a ChatGPT que escriba un informe técnico con citas. Pero a menudo se inventa estas citas, «alucinando» tanto con los títulos de los artículos académicos como con los autores. Los sistemas tampoco validan la exactitud de sus respuestas. Esto deja la validación en manos del usuario, y los usuarios pueden no tener la motivación o las habilidades para hacerlo o incluso reconocer la necesidad de comprobar las respuestas de una IA. ChatGPT no sabe cuándo una pregunta no tiene sentido, porque no conoce ningún dato.

Aunque la falta de transparencia puede ser perjudicial para los usuarios, también es injusta para los autores, artistas y creadores de los contenidos originales de los que han aprendido los sistemas, ya que éstos no revelan sus fuentes ni proporcionan atribuciones suficientes. En la mayoría de los casos, los creadores no son compensados ni acreditados, ni se les da la oportunidad de dar su consentimiento.

Esto también tiene un aspecto económico. En un motor de búsqueda típico, los resultados se muestran con los enlaces a las fuentes. Esto no sólo permite al usuario verificar las respuestas y proporciona las atribuciones a esas fuentes, sino que también genera tráfico para esos sitios. Muchas de estas fuentes dependen de este tráfico para sus ingresos. Dado que los grandes sistemas de modelos lingüísticos producen respuestas directas, pero no las fuentes de las que proceden, creo que es probable que esos sitios vean disminuir sus fuentes de ingresos.

Por último, esta nueva forma de acceder a la información también puede restar poder a las personas y quitarles la oportunidad de aprender. Un proceso de búsqueda típico permite a los usuarios explorar el abanico de posibilidades para sus necesidades de información, lo que a menudo les lleva a ajustar lo que buscan. También les da la oportunidad de aprender qué hay ahí fuera y cómo se conectan las distintas piezas de información para realizar sus tareas. Y permite encuentros accidentales o serendipia.

Son aspectos muy importantes de la búsqueda, pero cuando un sistema produce los resultados sin mostrar sus fuentes ni guiar al usuario a través de un proceso, le priva de estas posibilidades.

Los grandes modelos lingüísticos suponen un gran avance en el acceso a la información, ya que ofrecen a las personas una forma de interactuar basada en el lenguaje natural, producir respuestas personalizadas y descubrir respuestas y patrones que a menudo resultan difíciles de imaginar para un usuario medio. Pero tienen graves limitaciones por la forma en que aprenden y construyen las respuestas. Sus respuestas pueden ser erróneas, tóxicas o sesgadas.

Aunque otros sistemas de acceso a la información también pueden adolecer de estos problemas, los sistemas de IA con grandes modelos lingüísticos también carecen de transparencia. Y lo que es peor, sus respuestas en lenguaje natural pueden contribuir a alimentar una falsa sensación de confianza y autoridad que puede resultar peligrosa para los usuarios desinformados.