Los investigadores tienen una herramienta mágica para entender la IA: Harry Potter

Borgman, C. L., & Brand, A. (2023). The Future of Data in Research Publishing: From Nice to Have to Need to Have? Harvard Data Science Review. https://doi.org/10.1162/99608f92.b73aae77


Más de dos décadas después de que J.K. Rowling introdujera al mundo a un universo de criaturas mágicas, bosques prohibidos y un mago adolescente, Harry Potter está encontrando una renovada relevancia en un ámbito muy diferente de la literatura: la investigación en inteligencia artificial (IA). Un número creciente de investigadores está utilizando los libros de Harry Potter, superventas, para experimentar con la tecnología generativa de inteligencia artificial, citando la influencia perdurable de la serie en la cultura popular y la amplia gama de datos lingüísticos y juegos de palabras complejos en sus páginas. Revisar una lista de estudios y papers académicos que hacen referencia a Harry Potter ofrece una instantánea de la investigación en inteligencia artificial de vanguardia y algunas de las preguntas más difíciles que enfrenta la tecnología.

En quizás el ejemplo más destacado recientemente, Harry, Hermione y Ron son los protagonistas de un artículo titulado «¿Quién es Harry Potter?» que arroja luz sobre una nueva técnica que ayuda a los modelos de lenguaje grandes a olvidar selectivamente información. Es una tarea de alto riesgo para la industria: los modelos de lenguaje grandes, que alimentan a los chatbots de IA, se construyen con vastas cantidades de datos en línea, incluido material con derechos de autor y otro contenido problemático. Esto ha llevado a demandas y escrutinio público para algunas empresas de IA. Los autores del artículo, los investigadores de Microsoft Mark Russinovich y Ronen Eldan, afirmaron haber demostrado que los modelos de IA pueden ser modificados o editados para eliminar cualquier conocimiento de la existencia de los libros de Harry Potter, incluyendo personajes e historias, sin sacrificar las capacidades de toma de decisiones y análisis del sistema de IA en general. El dúo eligió los libros debido a su familiaridad universal. «Creíamos que sería más fácil para las personas en la comunidad de investigación evaluar el modelo resultante de nuestra técnica y confirmar por sí mismos que el contenido realmente se ha ‘desaprendido'», dijo Russinovich, director de tecnología de Microsoft Azure. «Casi cualquier persona puede idear preguntas para el modelo que indaguen si ‘sabe’ de los libros. Incluso personas que no los hayan leído serían conscientes de elementos de la trama y personajes».

En otro estudio, investigadores de la Universidad de Washington en Seattle, la Universidad de California en Berkeley y el Instituto Allen de IA desarrollaron un nuevo modelo de lenguaje llamado Silo que puede eliminar datos para reducir riesgos legales. Sin embargo, el rendimiento del modelo disminuyó significativamente si solo se entrenaba con texto de bajo riesgo, como libros sin derechos de autor o documentos gubernamentales, según un artículo publicado a principios de este año.

Para profundizar, los investigadores utilizaron libros de Harry Potter para ver si fragmentos individuales de texto influyen en el rendimiento de un sistema de IA. Crearon dos almacenes de datos, o colecciones de sitios web y documentos. El primero incluía todos los libros publicados excepto el primer libro de Harry Potter; otro incluía todos los libros de la serie menos el segundo, y así sucesivamente. «Cuando se eliminan los libros de Harry Potter del almacén de datos, la perplejidad empeora», dijeron los investigadores, refiriéndose a la medida de precisión de los modelos de IA.

Los estudios de IA han citado a Harry Potter durante al menos una década, pero se ha vuelto más común a medida que académicos y tecnólogos se han centrado en herramientas de IA que pueden procesar y responder al lenguaje natural con respuestas relevantes. Con Harry Potter, «la abundancia de escenas, diálogos y momentos emocionales lo hace muy relevante para el área específica del procesamiento del lenguaje natural», dijo Leila Wehbe, una investigadora de Carnegie Mellon que realizó un conjunto de experimentos en 2014 recopilando datos de resonancia magnética cerebral de personas que leían historias de Harry Potter para comprender mejor los mecanismos del lenguaje. En arXiv, un repositorio de investigación científica de acceso abierto, los papers recientes incluyen «Aprendizaje automático para el desarrollo de pociones en Hogwarts«, «Grandes modelos de lenguaje se encuentran con Harry Potter» y «Detección de hechizos en literatura fantástica con una inteligencia artificial basada en transformadores«.

Incluso cuando no es central para la investigación, Harry Potter también es una referencia literaria favorita para los investigadores. Un estudio, por ejemplo, utilizó las obras de Rowling para poner a prueba la inteligencia de sistemas de IA como los que dieron origen al chatbot ChatGPT, un tema que ha generado mucha controversia en debates recientes. Terrence Sejnowski, director del laboratorio de neurobiología computacional en el Instituto de Estudios Biológicos Salk, argumentó en el artículo que los chatbots simplemente reflejan la inteligencia y los sesgos de sus usuarios, como el Espejo de Oesed en el primer libro de Harry Potter, que refleja los deseos de una persona. «Harry Potter es popular entre los investigadores más jóvenes», dijo Wehbe. «Lo habrían leído cuando eran niños o adolescentes, pensando en ellos al elegir un corpus de texto escrito o hablado».