Mittelstadt, Brent, Sandra Wachter, y Chris Russell. «To Protect Science, We Must Use LLMs as Zero-Shot Translators». Nature Human Behaviour 7, n.^o 11 (noviembre de 2023): 1830-32. https://doi.org/10.1038/s41562-023-01744-0.

Un artículo escrito por los profesores Brent Mittelstadt, Chris Russell y Sandra Wachter del Instituto de Internet de Oxford aborda preocupaciones sobre los Modelos de Lenguaje Grandes (LLMs) que representan una amenaza directa para la ciencia debido al fenómeno de ‘alucinaciones’, la generación de respuestas no verídicas. El artículo destaca la necesidad de restricciones en los LLMs para salvaguardar la verdad científica.

Un nuevo informe elaborado por destacados investigadores de Inteligencia Artificial en el Instituto de Internet de Oxford advierte que los Grandes Modelos de Lenguaje (LLMs) constituyen una amenaza directa para la ciencia debido a las denominadas ‘alucinaciones’ y deben ser restringidos para proteger la verdad científica. Publicado en Nature Human Behaviour, el documento, redactado por los Profesores Brent Mittelstadt, Chris Russell y Sandra Wachter, explica que los LLMs están diseñados para proporcionar respuestas útiles y convincentes sin garantías definitivas sobre su precisión o alineación con los hechos.

La razón detrás de esto es que los datos utilizados por la tecnología para responder preguntas no siempre provienen de fuentes factualmente correctas. Los LLMs se entrenan en grandes conjuntos de datos de texto, generalmente extraídos de fuentes en línea, que pueden contener declaraciones falsas, opiniones y escritura creativa, entre otros tipos de información no factual.

El Prof. Mittelstadt explica que las personas tienden a confiar en los LLMs como si fueran fuentes de información humanas, en parte debido a su diseño como agentes útiles y con sonido humano que conversan con los usuarios y responden a prácticamente cualquier pregunta con texto seguro y bien escrito. Esto conlleva al riesgo de que los usuarios se convenzan fácilmente de la precisión de las respuestas, incluso cuando carecen de base factual o presentan versiones sesgadas de la verdad.

Para proteger la ciencia y la educación contra la propagación de información incorrecta y sesgada, los autores argumentan que deben establecerse expectativas claras sobre lo que los LLMs pueden contribuir de manera responsable y útil. Según el informe, «para tareas en las que la verdad es crucial, alentamos a los usuarios a redactar indicadores de traducción que incluyan información verificada y factual».

La Prof. Wachter destaca la importancia de cómo se utilizan los LLMs, especialmente en la comunidad científica, enfatizando la necesidad de confianza en la información fáctica y la responsabilidad en el uso de esta tecnología. El Prof. Russell agrega que es crucial reflexionar sobre las oportunidades que ofrecen los LLMs y considerar si realmente queremos otorgar esas oportunidades a una tecnología solo porque podemos.

Actualmente, los LLMs se tratan como bases de conocimiento y se utilizan para generar información en respuesta a preguntas, lo que hace que el usuario sea vulnerable tanto a la regurgitación de información falsa presente en los datos de entrenamiento como a las ‘alucinaciones’, es decir, información falsa generada espontáneamente por el LLM que no estaba presente en los datos de entrenamiento.

Para superar esto, los autores argumentan que los LLMs deberían utilizarse de manera orientativa. En lugar de depender del LLM como fuente de información relevante, el usuario simplemente debe proporcionar al LLM información apropiada y pedirle que la transforme en una salida deseada, como reescribir puntos clave como conclusión o generar código para transformar datos científicos en un gráfico.

Utilizar los LLMs de esta manera facilita la verificación de la corrección factual y la consistencia con la entrada proporcionada. Los autores reconocen que la tecnología seguramente ayudará en los flujos de trabajo científicos, pero enfatizan que la escrutinio de sus resultados es fundamental para proteger una ciencia robusta.