Vincent, James. «Anthropic Leapfrogs OpenAI with a Chatbot That Can Read a Novel in Less than a Minute». The Verge, 12 de mayo de 2023. https://www.theverge.com/2023/5/12/23720964/chatbot-language-model-context-window-memory-anthropic-claude.

Anthropic ha ampliado la ventana contextual de su chatbot Claude a 75.000 palabras, lo que supone una gran mejora respecto a los modelos actuales. Anthropic afirma que puede procesar una novela entera en menos de un minuto.

Una limitación de los chatbots que a menudo se pasa por alto es la memoria. Si bien es cierto que los modelos lingüísticos de IA que alimentan estos sistemas se entrenan con terabytes de texto, la cantidad que estos sistemas pueden procesar cuando están en uso -es decir, la combinación de texto de entrada y de salida, también conocida como su «ventana contextual»- es limitada. En el caso de ChatGPT, es de unas 3.000 palabras. Hay formas de evitarlo, pero sigue sin ser una gran cantidad de información con la que operar.

Ahora, la startup de IA Anthropic (fundada por antiguos ingenieros de OpenAI) ha ampliado enormemente la ventana de contexto de su propio chatbot Claude, elevándola a unas 75.000 palabras. Como señala la empresa en una entrada de su blog, eso es suficiente para procesar todo El Gran Gatsby de una sola vez. De hecho, la empresa probó el sistema editando una sola frase de la novela y pidiéndole a Claude que detectara el cambio. Lo hizo en 22 segundos.

La ventana contextual de Claude puede procesar ahora 100.000 tokens, frente a los 9.000 anteriores. En comparación, la GPT-4 de OpenAI procesa unos 8.000 tokens (no es el modelo estándar disponible en ChatGPT, hay que pagar para acceder a él), mientras que un modelo de GPT-4 completo de lanzamiento limitado puede manejar hasta 32.000 tokens.

De momento, la nueva capacidad de Claude sólo está disponible para los socios comerciales de Anthropic, que acceden al chatbot a través de la API de la empresa. También se desconoce el precio, pero es seguro que será un aumento significativo. Procesar más texto significa gastar más en computación.

Pero la noticia demuestra que la capacidad de los modelos lingüísticos de IA para procesar información está aumentando, lo que sin duda hará que estos sistemas sean más útiles. Como señala Anthropic, un humano tarda unas cinco horas en leer 75.000 palabras de texto, pero con la ventana de contexto ampliada de Claude, potencialmente puede asumir la tarea de leer, resumir y analizar un documento largo en cuestión de minutos (aunque no hace nada contra la persistente tendencia de los chatbots a inventarse información). Una ventana contextual más grande también significa que el sistema puede mantener conversaciones más largas. Uno de los motivos por los que los chatbots pueden divagar (alucinar) es que, cuando su ventana de contexto se llena, tienden a olvidar información previa. Para abordar este problema, el chatbot de Bing está limitado a 20 turnos de conversación. Esto significa que al proporcionar más contexto, se permite una mayor interacción y conversación fluida entre el usuario y el chatbot. Al establecer un límite en la cantidad de turnos, se busca mantener la relevancia de la información y evitar posibles desviaciones o malentendidos en la conversación.