McKinsey & Company. «What Is Retrieval-Augmented Generation (RAG)?» McKinsey & Company, October 30, 2024. https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-is-retrieval-augmented-generation-rag.

RAG le permite al modelo consultar bases de datos, documentos específicos, o incluso la web en tiempo real, para proporcionar respuestas más detalladas y específicas, especialmente en contextos donde se necesita información actualizada o especializada.

El Retrieval-augmented generation (RAG) es un proceso que se aplica a los modelos de lenguaje grandes (LLM) para hacer que sus respuestas sean más relevantes y precisas en contextos específicos. A diferencia de los modelos tradicionales, que solo utilizan los datos con los que fueron entrenados, RAG permite que el modelo acceda a fuentes externas de información, como bases de datos de una organización, antes de generar una respuesta. Además, las respuestas incluyen citas que respaldan la información proporcionada. Esto permite que los modelos generen respuestas muy específicas sin necesidad de un ajuste costoso.

RAG funciona en dos fases: ingestión y recuperación. En la fase de ingestión, los datos relevantes se organizan y se convierten en representaciones numéricas (embeddings), que permiten localizarlos rápidamente. En la fase de recuperación, cuando un usuario hace una consulta, el sistema busca en su base de datos la información más relevante, la procesa y genera una respuesta precisa.

Además de acceder a las bases de datos internas de una organización, los sistemas RAG también pueden consultar fuentes externas en tiempo real, como bases de datos estructuradas, llamadas a API o búsqueda en la web.

Las aplicaciones de RAG son amplias y abarcan áreas como la atención al cliente, la gestión del conocimiento en empresas, la redacción de informes y la asistencia en tareas específicas. Por ejemplo, un chatbot de atención al cliente que use RAG podrá acceder a los datos específicos de la empresa para proporcionar respuestas más precisas y relevantes que uno tradicional basado solo en el entrenamiento del modelo.

Aunque RAG es una herramienta poderosa, tiene algunas limitaciones. La calidad de los datos a los que tiene acceso es crucial, ya que si los datos no son precisos o están desactualizados, la respuesta también lo será. Además, existen preocupaciones sobre la privacidad, la propiedad intelectual y los sesgos presentes en los datos utilizados.

A medida que RAG evoluciona, se espera que se estandaricen más las soluciones y que surjan modelos de LLM optimizados para trabajar con RAG, lo que mejorará la eficiencia y la escalabilidad de esta tecnología, generando mayor valor para las empresas.