Heaven, Will Douglas. «How DeepSeek Ripped Up the AI Playbook—and Why Everyone’s Going to Follow Its Lead.» MIT Technology Review, January 31, 2025. https://www.technologyreview.com/2025/01/31/1110740/how-deepseek-ripped-up-the-ai-playbook-and-why-everyones-going-to-follow-it/

El artículo destaca la innovación de DeepSeek, una firma china que ha revolucionado la creación de modelos de lenguaje de gran escala. La compañía presentó su modelo R1, que no solo compite con los mejores modelos estadounidenses, sino que fue desarrollado a una fracción del costo y distribuido de forma gratuita. Esta innovación causó un gran impacto en la industria tecnológica, tanto en EE. UU. como en China, y ha generado un cambio significativo en la forma en que se entrenan los modelos de IA.

Lo más relevante de DeepSeek es su enfoque en el aprendizaje automático autónomo. A diferencia de otros enfoques que dependen de la retroalimentación humana (como el aprendizaje reforzado con retroalimentación humana, RLHF), DeepSeek utiliza retroalimentación generada por computadoras para entrenar sus modelos de manera más eficiente y a menor costo. Este proceso de aprendizaje reforzado automatizado permite que los modelos aprendan por prueba y error sin la intervención humana constante.

La compañía también ha logrado reducir costos mediante el uso de chips antiguos y el uso eficiente de grandes conjuntos de datos, como el conjunto Common Crawl, lo que permite entrenar modelos sin necesidad de construir nuevos datos desde cero. Además, la técnica multi-token prediction ha mejorado la precisión y reducido el costo de la formación del modelo.

El modelo R1 es un ejemplo de cómo la IA puede evolucionar rápidamente, y al compartir sus métodos, DeepSeek ha permitido que otros laboratorios y empresas sigan su ejemplo. Grandes empresas como OpenAI y Google DeepMind podrían estar adoptando enfoques similares en secreto, lo que sugiere que la creación de modelos de razonamiento es más accesible de lo que se pensaba. Esto podría llevar a una proliferación de modelos gratuitos y más avanzados, lo que cambiaría el panorama de la IA.