
Levy, Steven. «8 Google Employees Invented Modern AI. Here’s the Inside Story». Wired. Accedido 16 de abril de 2024. https://www.wired.com/story/eight-google-employees-invented-modern-ai-transformers-paper/.
8 empleados de Google inventaron la IA moderna. Esta es su historia. Se conocieron por casualidad, se engancharon a una idea y escribieron el artículo «Transformers», el avance tecnológico más importante de la historia reciente.
El artículo narra la historia detrás del famoso paper «Attention Is All You Need», escrito en 2017 por ocho investigadores de Google. Este paper introdujo la arquitectura de los «transformers», parte del nombre del acrónimo del modelo GPT, que revolucionó el campo de la inteligencia artificial al proporcionar una forma más efectiva de procesar grandes cantidades de texto. El artículo destaca cómo este equipo de investigadores, liderado por Jakob Uszkoreit, Ashish Vaswani y Noam Shazeer, desarrolló la idea de utilizar la autoatención como un mecanismo fundamental en lugar de las redes neuronales recurrentes tradicionales.
El proceso de desarrollo implicó la colaboración de varios investigadores de diferentes orígenes y nacionalidades, como Illia Polosukhin, Niki Parmar y Llion Jones, entre otros. A medida que experimentaban con la autoatención, descubrieron que esta técnica superaba las limitaciones de las redes neuronales recurrentes, especialmente en la traducción de textos largos.
Noam Shazeer jugó un papel crucial al unirse al equipo y mejorar la implementación de la autoatención, llevando la arquitectura de los transformers a un nuevo nivel. Con su contribución, el equipo logró resultados prometedores en la traducción de textos y presentó el paper en la conferencia Neural Information Processing Systems en diciembre de 2017.
Aunque el paper inicialmente recibió críticas mixtas, generó un gran interés en la comunidad científica y fue aclamado como un hito en el campo de la inteligencia artificial. La arquitectura de los transformers ha sido ampliamente adoptada en Google y otras empresas, y ha demostrado ser fundamental en el desarrollo de modelos de lenguaje y sistemas de traducción automática más avanzados.
A punto de cumplirse su séptimo aniversario, el artículo «Attention» ha alcanzado un estatus legendario. Los autores partieron de una tecnología floreciente y en mejora -una variedad de IA llamada redes neuronales- y la convirtieron en algo más: un sistema digital tan potente que su resultado puede parecer el producto de una inteligencia extraterrestre. Esta arquitectura, denominada transformadores, es la salsa no tan secreta que se esconde detrás de todos esos alucinantes productos de IA, como ChatGPT y generadores gráficos como Dall-E y Midjourney. Shazeer bromea ahora diciendo que si hubiera sabido lo famoso que se iba a hacer el artículo, «quizá se habría preocupado más por el orden de los autores». Los ocho firmantes son ahora microcelebridades. «Hay gente que me pide selfies, ¡porque estoy en un periódico!», dice Llion Jones, que es (al azar, por supuesto) el nombre número cinco.





