Archivo del Autor: Julio Alonso Arévalo

Avatar de Desconocido

Acerca de Julio Alonso Arévalo

Bibliotecario de la Facultad de Traducción y Doc. de la USAL. Ex-Miembro del Grupo de Investigación E-LECTRA. Premio Nacional de Investigación por la UNE Premio mejor Profesional Social Media INFOAWARDS 2019. Creador y editor del repositorio E-LIS. Más de 80 artículos científicos publicados - Ver en E-LIS -en revistas científicas. El profesional de la información, Library Hi-Tech, Electronic Library. Investigación Bibliotecológica, Anales de Documentación... 12 libros publicados: Nueva fuentes de información en el contexto de la web 2.0 (Pirámide), Gutemberg 2.0 (TREA). Social Reading (Elsevier), eBooks en bibliotecas universitarias (TREA), El ecosistema del libro electrónico universitario (UNE), Un viaje a la cultura open (Amazon), GRATIS Zotero (Creative Spaces), Leyendo entre Pantallas (Trea), GRATIS Literaçia da infomrçao (ISPA) GRATIS Espistemologia y acceso abierto (UCE) GRATIS Makerspaces y bibliotecas. Barcelona: El Profesional de la Información EPI-UOC, 2018. Makerspaces. Espacios creativos en bibliotecas: creación, planificación y programación de actividades. Salamanca: Ediciones del Universo, 2019. Los libros, la lectura y los lectores a través de la literatura y las artes. Buenos Aires : Alfagrama Ediciones, 2019 Más de 2000 citas en Google Schoolar Creador y gestor del blog Universo abierto Director del programa de Radio Planeta Biblioteca Más de 250.000 seguidores en los grupos profesionales de Facebook.

Manual para la elaboración de proyectos de integración curricular

CID – Centro de Investigación y Desarrollo. (2025). Manual para la elaboración de proyectos de integración curricular (1ª ed.). Biblioteca Ciencia Latina.

Texto completo

El manual, editado en su primera versión del año 2025 por el Centro de Investigación y Desarrollo (CID), propone una guía detallada para diseñar e implementar proyectos de integración curricular, desde la idea inicial hasta su evaluación y cierre . Su objetivo central es ofrecer a docentes y equipos educativos una estructura organizada, didáctica y contextualizada para armonizar distintas áreas del conocimiento en torno a un proyecto común.

En la introducción, el texto plantea la importancia de la integración curricular como herramienta para conectar saberes y hacerlos más significativos, relevantes y adaptados a las realidades escolares. Se enfatiza el paso del enfoque tradicional por asignaturas hacia uno más holístico y centrado en problemáticas reales del entorno educativo .

A lo largo de los capítulos se describen con claridad las fases del proyecto:

  1. Planificación inicial: se identifican propósitos, diagnóstico de contexto, selección de temas y definición de objetivos.
  2. Diseño de la metodología: se recomienda la formulación de preguntas de proyecto, selección de herramientas y criterios de evaluación.
  3. Ejecución: se guían estrategias para integrar asignaturas, actividades colaborativas, recursos materiales y adaptaciones didácticas según diversidad.
  4. Cronograma y distribución de tareas: se visualiza en una programación temporal clara, incluyendo responsabilidades de docentes, estudiantes y comunidad.
  5. Evaluación: se proponen indicadores, instrumentos (rúbricas, registros, encuestas) y momentos para monitorear el progreso y hacer ajustes.

El manual integra herramientas prácticas como matrices de planificación, ejemplos de proyectos interdisciplinares y modelos de cronogramas, facilitando su uso en distintos niveles educativos y contextos escolares. Se incluyen asimismo orientaciones para adaptar contenidos a la realidad local y atender la diversidad, fomentando una educación inclusiva y equitativa.

Por último, el manual destaca la importancia de involucrar a toda la comunidad educativa: docentes de distintas áreas, autoridades, estudiantes y familias. Subraya la necesidad de consenso y trabajo colaborativo, así como de recursos humanos y materiales bien definidos. La rúbrica de evaluación propuesta permite asegurar que los objetivos previstos se cumplen y sirve de base para una mejora continua.

Chewy Decimal System: una crítica satírica a la clasificación decimal en bibliotecas

Video humorístico compartido en el blog Kottke.org, en el que se presenta la propuesta del divulgador científico Hank Green, quien argumenta que la forma en la que están organizados las bibliotecas es ineficiente y frustrante para los usuarios. Como solución, sugiere reorganizarlos siguiendo una lógica inspirada en el sistema de clasificación bibliotecario, al que llama irónicamente el “Chewy Decimal System” (Sistema Decimal Masticable), parodiando el Dewey Decimal System usado en bibliotecas.

El artículo también sirve como una crítica indirecta a dicho sistema bibliotecario. Se menciona que muchos bibliotecarios no lo aprecian, ya que fue diseñado en el siglo XIX con una visión eurocentrista y colonial, reflejando prejuicios como:

  • Priorizar el cristianismo en la clasificación religiosa.
  • Colocar a los pueblos indígenas en la sección de historia como si fueran del pasado.
  • Separar arbitrariamente animales salvajes y domésticos.

Además, se cuestiona su utilidad para niños, ya que exige comprensión de decimales antes de que se enseñen en la escuela, y se señala que existen sistemas alternativos más intuitivos, aunque su implementación es costosa.

La propuesta de Hank Green es, en esencia, un comentario satírico sobre la rigidez de los sistemas organizativos tradicionales, tanto en bibliotecas como en supermercados, y una invitación a repensar cómo organizamos la información (o los productos) en función de la experiencia del usuario.

El mercado de bibliotecas y archivos se encuentra en una fase de fuerte expansión y digitalización

NewsTrail. Libraries and Archives Market to Get a New Boost: National Archives, Library of Congress, Europeana. Última modificación en 2024. https://www.newstrail.com/libraries-and-archives-market-to-get-a-new-boost-national-archives-library-of-congress-europeana/

El sector de bibliotecas y archivos se encuentra en una fase de fuerte expansión y digitalización, impulsada por tendencias tecnológicas, educativas, de accesibilidad y sostenibilidad, con previsiones optimistas para los próximos años.

El mercado global de bibliotecas y archivos está experimentando un crecimiento constante y una transformación significativa, impulsado por diversos factores tecnológicos, educativos y sociales. En 2024, su tamaño alcanzó aproximadamente los 83 783 millones de dólares, y se proyecta que crecerá hasta 89 010 millones en 2025, con una tasa anual compuesta (CAGR) del 6,2 %. Para 2029, se espera que llegue a 109 490 millones, manteniendo un crecimiento del 5,3 %.

Este auge se debe principalmente a la transformación digital del sector, con la expansión de las bibliotecas digitales, e-libraries y sistemas en la nube, junto a una mayor demanda de servicios comunitarios centrados en el usuario, el aprendizaje a lo largo de la vida, y mejores prácticas de gestión de datos y gobernanza de la información.. Otros factores clave incluyen el crecimiento del sector educativo, el incremento del acceso público a información y patrimonio cultural, y el respaldo de fondos gubernamentales.

La adopción de tecnologías avanzadas es una tendencia destacada: se están integrando herramientas como sistemas de gestión bibliotecaria modernos (incluyendo plataformas como KOHA) y adquisiciones estratégicas —por ejemplo, OCLC adquiriendo cloudLibrary— para fortalecer el acceso digital. El sector está segmentado por tipo (bibliotecas y archivos), por despliegue (presencial vs. nube), tamaño (pequeñas, medianas, grandes) y tipo de usuario (público, académico, infantil, etc.)

Geográficamente, América del Norte lidera el mercado mundial, seguida por regiones de Asia‑Pacífico, Europa y América Latina, con fuertes proyecciones de crecimiento en Asia debido a la digitalización activa en países como China, India y el Sudeste Asiático.

Los principales actores en este mercado incluyen instituciones tradicionales como la Biblioteca del Congreso de EE. UU., la Biblioteca Británica y la Biblioteca Nacional de China, así como proveedores de tecnología como SirsiDynix e Innovative Interfaces

Guía práctica para bibliotecas públicas interesadas en integrar apoyo de salud mental en sus servicios comunitarios

Shearer, Amy L., Ivy Todd, Karen Christianson, Yoselín Mayoral, Logan Dick, Rajeev Ramchand, Sandra Smith, Ta’Kisha Moore, y Lynsay Ayer. Supporting Community Mental Health in Libraries: A Toolkit for Implementing Evidence‑Based Approaches. Santa Monica, CA: RAND Corporation, 2025

Texto completo

El toolkit presenta una guía práctica destinada a bibliotecas públicas para integrar apoyo a la salud mental en sus servicios comunitarios. Desarrollado sobre la base de la iniciativa Libraries for Health (L4H), ejecutada en colaboración entre RAND, St. David’s Foundation, Via Hope y diez bibliotecas del centro de Texas, el toolkit recoge lecciones y modelos exitosos de implementación.

El documento es una guía práctica para bibliotecas públicas interesadas en integrar apoyo de salud mental en sus servicios comunitarios, basado en la experiencia del programa piloto Libraries for Health (L4H). Este programa fue implementado en diez bibliotecas rurales de Texas central, con el objetivo de responder a la creciente demanda de salud mental en comunidades con recursos limitados y escasa presencia de profesionales del área.

El programa L4H se basa en tres pilares fundamentales: la incorporación de especialistas pares, la programación de actividades de salud mental y el establecimiento de alianzas comunitarias. Los especialistas pares son personas con experiencia personal en temas de salud mental que, mediante formación especializada, apoyan emocional y socialmente a los usuarios, conectándolos con recursos locales y facilitando talleres, grupos de apoyo y actividades informativas.

Además, las bibliotecas participantes diseñaron actividades adaptadas a las necesidades de sus comunidades, incluyendo clubes de lectura centrados en salud mental, clases de mindfulness y yoga, talleres de reducción de estrés y grupos de apoyo para cuidadores o personas con ansiedad. Estas actividades fueron clave para disminuir el estigma y facilitar el acceso a recursos en un entorno de confianza.

El documento propone una hoja de ruta para implementar este tipo de iniciativas. Se recomienda evaluar la preparación y capacidad de la biblioteca, identificar las necesidades específicas de la comunidad, establecer metas claras (utilizando el método SMART), seleccionar actividades factibles y significativas, encontrar y capacitar al especialista par adecuado y generar un plan de trabajo detallado. También se destaca la importancia de una estrategia de mejora continua utilizando herramientas como el ciclo Plan-Do-Study-Act (PDSA), así como asegurar la sostenibilidad a través de la recopilación de datos de impacto y la comunicación efectiva de los logros.

Pasos clave recomendados en la guía:

  • Evaluar la preparación y capacidad de la biblioteca.
  • Identificar necesidades comunitarias y fijar metas específicas (SMART).
  • Seleccionar actividades adecuadas y especialistas pares que conecten con la comunidad.
  • Crear un plan de trabajo, asegurar financiamiento y lanzar los programas.
  • Implementar procesos de mejora continua (como el ciclo PDSA).
  • Garantizar la sostenibilidad mediante datos, comunicación de resultados y alianzas estratégicas.

Tendencias y pautas de la investigación sobre inteligencia artificial en las bibliotecas

Autor(es). 2025. “Trends and Patterns of Artificial Intelligence Research in Libraries.” Journal of Library & Information Science 44 (2). https://doi.org/10.1177/21582440251327528

El artículo examina de forma exhaustiva las tendencias actuales en la investigación sobre inteligencia artificial (IA) aplicada a bibliotecas, mediante un análisis bibliométrico de la producción científica en este campo. A partir de una amplia base de datos extraída principalmente de Scopus, los autores estudian la evolución del número de publicaciones, las principales áreas temáticas abordadas, las fuentes académicas predominantes y la distribución geográfica de las contribuciones. Se constata un crecimiento sostenido en la investigación sobre IA en bibliotecas, con un aumento pronunciado a partir del año 2020, influido en parte por el impacto de la pandemia de COVID-19, que impulsó la digitalización y la automatización de servicios bibliotecarios.

Entre los temas más estudiados destacan el uso de algoritmos para personalizar la experiencia del usuario, la implementación de sistemas de recomendación y descubrimiento de información, la minería de datos para la mejora de servicios, y el desarrollo de chatbots que ofrecen atención automatizada. Tecnologías como el aprendizaje automático (machine learning), el procesamiento del lenguaje natural (PLN) y el deep learning se perfilan como herramientas clave en el avance de estos servicios. El estudio también resalta la contribución de la IA a la catalogación automática, la generación de metadatos, y la gestión predictiva de colecciones y recursos digitales.

A nivel geográfico, China, Estados Unidos e India lideran la producción científica sobre IA en bibliotecas, aunque también se observa una creciente participación de investigadores de países del Sudeste Asiático, África y América Latina. Las publicaciones se concentran principalmente en revistas como Library Hi Tech, Journal of Academic Librarianship, Library & Information Science Research y otras relacionadas con la informática aplicada a las ciencias de la información. Además, el análisis de redes de coautoría revela una creciente colaboración internacional e interdisciplinaria entre profesionales de la biblioteconomía, la ciencia de datos y la ingeniería informática.

En cuanto a los métodos utilizados, el artículo emplea herramientas como VOSviewer y Biblioshiny para visualizar redes de co-citación, coautoría y tendencias temáticas. Entre los términos emergentes más relevantes en los últimos años se identifican “chatbots”, “deep learning”, “big data” y “open-source software”. Esto evidencia el avance tecnológico del sector, pero también pone sobre la mesa nuevos desafíos éticos y técnicos. En este sentido, los autores advierten sobre la necesidad de prestar especial atención a cuestiones como la privacidad de los datos, la transparencia algorítmica y el riesgo de sesgos en la toma de decisiones automatizadas.

Finalmente, el estudio concluye que, si bien la IA ofrece oportunidades únicas para transformar los servicios bibliotecarios, su integración debe ser cuidadosa y acompañarse de políticas claras, programas de formación continua para el personal bibliotecario y marcos éticos que garanticen una implementación responsable. Asimismo, se sugiere que futuras investigaciones profundicen en la evaluación del impacto real de estas tecnologías en el acceso a la información y en la equidad digital.

El auge de la censura de libros en EE. UU.: análisis de tendencias y su impacto en la libertad intelectual y la educación pública (2020-2025)

Forrest, Marianne Wood. 2025. The Censorship Acceleration: An Analysis of Book Ban Trends After 2020. EveryLibrary Institute. https://www.everylibraryinstitute.org/censorship_acceleration_report.

El informe The Censorship Acceleration (2025), elaborado por la investigadora Marianne Wood Forrest para el EveryLibrary Institute, analiza el auge de la censura de libros en escuelas y bibliotecas públicas de EE. UU. desde 2020. A diferencia de incidentes aislados impulsados por preocupaciones locales, las prohibiciones de libros se han convertido en una estrategia política nacional orquestada por grupos conservadores bien financiados, como Moms for Liberty y Citizens Defending Freedom. Estos grupos han transformado la censura en una táctica central de una guerra cultural más amplia, orientada a desestabilizar la educación pública, suprimir voces históricamente marginadas y promover la privatización escolar.

Hallazgos clave del informe

  • Motivaciones políticas y religiosas: Las prohibiciones de libros ya no responden a quejas individuales de padres, sino a campañas organizadas por grupos políticos y religiosos con agendas ideológicas claras.
  • Conexión con la privatización educativa: Las campañas de censura están estrechamente vinculadas a esfuerzos para promover la privatización de las escuelas y desmantelar iniciativas de diversidad, equidad e inclusión (DEI).
  • Nacionalización de conflictos locales: Lo que antes eran disputas locales en juntas escolares ahora se han convertido en campañas coordinadas a nivel nacional, con estrategias y recursos compartidos.
  • Impacto del Project 2025: Las políticas propuestas en el Project 2025, como la eliminación de fondos federales para bibliotecas y la criminalización de bibliotecarios, agravan la erosión de la libertad intelectual y la democracia.
  • Resistencia emergente: Se observa un crecimiento en la resistencia, especialmente desde movimientos estudiantiles y estados que han promulgado leyes que protegen el derecho a leer.

Desarrollos en los mercados de inteligencia artificial: nuevos indicadores

OECD. 2025. Developments in Artificial Intelligence Markets: New Indicators Based on Model Characteristics, Prices and Providers. OECD Artificial Intelligence Papers, no. 37. París: OECD Publishing. Publicado el 17 de junio de 2025. https://doi.org/10.1787/9302bf46-en.

El tercer informe presenta indicadores nuevos para analizar los mercados de IA a partir de características de modelos, precios y proveedores. Utiliza una extensa base de datos sobre modelos generativos, incluyendo su rendimiento, coste, origen (empresas desarrolladoras), infraestructuras de nube y aplicaciones derivadas. Se detecta una tendencia hacia la baja de los precios ajustados por calidad, un aumento de la variedad de modelos disponibles y una expansión del número de actores en el mercado, lo que sugiere un dinamismo saludable. Sin embargo, también se identifican riesgos que podrían frenar el crecimiento del sector, como cuellos de botella relacionados con datos, capacidad computacional y escasez de talento especializado. Estas limitaciones podrían derivar en una concentración excesiva del mercado y obstaculizar el acceso abierto y competitivo a los beneficios de la IA.

Modelos de IA confiables mediante tecnologías que mejoran la privacidad (PETs)

OECD. 2025. Sharing Trustworthy AI Models with Privacy‑Enhancing Technologies. OECD Artificial Intelligence Papers, no. 38. París: OECD Publishing. https://doi.org/10.1787/a266160b-en.

El documento aborda el papel de las tecnologías que mejoran la privacidad (Privacy-Enhancing Technologies, PETs) en el desarrollo de modelos de IA confiables. Clasifica los usos de estas tecnologías en dos grandes grupos: por un lado, aquellas que permiten mejorar el rendimiento de los modelos sin exponer los datos, como el federated learning, los entornos de ejecución confiables (TEEs) o la computación multipartita segura (SMPC); por otro, tecnologías que posibilitan la creación y compartición confidencial de modelos, como la privacidad diferencial y el cifrado homomórfico. Estas herramientas son fundamentales para proteger la privacidad y la propiedad intelectual, y para fomentar la colaboración en entornos sensibles. El informe señala que, si bien estas tecnologías tienen un gran potencial, no son soluciones mágicas: su utilidad requiere combinaciones cuidadosas y equilibradas, y todavía presentan desafíos en términos de eficiencia y facilidad de uso. Por ello, se recomienda que los gobiernos impulsen su adopción mediante marcos regulatorios flexibles, apoyo a la I+D y espacios de prueba como los regulatory sandboxes.

El uso de tecnologías como trusted execution environments (TEEs), federated learning, y secure multi-party computation para procesar y ensayar datos sin comprometer su confidencialidad. El uso de datos sintéticos y differential privacy ayuda a reducir la dependencia de datos reales. Para colaborar o compartir modelos sin revelar información protegida, se combinan herramientas como MPC, federated learning, HE, TEE y differential privacy. Estas herramientas permiten crear y utilizar modelos manteniendo su confidencialidad y la de sus datos subyacentes.

Aunque prometedoras, las PETs enfrentan retos técnicos —como complejidad, eficiencia, usabilidad y equilibrio entre utilidad y privacidad— y barreras regulatorias o institucionales que dificultan su adopción amplia.

El informe sugiere que los gobiernos fomenten el uso de PETs mediante:

  • Orientaciones y guías reguladoras
  • Regulatory sandboxes para innovación controlada
  • Apoyo a I +D +i
  • Desafíos o concursos para estimular el desarrollo
  • Compras públicas estratégicas
  • Desarrollo de habilidades y competencias institucionales

Efectos de la IA generativa en la productividad, la innovación y el emprendimiento

Calvino, Flavio; Jelmer Reijerink; y Lea Samek. 2025. The effects of generative AI on productivity, innovation and entrepreneurship. OECD Artificial Intelligence Papers, No. 39. OECD Publishing. https://doi.org/10.1787/b21df222‑en

Este primer informe examina cómo la inteligencia artificial generativa afecta la productividad y transforma el panorama de la innovación y el emprendimiento. Destaca el potencial de la IA para automatizar tareas, amplificar capacidades humanas y modificar las operaciones empresariales. También señala su papel en la estimulación de la creatividad, la aceleración del I+D y la reducción de barreras de entrada para nuevos actores económicos. Sin embargo, el estudio advierte que la eficacia de la IA depende en gran medida del nivel de experiencia del usuario y del tipo de tarea realizada. La colaboración entre humanos y sistemas de IA emerge como una clave para maximizar beneficios. Además, se identifican vacíos importantes en la investigación actual, especialmente en lo referente a los efectos a largo plazo de la IA en los negocios y a la comprensión limitada de sus restricciones por parte de los trabajadores. El informe llama a profundizar en estos aspectos para orientar un uso ético y efectivo de estas tecnologías.

1. Automatización, aumento de habilidades y transformación empresarial

  • La IA generativa puede automatizar tareas rutinarias—como redacción, traducción y resúmenes—, con mejoras en eficiencia de hasta un 40 % y calidad entre un 18–40 % .
  • En la traducción y síntesis de textos complejos —por ejemplo, fallos judiciales—, los modelos actuales igualan o superan sistemas especializados .
  • En programación, herramientas como GitHub Copilot permiten desarrollar código un 55 % más rápido .

2. Colaboración humano‑IA como factor clave

  • La sinergia entre humanos y IA es fundamental: el usuario y el contexto determinan el éxito, y no es un sustituto sino un complemento ft.com.
  • Esta colaboración es particularmente efectiva para tareas con alta carga cognitiva, liberando tiempo para tareas estratégicas .

3. Estímulo a la creatividad e innovación

  • En generación de ideas, la IA puede potenciar creatividad, especialmente para personas sin experiencia, aunque puede generar resultados menos diversos o más homogéneos arxiv.org+1arxiv.org+1.
  • En entornos de I+D, la IA acelera la definición de problemas, diseño experimental y fases iniciales del desarrollo de productos y servicios oecd.org.
  • Para grupos de innovación, estudios revelan que herramientas con IA mejoran la originalidad, claridad y calidad de las ideas oecd.org+1arxiv.org+1.

4. Rendimiento económico y mercados de capital

  • El lanzamiento de ChatGPT se asoció con un rendimiento diario superior en acciones de empresas con alta exposición a IA generativa (≈ 0.45 %) oecd.org.
  • Cuando Italia bloqueó ChatGPT temporalmente, las empresas expuestas sufrieron una caída del 9 % en cotización .

5. Vacíos en investigación y recomendaciones

  • Existen lagunas: pocos estudios sobre efectos a largo plazo, comprensión y confianza de los trabajadores, y la evolución del mercado laboral .
  • Se destaca la necesidad de nuevos estudios longitudinales y microeconómicos que examinen la productividad y capacidad de absorción de las empresas arxiv.org.
  • Los autores enfatizan la importancia del capital humano, la formación continua, el rol del pensamiento crítico y políticas que apoyen el despliegue responsable de la IA .

¿Cuánto texto pueden generar las diferentes herramientas de Inteligencia Artificial?

Los modelos de inteligencia artificial basados en lenguaje natural, como ChatGPT, no trabajan directamente con palabras o caracteres completos, sino con tokens, que son unidades básicas de texto. Esta estrategia permite a los modelos manejar y procesar el lenguaje de manera más eficiente y granular. Un token puede corresponder a una palabra completa, una parte de una palabra (como un prefijo o sufijo), un signo de puntuación o incluso espacios. Por ejemplo, la palabra «inteligencia» podría dividirse en varios tokens si el modelo utiliza un método de tokenización subpalabra (como Byte Pair Encoding o WordPiece).

¿Por qué usar tokens?

La tokenización ayuda a los modelos a lidiar con la variedad infinita de combinaciones en el lenguaje natural, permitiendo que puedan aprender patrones y predecir la siguiente unidad con mayor precisión. Según OpenAI, la tokenización es crucial para que los modelos de lenguaje puedan generar texto coherente y fluido, ya que cada token representa un fragmento manejable para los algoritmos de predicción estadística y aprendizaje profundo.

Límite de tokens y generación de texto

La capacidad para generar texto en modelos como GPT está limitada por un máximo de tokens por interacción o llamada al modelo. Esto significa que la suma de los tokens de entrada (el texto que proporcionas) y de salida (el texto generado) no puede superar ese límite. Por ejemplo, el modelo GPT-3.5 tiene un límite de aproximadamente 4,096 tokens por solicitud, mientras que modelos más recientes pueden manejar hasta 8,000 tokens o incluso más, dependiendo de la versión y configuración

Este límite es importante porque afecta la longitud y la complejidad del texto que el modelo puede procesar y generar de manera coherente. Si se excede el límite, el texto de entrada o el de salida deben ser truncados o segmentados, lo que puede afectar la continuidad y calidad del contenido generado.

¿Qué es un token en detalle?

Los tokens no coinciden necesariamente con palabras, especialmente en idiomas con palabras compuestas o con conjugaciones complejas. Por ejemplo, la palabra inglesa «unhappiness» puede dividirse en tokens como «un», «happi», «ness». De forma similar, en español, las terminaciones verbales o sufijos se tratan como tokens separados para que el modelo aprenda mejor las reglas gramaticales y las relaciones semánticas.

Según la explicación de Jurafsky y Martin en su libro Speech and Language Processing, la tokenización es un paso fundamental en el procesamiento del lenguaje natural (PLN) y puede ser tan simple como dividir por espacios o tan complejo como aplicar modelos de segmentación que respeten la morfología del idioma.

Por ejemplo, la frase:

«Hola, ¿cómo estás?»

Podría dividirse en tokens como:

«Hola»

«,»

«¿»

«cómo»

«estás»

«?»

Cada uno de estos es un token para el modelo.

Herramienta / ModeloLímite tokens (entrada + salida)Aproximación de palabras generadas en una sola respuesta
GitHub Copilot~2048 tokens~1000-1500 palabras (para código y texto combinados)
ChatGPT (GPT-3.5)4096 tokens~1500-3000 palabras
ChatGPT (GPT-4)8192 tokens~3000-6000 palabras
Claude (Anthropic)~9000 tokens~3500-6500 palabras
Gemini (Google DeepMind)8192 – 32768 tokensDesde ~3000 hasta ~12,000-25,000 palabras (según versión)
Perplexity AIDepende del modelo que useVaría según modelo (ej., GPT-4: hasta ~6000 palabras)

Aproximación de cantidad de texto generado según límite de tokens