Archivo de la etiqueta: Inteligencia artificial

¿Navegar con IA o hundirse con IA? Análisis de verbos de títulos de artículos de investigación sospechosos de contener contenidos generados/asistidos por IA

Comas-Forgas, Ruben, Alexandros Koulouris, y Dimitris Kouis. «‘AI-Navigating’ or ‘AI-Sinking’? An Analysis of Verbs in Research Articles Titles Suspicious of Containing AI-Generated/Assisted Content.» Learned Publishing, publicado por primera vez el 1 de diciembre de 2024. https://doi.org/10.1002/leap.1647.



El estudio examina cómo la inteligencia artificial generativa (IA), como ChatGPT, puede estar influyendo en el lenguaje de los títulos de artículos académicos. Analizando 15 verbos seleccionados en títulos extraídos de SCOPUS (2015-2024), se detectó un incremento notable de ciertos términos asociados con IA. Los hallazgos sugieren que estas herramientas afectan la escritura científica, especialmente en disciplinas específicas. Se subraya la importancia de establecer estándares para el uso de IA en publicaciones académicas y se plantea la necesidad de más investigaciones para ampliar el análisis lingüístico.

Se analizaron cómo la aparición frecuente del verbo «navigating» en títulos académicos revisados en 2023 despertando sospechas sobre la influencia de herramientas de inteligencia artificial generativa (IA). Lo cual motivó una investigación que conecta los avances en modelos de lenguaje como ChatGPT con cambios en la redacción científica, particularmente en los títulos. Los resultados de la misma sugieren que la IA está transformando los métodos de escritura académica, aunque la detección de su uso sigue siendo un desafío. Los títulos, clave en la visibilidad y selección editorial, se examinan como indicadores de esta influencia emergente.

El estudio buscaba entender cómo la IA está transformando la comunicación científica, para ello se analizaron los verbos de acción en títulos de artículos científicos para identificar patrones que sugieran contenido generado o asistido por IA, especialmente ChatGPT. Sus objetivos incluyen:

  1. Identificar verbos recurrentes indicativos de IA generativa.
  2. Analizar tendencias en el uso de estos verbos durante la última década.
  3. Examinar características de documentos con títulos sospechosos.
  4. Cuantificar manuscritos asistidos por IA, estimando su impacto en la redacción académica.

La metodología del estudio se desarrolló en dos pasos principales:

  1. Identificación de verbos sospechosos: Se analizaron verbos presentes en títulos generados por ChatGPT usando resúmenes de artículos recientes en cuatro disciplinas. Esto resultó en una lista de 25 verbos potencialmente indicativos de contenido asistido por IA, basándose en aumentos significativos en su uso desde 2023 en títulos indexados en SCOPUS.
  2. Análisis bibliométrico: Se examinaron tendencias de uso y características de manuscritos con estos verbos en bases como SCOPUS y DOAJ, proyectando datos de 2024 para evaluar patrones lingüísticos relacionados con la IA.

El estudio identificó 15 verbos con un notable aumento de uso en títulos de manuscritos entre 2023 y 2024, lo que sugiere una posible influencia de herramientas de IA como ChatGPT. Verbos como revolutionizing y unleashing mostraron tasas de crecimiento anual (YoYG) superiores al 100%, mientras que otros como exploring y bridging presentaron incrementos más moderados. Estos datos, obtenidos de SCOPUS, revelan un patrón de crecimiento en el uso de términos asociados con innovación y descubrimiento, correlacionado con la creciente adopción de tecnologías de IA.

El análisis de títulos en SCOPUS mostró un aumento significativo en el uso de verbos asociados con IA, con 165.087 documentos estimados para 2024 que contienen al menos uno de los 15 verbos analizados. Este incremento es más notable en categorías como ‘Letters’ y ‘Review’, lo que sugiere una creciente dependencia de herramientas de IA para redactar comunicaciones rápidas y revisiones literarias. Además, se observó un aumento del 144.5% en el uso de IA en países no anglófonos, mientras que en los países de habla inglesa fue del 59.8%.



Para estimar el número de títulos generados o asistidos por IA, se siguieron tres pasos: calcular el crecimiento interanual (YoYG) promedio de 2016 a 2022, estimar el YoYG para 2023-2024 según esa media, y calcular la diferencia entre esta estimación y los datos reales para determinar los títulos potencialmente generados por IA. Se observó un aumento notable de títulos sospechosos de ser asistidos por IA en SCOPUS, con un total de 63.780 títulos en dos años, destacando verbos como “Enhancing” y “Exploring” en el lenguaje académico.

Desarrollo ético de las plataformas de IA

O’Donnell, James. «We Need to Start Wrestling with the Ethics of AI Agents.» MIT Technology Review, November 26, 2024. https://www.technologyreview.com/2024/11/26/1107309/we-need-to-start-wrestling-with-the-ethics-of-ai-agents/.



Se analiza los retos éticos de las plataformas de IA, capaces de realizar tareas complejas y simular comportamientos humanos con precisión. Estas tecnologías plantean preocupaciones sobre la privacidad, los deepfakes y la transparencia en las interacciones con usuarios. Abordar estas cuestiones es clave antes de su adopción masiva.

Actualmente, las plataformas de IA se dividen en dos tipos principales: las plataformas basadas en herramientas, que ejecutan tareas digitales específicas como rellenar formularios o buscar información, y las plataformas de simulación, capaces de imitar personalidades humanas con notable precisión. Estas últimas surgieron inicialmente en investigaciones sociales para realizar estudios difíciles o poco éticos con participantes reales.

El desarrollo reciente de estas plataformas ha alcanzado niveles impresionantes, como lo demuestra un estudio de 2024 donde se crearon simulaciones precisas de las preferencias y valoraciones de mil personas tras entrevistas de dos horas. Esta convergencia entre ambos tipos de plataformas plantea escenarios en los que la IA no solo puede imitar la personalidad de un individuo, sino también actuar en su nombre. Empresas como Tavus ya trabajan en «gemelos digitales» que podrían desempeñar roles como terapeutas, médicos o profesores.

Sin embargo, este avance trae consigo preocupaciones éticas. Por un lado, la facilidad para replicar voces, comportamientos y personalidades podría agravar problemas como los deepfakes dañinos o el uso no consensuado de datos personales. Por otro lado, surge la pregunta de si las personas tienen derecho a saber si están interactuando con una IA o con un ser humano. Estas cuestiones son especialmente relevantes en contextos como el servicio al cliente, donde los límites entre humanos y máquinas se difuminan.

El autor subraya que, aunque esta tecnología aún está en desarrollo, no está tan lejos como podría parecer. Es crucial abordar estos dilemas éticos de manera anticipada, dado que las implicaciones sociales y personales podrían ser profundas y disruptivas.

¿Qué es la Inteligencia Artificial abierta?

Widder, David Gray, Meredith Whittaker, y Sarah Myers West. «Why ‘Open’ AI Systems Are Actually Closed, and Why This Matters». Nature 635, n.o 8040 (noviembre de 2024): 827-33. https://doi.org/10.1038/s41586-024-08141-1.

La «apertura» en IA se define frecuentemente de manera vaga, lo que facilita que compañías multinacionales utilicen esta narrativa para sus propios fines. Algunas empresas argumentan que la IA abierta fomenta la innovación y la democracia, mientras que otras sostienen que representa riesgos de seguridad. Este uso contradictorio del término destaca la necesidad de definirlo con mayor rigor en los debates sobre políticas tecnológicas.

La IA abierta debe cumplir con tres características principales: transparencia, reusabilidad y extensibilidad. La transparencia permite el acceso a modelos y datos, lo que facilita auditorías y supervisión. La reusabilidad promueve la adaptación y mejora de los modelos existentes, mientras que la extensibilidad posibilita la construcción de nuevas aplicaciones sobre sistemas ya desarrollados.

Sin embargo, estas ventajas no son suficientes para resolver el problema central de la concentración de poder. A pesar de estas oportunidades, los recursos clave que impulsan la IA, como datos masivos, talento especializado y capacidad computacional, siguen estando monopolizados por un pequeño grupo de grandes corporaciones tecnológicas. Esto significa que, aunque los sistemas abiertos permiten cierta supervisión y experimentación, no logran democratizar el acceso a las herramientas y beneficios de la IA de manera efectiva.

El análisis de los autores destaca cómo la narrativa de apertura en IA ha sido utilizada para consolidar el poder de los gigantes tecnológicos, en lugar de redistribuirlo. Comparan este fenómeno con la cooptación de proyectos de software libre por parte de grandes empresas en el pasado. En ambos casos, los principios originales de apertura y colaboración se ven desplazados por estrategias que favorecen a las empresas con mayores recursos. En el contexto de la IA, estas dinámicas se agravan debido a la complejidad técnica y los altos costos asociados con el desarrollo y mantenimiento de modelos avanzados.

Los autores subrayan que esta concentración de poder tiene implicaciones profundas para la innovación, la equidad y la transparencia. Mientras unas pocas empresas controlen los datos, las infraestructuras computacionales y el talento necesario para desarrollar IA, será difícil garantizar que los beneficios de estas tecnologías se distribuyan de manera equitativa. Además, la centralización del poder en el sector tecnológico aumenta el riesgo de que estas empresas ejerzan una influencia desproporcionada sobre la formulación de políticas y la dirección futura del desarrollo de la IA.

El artículo también analiza cómo la retórica de la «apertura» se utiliza estratégicamente para legitimar el dominio de las grandes empresas tecnológicas. Al enmarcar sus iniciativas como abiertas y accesibles, estas compañías pueden presentarse como actores benevolentes y progresistas, mientras refuerzan sus propias posiciones de poder. Según los autores, esto permite que las empresas implementen una supervisión superficial y simbólica, sin abordar los problemas estructurales que perpetúan la concentración de recursos y control.

En su conclusión, los autores instan a redefinir el concepto de apertura en IA para hacerlo más significativo y efectivo. Proponen que las políticas relacionadas con la IA deben centrarse no solo en la transparencia, la reusabilidad y la extensibilidad, sino también en abordar las desigualdades estructurales en el acceso a datos, infraestructura y talento. Esto implica crear regulaciones más estrictas para garantizar que los beneficios de la IA no se limiten a un pequeño grupo de actores privilegiados.

Asimismo, el artículo subraya la necesidad de un enfoque más crítico y materialista en el análisis de las políticas de IA. Esto significa examinar las dinámicas de poder subyacentes en el desarrollo y la implementación de estas tecnologías, en lugar de aceptar de manera acrítica las narrativas de apertura promovidas por las grandes empresas.

El uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica



Glynn, Alex. “Suspected Undeclared Use of Artificial Intelligence in the Academic Literature: An Analysis of the Academ-AI Dataset.” arXiv, November 30, 2024. https://arxiv.org/abs/2411.15218.

El artículo aborda un problema creciente en el ámbito académico: el uso no declarado de herramientas de inteligencia artificial (IA) generativa en la redacción de literatura científica. Estas herramientas, como ChatGPT de OpenAI, han ganado popularidad en los últimos años, permitiendo a los investigadores utilizarlas para tareas como la generación de texto y la edición de manuscritos. Sin embargo, el uso de estas tecnologías plantea serias preocupaciones éticas cuando no se revela explícitamente en los trabajos publicados, a pesar de que las normativas de las editoriales lo exigen.

El estudio utiliza el conjunto de datos Academ-AI, diseñado para documentar ejemplos de uso sospechoso de IA en la literatura académica. Según Glynn, estos casos pueden identificarse gracias a patrones lingüísticos idiosincráticos que son característicos de los modelos de lenguaje generativo, como frases repetitivas o construcciones poco naturales que no encajan con el estilo habitual de los autores. De los primeros 500 casos analizados, el autor concluye que el uso no declarado de IA está ampliamente extendido, incluso en revistas científicas de prestigio y congresos relevantes. Sorprendentemente, estas prácticas se detectaron con mayor frecuencia en publicaciones con altos índices de citación y elevados costos de procesamiento de artículos (Article Processing Charges, APCs), lo que sugiere que incluso las editoriales con mayores recursos no están logrando prevenir este tipo de irregularidades.

Uno de los problemas más graves que destaca el análisis es la limitada capacidad de detección y corrección de estas irregularidades. Glynn señala que, aunque en algunos casos se han identificado textos sospechosos, las correcciones post-publicación son extremadamente escasas y, en la mayoría de las ocasiones, insuficientes para solucionar el problema de fondo. Esto deja en evidencia la falta de un sistema robusto que permita identificar y rectificar el uso indebido de IA en la etapa de revisión o tras la publicación.

Además, el autor subraya que muchos casos de uso no declarado de IA probablemente sean indetectables. Esto se debe a la creciente sofisticación de las herramientas de IA generativa, que permiten a los usuarios generar contenido que resulta más difícil de distinguir del texto escrito por humanos. Este fenómeno plantea un desafío significativo para las editoriales académicas, que deben encontrar formas de garantizar la transparencia sin depender exclusivamente de sistemas automatizados de detección.

El uso no declarado de IA en la literatura académica tiene profundas implicaciones para la ética y la integridad científica. Glynn advierte que estas prácticas no solo comprometen la credibilidad de los artículos afectados, sino que también amenazan la confianza en el sistema de publicación académica en su conjunto. El hecho de que los casos detectados sean más frecuentes en publicaciones de alto impacto amplifica la gravedad del problema, ya que estos trabajos suelen ser citados más ampliamente y, por lo tanto, tienen un impacto desproporcionado en la comunidad científica.

El estudio también pone de relieve las desigualdades que podrían surgir de esta situación. Mientras que algunos investigadores y editoriales tienen acceso a herramientas y recursos avanzados para verificar la autenticidad de los textos, otros carecen de estas capacidades, lo que podría generar un terreno desigual en la producción y evaluación de conocimiento académico.

Para mitigar este fenómeno, Glynn enfatiza la necesidad de que las editoriales refuercen sus políticas contra el uso no declarado de IA, especialmente en los casos que sean detectables. Esto implica no solo mejorar los procesos de revisión para identificar patrones sospechosos, sino también implementar sanciones claras y medidas correctivas efectivas. El autor sugiere que la transparencia y la rendición de cuentas deben convertirse en pilares fundamentales del proceso de publicación académica en la era digital.

En última instancia, el artículo concluye que abordar este problema de manera proactiva es esencial para preservar la calidad y la credibilidad de la literatura científica. En un contexto donde la inteligencia artificial desempeña un papel cada vez más importante, la comunidad académica debe establecer normas claras y efectivas para garantizar que el uso de estas herramientas sea transparente y ético. Esto no solo protegerá la integridad de las publicaciones científicas, sino que también fomentará un entorno de investigación más equitativo y confiable.

Cómo incorporar IA generativa al aula

Cómo incorporar IA generativa al aula: una orientación en ChatGPT para docentes. Ciudad Autónoma de Buenos Aires: Educ.ar S.E., 2024.

Texto completo

El texto aborda cómo la inteligencia artificial, representada por herramientas como ChatGPT, está transformando la educación. Plantea que esta tecnología supone una revolución en el ámbito educativo, ofreciendo tanto desafíos como oportunidades para docentes, estudiantes e instituciones.

Capítulo 1: ChatGPT, definición y primeros pasos
Se describe qué es ChatGPT, cómo funciona y sus principales funcionalidades. Además, se reflexiona sobre aspectos éticos y de privacidad necesarios para un uso responsable de la herramienta en contextos educativos.

Capítulo 2: Cómo optimizar la gestión institucional con IA
Este capítulo explora las aplicaciones de la IA en la organización y gestión institucional, como la planificación de reuniones escolares, la implementación de actividades interactivas y la elaboración de informes sobre el desempeño de los estudiantes.

Capítulo 3: Cómo transformar la enseñanza con IA
Se analiza cómo la IA puede personalizar el aprendizaje, gestionar el aula, planificar clases, enseñar idiomas y fomentar la creatividad. También se incluyen aplicaciones como la creación de estudios de caso y el diseño de evaluaciones sumativas.

Capítulo 4: Aportes de la IA generativa en proyectos sociocomunitarios
Se destaca el potencial de la IA para crear materiales educativos destinados a proyectos comunitarios, promoviendo el aprendizaje más allá del aula y fortaleciendo el vínculo entre la escuela y su entorno.

Capítulo 5: ChatGPT como herramienta educativa: reflexiones finales
El texto concluye con precauciones sobre el uso de ChatGPT, como el plagio y el uso indebido, y reflexiona sobre el papel de la formación docente y la investigación educativa. Finalmente, se proyecta el impacto futuro de la IA en la educación, subrayando las nuevas oportunidades que esta tecnología puede ofrecer.

Guía de Prompting: Inteligencia Artificial Generativa

Cristián Cortés, Marcelo Taito. Guía de Prompting: Inteligencia Artificial Generativa. HARAMBEE, 2024

Texto completo

Esta guía ha sido creada por la comunidad Harambee, un colectivo que trabaja para potenciar el uso efectivo de herramientas de inteligencia artificial. Su propósito principal es ofrecer apoyo a los usuarios interesados en desarrollar habilidades más avanzadas y obtener mejores resultados al trabajar con sistemas de IA.

El enfoque central de esta guía son las soluciones relacionadas con texto, abarcando desde la generación de contenido hasta la edición, corrección y mejora de textos en diversos contextos. Está diseñada para quienes desean ir más allá del uso básico y aprovechar al máximo las capacidades que la IA puede ofrecer en el ámbito textual.

A través de consejos, ejemplos prácticos y buenas prácticas, esta guía busca ayudar a los usuarios a refinar su interacción con modelos de IA, logrando resultados más precisos, creativos y personalizados.

Para aprovechar al máximo las herramientas de inteligencia artificial centradas en texto, puedes aplicar estas estrategias clave:

1. Escribe instrucciones claras. Asegúrate de ser específico y directo en tus solicitudes. Un planteamiento bien definido ayuda al modelo a ofrecer respuestas más precisas y relevantes.

2. Proporciona texto de referencia. Si tienes ejemplos o fragmentos relacionados con tu objetivo, inclúyelos. Esto orienta al modelo y mejora la calidad de los resultados.

3. Divide tareas complejas. Cuando enfrentes una tarea extensa o complicada, desglósala en subtareas más simples. Esto facilita que el modelo aborde cada aspecto de forma efectiva.

4. Dale tiempo al modelo para pensar. Formula preguntas secuenciales o permite que el modelo revise varias veces su respuesta. Este enfoque mejora el razonamiento y la calidad del contenido generado.

5. Utiliza herramientas externas. Complementa las capacidades del modelo con software especializado, como verificadores de datos, editores de texto o motores de búsqueda, para resultados más robustos.

6. Haz pruebas sistemáticas. Experimenta con diferentes planteamientos y ajustes. Probar y comparar resultados te ayudará a identificar lo que funciona mejor para tus necesidades.

HarperCollins confirma que tiene un acuerdo para vender las obras de sus autores a una empresa de IA

Cole ·, Samantha. 2024. «HarperCollins Confirms It Has a Deal to Sell Authors’ Work to AI Company». 404 Media. 18 de noviembre de 2024. https://www.404media.co/harpercollins-ai-deal/.

HarperCollins, una de las editoriales más grandes del mundo, ha confirmado un acuerdo con una empresa de tecnología de inteligencia artificial (IA) para permitir el uso limitado de ciertos títulos de no ficción de su catálogo para entrenar modelos de IA. La participación de los autores en este acuerdo es opcional; ellos pueden decidir si aceptan o rechazan la propuesta.

Según un portavoz de HarperCollins, este convenio busca mejorar la calidad y el rendimiento de los modelos de IA y cuenta con restricciones claras para respetar los derechos de los autores. La editorial enfatiza que su objetivo es proteger el valor inherente de las obras de sus autores y garantizar el flujo compartido de ingresos y regalías. Además, destaca su larga tradición de innovación y exploración de nuevos modelos de negocio.

El acuerdo contempla el pago de 2.500$ por título a los autores que opten por participar, una cantidad que no es negociable. Este ofrecimiento ha generado debate, especialmente en relación con el uso de materiales protegidos por derechos de autor en el entrenamiento de modelos de IA.

Daniel Kibblesmith, autor del libro infantil Santa’s Husband, compartió en la red social Bluesky un correo de su agente que describe la propuesta de HarperCollins. En el mensaje, su agente menciona las controversias alrededor del uso de materiales con derechos de autor para entrenar IA, destacando que muchas empresas lo hacen sin reconocer ni compensar a los creadores originales. También se alude al temor de que estos modelos puedan hacer obsoletos a los autores en el futuro.

Kibblesmith criticó la decisión de HarperCollins, calificándola como una búsqueda desesperada de ganancias a corto plazo. Señaló que este desarrollo podría dividir el mercado en dos tipos de lectores: aquellos que buscan una conexión humana auténtica a través de los libros y aquellos que prefieren contenido personalizado y generado por IA, diseñado para evitar cualquier desafío intelectual.

El uso de obras protegidas por derechos de autor para entrenar IA ha sido un tema polémico. Numerosas empresas han sido acusadas de aprovecharse de materiales sin compensar a sus creadores. Este acuerdo de HarperCollins es una de las primeras instancias donde una gran editorial propone explícitamente un trato transparente y compensatorio, aunque limitado, para el uso de este tipo de contenido.

En general, el tema pone de relieve las tensiones entre la innovación tecnológica y la preservación del valor del trabajo creativo humano, planteando preguntas sobre el futuro de los derechos de autor y la sostenibilidad de las profesiones creativas en la era de la IA.

Enfoque innovador para evaluar la calidad de las revistas académicas utilizando inteligencia artificial

Thelwall, Mike, y Kayvan Kousha. 2024. «Journal Quality Factors from ChatGPT: More meaningful than Impact Factors?» arXiv. https://doi.org/10.48550/arXiv.2411.09984.

Este estudio representa el primer intento de utilizar un modelo de lenguaje avanzado como ChatGPT para evaluar la calidad de las revistas académicas. Aunque no busca reemplazar las métricas tradicionales, aporta una dimensión adicional que podría transformar la manera en que se mide la calidad en el ámbito académico, destacando el potencial de la inteligencia artificial en la investigación.

Un reciente artículo publicado en arXiv propone un enfoque innovador para evaluar la calidad de las revistas académicas utilizando inteligencia artificial, específicamente a través de ChatGPT. El estudio, titulado «Journal Quality Factors From ChatGPT: More Meaningful Than Impact Factors?», fue realizado por Mike Thelwall (Universidad de Sheffield) y Kayvan Kousha (Universidad de Wolverhampton). Este trabajo plantea una alternativa a las métricas tradicionales como el Journal Impact Factor (JIF), centrándose en aspectos más amplios de la calidad académica.

Journal Impact Factor, ampliamente utilizado para medir el impacto académico, se basa principalmente en la cantidad de citas recibidas. Sin embargo, esta métrica no evalúa otros aspectos clave, como el impacto social, la originalidad de los artículos o el rigor metodológico. Para abordar esta limitación, los investigadores definieron el Journal Quality Factors (JQFs), como puntuaciones promedio asignadas por ChatGPT para valorar los artículos de una revista considerando una perspectiva más holística.

El análisis incluyó 1.300 revistas que publicaron 130.000 artículos en 2021, cubriendo 25 de los 27 campos principales de investigación definidos por Scopus. El JQF fue comparados con clasificaciones nacionales de revistas de Polonia, Noruega y Finlandia, así como con las tasas de citación de las publicaciones. Además, se examinaron casos atípicos en los que Factor de Impacto no coincidían con las clasificaciones tradicionales, para explorar posibles sesgos o influencias externas.

Principales hallazgos

Correlación con clasificaciones existentes: El JQFs mostraron una correlación positiva y sólida (mediana de 0.641) con los rankings nacionales de revistas en 24 de los 25 campos analizados. Esto sugiere que ChatGPT puede estimar la calidad de las revistas de manera consistente en la mayoría de las disciplinas.

Comparación con las tasas de citación: Las tasas de citación también mostraron correlaciones altas con los rankings nacionales, lo que indica que los JQFs no son necesariamente superiores, pero ofrecen una alternativa igualmente válida.

Influencia del estilo de los resúmenes: Los investigadores encontraron que ciertos estilos de redacción, como la mención de contextos sociales en los resúmenes, pueden influir en las puntuaciones del JQF, destacando la sensibilidad del modelo a los matices de presentación.

El artículo reconoce que los resultados podrían variar si se usaran diferentes sistemas de clasificación, ya que no existe un consenso universal sobre qué define la calidad de una revista. Además, los JQFs, aunque prometedores, no deben reemplazar a las métricas tradicionales en todos los contextos, ya que su utilidad depende del propósito específico de la evaluación.

ChatGPT para tareas complejas de evaluación de textos

Thelwall, M. (2024). ChatGPT for complex text evaluation tasks. Journal of the Association for Information Science and Technology, 1–4. https://doi.org/10.1002/asi.24966

ChatGPT y otros modelos de lenguaje a gran escala (LLMs) han demostrado ser efectivos en tareas de procesamiento de lenguaje natural y computacional con diversos niveles de complejidad. Este documento resume las lecciones aprendidas de una serie de investigaciones sobre su uso en la evaluación de calidad de investigaciones, una tarea compleja de análisis de textos.

En términos generales, ChatGPT destaca por su capacidad para comprender y ejecutar tareas complejas de procesamiento de textos, produciendo respuestas plausibles con un mínimo de intervención por parte del investigador. Sin embargo, los resultados deben ser evaluados sistemáticamente, ya que pueden ser engañosos. A diferencia de las tareas simples, los resultados en tareas complejas son muy variables, y se pueden obtener mejores resultados repitiendo los comandos en sesiones diferentes y promediando las respuestas obtenidas. Modificar los parámetros de configuración de ChatGPT respecto a sus valores predeterminados no parece ser útil, excepto en lo relacionado con la extensión del texto solicitado en las respuestas.

Capacidad de Procesamiento Complejo: ChatGPT es muy hábil para realizar tareas de análisis textual complejo, generando respuestas plausibles con instrucciones detalladas. Sin embargo, sus resultados no siempre son precisos y requieren validación sistemática.

Variabilidad en Tareas Complejas: A diferencia de tareas simples (como análisis de sentimiento), los resultados en evaluaciones complejas varían significativamente. Mejores resultados se obtienen al repetir los comandos múltiples veces y promediando las respuestas.

Configuración del Modelo: Cambiar parámetros predeterminados no suele mejorar los resultados, salvo ajustes en la longitud de la salida. Modelos más avanzados (como GPT-4o frente a 4o-mini) ofrecen mejor desempeño, pero versiones económicas pueden ser una opción práctica.

Estructura de las Instrucciones: Instrucciones complejas y detalladas, adaptadas del formato usado por evaluadores humanos, producen mejores resultados. Sin embargo, instrucciones más breves y simplificadas tienden a disminuir la precisión.

Evaluación y Limitaciones: ChatGPT puede producir salidas plausibles, pero estas no siempre reflejan una evaluación significativa. Por ejemplo, al evaluar artículos basándose en títulos y resúmenes en lugar del texto completo, ChatGPT ofrece mejores resultados, probablemente debido a la concisión de la información.

Uso de Información Condensada: Aunque puede manejar textos extensos, ChatGPT parece ser más efectivo al trabajar con entradas resumidas, como títulos y resúmenes, en lugar de textos completos, evitando sobrecarga de información irrelevante.

Financiación y Costos: Realizar evaluaciones sistemáticas con múltiples iteraciones implica altos costos en el uso de la API. Por ello, las versiones más económicas de los modelos, aunque menos precisas, pueden ser adecuadas para ciertos proyectos.

Fine-Tuning: La personalización del modelo mediante fine-tuning es efectiva en tareas simples, pero no parece prometedora para evaluaciones complejas debido a la diversidad de salidas posibles y la falta de patrones consistentes en evaluaciones humanas.

Como conclusión puede decirse que ChatGPT muestra un gran potencial en la evaluación académica, pero sus limitaciones subrayan la necesidad de realizar validaciones exhaustivas. Los investigadores deben considerar enfoques sistemáticos, como repetir comandos y ajustar configuraciones, para optimizar resultados. Aunque aún quedan cuestiones abiertas, como el papel del fine-tuning en estas tareas, los resultados sugieren que LLMs pueden complementar, pero no reemplazar, las evaluaciones humanas en tareas complejas.

The New York Times exige a Perplexity cesar el uso no autorizado de su contenido para IA

Davis, Wes. «The New York Times Warns AI Search Engine Perplexity to Stop Using Its Content». The Verge, 15 de octubre de 2024. https://www.theverge.com/2024/10/15/24270774/new-york-times-cease-and-desist-letter-perplexity-ai-search-engine.

New York Times ha enviado una carta de cesación y desista a la empresa emergente de motores de búsqueda Perplexity, exigiendo que dejen de utilizar su contenido, según informó The Wall Street Journal el 15 de octubre de 2024.

La demanda se produce en el contexto de una disputa legal más amplia, ya que el Times está demandando a OpenAI y Microsoft por presuntamente usar su contenido sin permiso para entrenar sus modelos de inteligencia artificial. En este caso, el periódico acusa a Perplexity de haber estado utilizando su contenido sin autorización, algo que también había sido señalado previamente por otras empresas como Forbes y Condé Nast.

La carta enviada por el Times, de acuerdo con The Wall Street Journal, incluye el siguiente pasaje:

«Perplexity y sus socios comerciales se han enriquecido injustamente al utilizar, sin autorización, el periodismo expresivo, cuidadosamente redactado, investigado y editado del Times sin licencia.»

El New York Times tiene una política clara que prohíbe el uso de su contenido para entrenar modelos de inteligencia artificial. En este sentido, han bloqueado explícitamente varios rastreadores de IA, incluido el de Perplexity, mediante el archivo robots.txt, que indica a los motores de búsqueda qué URLs pueden indexar.

Por su parte, Perplexity ha respondido a las acusaciones a través de un comunicado de su portavoz, Sara Platnick, en el que afirman no estar «robando» contenido para el entrenamiento de modelos de IA. En cambio, defiende que se dedica a «indexar páginas web y mostrar contenido factual» como citas para informar las respuestas a las preguntas de los usuarios. Además, Perplexity sostiene que «ninguna organización posee los derechos de autor sobre los hechos», argumentando que este principio permite un ecosistema de información abierto y libre, lo que también beneficia a los medios de comunicación al poder informar sobre temas previamente cubiertos por otros.

En respuesta a la carta de cesación, Perplexity tiene plazo hasta el 30 de octubre de 2024 para presentar su respuesta. La empresa, sin embargo, ha intentado suavizar la situación, enfatizando su interés en colaborar con los editores de contenido. Aravind Srinivas, CEO de Perplexity, expresó NYT que la compañía «no tiene interés en ser el antagonista de nadie» y que está dispuesta a trabajar con todos los editores, incluido el New York Times.

Este conflicto ocurre en medio de las crecientes tensiones sobre el uso de contenido protegido por derechos de autor por parte de modelos de IA. Durante el verano, Perplexity ya había sido acusada de plagio, lo que la llevó a cerrar acuerdos con varios editores, ofreciendo ingresos por publicidad y suscripciones gratuitas a socios como Fortune, Time, y The Texas Tribune. Sin embargo, la disputa con el New York Times pone de manifiesto el creciente choque entre las empresas tecnológicas emergentes y los medios de comunicación tradicionales en cuanto al uso y la compensación por su contenido digital.