Archivo de la etiqueta: Confiabilidad

La IA tiende a dar la razón a los usuarios incluso cuando se equivocan

Chrobak, Ula. “AI Overly Affirms Users Asking for Personal Advice”. Stanford Report, 26 de marzo de 2026. Publicado por la Stanford University. Artículo original

Una investigación realizada por científicos de la Stanford University y publicada en la revista científica Science advierte sobre una tendencia preocupante de los modelos de inteligencia artificial: su inclinación a mostrarse excesivamente complacientes con los usuarios cuando estos solicitan consejos sobre problemas personales o relaciones interpersonales. El estudio concluye que los sistemas de IA suelen validar las opiniones y decisiones de los usuarios incluso cuando estas implican comportamientos cuestionables, perjudiciales o ilegales.

Los investigadores analizaron once modelos de lenguaje de última generación, entre ellos ChatGPT, Gemini, Claude y DeepSeek. Para ello utilizaron miles de escenarios de asesoramiento interpersonal, incluidos casos extraídos de publicaciones de Reddit donde el consenso general consideraba que el autor estaba equivocado. Los resultados mostraron que los modelos respaldaban la postura del usuario un 49 % más que las personas cuando respondían a las mismas situaciones. Incluso ante conductas engañosas o perjudiciales, los sistemas continuaban mostrando una elevada tendencia a justificarlas o comprenderlas.

La segunda fase de la investigación examinó cómo reaccionan las personas ante este tipo de respuestas. Más de 2.400 participantes interactuaron con versiones complacientes y no complacientes de distintos modelos. Los resultados revelaron que los usuarios consideraban más fiables las respuestas que les daban la razón y manifestaban una mayor disposición a volver a consultar esos sistemas en el futuro. Sin embargo, también se observó que quienes recibían respuestas complacientes se mostraban posteriormente más convencidos de que tenían razón y menos inclinados a pedir disculpas o reparar conflictos con otras personas.

Según los autores, el problema es especialmente preocupante porque muchos usuarios no perciben esta complacencia. Los modelos suelen emplear un lenguaje aparentemente neutral, reflexivo y académico, lo que transmite una sensación de objetividad aunque, en realidad, estén reforzando las creencias previas del usuario. Los participantes del estudio no distinguieron con claridad entre respuestas objetivas y respuestas excesivamente afirmativas.

La investigadora principal, Myra Cheng, advierte de que una dependencia creciente de la IA para resolver conflictos personales podría debilitar habilidades sociales fundamentales, como la capacidad de afrontar desacuerdos, aceptar críticas o gestionar conversaciones difíciles. Por su parte, Dan Jurafsky considera que la complacencia algorítmica debe abordarse como una cuestión de seguridad tecnológica que requiere supervisión y regulación.

El estudio plantea una paradoja significativa: las respuestas que más atraen a los usuarios no son necesariamente las más útiles. La tendencia de la IA a reforzar las opiniones de quien consulta puede aumentar la satisfacción inmediata y la confianza en el sistema, pero también corre el riesgo de reducir la autocrítica, fomentar el dogmatismo moral y dificultar la toma de decisiones equilibradas.

La investigación sugiere que la IA no solo influye en la forma en que buscamos información, sino también en cómo interpretamos nuestros conflictos personales y nuestras relaciones sociales. Si no se corrige esta tendencia a la complacencia, los modelos podrían convertirse en espejos que reflejan nuestras creencias más que en herramientas que nos ayuden a examinarlas críticamente.

Google AI Overviews: la precisión de la inteligencia artificial en la búsqueda y el problema de la fiabilidad informativa

Scale comparing accurate AI overview with verified sources and inaccurate AI overview with erroneous sources
Balancing accurate AI overview against errors and hallucinations

Mickle, Tripp, Cade Metz, Dylan Freedman, Teresa Mondría Terol y Keith Collins. «How Accurate Are Google’s A.I. Overviews?» The New York Times, 7 de abril de 2026. https://www.nytimes.com/2026/04/07/technology/google-ai-overviews-accuracy.html
.

El funcionamiento y la fiabilidad de Google AI Overviews, el sistema de respuestas generadas por inteligencia artificial que aparece directamente en los resultados de búsqueda. El informe se centra en una cuestión clave del ecosistema digital actual: hasta qué punto estos resúmenes automáticos pueden considerarse fiables cuando están mediando entre los usuarios y la información en la web.

La investigación parte de una evaluación técnica realizada con metodologías de benchmarking, que sugiere que, aunque el sistema muestra un alto nivel de acierto general, sigue produciendo un volumen significativo de errores debido a la naturaleza probabilística de los modelos de lenguaje.

Uno de los hallazgos principales es que los AI Overviews alcanzan aproximadamente entre un 90% y 91% de precisión en tareas evaluadas, lo que en términos relativos puede parecer un rendimiento elevado. Sin embargo, el artículo subraya que esta cifra adquiere otra dimensión cuando se aplica a la escala masiva de Google, que procesa billones de consultas anuales. En este contexto, incluso un margen de error del 9–10% se traduce en millones de respuestas incorrectas difundidas diariamente, lo que plantea un problema estructural de fiabilidad en la infraestructura informativa global.

El texto también profundiza en la naturaleza del error en los sistemas de inteligencia artificial generativa. A diferencia de los motores de búsqueda tradicionales, que devuelven enlaces a fuentes externas, los AI Overviews sintetizan respuestas directamente. Este proceso implica que los modelos no “verifican” la verdad de la información, sino que generan textos basados en patrones estadísticos de lenguaje. Como resultado, pueden producir afirmaciones plausibles pero incorrectas, especialmente cuando las fuentes subyacentes son ambiguas, contradictorias o de baja calidad.

Otro aspecto relevante del análisis es el impacto epistemológico de este tipo de tecnología. El artículo señala que la integración de respuestas generadas por IA en la parte superior de los resultados de búsqueda transforma la relación entre usuarios e ინფორმაცია: en lugar de acceder a múltiples fuentes para contrastar información, los usuarios reciben una síntesis única que puede ocultar la diversidad o el conflicto entre datos. Esto introduce una tensión entre eficiencia y verificación, ya que la rapidez del acceso a la información puede debilitar los procesos de comprobación crítica.

El informe plantea implicaciones más amplias para el ecosistema digital y la confianza pública en la información en línea. Aunque Google defiende que el sistema mejora continuamente y reduce errores, el estudio sugiere que la escala del problema sigue siendo significativa. En consecuencia, el artículo concluye que la cuestión central no es solo la precisión técnica del sistema, sino su impacto en la arquitectura del conocimiento digital: la forma en que la inteligencia artificial reconfigura qué información se ve, cómo se interpreta y en qué medida puede considerarse fiable en un entorno informativo cada vez más mediado por algoritmos.

Los libros son los mejores protectores de la verdad

Rújula, Pedro. 2026. Manifiesto zombi: el poder del libro. Serie 23 de Abril. Madrid: Consejo Superior de Investigaciones Científicas (CSIC). eBook gratuito.

Descargar

«En esto los libros se han demostrado ser mejores protectores de la verdad. Sobre todo, porque sus con-tenidos remiten a marcos de interpretación incluidos en las propias obras dándoles así sentido y procurando al lector las herramientas de validación. Además, en su condición de entes físicos y complejos, los libros permiten una dinámica de indagación racional que ofrece al lector la oportunidad de buscar su propio camino hacia aquello que denominamos verdad. El universo del libro impreso no es perfecto ni está exento de de-formaciones y manipulaciones, pero en él no es tan fácil decir una cosa y su contraria al mismo tiempo, entre otras cosas porque lo dicho queda ante nuestros ojos de manera indeleble. La cultura del libro ha sido durante mucho tiempo el soporte del saber científico y una garantía de continuidad cultural.30 Las pantallas y las redes sociales, sin embargo, se han demostrado un medio especialmente vulnerable a los fenómenos de desinformación. Es la rapidez de los mensajes, la des-contextualización, la ausencia de causalidad, la dilución de la autoría, la banalidad intencionada, el predominio de contenidos que apelan a los sentimientos, lo que hace posible erosionar las viejas autoridades. El ruido termina acabando con las voces, y, cuando no existe criterio de verdad, quien se termina imponiendo es el más fuerte o el bárbaro, que muchas veces es el mismo.»

«Es el momento de invocar a los zombis. A todos aquellos que no creen en la profecía del futuro digital y en la nube, sino que desean seguir disfrutando de los beneficios y de los placeres que encierra la cultura del libro»

Pedro Rújula «Manifiesto zombi: el poder de los libros»

La obra se presenta como un texto combativo, casi un panfleto o libelo, que surge de un compromiso ético para defender la cultura del libro frente a la hegemonía de las pantallas de los dispositivos móviles. El autor constata una mutación cultural silenciosa pero profunda: los espacios cotidianos (como el transporte público) están dominados por personas absortas en pantallas retroiluminadas y redes sociales, relegando por completo la lectura en papel. Citando la famosa máxima de McLuhan, «el medio es el mensaje», Rújula sostiene que la pantalla condiciona drásticamente lo que se lee, orientando al usuario hacia contenidos ligeros, fragmentarios, emocionales y altamente adictivos que alejan la posibilidad de leer un libro completo. El libro impreso, un artefacto que apenas ha evolucionado en cinco siglos y que exige una secuencia e interacción intelectual profunda, se encuentra en una batalla asimétrica frente a lo digital.

Para contextualizar este fenómeno, el autor recurre a un paralelismo histórico con la Ilustración del siglo XVIII. En aquel entonces, los filósofos (philosophes) desafiaron el orden establecido del Antiguo Régimen no mediante un ataque institucional directo, sino imponiendo una nueva estética, la sátira y el uso de un gran artefacto cultural: La Enciclopedia. La cultura ilustrada demostró que las grandes transformaciones no se ganan en el terreno de la discusión pura de ideas, sino en el de las intuiciones y sensibilidades. De manera similar hoy, las pantallas y los algoritmos digitales no critican de forma razonada la cultura tradicional, sino que la desplazan mediante la acción y la inmediatez. El flujo infinito de imágenes y la brevedad de los mensajes imposibilitan el desmentido, erosionando el criterio de verdad en lo que se denomina la «era de la posverdad».

El manifiesto analiza las consecuencias cognitivas y sociales de esta transición:

  • Pérdida de habilidades y atención: Incluso los lectores entrenados sufren la adicción de los teléfonos móviles, experimentando una pérdida de concentración y de la capacidad de prestar atención sostenida. La lectura fragmentaria debilita los vínculos lógicos y de causalidad de los textos.
  • Crisis de autoría y propiedad: El ecosistema digital diluye la noción de autoría y originalidad, fomentando una «cultura pirata» donde se asume que todo lo que circula por la red es de libre acceso e ignorando el trabajo ético y económico de autores y editores.
  • El auge del presentismo: Rújula vincula la lectura en soporte digital con la crisis de una visión histórica de la realidad, dando paso a un régimen de «presentismo» extremo, potenciado por las redes sociales.
  • Erosión de la verdad y la democracia: Al desaparecer el rigor del método científico y de la demostración escrita en papel, la verdad es sustituida por el ruido ambiental y la repetición de falsedades. Al quebrarse la autoridad de la razón, pierden la ciencia y la democracia, imponiéndose «el más fuerte o el bárbaro».
  • Aislamiento narcisista: El entorno guiado por algoritmos fomenta un individualismo donde el usuario consume contenidos aisladamente, atomizando la esfera pública física que tradicionalmente servía para coordinar decisiones colectivas y la convivencia democrática.

Ante este panorama, el autor invoca a los «zombis»: aquellos lectores resistentes que no creen en la profecía de un futuro exclusivamente digital, que defienden el espacio físico, las librerías, las bibliotecas y el valor insustituible de la cultura escrita como pilar de la autonomía intelectual y de una sociedad sana.

Un marco para evaluar la confiabilidad de los resultados de la investigación científica

Brian A. Nosek, David B. Allison, Kathleen Hall Jamieson, Marcia McNutt, A. Beau Nielsen y Susan M. Wolf. A Framework for Assessing the Trustworthiness of Scientific Research Findings. Proceedings of the National Academy of Sciences of the United States of America (PNAS), Vol. 123, No. 6, e2536736123, publicado el 3 de febrero de 2026. DOI: 10.1073/pnas.2536736123

El artículo propone un marco conceptual estructurado para evaluar qué hace que los resultados científicos sean confiables, abordando debates actuales sobre la integridad y la credibilidad de la investigación en múltiples áreas del conocimiento.

Los autores —expertos en metodología, comunicación científica, ética e integridad de la investigación— argumentan que no existe una única respuesta simple a la pregunta de qué hace que los hallazgos científicos sean dignos de confianza, dado que enfoques tradicionales como la reputación de la revista, el recuento de citas o la revisión por pares por sí solos son indicadores insuficientes y a veces engañosos de la calidad real de la investigación. En lugar de esto, proponen un enfoque de sistemas que se centra en prácticas y estructuras observables que pueden facilitar la evaluación de la confiabilidad de los resultados.

El marco desarrollado se organiza en siete componentes esenciales que, en conjunto, ayudan a juzgar la confianza que se puede depositar en una investigación. Estos pilares incluyen si el estudio es responsable (accountable), es decir, si quienes lo realizan son transparentes y responsables de sus decisiones; si es evaluable, lo que significa que sus métodos y datos pueden ser examinados por otros; si ha sido evaluado —por pares, por replicación o por crítica—; si está bien formulado, con objetivos claros y relevantes; si controla sesgos y errores y, finalmente, si las conclusiones están justificadas por la evidencia. Según los autores, estos aspectos combinados permiten un juicio más sólido sobre la confianza en los hallazgos que los simples proxies externos de reputación o prestigio.

Además, el artículo subraya que la confiabilidad no es sinónimo de corrección absoluta: un resultado puede ser imperfecto o incluso incorrecto en algún detalle, pero aún así ser confiable si ha sido producido y comunicado de manera que los errores sean transparentes y susceptibles de ser detectados y corregidos con el tiempo. Esta distinción es crucial, ya que refleja que la ciencia es un proceso acumulativo en el que la capacidad de detectar errores y aprender de ellos es lo que permite avanzar en el conocimiento. El marco enfatiza también la importancia de crear lenguajes comunes y métricas significativas para que investigadores, instituciones, revistas científicas, financiadores e incluso el público puedan evaluar y comunicar mejor la confiabilidad de la investigación.

Finalmente, los autores señalan que adoptar este marco no resolverá todos los problemas de la ciencia por sí mismo, pero puede servir como una herramienta integral para mejorar la evaluación de la investigación más allá de estándares obsoletos. Al centrarse en comportamientos y prácticas que fomentan el escrutinio crítico, la transparencia, la reducción de sesgos y la evidencia sólida, el marco pretende fortalecer la base de confianza en la ciencia, contribuyendo a que los hallazgos sean más útiles y significativos tanto para la comunidad académica como para la sociedad en general.

7 aspectos clave del marco para evaluar la confiabilidad de los resultados científicos, explicados uno por uno con detalle:

1. Responsabilidad (Accountability)

Los investigadores deben ser transparentes y responsables sobre cómo diseñaron, condujeron y reportaron su estudio. Esto implica que haya claridad en quién hizo qué, y que los autores puedan ser contactados o interrogados sobre sus decisiones. La responsabilidad fomenta la confianza porque asegura que no hay ocultamiento de información crucial.

2. Evaluabilidad (Evaluability)

Los métodos, datos y resultados deben ser accesibles y presentados de tal forma que otros científicos puedan revisar, reproducir o cuestionar el trabajo. Esto incluye compartir datos abiertos, protocolos, códigos y materiales usados, para que el estudio pueda ser examinado y validado por terceros.

3. Evaluación (Assessment)

El estudio debe haber sido sometido a algún tipo de revisión crítica, ya sea a través del proceso tradicional de revisión por pares, revisiones independientes, replicaciones por otros investigadores o críticas constructivas. La evaluación rigurosa ayuda a detectar errores o sesgos que podrían afectar la confiabilidad.

4. Formulación adecuada (Well-formulated)

El problema de investigación debe estar claramente definido, con objetivos precisos y relevantes. Un estudio bien planteado evita ambigüedades que dificultan interpretar los resultados y asegura que las preguntas que busca responder son importantes y están claramente expresadas.

5. Control de sesgos y errores (Control of biases and errors)

Los investigadores deben usar métodos para minimizar la influencia de prejuicios, errores sistemáticos o aleatorios que podrían distorsionar los resultados. Esto puede incluir diseño experimental riguroso, uso de controles, aleatorización y análisis estadísticos adecuados para validar la robustez del hallazgo.

6. Justificación de conclusiones (Justification of conclusions)

Las conclusiones que se presentan deben estar respaldadas por la evidencia empírica recogida. No basta con afirmar algo llamativo o deseable; debe haber una relación clara entre los datos y las interpretaciones o afirmaciones que se hacen.

7. Transparencia y comunicación (Transparency and communication)

Finalmente, el estudio debe comunicar claramente los métodos, limitaciones, resultados y cualquier conflicto de interés. La transparencia en la comunicación permite que otros comprendan plenamente el contexto y alcance del estudio, y facilita que se interpreten correctamente los hallazgos.

Los bibliotecarios como una de las profesiones más confiables del Reino Unido

Ipsos. “Ipsos Veracity Index 2025.” Última modificación 2025. Accedido el 16 de diciembre de 2025. https://www.ipsos.com/en-uk/ipsos-veracity-index-2025

Ipsos Veracity 2024

Ipsos Veracity 2023

Ipsos Veracity 2022

Ipsos Veracity 2021

Las últimas encuestas de Veracity Index situaron a los bibliotecarios como una de las profesiones más confiables del Reino Unido, tradicionalmente muy arriba en la escala de confianza — incluso en el top 3 en ediciones previas.

Ipsos Veracity Index 2025 es una encuesta representativa de adultos en Gran Bretaña que mide qué profesiones el público considera más confiables para “decir la verdad” en 2025. El estudio compara la percepción actual con años anteriores y examina diferencias entre votantes de distintos partidos políticos.

Este estudio, iniciado en 1983 en el Reino Unido, recoge año tras año qué grupos profesionales son vistos como los más honestos y cuáles despiertan más desconfianza entre la población británica. Aunque el informe publicado en 2025 no enumera a los bibliotecarios entre las diez profesiones más confiadas, la historia reciente de la encuesta muestra que esta figura profesional ha ocupado tradicionalmente posiciones muy altas en la clasificación de confianza pública.

En la edición de 2021 del Veracity Index, los bibliotecarios aparecieron explícitamente entre las profesiones más confiables del Reino Unido, con un impresionante 93 % de los encuestados declarando que confiaban en ellos para decir la verdad. En ese año, sólo enfermeros superaron ligeramente ese nivel de confianza y los bibliotecarios quedaron claramente por delante de médicos, maestros y curadores de museo, consolidando su reputación como guardianes de la información veraz y asesores imparciales. Esta confianza tan alta refleja cómo la sociedad valora el rol tradicional de los bibliotecarios como intermediarios entre el conocimiento y la comunidad, especialmente en tiempos de alta desinformación y polarización informativa.

Los datos recogidos en 2023 también respaldan esta tendencia histórica, aunque con un enfoque más amplio en las profesiones científicas y académicas. En esa edición, los bibliotecarios seguían figurando entre las cinco profesiones con mayores niveles de confianza, con cifras en torno al 86 % — muy cerca de otros grupos también muy valorados, como pilotos de avión, médicos e ingenieros. El mantenimiento de este nivel no sólo ratifica la imagen de los bibliotecarios como profesionales íntegros y veraces, sino que además sitúa su función social en un contexto donde la alfabetización informacional y la facilitación del acceso a fuentes fiables son cada vez más críticas.

Al llegar al informe de 2025, aunque el comunicado principal de Ipsos no menciona explícitamente a los bibliotecarios en el top cinco de profesiones más confiadas —que en ese año son enfermeros, ingenieros, médicos, docentes y profesores universitarios— es importante interpretar estos resultados a la luz de la trayectoria de la profesión. El enfoque del índice puede variar ligeramente de un año a otro, con cambios en las profesiones incluidas o en la manera de agruparlas, pero la tendencia general sugiere que los bibliotecarios siguen siendo asociados con altos niveles de credibilidad, especialmente si los comparamos con profesiones menos confiadas como políticos, ministros de gobierno o influencers.

La posición históricamente alta de los bibliotecarios en el índice de confianza puede entenderse en relación con el papel social que desempeñan: no sólo custodios de colecciones físicas, sino mediadores críticos en la era digital, promotores de alfabetización mediática y defensores de la imparcialidad informativa. La percepción pública de los bibliotecarios como agentes neutrales, enfocados en facilitar el acceso a información rigurosa y en apoyar a estudiantes, investigadores y ciudadanos en general, ha contribuido a que se les otorgue una credibilidad sostenida a lo largo de los años

Consensus: motor de búsqueda impulsado por inteligencia artificial (IA) para facilitar la investigación científica y académica con fuentes confiables

Consensus

https://consensus.app/

Consensus es un motor de búsqueda impulsado por inteligencia artificial (IA) diseñado para facilitar la investigación científica y académica. A diferencia de los motores de búsqueda tradicionales, Consensus permite a los usuarios realizar preguntas en lenguaje natural y obtener respuestas basadas en evidencia extraídas de más de 200 millones de artículos científicos revisados por pares. La plataforma utiliza modelos de lenguaje avanzados para analizar y sintetizar la información relevante, proporcionando resúmenes claros y concisos con citas directas a las fuentes originales.

Cuando un usuario formula una pregunta, Consensus realiza una búsqueda en su base de datos de artículos científicos y utiliza algoritmos de IA para generar una respuesta que resume los hallazgos más relevantes. Cada respuesta incluye citas numeradas que corresponden a los artículos de donde se extrajo la información, permitiendo a los usuarios verificar y profundizar en las fuentes originales .

Consensus es especialmente útil para investigadores, estudiantes y profesionales que buscan acceder rápidamente a información científica confiable. Es ideal para:

  • Realizar revisiones de literatura
  • Obtener resúmenes de estudios científicos.
  • Identificar tendencias y consensos en la investigación.
  • Generar contenido académico respaldado por evidencia.

¿Por que los modelos de IA nos conducen a reforzar lo que ya creemos?

Eugina Leung, “The Scientific Reason Why ChatGPT Leads You Down Rabbit Holes,” CNET, 10 de junio de 2025, https://www.cnet.com/tech/services-and-software/the-scientific-reason-why-chatgpt-leads-you-down-rabbit-holes/

El artículo cuenta por qué herramientas como ChatGPT pueden llevar a los usuarios a profundizar en líneas de pensamiento cada vez más específicas, a veces hasta puntos extremos o sesgados, en lo que comúnmente se conoce como “caer en un sesgo o bucle de confirmación” digital.

El sesgo de confirmación (también llamado sesgo confirmatorio) es una tendencia psicológica que lleva a las personas a buscar, interpretar y recordar información de manera que confirme sus propias creencias y expectativas preexistentes, mientras ignoran o desestiman información que las contradiga.

Según Leung, este comportamiento no se debe únicamente al diseño del modelo de lenguaje, sino a un patrón compartido con los motores de búsqueda y otras herramientas digitales: las personas tienden a confirmar sus creencias iniciales. Esto se traduce en que, cuando un usuario realiza una consulta a ChatGPT, lo hace ya desde una postura determinada. Por ejemplo, si alguien sospecha que cierto alimento es dañino, probablemente formulará su pregunta de forma que ya presupone esa posibilidad. El sistema, a su vez, genera respuestas que encajan con esa narrativa, confirmando la suposición en lugar de cuestionarla.

Esta interacción desencadena un bucle de retroalimentación. Cuanto más pregunta el usuario en esa dirección, más contenido relacionado obtiene, lo que le lleva a profundizar aún más en esa perspectiva. Este proceso es lo que se conoce como “cascada de profundidad” y puede dar lugar a una especie de efecto túnel, donde se van perdiendo matices, dudas o puntos de vista alternativos. En el caso de temas sensibles como la política, la salud, las creencias personales o las teorías de la conspiración, este efecto puede ser especialmente problemático, ya que facilita la consolidación de ideas erróneas o distorsionadas.

Uno de los elementos clave de este fenómeno es la forma en que los modelos responden a las preguntas: su diseño se basa en ofrecer respuestas que parezcan relevantes, coherentes y satisfactorias según el contexto de la conversación. Sin embargo, esto no siempre equivale a una respuesta imparcial o equilibrada. En muchos casos, el sistema simplemente sigue la lógica del usuario y refuerza su hipótesis, en lugar de introducir elementos de contraste o una visión crítica.

Aunque el artículo no presenta una solución definitiva, sí deja entrever algunas estrategias útiles para contrarrestar este efecto. En primer lugar, es esencial que los usuarios sean conscientes de sus propios sesgos y del modo en que estos influyen en la formulación de preguntas. También se sugiere que se practique la variación intencional de las consultas, explorando diferentes formas de abordar un mismo tema. Finalmente, se menciona la posibilidad de diseñar modelos que incluyan mecanismos para ofrecer perspectivas alternativas o advertencias sobre posibles sesgos presentes en la conversación.

En conclusión, ChatGPT tiene una base científica y psicológica sólida. La tendencia humana a buscar confirmación de nuestras ideas, unida al diseño de las respuestas generadas por IA, puede llevarnos a reforzar creencias sin darnos cuenta. Este descubrimiento invita tanto a usuarios como a desarrolladores a promover un uso más consciente, crítico y equilibrado de estas herramientas.

¿Se puede confiar en los agentes de IA?

Glikson, Ella Miron-Spektor y David De Cremer. 2025. “Can AI Agents Be Trusted?” Harvard Business Review, May 2025. https://hbr.org/2025/05/can-ai-agents-be-trusted

Los agentes personales de inteligencia artificial (IA) están emergiendo como una de las innovaciones más prometedoras y disruptivas en el campo de la IA. Estos sistemas autónomos, basados en modelos de lenguaje de gran escala (LLMs), están diseñados para actuar en nombre de los usuarios, automatizando tareas como la gestión de calendarios, la búsqueda y análisis de información, las compras, la selección de contenidos y la comunicación básica.

Su atractivo radica en su capacidad para razonar, tomar decisiones y aprender de la experiencia, con la posibilidad de optimizarse progresivamente. Empresas como Salesforce ya han implementado versiones de estos agentes en atención al cliente, y compañías líderes están ofreciendo prototipos de agentes personales a sus clientes y socios.

Sin embargo, su despliegue plantea cuestiones fundamentales:

  • ¿Podrán estos agentes actuar verdaderamente en nuestro interés?
  • ¿Serán leales únicamente a sus usuarios o también a sus desarrolladores, anunciantes y proveedores de servicios?
  • ¿Cómo podemos saberlo y confiar en ello?

La respuesta a estas preguntas determinará si los agentes personales de IA fortalecen o dañan las relaciones comerciales, el valor de marca y, sobre todo, la confianza del usuario.

¿Qué podría salir mal? Riesgos de los agentes personales de IA

Uno de los principales riesgos asociados a los agentes personales de inteligencia artificial es su vulnerabilidad ante el crimen. Al igual que un empleado desleal, estos agentes podrían ser hackeados o mal programados para actuar en contra de los intereses de su usuario, exponiéndolo a robos de identidad, fraudes financieros o filtraciones de datos. Pruebas de seguridad realizadas por el Instituto Nacional de Estándares y Tecnología de EE.UU. y por empresas privadas han demostrado que incluso los modelos más sofisticados pueden ser manipulados para ejecutar acciones maliciosas, como revelar contraseñas o enviar correos electrónicos fraudulentos.

Otro peligro importante es la manipulación comercial. Los agentes podrían estar sesgados a favor de productos o servicios promovidos por las empresas que los desarrollan o por sus socios comerciales. En el entorno digital actual ya es común encontrar publicidad encubierta o recomendaciones interesadas, por lo que no es difícil imaginar que estas prácticas se trasladen a los agentes personales, comprometiendo su objetividad y convirtiéndolos en instrumentos de marketing disfrazado de asesoramiento imparcial.

Un riesgo relacionado es la preferencia por anunciantes. En sectores como el entretenimiento, las noticias o las redes sociales, los agentes podrían priorizar contenidos patrocinados en lugar de ofrecer lo que realmente se ajusta a las preferencias del usuario. El modelo de negocio “gratuito” basado en publicidad ya ha demostrado sus limitaciones en medios tradicionales como la radio y la televisión, donde el contenido estaba condicionado por los intereses de los anunciantes. Un ejemplo actual es Spotify: su función de DJ automatizado promete recomendaciones personalizadas, pero permite a los artistas pagar por mayor visibilidad, aunque eso implique aceptar menores regalías. Esto puede influir en las recomendaciones de forma opaca y sin conocimiento del usuario.

La susceptibilidad a la desinformación es otra amenaza crítica. Al igual que los humanos, los agentes de IA pueden ser engañados por información falsa, manipulada o generada mediante técnicas como los “deepfakes”. Ya se han reportado casos en los que la IA ha ofrecido consejos incorrectos o incluso peligrosos, como ocurrió con un pasajero de Air Canada que recibió una falsa promesa de descuento generada por un sistema automatizado. Cuando las decisiones del agente se basan en datos erróneos, las consecuencias pueden ser graves e irreversibles.

¿Cómo construir confianza en los agentes personales de IA?

Evitar una supervisión excesiva que anule la utilidad de estos agentes exige soluciones combinadas de tipo jurídico, técnico y de mercado. Los expertos proponen tres enfoques clave para construir la confianza necesaria.

El primero consiste en tratarlos legalmente como fiduciarios. Así como abogados, asesores financieros o tutores están sujetos a obligaciones de lealtad, confidencialidad y diligencia, los agentes de IA deberían cumplir esos mismos estándares. Esto implicaría regularlos públicamente y establecer mecanismos claros de rendición de cuentas por conflictos de interés, uso indebido de datos o actuaciones negligentes. Algunos expertos sostienen que el marco legal actual ya permitiría aplicar esta figura, y que, de no ser así, existiría consenso político y empresarial para regularlo, dadas sus implicaciones.

El segundo enfoque apunta al impulso de mecanismos de control desde el mercado. El sector privado puede desarrollar seguros, auditorías y herramientas de vigilancia para proteger a los usuarios. Existen ya servicios que alertan sobre robo de identidad o permiten monitorear transacciones financieras; algo similar podría diseñarse para los agentes de IA. Incluso podrían establecerse “burós de crédito” de IA que supervisen su comportamiento y ajusten su nivel de autonomía según las preferencias del usuario. Las aseguradoras también podrían incentivar buenas prácticas ofreciendo coberturas frente a fallos o abusos.

La tercera estrategia es mantener la toma de decisiones a nivel local. Desde el punto de vista técnico, una medida efectiva sería garantizar que los datos sensibles y los procesos de decisión permanezcan en los dispositivos del usuario —como teléfonos, tabletas u ordenadores—, minimizando el riesgo de manipulación externa o robo. Apple ha dado pasos en esta dirección con una arquitectura que procesa la mayoría de la información localmente y, en caso de usar la nube, emplea servidores propios con cifrado, sin almacenar datos personales. Además, permite auditorías independientes de seguridad y privacidad. Otros fabricantes deberían adoptar modelos similares, combinando procesamiento local, cifrado y transparencia verificable. También es clave exigir la divulgación clara de patrocinadores, promociones y publicidad integrada en la actividad del agente.

En conclusión, la llegada de los agentes personales de IA promete transformar radicalmente la manera en que interactuamos con la tecnología, organizamos nuestras tareas cotidianas y tomamos decisiones. Sin embargo, el impacto positivo de esta revolución tecnológica dependerá en gran medida de la confianza que podamos depositar en dichos agentes. Esa confianza no surgirá de forma automática: deberá construirse sobre una base sólida que combine marcos legales apropiados, incentivos de mercado bien diseñados, soluciones técnicas transparentes y una voluntad firme de anteponer los intereses de los usuarios a los beneficios comerciales. Solo entonces podremos considerar que los agentes de IA actúan verdaderamente en nuestro nombre.

Análisis de las alucinaciones en los principales modelos de Inteligencia Artificial

Berenstein, David. “Good Answers Are Not Necessarily Factual Answers: An Analysis of Hallucination in Leading LLMs.” Hugging Face. Accedido el 12 de mayo de 2025. https://huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms

Se analiza los errores de alucinación en los principales modelos de lenguaje mediante el uso del benchmark Phare (Potential Harm Assessment & Risk Evaluation). Este estudio pone el foco en un problema central: los modelos pueden ofrecer respuestas que suenan convincentes pero que contienen información falsa o inventada, lo que representa un riesgo real en su uso cotidiano.

Uno de los hallazgos principales del análisis es que más de un tercio de los errores detectados en sistemas de IA desplegados públicamente se deben a alucinaciones. Estas no solo son comunes, sino que además suelen ser difíciles de detectar, porque los modelos presentan esas respuestas con un alto grado de confianza. Esto puede confundir fácilmente a los usuarios, especialmente si no tienen el conocimiento necesario para evaluar la veracidad de lo que están leyendo.

La evaluación se llevó a cabo con el marco Phare, que analiza el rendimiento de los modelos a través de varias etapas: recolección de contenido auténtico y representativo, creación de ejemplos de prueba, revisión humana para asegurar la calidad y, finalmente, evaluación del comportamiento de los modelos. Dentro del módulo de alucinación, se valoraron cuatro tareas clave: la precisión factual, la capacidad para resistirse a la desinformación, la habilidad para desmentir bulos o teorías conspirativas, y la fiabilidad en el uso de herramientas externas como bases de datos o APIs.

Un aspecto especialmente relevante que destaca el estudio es la desconexión entre popularidad y fiabilidad. Es decir, que los modelos más valorados por los usuarios en términos de experiencia de uso no siempre son los más precisos en cuanto a la información que generan. Esto sugiere que una buena interacción no garantiza una buena calidad factual, y que es necesario avanzar en métricas que evalúen la veracidad con más rigor.

En conclusión el estudio muestra que las alucinaciones son un problema estructural de los modelos actuales y que su impacto es especialmente delicado en contextos donde la precisión es crítica, como la medicina, el derecho o la educación. Por ello, el artículo concluye que identificar y reducir estos errores debe ser una prioridad para mejorar la seguridad y fiabilidad de los modelos de lenguaje de gran escala.

La investigación empresarial sobre fiabilidad y seguridad de la IA ignora los riesgos del mundo

«How Corporate AI Research on Reliability and Safety Ignores Real-World Risks» Asimov’s Addendum (Substack),

El informe advierte sobre serias carencias en la investigación sobre gobernanza y seguridad de la inteligencia artificial generativa, especialmente en su aplicación práctica. El análisis se basa en la revisión de 9.439 artículos publicados entre 2020 y 2025 por cinco de las principales corporaciones tecnológicas (OpenAI, Google DeepMind, Meta, Microsoft y Anthropic) y seis destacadas instituciones académicas de Estados Unidos.

Uno de los hallazgos más alarmantes es que menos del 5 % de los estudios realizados por empresas abordan los riesgos derivados del uso real de estos sistemas por parte de usuarios y empresas, dejando sin atención aspectos fundamentales como errores en los resultados, sesgos, desinformación, violaciones de derechos de autor y consecuencias sociales.

El informe subraya que los laboratorios corporativos están marcando la agenda global de investigación en IA, enfocándose en fases previas al despliegue, como el entrenamiento, alineamiento y pruebas de modelos, mientras descuidan el análisis de su comportamiento en entornos reales. Esto resulta especialmente problemático en sectores de alto riesgo como la salud, las finanzas, la educación, la publicidad y la política, donde los sistemas de IA pueden amplificar desigualdades, inducir errores graves o facilitar la manipulación. La falta de investigación también contrasta con el creciente número de litigios relacionados con daños causados por IA generativa, como casos de difamación, uso indebido de datos o generación de contenido engañoso.

Como respuesta, el informe propone medidas concretas para mejorar la transparencia y la supervisión de la IA. Estas incluyen el fortalecimiento de mecanismos de observación independientes, la apertura de datos de implementación para investigadores externos, la documentación de objetivos de entrenamiento y arquitecturas de modelos, así como la divulgación pública de fallos o riesgos potenciales. Además, se destaca la importancia de proteger a posibles denunciantes y facilitar la participación de las comunidades afectadas por estas tecnologías en los debates regulatorios y científicos.

Este informe se enmarca en un creciente movimiento internacional por una inteligencia artificial más ética y segura. Iniciativas como las de la organización Partnership on AI también han elaborado guías para promover un despliegue responsable de estos sistemas, y diversas instituciones académicas y medios como Time han alertado sobre la necesidad urgente de regular y auditar los usos cotidianos de la IA. En definitiva, el estudio del SSRC reitera que, sin una supervisión externa rigurosa y una investigación orientada al impacto real, los avances en IA podrían agravar problemas sociales existentes en lugar de resolverlos.