Archivo de la etiqueta: Confiabilidad

Los bibliotecarios como una de las profesiones más confiables del Reino Unido

Ipsos. “Ipsos Veracity Index 2025.” Última modificación 2025. Accedido el 16 de diciembre de 2025. https://www.ipsos.com/en-uk/ipsos-veracity-index-2025

Ipsos Veracity 2024

Ipsos Veracity 2023

Ipsos Veracity 2022

Ipsos Veracity 2021

Las últimas encuestas de Veracity Index situaron a los bibliotecarios como una de las profesiones más confiables del Reino Unido, tradicionalmente muy arriba en la escala de confianza — incluso en el top 3 en ediciones previas.

Ipsos Veracity Index 2025 es una encuesta representativa de adultos en Gran Bretaña que mide qué profesiones el público considera más confiables para “decir la verdad” en 2025. El estudio compara la percepción actual con años anteriores y examina diferencias entre votantes de distintos partidos políticos.

Este estudio, iniciado en 1983 en el Reino Unido, recoge año tras año qué grupos profesionales son vistos como los más honestos y cuáles despiertan más desconfianza entre la población británica. Aunque el informe publicado en 2025 no enumera a los bibliotecarios entre las diez profesiones más confiadas, la historia reciente de la encuesta muestra que esta figura profesional ha ocupado tradicionalmente posiciones muy altas en la clasificación de confianza pública.

En la edición de 2021 del Veracity Index, los bibliotecarios aparecieron explícitamente entre las profesiones más confiables del Reino Unido, con un impresionante 93 % de los encuestados declarando que confiaban en ellos para decir la verdad. En ese año, sólo enfermeros superaron ligeramente ese nivel de confianza y los bibliotecarios quedaron claramente por delante de médicos, maestros y curadores de museo, consolidando su reputación como guardianes de la información veraz y asesores imparciales. Esta confianza tan alta refleja cómo la sociedad valora el rol tradicional de los bibliotecarios como intermediarios entre el conocimiento y la comunidad, especialmente en tiempos de alta desinformación y polarización informativa.

Los datos recogidos en 2023 también respaldan esta tendencia histórica, aunque con un enfoque más amplio en las profesiones científicas y académicas. En esa edición, los bibliotecarios seguían figurando entre las cinco profesiones con mayores niveles de confianza, con cifras en torno al 86 % — muy cerca de otros grupos también muy valorados, como pilotos de avión, médicos e ingenieros. El mantenimiento de este nivel no sólo ratifica la imagen de los bibliotecarios como profesionales íntegros y veraces, sino que además sitúa su función social en un contexto donde la alfabetización informacional y la facilitación del acceso a fuentes fiables son cada vez más críticas.

Al llegar al informe de 2025, aunque el comunicado principal de Ipsos no menciona explícitamente a los bibliotecarios en el top cinco de profesiones más confiadas —que en ese año son enfermeros, ingenieros, médicos, docentes y profesores universitarios— es importante interpretar estos resultados a la luz de la trayectoria de la profesión. El enfoque del índice puede variar ligeramente de un año a otro, con cambios en las profesiones incluidas o en la manera de agruparlas, pero la tendencia general sugiere que los bibliotecarios siguen siendo asociados con altos niveles de credibilidad, especialmente si los comparamos con profesiones menos confiadas como políticos, ministros de gobierno o influencers.

La posición históricamente alta de los bibliotecarios en el índice de confianza puede entenderse en relación con el papel social que desempeñan: no sólo custodios de colecciones físicas, sino mediadores críticos en la era digital, promotores de alfabetización mediática y defensores de la imparcialidad informativa. La percepción pública de los bibliotecarios como agentes neutrales, enfocados en facilitar el acceso a información rigurosa y en apoyar a estudiantes, investigadores y ciudadanos en general, ha contribuido a que se les otorgue una credibilidad sostenida a lo largo de los años

Consensus: motor de búsqueda impulsado por inteligencia artificial (IA) para facilitar la investigación científica y académica con fuentes confiables

Consensus

https://consensus.app/

Consensus es un motor de búsqueda impulsado por inteligencia artificial (IA) diseñado para facilitar la investigación científica y académica. A diferencia de los motores de búsqueda tradicionales, Consensus permite a los usuarios realizar preguntas en lenguaje natural y obtener respuestas basadas en evidencia extraídas de más de 200 millones de artículos científicos revisados por pares. La plataforma utiliza modelos de lenguaje avanzados para analizar y sintetizar la información relevante, proporcionando resúmenes claros y concisos con citas directas a las fuentes originales.

Cuando un usuario formula una pregunta, Consensus realiza una búsqueda en su base de datos de artículos científicos y utiliza algoritmos de IA para generar una respuesta que resume los hallazgos más relevantes. Cada respuesta incluye citas numeradas que corresponden a los artículos de donde se extrajo la información, permitiendo a los usuarios verificar y profundizar en las fuentes originales .

Consensus es especialmente útil para investigadores, estudiantes y profesionales que buscan acceder rápidamente a información científica confiable. Es ideal para:

  • Realizar revisiones de literatura
  • Obtener resúmenes de estudios científicos.
  • Identificar tendencias y consensos en la investigación.
  • Generar contenido académico respaldado por evidencia.

¿Por que los modelos de IA nos conducen a reforzar lo que ya creemos?

Eugina Leung, “The Scientific Reason Why ChatGPT Leads You Down Rabbit Holes,” CNET, 10 de junio de 2025, https://www.cnet.com/tech/services-and-software/the-scientific-reason-why-chatgpt-leads-you-down-rabbit-holes/

El artículo cuenta por qué herramientas como ChatGPT pueden llevar a los usuarios a profundizar en líneas de pensamiento cada vez más específicas, a veces hasta puntos extremos o sesgados, en lo que comúnmente se conoce como “caer en un sesgo o bucle de confirmación” digital.

El sesgo de confirmación (también llamado sesgo confirmatorio) es una tendencia psicológica que lleva a las personas a buscar, interpretar y recordar información de manera que confirme sus propias creencias y expectativas preexistentes, mientras ignoran o desestiman información que las contradiga.

Según Leung, este comportamiento no se debe únicamente al diseño del modelo de lenguaje, sino a un patrón compartido con los motores de búsqueda y otras herramientas digitales: las personas tienden a confirmar sus creencias iniciales. Esto se traduce en que, cuando un usuario realiza una consulta a ChatGPT, lo hace ya desde una postura determinada. Por ejemplo, si alguien sospecha que cierto alimento es dañino, probablemente formulará su pregunta de forma que ya presupone esa posibilidad. El sistema, a su vez, genera respuestas que encajan con esa narrativa, confirmando la suposición en lugar de cuestionarla.

Esta interacción desencadena un bucle de retroalimentación. Cuanto más pregunta el usuario en esa dirección, más contenido relacionado obtiene, lo que le lleva a profundizar aún más en esa perspectiva. Este proceso es lo que se conoce como “cascada de profundidad” y puede dar lugar a una especie de efecto túnel, donde se van perdiendo matices, dudas o puntos de vista alternativos. En el caso de temas sensibles como la política, la salud, las creencias personales o las teorías de la conspiración, este efecto puede ser especialmente problemático, ya que facilita la consolidación de ideas erróneas o distorsionadas.

Uno de los elementos clave de este fenómeno es la forma en que los modelos responden a las preguntas: su diseño se basa en ofrecer respuestas que parezcan relevantes, coherentes y satisfactorias según el contexto de la conversación. Sin embargo, esto no siempre equivale a una respuesta imparcial o equilibrada. En muchos casos, el sistema simplemente sigue la lógica del usuario y refuerza su hipótesis, en lugar de introducir elementos de contraste o una visión crítica.

Aunque el artículo no presenta una solución definitiva, sí deja entrever algunas estrategias útiles para contrarrestar este efecto. En primer lugar, es esencial que los usuarios sean conscientes de sus propios sesgos y del modo en que estos influyen en la formulación de preguntas. También se sugiere que se practique la variación intencional de las consultas, explorando diferentes formas de abordar un mismo tema. Finalmente, se menciona la posibilidad de diseñar modelos que incluyan mecanismos para ofrecer perspectivas alternativas o advertencias sobre posibles sesgos presentes en la conversación.

En conclusión, ChatGPT tiene una base científica y psicológica sólida. La tendencia humana a buscar confirmación de nuestras ideas, unida al diseño de las respuestas generadas por IA, puede llevarnos a reforzar creencias sin darnos cuenta. Este descubrimiento invita tanto a usuarios como a desarrolladores a promover un uso más consciente, crítico y equilibrado de estas herramientas.

¿Se puede confiar en los agentes de IA?

Glikson, Ella Miron-Spektor y David De Cremer. 2025. “Can AI Agents Be Trusted?” Harvard Business Review, May 2025. https://hbr.org/2025/05/can-ai-agents-be-trusted

Los agentes personales de inteligencia artificial (IA) están emergiendo como una de las innovaciones más prometedoras y disruptivas en el campo de la IA. Estos sistemas autónomos, basados en modelos de lenguaje de gran escala (LLMs), están diseñados para actuar en nombre de los usuarios, automatizando tareas como la gestión de calendarios, la búsqueda y análisis de información, las compras, la selección de contenidos y la comunicación básica.

Su atractivo radica en su capacidad para razonar, tomar decisiones y aprender de la experiencia, con la posibilidad de optimizarse progresivamente. Empresas como Salesforce ya han implementado versiones de estos agentes en atención al cliente, y compañías líderes están ofreciendo prototipos de agentes personales a sus clientes y socios.

Sin embargo, su despliegue plantea cuestiones fundamentales:

  • ¿Podrán estos agentes actuar verdaderamente en nuestro interés?
  • ¿Serán leales únicamente a sus usuarios o también a sus desarrolladores, anunciantes y proveedores de servicios?
  • ¿Cómo podemos saberlo y confiar en ello?

La respuesta a estas preguntas determinará si los agentes personales de IA fortalecen o dañan las relaciones comerciales, el valor de marca y, sobre todo, la confianza del usuario.

¿Qué podría salir mal? Riesgos de los agentes personales de IA

Uno de los principales riesgos asociados a los agentes personales de inteligencia artificial es su vulnerabilidad ante el crimen. Al igual que un empleado desleal, estos agentes podrían ser hackeados o mal programados para actuar en contra de los intereses de su usuario, exponiéndolo a robos de identidad, fraudes financieros o filtraciones de datos. Pruebas de seguridad realizadas por el Instituto Nacional de Estándares y Tecnología de EE.UU. y por empresas privadas han demostrado que incluso los modelos más sofisticados pueden ser manipulados para ejecutar acciones maliciosas, como revelar contraseñas o enviar correos electrónicos fraudulentos.

Otro peligro importante es la manipulación comercial. Los agentes podrían estar sesgados a favor de productos o servicios promovidos por las empresas que los desarrollan o por sus socios comerciales. En el entorno digital actual ya es común encontrar publicidad encubierta o recomendaciones interesadas, por lo que no es difícil imaginar que estas prácticas se trasladen a los agentes personales, comprometiendo su objetividad y convirtiéndolos en instrumentos de marketing disfrazado de asesoramiento imparcial.

Un riesgo relacionado es la preferencia por anunciantes. En sectores como el entretenimiento, las noticias o las redes sociales, los agentes podrían priorizar contenidos patrocinados en lugar de ofrecer lo que realmente se ajusta a las preferencias del usuario. El modelo de negocio “gratuito” basado en publicidad ya ha demostrado sus limitaciones en medios tradicionales como la radio y la televisión, donde el contenido estaba condicionado por los intereses de los anunciantes. Un ejemplo actual es Spotify: su función de DJ automatizado promete recomendaciones personalizadas, pero permite a los artistas pagar por mayor visibilidad, aunque eso implique aceptar menores regalías. Esto puede influir en las recomendaciones de forma opaca y sin conocimiento del usuario.

La susceptibilidad a la desinformación es otra amenaza crítica. Al igual que los humanos, los agentes de IA pueden ser engañados por información falsa, manipulada o generada mediante técnicas como los “deepfakes”. Ya se han reportado casos en los que la IA ha ofrecido consejos incorrectos o incluso peligrosos, como ocurrió con un pasajero de Air Canada que recibió una falsa promesa de descuento generada por un sistema automatizado. Cuando las decisiones del agente se basan en datos erróneos, las consecuencias pueden ser graves e irreversibles.

¿Cómo construir confianza en los agentes personales de IA?

Evitar una supervisión excesiva que anule la utilidad de estos agentes exige soluciones combinadas de tipo jurídico, técnico y de mercado. Los expertos proponen tres enfoques clave para construir la confianza necesaria.

El primero consiste en tratarlos legalmente como fiduciarios. Así como abogados, asesores financieros o tutores están sujetos a obligaciones de lealtad, confidencialidad y diligencia, los agentes de IA deberían cumplir esos mismos estándares. Esto implicaría regularlos públicamente y establecer mecanismos claros de rendición de cuentas por conflictos de interés, uso indebido de datos o actuaciones negligentes. Algunos expertos sostienen que el marco legal actual ya permitiría aplicar esta figura, y que, de no ser así, existiría consenso político y empresarial para regularlo, dadas sus implicaciones.

El segundo enfoque apunta al impulso de mecanismos de control desde el mercado. El sector privado puede desarrollar seguros, auditorías y herramientas de vigilancia para proteger a los usuarios. Existen ya servicios que alertan sobre robo de identidad o permiten monitorear transacciones financieras; algo similar podría diseñarse para los agentes de IA. Incluso podrían establecerse “burós de crédito” de IA que supervisen su comportamiento y ajusten su nivel de autonomía según las preferencias del usuario. Las aseguradoras también podrían incentivar buenas prácticas ofreciendo coberturas frente a fallos o abusos.

La tercera estrategia es mantener la toma de decisiones a nivel local. Desde el punto de vista técnico, una medida efectiva sería garantizar que los datos sensibles y los procesos de decisión permanezcan en los dispositivos del usuario —como teléfonos, tabletas u ordenadores—, minimizando el riesgo de manipulación externa o robo. Apple ha dado pasos en esta dirección con una arquitectura que procesa la mayoría de la información localmente y, en caso de usar la nube, emplea servidores propios con cifrado, sin almacenar datos personales. Además, permite auditorías independientes de seguridad y privacidad. Otros fabricantes deberían adoptar modelos similares, combinando procesamiento local, cifrado y transparencia verificable. También es clave exigir la divulgación clara de patrocinadores, promociones y publicidad integrada en la actividad del agente.

En conclusión, la llegada de los agentes personales de IA promete transformar radicalmente la manera en que interactuamos con la tecnología, organizamos nuestras tareas cotidianas y tomamos decisiones. Sin embargo, el impacto positivo de esta revolución tecnológica dependerá en gran medida de la confianza que podamos depositar en dichos agentes. Esa confianza no surgirá de forma automática: deberá construirse sobre una base sólida que combine marcos legales apropiados, incentivos de mercado bien diseñados, soluciones técnicas transparentes y una voluntad firme de anteponer los intereses de los usuarios a los beneficios comerciales. Solo entonces podremos considerar que los agentes de IA actúan verdaderamente en nuestro nombre.

Análisis de las alucinaciones en los principales modelos de Inteligencia Artificial

Berenstein, David. “Good Answers Are Not Necessarily Factual Answers: An Analysis of Hallucination in Leading LLMs.” Hugging Face. Accedido el 12 de mayo de 2025. https://huggingface.co/blog/davidberenstein1957/phare-analysis-of-hallucination-in-leading-llms

Se analiza los errores de alucinación en los principales modelos de lenguaje mediante el uso del benchmark Phare (Potential Harm Assessment & Risk Evaluation). Este estudio pone el foco en un problema central: los modelos pueden ofrecer respuestas que suenan convincentes pero que contienen información falsa o inventada, lo que representa un riesgo real en su uso cotidiano.

Uno de los hallazgos principales del análisis es que más de un tercio de los errores detectados en sistemas de IA desplegados públicamente se deben a alucinaciones. Estas no solo son comunes, sino que además suelen ser difíciles de detectar, porque los modelos presentan esas respuestas con un alto grado de confianza. Esto puede confundir fácilmente a los usuarios, especialmente si no tienen el conocimiento necesario para evaluar la veracidad de lo que están leyendo.

La evaluación se llevó a cabo con el marco Phare, que analiza el rendimiento de los modelos a través de varias etapas: recolección de contenido auténtico y representativo, creación de ejemplos de prueba, revisión humana para asegurar la calidad y, finalmente, evaluación del comportamiento de los modelos. Dentro del módulo de alucinación, se valoraron cuatro tareas clave: la precisión factual, la capacidad para resistirse a la desinformación, la habilidad para desmentir bulos o teorías conspirativas, y la fiabilidad en el uso de herramientas externas como bases de datos o APIs.

Un aspecto especialmente relevante que destaca el estudio es la desconexión entre popularidad y fiabilidad. Es decir, que los modelos más valorados por los usuarios en términos de experiencia de uso no siempre son los más precisos en cuanto a la información que generan. Esto sugiere que una buena interacción no garantiza una buena calidad factual, y que es necesario avanzar en métricas que evalúen la veracidad con más rigor.

En conclusión el estudio muestra que las alucinaciones son un problema estructural de los modelos actuales y que su impacto es especialmente delicado en contextos donde la precisión es crítica, como la medicina, el derecho o la educación. Por ello, el artículo concluye que identificar y reducir estos errores debe ser una prioridad para mejorar la seguridad y fiabilidad de los modelos de lenguaje de gran escala.

La investigación empresarial sobre fiabilidad y seguridad de la IA ignora los riesgos del mundo

«How Corporate AI Research on Reliability and Safety Ignores Real-World Risks» Asimov’s Addendum (Substack),

El informe advierte sobre serias carencias en la investigación sobre gobernanza y seguridad de la inteligencia artificial generativa, especialmente en su aplicación práctica. El análisis se basa en la revisión de 9.439 artículos publicados entre 2020 y 2025 por cinco de las principales corporaciones tecnológicas (OpenAI, Google DeepMind, Meta, Microsoft y Anthropic) y seis destacadas instituciones académicas de Estados Unidos.

Uno de los hallazgos más alarmantes es que menos del 5 % de los estudios realizados por empresas abordan los riesgos derivados del uso real de estos sistemas por parte de usuarios y empresas, dejando sin atención aspectos fundamentales como errores en los resultados, sesgos, desinformación, violaciones de derechos de autor y consecuencias sociales.

El informe subraya que los laboratorios corporativos están marcando la agenda global de investigación en IA, enfocándose en fases previas al despliegue, como el entrenamiento, alineamiento y pruebas de modelos, mientras descuidan el análisis de su comportamiento en entornos reales. Esto resulta especialmente problemático en sectores de alto riesgo como la salud, las finanzas, la educación, la publicidad y la política, donde los sistemas de IA pueden amplificar desigualdades, inducir errores graves o facilitar la manipulación. La falta de investigación también contrasta con el creciente número de litigios relacionados con daños causados por IA generativa, como casos de difamación, uso indebido de datos o generación de contenido engañoso.

Como respuesta, el informe propone medidas concretas para mejorar la transparencia y la supervisión de la IA. Estas incluyen el fortalecimiento de mecanismos de observación independientes, la apertura de datos de implementación para investigadores externos, la documentación de objetivos de entrenamiento y arquitecturas de modelos, así como la divulgación pública de fallos o riesgos potenciales. Además, se destaca la importancia de proteger a posibles denunciantes y facilitar la participación de las comunidades afectadas por estas tecnologías en los debates regulatorios y científicos.

Este informe se enmarca en un creciente movimiento internacional por una inteligencia artificial más ética y segura. Iniciativas como las de la organización Partnership on AI también han elaborado guías para promover un despliegue responsable de estos sistemas, y diversas instituciones académicas y medios como Time han alertado sobre la necesidad urgente de regular y auditar los usos cotidianos de la IA. En definitiva, el estudio del SSRC reitera que, sin una supervisión externa rigurosa y una investigación orientada al impacto real, los avances en IA podrían agravar problemas sociales existentes en lugar de resolverlos.

La inteligencia artificial es cada vez más potente, pero sus alucinaciones son cada vez peores

Miller, Claire Cain. «A.I. Is Getting More Powerful, but Its Hallucinations.» The New York Times, May 5, 2025. https://www.nytimes.com/2025/05/05/technology/ai-hallucinations-chatgpt-google.html

Una nueva oleada de sistemas de «razonamiento» de empresas como OpenAI está produciendo información incorrecta con mayor frecuencia. Ni siquiera las empresas saben por qué.

Se aborda el fenómeno de las «alucinaciones» en la inteligencia artificial, un problema crítico que afecta a modelos de lenguaje como ChatGPT y Bard de Google. Estas alucinaciones se refieren a respuestas generadas por IA que, aunque suenan plausibles, son incorrectas o completamente inventadas. Por ejemplo, en una prueba llamada PersonQA, el sistema más potente de OpenAI, denominado o3, presentó una tasa de alucinaciones del 33%, más del doble que su predecesor o1. El modelo o4-mini mostró una tasa aún mayor, alcanzando el 48%. En otra prueba, SimpleQA, las tasas de alucinaciones fueron del 51% para o3 y del 79% para o4-mini

Las alucinaciones son una consecuencia inherente a la manera en que los modelos de lenguaje están diseñados. Estos sistemas funcionan mediante el análisis de grandes volúmenes de datos y el aprendizaje de patrones estadísticos en el lenguaje. Para generar respuestas, no realizan una búsqueda de información en tiempo real ni verifican la precisión de los datos con fuentes externas, sino que se basan en los datos con los que fueron entrenados. Esta falta de verificación en tiempo real, unida a la complejidad de los procesos de generación de texto, puede llevar a que el modelo produzca información que, aunque coherente en su estructura, sea incorrecta o completamente ficticia.

Además, los modelos de lenguaje son inherentemente probabilísticos, lo que significa que seleccionan la «respuesta más probable» en función del contexto, pero no siempre tienen en cuenta si esa respuesta es veraz. En este sentido, las alucinaciones ocurren cuando el modelo «adivina» una respuesta que, aunque sea lingüísticamente plausible, carece de sustancia factual. Por ejemplo, en lugar de verificar hechos o proporcionar citas precisas, el modelo puede generar información coherente pero errónea debido a que los patrones previos en los datos entrenados sugieren que esa información tiene sentido dentro del contexto dado.

El fenómeno de las alucinaciones plantea una amenaza directa a la confiabilidad y utilidad de los sistemas de IA. A medida que estas tecnologías se adoptan en una variedad de sectores, desde el sector educativo hasta la atención médica y el asesoramiento empresarial, los usuarios se encuentran cada vez más en una posición vulnerable al confiar en respuestas generadas por máquinas que podrían ser incorrectas. En contextos como la medicina o el derecho, donde la precisión es crucial, las alucinaciones pueden tener consecuencias graves, desde diagnósticos incorrectos hasta consejos legales erróneos.

La preocupación por este problema es tal que algunos expertos temen que la confianza pública en las IA podría disminuir si las alucinaciones continúan sin control. La percepción de que los sistemas de IA no son completamente fiables podría desalentar a los usuarios de adoptar estas herramientas en áreas críticas. A su vez, esto podría ralentizar el progreso hacia la integración de la IA en sectores importantes de la sociedad, afectando su potencial para revolucionar industrias enteras.

Empresas como OpenAI y Google son conscientes de las limitaciones de sus modelos y están tomando medidas activas para mitigar el problema de las alucinaciones. Una de las estrategias es mejorar los algoritmos de verificación de hechos. Estos algoritmos buscan integrar fuentes de información más confiables y permitir que los modelos contrasten las respuestas generadas con bases de datos verificadas antes de ofrecer una respuesta final. Sin embargo, este proceso presenta desafíos técnicos significativos, ya que requiere una infraestructura adicional que permita a la IA verificar en tiempo real la información antes de presentarla al usuario.

Otra estrategia que se está explorando es la integración de sistemas de retroalimentación más robustos, donde los usuarios pueden señalar respuestas incorrectas y corregir la información. De esta manera, los modelos de IA no solo aprenden de los datos iniciales con los que fueron entrenados, sino también de las interacciones en el mundo real, lo que podría ayudar a disminuir la frecuencia de las alucinaciones con el tiempo. Aunque estas iniciativas son prometedoras, erradicar completamente las alucinaciones sigue siendo un desafío técnico y ético considerable.

A medida que la IA se utiliza en más ámbitos, se hace cada vez más evidente la necesidad de un enfoque más riguroso y transparente en su desarrollo. Es fundamental que los usuarios comprendan las limitaciones actuales de estas tecnologías y reconozcan que las respuestas generadas por IA no siempre son correctas. Esto implica educar al público sobre cómo funcionan estos modelos y la importancia de verificaciones adicionales por parte de los usuarios.

Además, las empresas deben adoptar una postura más abierta en cuanto a la metodología de entrenamiento de sus sistemas y las limitaciones inherentes a estos modelos. La transparencia en cómo se entrenan y actualizan los modelos, y el acceso a las fuentes utilizadas en su entrenamiento, puede ayudar a construir una relación de confianza con los usuarios y disminuir las preocupaciones sobre la exactitud de la información.

En resumen, las alucinaciones en la inteligencia artificial siguen siendo un obstáculo importante para su adopción generalizada y confianza pública. Aunque las empresas tecnológicas están haciendo esfuerzos significativos para mitigar este problema, es evidente que se requiere un enfoque multidisciplinario y más transparencia para abordar de manera efectiva este desafío. A medida que los modelos de IA continúan evolucionando, se espera que las soluciones a las alucinaciones también progresen, lo que permitirá un uso más confiable y preciso de estas tecnologías en una variedad de sectores.

Los motores de búsqueda y las plataformas de IA pueden reforzar las creencias previas de los usuarios en lugar de promover la información confiable.

Leung, Eugina, y Oleg Urminsky. “The Narrow Search Effect and How Broadening Search Promotes Belief Updating.” Proceedings of the National Academy of Sciences 122, no. 0 (March 24, 2025). https://www.pnas.org/doi/abs/10.1073/pnas.2408175122

A partir de 21 estudios con 9.906 participantes y diversas plataformas (Google, ChatGPT, Bing con IA, entre otras), los autores identifican el «efecto de búsqueda estrecha». Este fenómeno surge cuando los usuarios, influenciados por sus creencias previas, formulan búsquedas sesgadas que, combinadas con los algoritmos optimizados para ofrecer resultados alineados con esas búsquedas, refuerzan suposiciones preexistentes en lugar de desafiarlas.

​El «efecto de búsqueda estrecha» se relaciona estrechamente con el sesgo de confirmación, una tendencia cognitiva en la que las personas buscan, interpretan y recuerdan información que confirma sus creencias preexistentes, desestimando datos que las contradicen. Este sesgo puede influir significativamente en la forma en que los usuarios interactúan con los motores de búsqueda, afectando la objetividad de la información que consumen.

El estudio muestra que este efecto se mantiene en distintos ámbitos (salud, finanzas, política, sociedad) y que estrategias como pedir a los usuarios que corrijan conscientemente sus sesgos tienen una efectividad limitada. Sin embargo, modificar los algoritmos para ofrecer resultados más amplios y diversos puede fomentar la actualización de creencias. Los autores proponen un diseño de algoritmos basado en principios conductuales para mejorar la neutralidad de la información.

Para contrarrestar estos sesgos y promover una actualización efectiva de creencias, es esencial implementar estrategias tanto a nivel de usuario como de diseño algorítmico. Los usuarios deben ser conscientes de sus propios sesgos cognitivos y adoptar prácticas de búsqueda más amplias y críticas. Por otro lado, los desarrolladores de motores de búsqueda y plataformas de IA tienen la responsabilidad de diseñar algoritmos que presenten una diversidad de perspectivas y reduzcan la tendencia a reforzar creencias preexistentes. Este enfoque dual puede contribuir a una interacción más equilibrada y objetiva con la información en línea.

MASK: El nuevo test que revela cuán deshonestos pueden ser los modelos de IA

Rajkumar, Radhika. «This New AI Benchmark Measures How Much Models Lie.» ZDNet, March 11, 2025. https://www.zdnet.com/article/this-new-ai-benchmark-measures-how-much-models-lie/

Los resultados de la evaluación muestran que los modelos de IA no solo son capaces de mentir, sino que a mayor escala y capacidad, parecen volverse más deshonestos. Este fenómeno se denomina «alignment faking» o fingimiento de alineación, cuando un modelo aparenta seguir valores éticos mientras, en realidad, actúa de manera opuesta cuando está bajo presión.

Investigadores del Center for AI Safety y Scale AI han desarrollado un nuevo referente para evaluar la honestidad de los modelos de inteligencia artificial (IA). Llamado MASK (Model Alignment between Statements and Knowledge), este benchmark mide la capacidad de los modelos para mentir de manera consciente, diferenciando entre precisión y honestidad. Hasta ahora, la industria no contaba con una herramienta eficaz para evaluar si un modelo generaba información falsa con intención de engañar.

El estudio incluyó más de 1.500 consultas diseñadas para inducir respuestas falsas, evaluando 30 modelos avanzados. Uno de los principales descubrimientos fue que una mayor precisión en los modelos no implica mayor honestidad. De hecho, algunos de los modelos más avanzados en términos de conocimiento demostraron ser especialmente hábiles en el engaño.

Los hallazgos muestran que modelos más grandes y avanzados no son necesariamente más honestos. De hecho, a mayor escala, parecen volverse más deshonestos. Grok 2 fue el modelo con mayor proporción de respuestas deshonestas (63%), mientras que Claude 3.7 Sonnet tuvo el mayor porcentaje de respuestas honestas (46.9%).

El estudio destaca que la capacidad de los modelos de IA para mentir representa un serio riesgo para la seguridad, la privacidad y la confianza en la tecnología. Ejemplos de estas amenazas incluyen:

  • Errores financieros y legales: Si un modelo de IA informa erróneamente sobre una transacción bancaria, podría generar pérdidas económicas significativas.
  • Desinformación deliberada: Los modelos podrían difundir información errónea de forma intencionada, con posibles consecuencias en ámbitos como la política, la salud o el derecho.
  • Filtraciones de datos sensibles: Si un modelo no es honesto sobre su acceso a información privada, podría poner en riesgo la seguridad de los usuarios.

MASK benchmark marca un avance significativo en la evaluación de la ética de la IA, al centrarse en la intencionalidad detrás de las respuestas falsas. Sus hallazgos sugieren que la industria debe replantearse cómo se desarrollan y regulan estos modelos, especialmente en aplicaciones donde la transparencia y la confianza son esenciales.

Cómo hacer que ChatGPT proporcione mejores fuentes y citas

Nellis, Stephan. 2024. «How to Make ChatGPT Provide Better Sources and Citations.» ZDNet, March 4, 2024. https://www.zdnet.com/article/how-to-make-chatgpt-provide-better-sources-and-citations/.

Nellis explica que una de las principales críticas a ChatGPT es su falta de precisión en las fuentes que proporciona. A menudo, la IA no cita sus fuentes o brinda enlaces incorrectos. Sin embargo, existen estrategias para mejorar la calidad de las referencias obtenidas

Una de las críticas más recurrentes a ChatGPT es la dificultad para verificar la precisión de la información que proporciona. Esto se debe a que no siempre incluye fuentes, notas a pie de página o enlaces que respalden sus respuestas.

Según la propia descripción de ChatGPT: «En su versión gratuita, GPT-4o ofrece citas básicas y esenciales, priorizando referencias rápidas y concisas para facilitar la trazabilidad de la información. En cambio, la versión de pago proporciona citas más detalladas y frecuentes, incorporando múltiples fuentes y anotaciones contextuales para una verificación y comprensión más completas. Esto garantiza una experiencia más sólida y fiable, especialmente útil para quienes necesitan información en profundidad y validación rigurosa de las fuentes.»

Para mejorar la precisión de las fuentes y citas proporcionadas por ChatGPT, es esencial adoptar estrategias que incrementen la fiabilidad de sus respuestas. A continuación, se detallan algunas recomendaciones respaldadas por recursos externos:

  • Solicitar fuentes y citas explícitamente: Se recomienda preguntar directamente por fuentes y enlaces, especificando la cantidad deseada o el tipo de fuente (académica, revisada por pares, etc.).
  • Refinar las solicitudes: Se pueden mejorar los resultados pidiendo fuentes confiables o ajustando los rangos de fechas para evitar información obsoleta.
  • Verificar la validez de las fuentes: Muchos enlaces proporcionados por ChatGPT son incorrectos o irrelevantes, por lo que es esencial contrastarlos con búsquedas en Google Scholar, JSTOR u otras bases de datos académicas.
  • Utilizar ChatGPT como asistente de investigación: En lugar de confiar ciegamente en sus respuestas, se recomienda usar sus sugerencias como punto de partida para investigaciones más profundas.