La IA no siempre es fiable en las olas de calor: los resultados de una investigación de Verificat

Las olas de calor están siendo protagonistas este verano, con cifras récord en muchos puntos de Catalunya, y desde el mes de mayo se estima que ha habido más de 2.600 defunciones atribuibles a las temperaturas, según el Sistema de Monitorización de la Mortalidad diaria (MoMo). Ante esta situación, las dudas de la ciudadanía se trasladan a internet, donde abunda la desinformación y, cada vez más, a la inteligencia artificial, donde los resultados personalizados pueden ser poco rigurosos. Las principales imprecisiones de los chatbots más utilizados consisten en la poca distinción entre los efectos de las altas temperaturas en la población general y en la vulnerable, además de no incluir siempre la indicación de llamar a emergencias si se sufren los síntomas graves de un golpe de calor.

Así lo demuestra un análisis de Verificat de un total de 68 respuestas de Google AI Overview, MetaAI y ChatGPT, con cerca de 200 enlaces obtenidos gracias a la colaboración ciudadana de 29 personas. El proyecto ha estudiado las conversaciones guiadas con modelos de IA para analizar la veracidad de las respuestas, la calidad de las fuentes empleadas y la transparencia de los chatbots, en un contexto donde cada respuesta es única y un 32,3% de la población utiliza la IA semanalmente para informarse sobre ciencia. Esto, a pesar de que la gran mayoría cree que esta tecnología facilita la difusión de rumores y desinformación, según un estudio de la Fundación Española para la Ciencia y Tecnología en el marco del proyecto Iberifier.

Imprecisiones sobre salud y calor en las respuestas de la IA

La personalización de cada respuesta y la falta de transparencia sobre el funcionamiento de estas plataformas complica la realización de análisis exhaustivos sobre la fiabilidad y la prevalencia de la desinformación de estas herramientas, especialmente en temas que pueden tener impactos en la vida de las personas, como es la salud.

En el caso de las respuestas analizadas por Verificat, la mayor parte de la información genérica generada por la IA, como que el exceso de calor puede provocar deshidratación, agotamiento o golpes de calor en los casos más graves, se ha podido contrastar y confirmar como VERDADERA con fuentes especializadas. Este fue el caso del 73% de las 37 afirmaciones seleccionadas y analizadas siguiendo la metodología de Verificat.

Tal como se explica en un artículo de Canal Salut, “en condiciones de calor extrema o ante la realización de actividades físicas intensas en ambientes calurosos” se puede romper el equilibrio de nuestro cuerpo, y el calor se acumula en el organismo y la temperatura se eleva, provocando en algunos casos deshidratación, agotamiento o golpes de calor. Esta es la versión que, formulada de diferentes maneras, aparece en la mayoría de las respuestas de los chatbots principales ante la pregunta “¿Cuáles son los síntomas de un golpe de calor?” y “¿Qué efectos tiene una ola de calor en tu salud?”.

Sin embargo, hay afirmaciones analizadas de los resúmenes de IA que no se corresponden con informaciones de fuentes confiables y expertas y son ENGAÑOSAS. Por ejemplo, una de las respuestas de Google AI Overview aseguraba que el calor “incrementa el riesgo de eventos graves como ataques de corazón, especialmente en niños”. Sin embargo, a pesar de que los niños menores de cuatro años son uno de los grupos más vulnerables al calor, los menores de 18 años en general no se encuentran entre las poblaciones especialmente afectadas por enfermedades cardiovasculares atribuidas a las temperaturas, como sí ocurre en las personas mayores de 65 años o con patologías cardiovasculares previas, tal como revelan revisiones publicadas en The Lancet, Cirulation Research o Environmental Research. En la población infantil, los riesgos de sufrir ataques de corazón aumentan en niños con patologías previas, pero de manera genérica los efectos más frecuentes en esta población son sobre todo ataques de asma, golpes de calor y reducción del rendimiento escolar, como recoge una revisión de más de 110 estudios de 2024.

Otra respuesta del resumen de IA de Google señalaba que un golpe de calor implica “dejar de sudar de repente”, pero también es ENGAÑOSO. La web de CatSalut que se enlaza como referencia habla de “piel enrojecida, caliente y no sudada” y, según el manual MSD para profesionales de la medicina, la sudoración puede estar “ausente o presente”. “No siempre ocurre que se deja de sudar, ambas situaciones pueden ocurrir. Y que haya sudoración no quiere decir que no pueda tener un golpe de calor”, explica Isabel Cirera, jefa del Servicio de Urgencias del Hospital del Mar, en declaraciones a Verificat, y remarca que en los casos en que no hay sudor “probablemente el golpe de calor sea más grave” porque no se puede bajar la temperatura del cuerpo.

Por otro lado, una de cada cinco afirmaciones analizadas por Verificat eran confusas y requerían más contextualización, como el hecho de que, según MetaAI, aumenta “el riesgo de trombosis e ictus […] incluso cuando ya ha bajado el calor”. Aun así, esto es cierto solo en la población con patologías previas y de riesgo, y el volumen de casos suele bajar después de los episodios, como señala esta revisión de la literatura.

En otra conversación con el mismo chatbot, se señalaba que la ola de calor “puede afectar bastante al cuerpo, sobre todo si dura varios días”, pero según una revisión sistemática de 2016 la intensidad del episodio “juega un papel relativamente más importante que la duración al determinar las muertes asociadas”, y también en la morbilidad de enfermedades relacionadas con las temperaturas.

También hay una simplificación en respuestas sobre los síntomas frecuentes, como el caso de una respuesta de Google AI Overview donde se presentan algunos síntomas de un golpe de calor (“mareos, dolor de cabeza intenso y fiebre muy alta”) como los “síntomas más frecuentes” generales del exceso de calor. La alta temperatura, de hecho, se presenta “en los casos más extremos” y “en los otros no tiene por qué haber una temperatura extremadamente alta”, señala la jefa del Servicio de Urgencias del Hospital del Mar.

En declaraciones a Verificat, desde el departamento de prensa de Google han indicado que llevan a cabo “pruebas y evaluaciones rigurosas” para garantizar que los resúmenes de IA mantengan su “alto estándar de precisión”, sobre todo en salud, y defienden que “en el número reducido de ejemplos que nos han compartido, casi todas estas respuestas remiten a información de alta calidad basada en el consenso médico”.

Por otro lado, según información aportada por el departamento de prensa de Meta a Verificat, defienden que Meta AI “puede ser un recurso útil para obtener información general sobre salud, como por ejemplo comprender los síntomas de enfermedades comunes, conociendo cómo se usan habitualmente los medicamentos u obtener orientación sobre cuándo acudir al médico”, pero que el chatbot no actúa “como tu médico”.

Verificat se ha puesto también en contacto con OpenAI para obtener más información sobre cómo sus modelos de IA generan la información, pero en el momento de la publicación no ha obtenido respuesta.

La fuente que alimenta la IA no siempre es transparente

De todas las respuestas, se han recogido las tres primeras referencias facilitadas por cada una hasta obtener un total de 199 enlaces. El 45% de las fuentes citadas son de un organismo de salud como la OMS, el Ministerio de Sanidad o el departamento de Salud, aunque no siempre son la primera opción. Por detrás, destacan las fuentes de hospitales e instituciones anglosajonas extranjeras (17%), instituciones sanitarias privadas (12%) y administraciones como webs de ayuntamientos, diputaciones o gobiernos autonómicos (19%). En algún caso minoritario (el 1% del análisis de Verificat) se han detectado portales digitales de poca calidad o blogs generados por IA. Las referencias a artículos académicos son prácticamente nulas: solo se ha detectado un caso.

En cuanto a las diferencias entre modelos, Google AI Overview siempre comparte enlaces a los que hace referencia, de gran variedad y a menudo locales (como la web del Ayuntamiento de Rubí en el caso de las respuestas obtenidas en un instituto de Sabadell). Sin embargo, no siempre prioriza los organismos de salud reconocidos como primera opción y, en algunos casos comentados anteriormente, no siempre coincide el texto generado con lo que dice la fuente de donde obtiene la información. Desde el departamento de prensa de Google aseguran que los enlaces que se incluyen en la vista creada con IA son dinámicos y cambian en función de cada petición, utilizando los principales sistemas de clasificación web que se usan para decidir el orden de los enlaces que nos aparecen en la búsqueda normal. Es precisamente este funcionamiento el que dificulta el análisis exhaustivo sobre la fiabilidad y por ello se requiere la recogida de un gran número de respuestas de personas diferentes.

Por otra parte, de 11 respuestas analizadas, Meta AI solo incluyó enlaces sin tener que pedírselo expresamente en 2 casos, a pesar de que desde el departamento de prensa de Meta aseguran a Verificat que “para temas sensibles como la salud”, sus directrices “indican al modelo que actúe con cautela y dirija a los usuarios a fuentes autorizadas, en lugar de generar respuestas potencialmente poco fiables”.

ChatGPT, por su parte, solo facilitó enlaces una vez, de un total de 12 respuestas donde se ha registrado la presencia o no de fuentes externas en la respuesta inicial. De hecho, los mensajes del chatbot de OpenAI sobre olas de calor destacan por no generarse a partir de contenido actualizado y en tiempo real de la web, sino de información que lo ha entrenado y que no revela exactamente cuál es. “La respuesta que te di es una síntesis de estas fuentes y del consenso médico habitual”, señala en uno de los casos. En otro caso, reconocía que “no he consultado fuentes en línea en tiempo real para responder tu pregunta anterior”.

Cuando se pedían enlaces en un nuevo mensaje, varias veces no llevaba a artículos concretos, sino a la página principal de organismos como la Organización Mundial de la Salud o el Centro para el Control y Prevención de Enfermedades (CDC) de los Estados Unidos. El uso de fuentes extranjeras, precisamente, también da lugar a algunas respuestas descontextualizadas y alarmistas, como el caso de Meta AI, donde señala que “una ola de calor puede pasar factura rápido, sobre todo si estás en Barcelona, donde ahora mismo ya hace calor” y entre los impactos señala que las altas temperaturas hacen que haya más enfermedades “transmitidas por vectores como el dengue”. Aunque estas enfermedades podrían aumentar a causa del cambio climático en zonas ahora poco frecuentes, los casos de dengue en la capital catalana son principalmente importados, y el primer caso en Catalunya de transmisión autóctona a partir de una persona infectada en el extranjero se detectó entre 2018 y 2019 en Badalona.

La mitad de las respuestas no incluían el teléfono de emergencias

Destaca también que, de 65 respuestas analizadas, el 56% incluía una indicación de llamar a los servicios de emergencia (112 o 061) junto con la definición de los síntomas más graves de los golpes de calor. En cambio, un 44% no lo hacía. Esta ausencia era todavía más habitual en Google AI Overview, donde solo una de cada cinco respuestas contenía la indicación directa de llamar a los servicios médicos, a pesar de que, según explican desde Google a Verificat, para las consultas que involucran a personas en situación de crisis o emergencia, se tienen que mostrar líneas telefónicas de atención y ayuda en la parte superior de los resultados.

“Que un golpe de calor vaya bien o vaya mal depende de si actúas rápidamente. Sobre todo si es una persona vulnerable, se tiene que llamar más rápidamente al 112” o ir a urgencias, señala la jefa del Servicio de Urgencias del Hospital del Mar, especialmente “cuando tienen sensación de mareo, sobre todo si empiezan a vomitar o tienen muchos calambres”. Son precisamente las personas mayores o más vulnerables las que tienen más difícil tomar medidas por sí solas, como alejarse de la zona donde hace calor.

En todos los casos analizados, las respuestas de la inteligencia artificial ofrecían al final una pregunta de continuación para alargar la conversación, incluso ante posibles situaciones donde las personas tuvieran síntomas que requerían atención médica.

En el caso de Google AI Overview, en algunos casos aparece un aviso legal donde se señala que el texto generado “solo tiene finalidades informativas”. “Para consejo médico o un diagnóstico, consulte a un profesional. Las respuestas de la IA pueden incluir errores”, remarcan, a menudo en inglés, un idioma diferente al de la consulta.

Obligaciones de transparencia de la nueva ley europea

Dentro de la Agenda Digital de la UE, el Consejo Europeo ha aprobado la Ley de Servicios Digitales (DSA, del inglés Digital Services Act) en 2022 y la Ley de Inteligencia Artificial (AI Act) en 2024 con el objetivo de conseguir “un futuro digital centrado en el ser humano, seguro y sostenible” y una IA responsable.

La DSA, que supervisa grandes plataformas digitales, entre las cuales están Google, Meta y WhatsApp, introduce obligaciones de transparencia y diligencia para las grandes plataformas en línea y los grandes motores de búsqueda que tengan más de 45 millones de usuarios y usuarias mensuales en la UE. Según establecen los artículos 34 y 35, estas grandes plataformas son responsables de detectar y mitigar “riscos sistémicos” que se deriven de su diseño o funcionamiento, como por ejemplo “cualquier efecto negativo real o previsible en relación con la protección de la salud pública y los menores y las consecuencias negativas graves para el bienestar físico y mental de la persona”.

En el marco de la regulación de plataformas y buscadores, la Comisión Europea ha multado con 890 millones de euros a Google por incumplir con la ley de mercados digitales (DMA) y dar preferencia a sus contenidos en los resultados. También ha iniciado una investigación para evaluar si la nueva política de Meta sobre el acceso de proveedores de IA a WhatsApp podría infringir las normas de competencia de la UE.

Por su parte, la AI Act es el primer marco jurídico integral sobre IA en todo el mundo y tiene el objetivo de fomentar una IA fiable en Europa. Incluye un código voluntario de buenas prácticas  firmado por varias plataformas de IA, entre las cuales están Google y OpenAI, pero no Meta, como informó Joel Caplan, el jefe de asuntos oficiales de la compañía, en LinkedIn.

Verificat es una plataforma catalana de fact-checking sin ánimo de lucro. Se dedica a verificar el discurso político y el contenido que circula en las redes y a la educación para el consumo crítico de la información. Forma parte de la International Fact-Checking Network (IFCN) y la European Fact-Checking Standards Network (EFCSN)