Pascual-Presa, Noel; Fernández-Pichel, Marcos; Losada, David E.; García-Orosa, Berta (2024). “Web search or conversation with an artificial intelligence? Analysis of misinformation and relevance in the case of radon gas”. Profesional de la información, v. 33, n. 2, e330220.
https://doi.org/10.3145/epi.2024.0220
A la consolidación de la búsqueda web en Internet como principal fuente de información relacionada con la salud, se ha añadido el revolucionario lanzamiento de agentes conversacionales dotados de inteligencia artificial, como ChatGPT. Se hace imperativa la supervisión de la calidad y relevancia de la información que se recupera, especialmente en el campo de la salud.
La investigación que se presenta en este artículo ha sido llevada a cabo por un equipo interdisciplinar en comunicación, periodismo y ciencias de la computación de la Universidade de Santiago de Compostela constituido por Noel Pascual-Presa, Marcos Fernández-Pichel, David E. Losada y Berta García-Orosa, quienes han puesto bajo un escrupuloso escrutinio dichas fuentes de información debido a las importantes implicaciones que se ha demostrado tienen en la gestión de la salud pública.
Se trata de un estudio de caso sobre un riesgo atemporal y de alcance global: el gas radón. El radón es un gas incoloro, inodoro e insípido de origen natural que, según la Organización Mundial de la Salud (OMS), se considera la segunda causa de muerte por cáncer de pulmón entre fumadores y la primera entre no fumadores. Se debe destacar también, que la exposición al radón es la principal fuente de radiación ionizante para la población. Tanto la OMS como la Comisión Europea subrayan la importancia de los peligros que representa para la salud pública y la necesidad de disponer de información adecuada al respecto.
Comparación entre buscadores y ChatGPT
El propósito general de esta investigación fue analizar los resultados proporcionados por los buscadores web y los agentes conversacionales dotados de inteligencia artificial, específicamente ChatGPT en sus dos versiones (3.5 y 4). En particular, se han evaluado sus capacidades para informar sobre los riesgos para salud del gas radón mediante consultas simuladas, como podrían haber sido las de un usuario real. Se ha prestado especial atención a la relevancia y calidad de la información proporcionada, así como a la posible presencia de información falsa.
Para simular la búsqueda de información de un usuario real se partió de consultas de los “query logs” de la TREC Million Query Track y de cuestionarios realizados a la ciudadanía enmarcados en el proyecto “Radón en España: percepción de la opinión pública, agenda mediática y comunicación del riesgo (RAPAC)” financiado por el Consejo de Seguridad Nuclear de España sobre la percepción de la opinión pública del radón en España (por ej.: “How to avoid radon?“, “Radon causes cancer?“, etc.). En total se seleccionaron 51 consultas en inglés. Además, se utilizaron métodos avanzados en Recuperación de la Información (RI) apoyados en tecnologías big data, evitando buscadores online como Google debido a su falta de reproducibilidad y algoritmos desconocidos. Se optó por usar tecnología transparente y modelos de búsqueda conocidos, empleando corpus públicos de millones de páginas web indexadas para simular la búsqueda de información sobre el gas radón.
Aplicación de inteligencia artificial
Tras recuperar los documentos relevantes, se aplicaron técnicas de inteligencia artificial para identificar los pasajes más importantes que respondieran a las consultas, y se compararon estos resultados con los obtenidos mediante los modelos ChatGPT-3.5 y ChatGPT-4.0. Dado que ambos métodos podían generar resultados imperfectos, se definieron criterios y un proceso de etiquetado para evaluar la relevancia y calidad de los resultados. Este proceso fue realizado por tres investigadores especializados en proyectos de I+D+I sobre el radón y se guiaron por indicadores de acuerdo, como el kappa de Cohen y el alfa de Krippendorff. Durante este proceso se analizaron más de 5.000 documentos relevantes para las consultas de los usuarios mediante la búsqueda web en Internet y consultas a ambas versiones de ChatGPT.
Resultados
La investigación contribuye en dos aspectos principales: proporciona una comparación sistemática entre la búsqueda web y las respuestas de ChatGPT sobre el radón, y crea un recurso etiquetado de páginas web basado en su relevancia y calidad, el cual está disponible para la comunidad científica previa solicitud.
Los resultados indican que la información online frecuentemente carece de relevancia y no satisface adecuadamente las necesidades informativas de los usuarios, lo que puede afectar negativamente la percepción de la información por parte de estos. Se destaca que, aunque la búsqueda web ofrece una cantidad considerable de información de buena calidad, también presenta un riesgo significativo de información falsa. A pesar de la ausencia general de información de baja calidad, la presencia de información falsa, a menudo respaldada por fuentes reputadas con fines comerciales o de marketing, es preocupante.
Por otro lado, aunque ChatGPT muestra una mayor precisión en la oferta de información relevante, también presenta una proporción significativa y mucho mayor que la búsqueda web de información incorrecta, lo que subraya la necesidad de vigilar y mejorar la precisión de estos modelos de conversación.
Leer el artículo en acceso abierto:
https://doi.org/10.3145/epi.2024.0220
