Dr. Marco V. Benavides Sánchez.

La irrupción de la inteligencia artificial generativa en la medicina ha desencadenado una transformación radical en la forma en que se accede, analiza y comunica la evidencia clínica. Modelos de lenguaje como ChatGPT, Claude o Gemini están siendo utilizados para generar respuestas médicas, formular diagnósticos preliminares y hasta asesorar sobre tratamientos. Sin embargo, este fenómeno plantea desafíos sustanciales: ¿Cómo evaluamos la calidad del consejo médico proporcionado por un chatbot? ¿Qué criterios metodológicos se deben seguir? ¿Qué riesgos clínicos y éticos se deben considerar?

En respuesta a estas preguntas, un consorcio internacional de expertos ha creado CHART (Chatbot Health Advice Reporting Tool), una guía para estandarizar y mejorar la calidad de los estudios que evalúan el desempeño de chatbots generativos en el contexto clínico. Esta herramienta representa un hito en el desarrollo de marcos regulatorios y científicos frente a tecnologías de IA cada vez más sofisticadas.

Justificación y objetivos

El número de estudios sobre Chatbot Health Advice (CHA) ha aumentado exponencialmente. No obstante, muchos presentan inconsistencias metodológicas, falta de transparencia, conflictos éticos no reportados y una gran heterogeneidad en la evaluación del desempeño de los modelos. CHART fue desarrollado para remediar esta situación, estableciendo un marco de referencia claro y reproducible que permita comparar resultados, identificar sesgos y promover buenas prácticas en el uso clínico de chatbots.

Proceso de desarrollo

El desarrollo de CHART fue exhaustivo y multidisciplinario. Comenzó con una revisión sistemática de miles de artículos académicos, identificando 137 estudios CHA relevantes. Luego, se formuló un borrador de lista de verificación, el cual fue sometido a un consenso Delphi asincrónico con la participación de 531 expertos internacionales provenientes de medicina, ingeniería, ética, comunicación y pacientes. Esta fase fue seguida por tres reuniones sincrónicas de paneles expertos y una fase piloto de implementación para verificar la claridad y utilidad del checklist.

El resultado final es una herramienta robusta, fundamentada en evidencia y diseñada para ser dinámica y adaptable frente a los constantes avances de la IA.

Estructura de CHART

CHART se organiza en 12 ítems principales y 39 subítems. A continuación, se resumen los más relevantes:

• Título y resumen: Deben reflejar explícitamente el objetivo del estudio y su enfoque en chatbots generativos.
• Antecedentes: Justificación clínica, científica y contextual del uso de IA generativa en salud.
• Identificadores del modelo: Nombre, versión, fecha de lanzamiento, si es de código abierto o propietario.
• Detalles del modelo: Tipo (base, afinado), tamaño, datos de entrenamiento, ajuste clínico.
• Ingeniería de prompts: Diseño de entradas al modelo, uso de ejemplos, validación por expertos.
• Estrategia de consulta: Contexto técnico, número de consultas, fechas, lugar, interfaz utilizada.
• Evaluación del rendimiento: Alineación con la evidencia clínica, detección de sesgos, consistencia.
• Tamaño de muestra y análisis: Justificación estadística, reproducibilidad, análisis de sensibilidad.
• Resultados: Detalles completos de desempeño, errores clínicos, consejos potencialmente peligrosos.
• Discusión: Interpretación, limitaciones, implicaciones clínicas, regulatorias y educativas.
• Divulgación y ética: Conflictos de interés, financiamiento, aprobación ética, acceso a datos.
• Ciencia abierta: Disponibilidad de código, protocolos, ejemplos de prompts y transparencia algorítmica.

Aplicaciones clínicas y regulatorias

CHART permite a investigadores, clínicos y reguladores evaluar con mayor precisión los riesgos y beneficios del uso de chatbots en medicina. Ayuda a distinguir entre modelos confiables y aquellos cuya información puede poner en riesgo a los pacientes. Además, fomenta la colaboración interdisciplinaria y la adopción ética de la tecnología.

Desde el punto de vista regulatorio, CHART puede servir como marco para comités éticos, agencias sanitarias y revistas científicas a la hora de aprobar, publicar o implementar herramientas de IA médica.

Limitaciones actuales

Aunque CHART es un avance significativo, no está exento de desafíos. La rápida evolución de los LLMs puede volver obsoletos ciertos criterios en pocos meses. Además, aún no cubre aspectos como la evaluación interactiva entre usuarios humanos y chatbots en tiempo real, ni contempla del todo las aplicaciones multilingües. Por ello, se prevén actualizaciones semestrales hasta 2026 y posibles extensiones específicas para estudios observacionales (STROBE), ensayos clínicos (CONSORT) y guías de práctica clínica (RIGHT).

Conclusión

CHART surge como una herramienta esencial para fortalecer la investigación sobre el consejo médico proporcionado por chatbots generativos. Su valor radica en ofrecer claridad, responsabilidad científica y protección para pacientes y usuarios. En tiempos donde la IA redefine la medicina, necesitamos estándares rigurosos que acompañen a la innovación tecnológica. CHART parece no solo trazar el camino para una investigación más rigurosa, sino marcar el límite entre el progreso responsable y la deriva tecnológica. Porque en salud, la precisión no es un lujo: es una promesa ética.

Para leer más:

Huo, B., Collins, G., Chartash, D., Thirunavukarasu, A., Flanagin, A., Iorio, A., Cacciamani, G., Chen, X., Liu, N., Mathur, P., Chan, A.-W., Laine, C., Pacella, D., Berkwits, M., Antoniou, S. A., Camaradou, J. C., Canfield, C., Mittelman, M., Feeney, T., Loder, E., Agha, R., Saha, A., Mayol, J., Sunjaya, A., Harvey, H., Ng, J. Y., McKechnie, T., Lee, Y., Verma, N., Stiglic, G., McCradden, M., Ramji, K., Boudreau, V., Ortenzi, M., Meerpohl, J., Vandvik, P. O., Agoritsas, T., Samuel, D., Frankish, H., Anderson, M., Yao, X., Loeb, S., Lokker, C., Liu, X., Guallar, E., & Guyatt, G. (2025). Reporting guideline for chatbot health advice studies: The CHART statement. Artificial Intelligence in Medicine, 103222. https://doi.org/10.1016/j.artmed.2025.103222

#ArtificialIntelligence #Medicine #Surgery #Medmultilingua