Los chatbots impulsados ​​por IA son iguales a los oftalmólogos en el tratamiento del glaucoma y las enfermedades de la retina

Según una nueva investigación, los modelos de inteligencia artificial (IA) podrían igualar o superar a los oftalmólogos capacitados en becas en el diagnóstico y tratamiento del glaucoma y las enfermedades de la retina.¹

En el estudio comparativo transversal, GPT-4, un sistema de IA de modelo lingüístico grande (LLM), demostró una precisión diagnóstica comparable y una integridad tanto en preguntas clínicas como en casos clínicos para 12 especialistas asistentes y tres estudiantes de oftalmología de alto nivel.

«El rendimiento de GPT-4 en nuestro estudio fue bastante sorprendente», dijo el autor principal del estudio, Andy Huang, MD, oftalmólogo residente en New York Eye and Ear Infirmary en Mount Sinai.² «Reconocimos el tremendo potencial de este sistema de IA desde el momento en que comenzamos a probarlo y nos impresionó notar que GPT-4 no solo podía ayudar sino que, en algunos casos, igualaba o superaba la experiencia de los profesionales experimentados en oftalmología».

La toma de decisiones clínicas y la educación del paciente han integrado cada vez más la MBA en la atención, lo que sugiere el potencial del uso de la IA en oftalmología. La evidencia reciente ha respaldado el desempeño constante de los chatbots de LLM al brindar respuestas comparables como oftalmólogos a una variedad de preguntas relacionadas con el cuidado ocular de los pacientes, así como su sólido desempeño en la evaluación de conocimientos relacionados con la oftalmología.³

Sin embargo, Huang y sus colegas señalan que existe la necesidad de una evaluación más amplia de la precisión del LLM en comparación con profesionales capacitados para abordar situaciones clínicas de la vida real.¹ Para explorar este potencial del mundo real, el equipo de investigación evaluó las respuestas de GPT-4 frente a las de especialistas en glaucoma y especialistas en retina capacitados en becas en preguntas basadas en oftalmología y gestión de casos de pacientes.

En un estudio transversal comparativo de un solo centro, los investigadores reclutaron a 12 médicos tratantes (8 en glaucoma y 4 en retina) y 3 estudiantes de oftalmología de clínicas oftalmológicas asociadas con la institución del equipo de investigación. Las preguntas sobre glaucoma y retina (10 de cada una) se seleccionaron al azar de preguntas frecuentes proporcionadas por la Academia Estadounidense de Oftalmología (AAO). Los casos de glaucoma y retina (10 de cada uno) se seleccionaron aleatoriamente entre pacientes de oftalmología atendidos en las clínicas afiliadas.

El papel del LLM como asistente médico se ha definido para proporcionar respuestas concisas que imiten la respuesta de un oftalmólogo. La precisión de las respuestas se midió en una escala Likert de 10 puntos para determinar la exactitud y la integridad clínica, y las puntuaciones más bajas representan una precisión muy pobre. Los datos se recopilaron de junio a agosto de 2023.

Tras el análisis, la clasificación promedio de las condiciones de precisión de las preguntas agrupadas fue 506,2 para el programa de chat LLM y 403,4 para los especialistas en glaucoma (n = 831; Mann Whitney sh = 27976,5; s <.001). El rango de completitud promedio fue 528,3 y 398,7 para estos grupos, respectivamente (n = 828; Mann-Whitney sh = 25218,5; s <.001).

Mientras tanto, el rango de precisión promedio fue de 235,3 para el chatbot LLM y de 216,1 para los especialistas en retina (n = 440; Mann Whitney sh = 15518,0; s = 0,17) El rango de completitud promedio fue 258,3 y 208,7 en estos grupos, respectivamente (n = 439; Mann-Whitney sh = 13123,5; s = 0,005).

El análisis identificó diferencias entre profesionales y aprendices en la precisión de la puntuación Likert (n = 1271; Kruskal-Wallis H, 44,36; s < .001) y completitud de la puntuación Likert (n = 1268; Kruskal-Wallis H, 88,27; s <.001). Después de realizar la prueba de Dunn, los investigadores identificaron una diferencia significativa entre todas las comparaciones por pares, independientemente del especialista versus el aprendiz al evaluar la integridad del chatbot.

En general, las comparaciones por pares revelaron que tanto los alumnos como los especialistas calificaron la precisión y la integridad del chatbot mejor que sus homólogos especialistas, y los especialistas indicaron una diferencia significativa en la precisión del chatbot (z = 3,23; s= 0,007) y completitud (z = 5,86; s<.001).

Huang y sus colegas observaron que el rendimiento mejorado del chatbot podría atribuirse a las técnicas de motivación utilizadas en el análisis, en particular al ordenar al MA que actúe como un médico en formato de nota de oftalmología.

Señalaron la necesidad de realizar más pruebas, pero expresaron su creencia de que estos datos respaldan la posibilidad de utilizar herramientas de inteligencia artificial como ayudas diagnósticas y terapéuticas en oftalmología.

«Puede servir como un asistente confiable para los oftalmólogos brindándoles apoyo de diagnóstico y posiblemente aliviando su carga de trabajo, especialmente en casos complejos o áreas con una gran cantidad de pacientes», afirmó Huang.² «Para los pacientes, la integración de la IA en la práctica oftalmológica convencional podría conducir a un acceso más rápido a dispositivos especializados, junto con decisiones más informadas para guiar su tratamiento».

Referencias

1. _{Huang AS, Hirabayashi K, Barna L, Parikh D, Pascual LR. Evaluación de respuestas de modelos de lenguaje grande a preguntas y casos sobre glaucoma y manejo de retina. Ojos gamma. Publicado en línea el 22 de febrero de 2024. doi:10.1001/jamaophthalmol.2023.6917}
2. _{Icahn Monte Sinaí. Un estudio de Mount Sinai encuentra que la IA iguala o supera a los especialistas humanos en el manejo de la retina y el glaucoma. ¡Alerta Yorick! 22 de febrero de 2024. Consultado el 23 de febrero de 2024. https://www.eurekalert.org/news-releases/1034711.}
3. _{Bernstein IA, Zhang Y, Govil D, et al. Comparación de las respuestas de un oftalmólogo y un chatbot modelo de lenguaje grande a preguntas en línea sobre atención oftalmológica de pacientes. JAMA Netw está abierto. 2023;6(8):e2330320. doi:10.1001/jamanetworkopen.2023.30320}