in

Han puesto a los 21 chatbots de IA más populares a realizar diagnóstico diferencial. Fallan más que una escopeta de feria

El examen. A cada uno de los modelos se le entregó 29 casos clínicos que representan más de 16.200 respuestas en total. El resultado es que esas versiones más recientes de los chatbots más potentes

Otra película. Y, precisamente, a medida que a los LLM se les iban dando más datos, el rendimiento y resultados fueron más robustos. Cuando el chatbot tiene más y más información como los datos de un análisis físico, los resultados de laboratorio y las imágenes diagnósticas, la cosa cambia y la IA llega al diagnóstico final en más del 90% de los casos. 

Pero claro, para llegar a ese escenario deben tener casi todos los datos clínicos, lo que evidencia aún más la brecha con la impotencia a la hora de realizar un filtrado inicial.

No te fíes de Google ChatGPT. Los investigadores tienen claro que “estos modelos son muy buenos para identificar un diagnóstico final cuando los datos están completos, pero tienen dificultades al inicio de un caso abierto”, lo que les lleva a enfatizar que no hay que fiarse de ellos en casa. La industria de la IA está empujando su producto en el circuito médico, pero desde el estudio apuntan que “a pesar de las mejoras continuas, los LLM comerciales no están listos para su implementación clínica sin supervisión”.

Afirman que se necesita un humano en la operación y “una supervisión muy estrecha” para poder escalar el uso de un LLM en el ámbito sanitario. Y ahí están hablando en todo momento del uso profesional, pero cada vez más se ven casos de personas que antes se autotrataban confiando en Google y que ahora lo hacen fiándose de lo que le dice ChatGPT. En el estudio enfatizan que “las alucinaciones permanecen” en estos modelos de última generación mostrando, además, preocupaciones sobre la seguridad y la integridad de los pacientes.

Lo de El Salvador. De la manera que sea, es evidente que, al final, la IA médica es un ayudante más, una herramienta, y aquí lo que se ha puesto a prueba es un chatbot “común” que sabe de todo, pero no está especializado en nada. En medicina, como en otras industrias, el uso de una IA puede ayudar en tareas como eliminación de posibilidades u ordenación de miles de datos, pero un chatbot aún no es un buen compañero en ese diagnóstico diferencial porque, sencillamente, no se puede confiar en él.

Quienes sí van a tener que confiar en la IA para cualquier tipo de tratamiento son los salvadoreños. El Salvador ha sido un país pionero a la hora de adoptar nuevas tecnologías, y el presidente, Nayib Bukele, acaba de emprender otro experimento: 500 millones de dólares para dejar la sanidad en manos de Gemini. La población tendrá acceso a la app  ese nuevo experimento no termine como la Bitcoin City.

En Xataka | La privacidad está muriendo desde que llegó ChatGPT. Ahora nuestra obsesión es que la IA nos conozca lo mejor posible