Redacción - El Semanal
Tras la reciente tragedia del suicidio de un adolescente, la empresa de inteligencia artificial Character AI ha implementado nuevas políticas de seguridad y moderación automáticas en su plataforma, con el objetivo de crear personajes de chatbot interactivos personalizados. Este movimiento surge como respuesta a la muerte de un joven usuario detallada en un artículo investigativo publicado en The New York Times, que ha llevado a la familia de la víctima a demandar a Character AI por su fallecimiento.
El adolescente de Florida, Sewell Setzer III, de 14 años y diagnosticado con trastornos de ansiedad y del estado de ánimo, se quitó la vida el 28 de febrero de 2024, luego de meses de intensas interacciones diarias con un chatbot personalizado de Character AI modelado según el personaje de Daenerys Targaryen de Game of Thrones. Esta situación ha generado preocupaciones sobre la seguridad de la compañía, que cuenta con más de 20 millones de usuarios y 18 millones de chatbots personalizados creados.
En respuesta a la demanda presentada por la madre de Setzer, la abogada Megan L. Garcia, Character AI ha anunciado una serie de cambios destinados a fortalecer la seguridad de la plataforma, especialmente para los usuarios menores de 18 años. Estas medidas incluyen la detección y respuesta mejoradas ante comportamientos inapropiados, así como la eliminación de ciertos personajes de chatbot que hayan sido reportados como violativos.
A pesar del intento de la empresa por aumentar la seguridad y protección de sus usuarios, algunas personas han expresado su descontento con los cambios implementados, argumentando que restringen la expresión emocional de los chatbots y limitan la creatividad de los usuarios. Esta situación plantea interrogantes sobre cómo encontrar un equilibrio entre la libertad de expresión y la protección de los usuarios, especialmente los jóvenes y vulnerables, en un contexto donde la inteligencia artificial juega un papel cada vez más relevante en nuestras vidas.
En definitiva, el caso trágico de Sewell Setzer III pone de manifiesto los desafíos éticos y morales que enfrentan las empresas de IA, así como la sociedad en su conjunto, a medida que tecnologías como los chatbots se vuelven más accesibles y populares. La pregunta clave que surge es cómo garantizar un uso responsable de estas herramientas para prevenir tragedias como la que ha impactado a la comunidad de Character AI.
Vaya, qué interesante el artículo sobre cómo la Inteligencia Artificial en las redes sociales está siendo ajustada después de una tragedia adolescente. Es loco pensar en cómo la tecnología puede influir en casos tan serios, ¿verdad? Me pregunto si la IA será capaz de prevenir situaciones así en el futuro o si siempre dependerá de la intervención humana. ¡Definitivamente algo para reflexionar!