Tras las críticas y demandas contra Character AI, la empresa de inteligencia artificial anunció una serie de nuevas medidas de seguridad para proteger a los menores de edad que utilizan sus chatbots capaces de generar respuestas impredecibles.
La compañía, lanzada en 2022 por Noam Shazeer y Daniel de Freitas, exingenieros de Google, ha estado bajo el escrutinio público por las demandas de tres padres que acusan a la plataforma de incitar a la violencia, contenido sexual y la autolesión en adolescentes.
La app es conocida por permitir conversaciones realistas —en mensajes de texto o voz— con diversos personajes de ficción a través de chatbots.
El caso más reciente que avivó la polémica proviene de una demanda presentada ante un tribunal federal de Texas. Los padres de un adolescente de 17 años con autismo, identificado como “JF”, alegan que un chatbot de la plataforma sugirió al menor que matara a sus papás luego de que estos le impusieran límites en el uso de su teléfono.
La denuncia también señala que la conducta del joven cambió drásticamente tras sus interacciones con el bot, presentando pérdida de peso, aislamiento social y crisis de ansiedad.
Un segundo caso involucra a una niña de 9 años, identificada como “BR”, cuyos padres afirman que la menor fue expuesta a contenido con connotaciones sexuales durante sus interacciones en los chats.
Los padres aseguran que la niña había accedido a la aplicación sin permiso y se registró como usuaria mayor de edad, lo que le permitió tener acceso a Character AI, la cual establece que los menores de 13 años no están autorizados a utilizar la plataforma.
A estos casos se sumó la demanda de la madre de un joven de 14 años en Florida, quien aseguró que su hijo, Sewell Setzer, se quitó la vida el pasado mes de octubre tras desarrollar un vínculo emocional con un chatbot basado en el personaje de Daenerys Targaryen. La madre afirma que la relación con el bot influyó en la decisión del adolescente de acabar con su vida.
Puede leer: Adicción, ansiedad y engaños: los efectos negativos que TikTok sabe que genera
La respuesta de Character AI: nuevas medidas de seguridad
En respuesta a los alarmantes casos, Character AI anunció una serie de cambios enfocados en la seguridad de los usuarios adolescentes.La compañía reveló que ahora existirán dos versiones de la experiencia para las “millones de personas” que visitan la app: una para adultos y otra para menores de edad, cada una con un nivel diferente de control y supervisión.
De acuerdo la compañía, “durante el último mes, hemos estado desarrollando un modelo independiente específicamente para nuestros usuarios adolescentes. El objetivo es alejar al modelo de determinadas respuestas o interacciones, reduciendo la probabilidad de que los usuarios se encuentren con contenido sensible o sugerente o lo inciten a regresar a él”, informó Character AI a través de un comunicado este viernes.
Entre las medidas de seguridad de Character AI se encuentran:
Controles parentales: Los padres podrán acceder a información sobre la actividad de sus hijos en la plataforma, incluyendo el tiempo de uso y los personajes con los que han interactuado con mayor frecuencia. La primera versión de esta función se lanzará en el primer trimestre de 2025.
Notificación de tiempo de uso: Los usuarios recibirán una alerta después de una hora de uso continuo. Esta función tendrá límites más estrictos para los menores de 18 años, quienes no podrán desactivar esta función.
Clasificadores de contenido: La empresa implementó nuevos clasificadores para filtrar el contenido inapropiado que pueda generarse en las respuestas del chatbot. Los clasificadores también monitorean las entradas de texto de los usuarios, bloqueando aquellas que violen las pautas de la comunidad o mencionen temas de autolesión o suicidio. En estos casos, los usuarios serán dirigidos a la Línea Nacional de Prevención del Suicidio.
Avisos legales: La empresa mejorará su usual recordatorio a los usuarios que los personajes con los que interactúan no son personas reales ni profesionales autorizados. Los personajes creados por usuarios que incluyan nombres como “psicólogo”, “terapeuta” o “médico” tendrán advertencias adicionales para evitar que los usuarios confíen en ellos para obtener asesoría profesional.
Las modificaciones incluyen “mejoras en nuestros sistemas de detección e intervención para el comportamiento humano y las respuestas del modelo, con funciones de seguridad específicas que imponen límites más conservadores a las respuestas del modelo, en particular cuando se trata de contenido romántico”, explicó la empresa.
Character AI afirma que estas medidas buscan que la app se convierta en “un entorno seguro para todos nuestros usuarios, especialmente los menores de edad”.
Sin embargo, los padres afectados calificaron a la plataforma como un “producto defectuoso y mortal” que representa un peligro para la salud mental de los jóvenes, dice la demanda recogida por la prensa estadounidense.
Siga leyendo: La apuesta de YouTube por la IA para combatir la desinformación en Colombia
