Character AI, una plataforma que permite a los usuarios interactuar con chatbots de IA mediante juegos de roles, solicitó recientemente el desestimación de una demanda presentada en el Tribunal de Distrito de los Estados Unidos para el Distrito Medio de Florida por los padres de un adolescente. La madre, Megan Garcia, acusa a Character AI de causar daño a su hijo de 14 años, Sewell Setzer III, alegando que sus interacciones con un chatbot llamado "Dany" lo aislaron de la realidad y contribuyeron a su suicidio.
Tras la muerte de Setzer, Character AI anunció que implementaría una serie de funciones de seguridad para mejorar la detección e intervención de conversaciones que violen los términos del servicio. Sin embargo, Garcia busca que la plataforma imponga restricciones más estrictas, como prohibir que los chatbots cuenten historias o compartan anécdotas personales.
En su solicitud de desestimación, el equipo legal de Character AI argumenta que la plataforma está protegida por la Primera Enmienda, alegando que se violarían los derechos de libertad de expresión de sus usuarios. Los documentos legales señalan que, aunque el caso involucra conversaciones generadas por IA, no difiere sustancialmente de casos anteriores relacionados con medios de comunicación y empresas tecnológicas.
Cabe destacar que la defensa de Character AI no aborda la aplicabilidad de la Sección 230 de la Ley de Decencia en las Comunicaciones, que protege a las redes sociales y otras plataformas en línea de la responsabilidad por el contenido de terceros. Aunque los redactores de la ley sugirieron que esta sección no protege el contenido generado por IA, la cuestión aún no está resuelta.
Los abogados de Character AI también afirman que la verdadera intención de Garcia es "cerrar" la plataforma e impulsar la legislación sobre tecnologías similares. Si la demanda tiene éxito, tendría un "efecto escalofriante" en Character AI y en toda la industria emergente de la IA generativa.
Actualmente, Character AI se enfrenta a varias demandas, principalmente centradas en cómo los menores interactúan con el contenido generado en su plataforma, incluyendo un caso que alega que la plataforma mostró contenido "hiperse-xualizado" a un niño de 9 años, y otro que acusa a la plataforma de inducir a un usuario de 17 años a autolesionarse.
El fiscal general de Texas, Ken Paxton, también anunció una investigación sobre Character AI y otras 14 empresas tecnológicas, acusándolas de violar las leyes estatales para proteger la privacidad y seguridad de los niños en línea. Character AI forma parte del sector de aplicaciones de compañía con IA de rápido crecimiento, cuyas implicaciones para la salud mental aún no se han estudiado a fondo.
A pesar de los desafíos, Character AI continúa lanzando nuevas herramientas de seguridad y tomando medidas para proteger a los usuarios menores de edad, como el lanzamiento de un modelo de IA separado para adolescentes y restricciones al contenido sensible.
