Zoom se prepara para lanzar una asombrosa nueva función para sus usuarios, aunque tendremos que esperar hasta el próximo año para verla en acción. En su conferencia anual para desarrolladores, el gigante de las videoconferencias anunció el lanzamiento de una función que convertirá los videos de los usuarios en avatares digitales realistas impulsados por IA.
Este avatar digital no solo incluirá la cabeza, sino también los brazos y los hombros, lo que se podría considerar un "doble digital". Los usuarios solo tendrán que introducir el texto que quieren que diga su avatar, y Zoom generará audio sincronizado con los movimientos labiales del avatar. ¡Suena increíble, ¿verdad?
Smita Hashim, directora de producto de Zoom, afirmó que esta función tiene como objetivo ayudar a las personas a comunicarse de forma "más rápida y eficiente" con sus compañeros de trabajo de manera "asincrónica". Destacó que estos avatares pueden ahorrar a los usuarios un tiempo y esfuerzo valiosos, al mismo tiempo que mejoran la eficiencia en la creación de videos.
Sin embargo, la aparición de esta tecnología también ha generado algunas preocupaciones. Nos vemos obligados a preguntarnos si esto podría aumentar el riesgo de falsificaciones profundas (deepfakes).
De hecho, ya hay varias empresas que han desarrollado tecnologías de IA similares capaces de "clonar" digitalmente la cara de una persona y generar un discurso sintético bastante natural. Por ejemplo, Tavus ayuda a las marcas a crear personajes virtuales para anuncios de video personalizados, mientras que Microsoft lanzó el año pasado un servicio capaz de generar sustitutos digitales convincentes.
Pero estas herramientas suelen implementar estrictas medidas de protección para evitar su mal uso. Tavus exige declaraciones de consentimiento verbal, mientras que Microsoft requiere que sus clientes obtengan el permiso y consentimiento por escrito de todas las personas cuyos avatares estén involucrados.
En comparación, la descripción de Zoom sobre sus medidas de seguridad parece algo vaga. Hashim afirmó que la empresa está construyendo "múltiples salvaguardas" para la función de avatares personalizados, incluyendo "autenticación avanzada" y marcas de agua. Prometió seguir revisando y añadir medidas de seguridad en el futuro según sea necesario.
Esta iniciativa de Zoom coincide con la ambiciosa visión del CEO, Yuan Zheng, quien espera que en el futuro se puedan crear IA capaces de asistir a reuniones de Zoom, responder correos electrónicos e incluso contestar llamadas telefónicas en tu lugar.
Sin embargo, la aparición de esta tecnología coincide con la propagación de las falsificaciones profundas en las redes sociales como la pólvora, lo que dificulta cada vez más la distinción entre la verdad y la falsedad. En lo que va de año, videos falsos de figuras como el presidente de Estados Unidos, Joe Biden, Taylor Swift y la vicepresidenta Kamala Harris han acumulado millones de visitas y compartidos en línea. Recientemente, tras el paso del huracán Helene, se difundieron en la red numerosas imágenes falsas generadas por IA que mostraban daños y sufrimientos humanos ficticios.
La tecnología de falsificación profunda también se ha utilizado para atacar a personas, como hacerse pasar por familiares para cometer fraudes. Según la Comisión Federal de Comercio de Estados Unidos, el año pasado se perdieron más de 1000 millones de dólares en estafas de suplantación de identidad.
Entonces, ¿cómo evitará Zoom que los estafadores utilicen su herramienta para generar videos falsos maliciosos? Por ahora, no está claro. Las imágenes simuladas proporcionadas por la empresa muestran una marca de agua visible en la esquina superior derecha de los videos de avatares personalizados. Sin embargo, esta marca de agua se puede recortar fácilmente con herramientas de grabación de pantalla.
Esperamos obtener más detalles cuando Zoom planee lanzar esta función en la primera mitad de 2025. En ese momento, los usuarios tendrán que pagar una tarifa adicional de 12 dólares al mes para utilizar avatares personalizados en Zoom Clips (su herramienta de video asincrónica).
Independientemente de las medidas que Zoom tome finalmente, se están llevando a cabo esfuerzos regulatorios para intentar frenar la proliferación de las falsificaciones profundas. En ausencia de una ley federal en Estados Unidos que considere las falsificaciones profundas como un delito, más de 10 estados han promulgado leyes contra la suplantación de identidad asistida por IA. La ley de California (actualmente suspendida) sería la primera en otorgar a los jueces el poder de ordenar a los publicadores de contenido de falsificación profunda que lo eliminen, bajo pena de multa.
Con el lanzamiento de esta nueva función por parte de Zoom, no podemos evitar preguntarnos: ¿el progreso tecnológico siempre tiene un impacto positivo? Al disfrutar de la comodidad, ¿estamos abriendo inadvertidamente la caja de Pandora? Es algo que todos deberíamos reflexionar.