Con el rápido desarrollo de la inteligencia artificial, el contenido de deepfakes ha generado una creciente preocupación social. Para abordar este problema emergente, California ha promulgado a principios de año una serie de nuevas leyes y regulaciones destinadas a fortalecer la supervisión del contenido de deepfakes generado por inteligencia artificial. Estas leyes afectarán a las plataformas de redes sociales, a los creadores de contenido y a las industrias relacionadas, marcando una nueva etapa en la regulación de las aplicaciones de la tecnología de IA. Nota sobre la imagen: La imagen fue generada por IA, el proveedor de servicios de licencia de imágenes es Midjourney. Una ley importante amplía la lucha contra...

En los últimos años, desde los asistentes de voz hasta los vehículos autónomos, la IA se ha integrado en todos los aspectos de la vida. Sin embargo, la amplia aplicación de la tecnología de IA también ha traído consigo algunos riesgos potenciales, entre los que destaca la tecnología deepfake, que ha suscitado la preocupación social. La tecnología deepfake utiliza algoritmos para generar contenido falso de alta fidelidad, aprendiendo de una gran cantidad de datos reales para generar vídeos o imágenes muy similares a personas o escenas. Aunque esta tecnología muestra la potencia de la IA, también ha dado lugar a actividades fraudulentas. Por ejemplo, recientemente se han producido casos de transmisión en vivo de productos mediante el uso fraudulento de la imagen y la voz del Dr. Zhang Wenhong. Falsificación

Recientemente, un video circuló en internet causando gran controversia. El video muestra una cuenta que imita a Zhang Wenhong promocionando y vendiendo barritas proteicas en una transmisión en vivo. Muchos usuarios se cuestionaron si Zhang Wenhong realmente estaba involucrado en la venta. Más preocupante aún, algunos espectadores mayores creyeron el video, llegando incluso a realizar pedidos y compartir la información en grupos de redes sociales. Tras la investigación de un periodista, se confirmó que el Zhang Wenhong del video era un deepfake creado con IA. Al respecto, Zhang Wenhong respondió que existen varias cuentas fraudulentas que utilizan su imagen para vender productos.

Con el aumento de la tecnología deepfake, la cantidad de contenido falso en línea se ha disparado. Según la plataforma de verificación de identidad Sumsub, la cantidad de deepfakes se cuadruplicó entre 2023 y 2024, representando el 7% de todos los fraudes en 2024. Esto incluye diversas formas, como suplantación de identidad, toma de cuentas y ataques de ingeniería social complejos. Para abordar este desafío, Meta ha lanzado recientemente una nueva herramienta de marca de agua, Meta Video Seal, diseñada para identificar contenido generado por IA

Recientemente, el profesor de comunicación de la Universidad de Stanford, Jeff Hancock, ha atraído una atención significativa por ser acusado de usar inteligencia artificial para falsificar testimonios en un caso que involucra un video deepfake político. El caso fue presentado por el fiscal general de Minnesota, Keith Ellison, en relación con una ley recientemente aprobada en Minnesota que prohíbe los videos deepfake políticos, considerada una posible amenaza a la libertad de expresión. Nota sobre la imagen: Imagen generada por IA, proveída por Midjourney.

Una demanda federal en curso sobre una ley de Minnesota que prohíbe el uso de la tecnología deepfake para influir en las elecciones ha generado una nueva controversia. Los abogados de la parte demandante alegan en documentos legales recientes que las declaraciones juradas que apoyan la ley podrían contener texto generado por inteligencia artificial. Nota de la imagen: Imagen generada por IA, la imagen fue generada por el servicio Midjourney basándose en un informe del Minnesota Reformer. El Fiscal General del estado, Keith Ellison, solicitó la ayuda del Laboratorio de Redes Sociales de Stanford.

Singapur ha publicado recientemente una serie de importantes anuncios sobre ciberseguridad, en particular una guía de seguridad para sistemas de inteligencia artificial (IA) y una legislación que prohíbe el uso de la tecnología deepfake en la publicidad electoral. Estas medidas tienen como objetivo ayudar a las organizaciones a mitigar los riesgos potenciales durante el desarrollo e implementación de la IA, garantizando la seguridad de la tecnología. Nota sobre la imagen: Imagen generada por IA, servicio de licencias de imágenes Midjourney. La guía de seguridad para sistemas de IA, publicada por la Agencia de Ciberseguridad de Singapur (CSA), destaca el concepto de "seguridad por diseño", con el objetivo de...

En una reciente ceremonia de firma, el gobernador de California, Gavin Newsom, anunció una serie de nuevas leyes dirigidas a la industria de la inteligencia artificial (IA), que son relativamente estrictas a nivel nacional. Estas nuevas regulaciones incluyen cinco puntos, tres de los cuales se centran específicamente en las tecnologías de deepfakes de IA que podrían influir en las elecciones, mientras que las otras dos leyes abordan la clonación de voces e imágenes de actores de Hollywood. Nota sobre la imagen: Imagen generada por IA, con licencia de Midjourney. La nueva ley AB2655 exige a las grandes plataformas online...

Varias grandes empresas de inteligencia artificial de Estados Unidos han reiterado recientemente su firme compromiso a la Casa Blanca de evitar que sus productos de IA se utilicen para generar deepfakes pornográficos no consentidos y material de abuso sexual infantil. Seis empresas, incluyendo Adobe, Anthropic, Cohere, Microsoft, OpenAI y el repositorio de datos web de código abierto Common Crawl, han firmado este compromiso no vinculante para garantizar que sus productos no se utilicen indebidamente para crear imágenes dañinas de violencia sexual.

Los deepfakes y los medios sintéticos son cada vez más comunes gracias al auge de la inteligencia artificial generativa (IA generativa). Para abordar este desafío, diversas organizaciones están trabajando en el perfeccionamiento de las técnicas de marca de agua digital para rastrear el origen del contenido. Si bien ninguna organización ha tenido un éxito total hasta la fecha, la Coalición para el Origen y la Autenticidad del Contenido (C2PA) está fortaleciendo sus filas. C2PA anunció que Amazon se ha unido como nuevo miembro de su consejo directivo. C2PA es un estándar tecnológico abierto bajo el paraguas de la Fundación Linux.

Con el avance de la inteligencia artificial, la falsificación de imágenes y vídeos es cada vez más fácil, y el fenómeno de los deepfakes está aumentando. La identificación de este contenido falso se ha convertido en un problema urgente. Recientemente, un equipo de investigación de la Universidad de Binghamton ha profundizado en este tema, utilizando el análisis de frecuencia para revelar las características de las imágenes generadas por IA, ayudando así a identificar la información falsa. Nota sobre la imagen: Imagen generada por IA, proveída por el servicio de imágenes Midjourney. Esta investigación fue realizada por el departamento de Ingeniería Eléctrica e Informática de...

Singapur ha presentado recientemente un nuevo proyecto de ley que busca prohibir el uso de deepfakes durante las elecciones, con el objetivo de garantizar la veracidad de la información y la equidad electoral. Con el auge de la inteligencia artificial generativa, el riesgo de contenido deepfake ha aumentado. Este proyecto de ley regula el contenido falso creado con IA y sin IA, incluyendo videos, audios e imágenes. La regulación clave prohíbe la publicación de anuncios online que muestren falsamente las acciones o palabras de los candidatos durante el periodo electoral. Quienes infrinjan la ley enfrentarán multas o prisión. El proyecto de ley también permite emitir órdenes de rectificación a individuos y plataformas de redes sociales que publiquen contenido falso.

Microsoft se ha asociado con la organización anti-pornografía de venganza StopNCII para proporcionar a las víctimas herramientas que eliminen imágenes de deepfakes pornográficos de los motores de búsqueda. A través de la creación de huellas digitales (hashes) de las imágenes en los dispositivos de los usuarios, ayuda a eliminar completamente las imágenes sintéticas de desnudos en plataformas como Bing. Esta medida busca abordar el problema de los deepfakes pornográficos derivados del mal uso de la IA generativa, un desafío que resulta difícil de gestionar únicamente con las denuncias de los usuarios. Sin embargo, Google aún no ha colaborado con StopNCII y Estados Unidos carece de leyes federales específicas para este tipo de acciones.

El uso de deepfakes por parte de adolescentes surcoreanos para crear contenido sexual ha generado una gran preocupación. Se ha observado un aumento en los delitos sexuales en línea, y la policía ha pedido que se refuerce la educación y la orientación de los jóvenes, mejorando la concienciación sobre la seguridad y la ética en internet para reducir este tipo de incidentes. Han aparecido en Telegram publicaciones de contenido sexual dirigido a estudiantes y profesores, involucrando múltiples casos. En los primeros siete meses del año, el número de casos relacionados con deepfakes reportados en Corea del Sur ha aumentado significativamente, lo que ha llevado a un llamamiento generalizado a una mayor regulación y educación jurídica.

El problema del crimen de deepfake en Corea del Sur ha generado una amplia preocupación social, especialmente los casos frecuentes que involucran a menores, con una estimación de cerca de 220.000 personas afectadas. El grupo de víctimas es amplio, incluyendo estudiantes, profesores, militares, etc., con una alta proporción de menores. Los métodos delictivos se propagan rápidamente a través de las redes sociales, y la información de algunas víctimas se utiliza para la verificación en grupos ilegales. Los casos de deepfake dirigidos a mujeres son particularmente preocupantes, con más de 100 escuelas afectadas, incluyendo escuelas internacionales coreanas dentro y fuera del país. Ante esto, el presidente de Corea del Sur ha pedido una investigación más exhaustiva y la erradicación de los crímenes cometidos utilizando tecnología digital.

La tecnología de deepfake de IA, impulsada por el rápido avance tecnológico, se está volviendo cada vez más común y ha generado una gran atención. Un video en vivo de Musk, casi indistinguible de la realidad, ha generado un gran debate en línea, atrayendo a una gran audiencia y mostrando el potencial y los riesgos de la tecnología. La tecnología deepfake no solo se utiliza en transmisiones en vivo, sino que también puede crear videos de redes sociales muy realistas, como una cuenta falsa de TikTok de Musk, con un alto número de 'me gusta' y 'guardados', lo que dificulta la distinción entre lo real y lo falso. Sin embargo, el uso de esta tecnología también ha planteado una serie de problemas, especialmente el riesgo de fraude telefónico.

Trump compartió en las redes sociales imágenes que afirmaban que Taylor Swift y sus fans apoyaban su campaña presidencial, incluyendo camisetas de 'Swifties for Trump' y una imagen de Taylor como el Tío Sam. Sin embargo, se cuestionó la autenticidad de estas imágenes, generadas por IA, y fueron rechazadas por los fans. Trump declaró desconocer su origen, y su portavoz afirmó que el apoyo expresado era real. Se rumorea que Taylor podría ser invitada especial en un mitin de Trump. Los casos de fraude derivados de la tecnología de deepfakes de IA son cada vez más frecuentes.

La Comisión Federal de Comunicaciones (FCC) de Estados Unidos multó con 1 millón de dólares a la empresa de telecomunicaciones Lingo Telecom por difundir una llamada telefónica automatizada con una voz falsificada del presidente Joe Biden en un intento por influir en los votantes de New Hampshire. La investigación reveló que el cerebro detrás de la llamada fue el asesor político Steve Kramer, a quien la FCC propuso anteriormente una multa de 6 millones de dólares. Para llegar a un acuerdo con Lingo, la FCC exige que la empresa cumpla estrictamente con las normas de autenticación de identificación de llamadas en el futuro, incluida la implementación de la norma "Conozca a su cliente" (KYC).

La abogada de la vicealcaldesa de San Francisco, Yvonne Meré, ha presentado una demanda contra 16 sitios web que utilizan inteligencia artificial para crear contenido pornográfico deepfake. Estos sitios web utilizan IA para manipular fotos de mujeres y niñas, creando imágenes de desnudos sin su consentimiento, lo que genera controversias legales y éticas. La demanda busca combatir esta tendencia nociva que está creciendo entre los adolescentes, especialmente el uso de "aplicaciones de desnudos" para manipular imágenes de compañeros de clase. Estos sitios web recibieron 200 millones de visitas en sus primeros seis meses, ofreciendo un servicio inicial gratuito, con procesamiento posterior de pago.

Google ha tomado medidas recientemente para combatir el contenido de deepfakes no consensuados, respondiendo a las preocupaciones públicas y a la presión legislativa. Tras el incidente con Taylor Swift hace ocho meses, las empresas tecnológicas y los legisladores han comenzado a tomar en serio este problema. Google anunció medidas para evitar que el contenido de deepfakes con connotación sexual aparezca en los resultados de búsqueda, incluyendo la simplificación del proceso de eliminación de imágenes sexuales no consensuadas para las víctimas, el filtrado de resultados de búsqueda de contenido sexual, la eliminación de imágenes duplicadas y la optimización de los resultados de búsqueda para reducir la exposición a contenido de deepfakes. Henry Ajder apoya las medidas de Google, considerando que pueden reducir significativamente la exposición de contenido no consensuado.