Con el rápido desarrollo de la inteligencia artificial, el contenido de deepfakes ha generado una creciente preocupación social. Para abordar este problema emergente, California ha promulgado a principios de año una serie de nuevas leyes y regulaciones destinadas a fortalecer la supervisión del contenido de deepfakes generado por inteligencia artificial. Estas leyes afectarán a las plataformas de redes sociales, a los creadores de contenido y a las industrias relacionadas, marcando una nueva etapa en la regulación de las aplicaciones de la tecnología de IA. Nota sobre la imagen: La imagen fue generada por IA, el proveedor de servicios de licencia de imágenes es Midjourney. Una ley importante amplía la lucha contra...

Con el aumento de la tecnología deepfake, la cantidad de contenido falso en línea se ha disparado. Según la plataforma de verificación de identidad Sumsub, la cantidad de deepfakes se cuadruplicó entre 2023 y 2024, representando el 7% de todos los fraudes en 2024. Esto incluye diversas formas, como suplantación de identidad, toma de cuentas y ataques de ingeniería social complejos. Para abordar este desafío, Meta ha lanzado recientemente una nueva herramienta de marca de agua, Meta Video Seal, diseñada para identificar contenido generado por IA

En una reciente ceremonia de firma, el gobernador de California, Gavin Newsom, anunció una serie de nuevas leyes dirigidas a la industria de la inteligencia artificial (IA), que son relativamente estrictas a nivel nacional. Estas nuevas regulaciones incluyen cinco puntos, tres de los cuales se centran específicamente en las tecnologías de deepfakes de IA que podrían influir en las elecciones, mientras que las otras dos leyes abordan la clonación de voces e imágenes de actores de Hollywood. Nota sobre la imagen: Imagen generada por IA, con licencia de Midjourney. La nueva ley AB2655 exige a las grandes plataformas online...

Varias grandes empresas de inteligencia artificial de Estados Unidos han reiterado recientemente su firme compromiso a la Casa Blanca de evitar que sus productos de IA se utilicen para generar deepfakes pornográficos no consentidos y material de abuso sexual infantil. Seis empresas, incluyendo Adobe, Anthropic, Cohere, Microsoft, OpenAI y el repositorio de datos web de código abierto Common Crawl, han firmado este compromiso no vinculante para garantizar que sus productos no se utilicen indebidamente para crear imágenes dañinas de violencia sexual.

Con el avance de la inteligencia artificial, la falsificación de imágenes y vídeos es cada vez más fácil, y el fenómeno de los deepfakes está aumentando. La identificación de este contenido falso se ha convertido en un problema urgente. Recientemente, un equipo de investigación de la Universidad de Binghamton ha profundizado en este tema, utilizando el análisis de frecuencia para revelar las características de las imágenes generadas por IA, ayudando así a identificar la información falsa. Nota sobre la imagen: Imagen generada por IA, proveída por el servicio de imágenes Midjourney. Esta investigación fue realizada por el departamento de Ingeniería Eléctrica e Informática de...

Singapur ha presentado recientemente un nuevo proyecto de ley que busca prohibir el uso de deepfakes durante las elecciones, con el objetivo de garantizar la veracidad de la información y la equidad electoral. Con el auge de la inteligencia artificial generativa, el riesgo de contenido deepfake ha aumentado. Este proyecto de ley regula el contenido falso creado con IA y sin IA, incluyendo videos, audios e imágenes. La regulación clave prohíbe la publicación de anuncios online que muestren falsamente las acciones o palabras de los candidatos durante el periodo electoral. Quienes infrinjan la ley enfrentarán multas o prisión. El proyecto de ley también permite emitir órdenes de rectificación a individuos y plataformas de redes sociales que publiquen contenido falso.

Microsoft se ha asociado con la organización anti-pornografía de venganza StopNCII para proporcionar a las víctimas herramientas que eliminen imágenes de deepfakes pornográficos de los motores de búsqueda. A través de la creación de huellas digitales (hashes) de las imágenes en los dispositivos de los usuarios, ayuda a eliminar completamente las imágenes sintéticas de desnudos en plataformas como Bing. Esta medida busca abordar el problema de los deepfakes pornográficos derivados del mal uso de la IA generativa, un desafío que resulta difícil de gestionar únicamente con las denuncias de los usuarios. Sin embargo, Google aún no ha colaborado con StopNCII y Estados Unidos carece de leyes federales específicas para este tipo de acciones.

El uso de deepfakes por parte de adolescentes surcoreanos para crear contenido sexual ha generado una gran preocupación. Se ha observado un aumento en los delitos sexuales en línea, y la policía ha pedido que se refuerce la educación y la orientación de los jóvenes, mejorando la concienciación sobre la seguridad y la ética en internet para reducir este tipo de incidentes. Han aparecido en Telegram publicaciones de contenido sexual dirigido a estudiantes y profesores, involucrando múltiples casos. En los primeros siete meses del año, el número de casos relacionados con deepfakes reportados en Corea del Sur ha aumentado significativamente, lo que ha llevado a un llamamiento generalizado a una mayor regulación y educación jurídica.

Trump compartió en las redes sociales imágenes que afirmaban que Taylor Swift y sus fans apoyaban su campaña presidencial, incluyendo camisetas de 'Swifties for Trump' y una imagen de Taylor como el Tío Sam. Sin embargo, se cuestionó la autenticidad de estas imágenes, generadas por IA, y fueron rechazadas por los fans. Trump declaró desconocer su origen, y su portavoz afirmó que el apoyo expresado era real. Se rumorea que Taylor podría ser invitada especial en un mitin de Trump. Los casos de fraude derivados de la tecnología de deepfakes de IA son cada vez más frecuentes.

La abogada de la vicealcaldesa de San Francisco, Yvonne Meré, ha presentado una demanda contra 16 sitios web que utilizan inteligencia artificial para crear contenido pornográfico deepfake. Estos sitios web utilizan IA para manipular fotos de mujeres y niñas, creando imágenes de desnudos sin su consentimiento, lo que genera controversias legales y éticas. La demanda busca combatir esta tendencia nociva que está creciendo entre los adolescentes, especialmente el uso de "aplicaciones de desnudos" para manipular imágenes de compañeros de clase. Estos sitios web recibieron 200 millones de visitas en sus primeros seis meses, ofreciendo un servicio inicial gratuito, con procesamiento posterior de pago.

Google ha tomado medidas recientemente para combatir el contenido de deepfakes no consensuados, respondiendo a las preocupaciones públicas y a la presión legislativa. Tras el incidente con Taylor Swift hace ocho meses, las empresas tecnológicas y los legisladores han comenzado a tomar en serio este problema. Google anunció medidas para evitar que el contenido de deepfakes con connotación sexual aparezca en los resultados de búsqueda, incluyendo la simplificación del proceso de eliminación de imágenes sexuales no consensuadas para las víctimas, el filtrado de resultados de búsqueda de contenido sexual, la eliminación de imágenes duplicadas y la optimización de los resultados de búsqueda para reducir la exposición a contenido de deepfakes. Henry Ajder apoya las medidas de Google, considerando que pueden reducir significativamente la exposición de contenido no consensuado.

Google ha implementado una serie de medidas de seguridad online destinadas a eliminar contenido de deepfakes de sus resultados de búsqueda, especialmente imágenes explícitas no consentidas. Cuando un usuario solicita la eliminación de este tipo de contenido, el sistema no solo procesa el contenido específico, sino que también filtra resultados similares relacionados, e incluso elimina imágenes duplicadas. Para evitar que este tipo de contenido aparezca de forma prominente en los resultados de búsqueda, Google ha ajustado su algoritmo de clasificación, mostrando contenido de alta calidad y no explícito, como artículos de noticias, para consultas que buscan imágenes de deepfakes de personas reales. Los sitios web con una gran cantidad de imágenes explícitas falsas eliminadas verán afectada su clasificación en los resultados de búsqueda.

El vicepresidente de Microsoft, Brad Smith, ha pedido al Congreso de los Estados Unidos que apruebe leyes contra la tecnología de deepfakes generada por IA para proteger a los ciudadanos del fraude y la manipulación. Señaló que, si bien la industria y las organizaciones sin fines de lucro han tomado medidas para abordar este problema, las leyes deben mantenerse al día para combatir las estafas con deepfakes. Smith enfatizó la necesidad de una ley integral sobre 'estafas con deepfakes' que proporcione un marco legal para que las fuerzas del orden procesen a los ciberdelincuentes que utilizan la tecnología para cometer fraudes. También pidió una actualización de las leyes sobre abuso sexual infantil e imágenes íntimas no consentidas para incluir las generadas por IA.

Como una de las formas de inteligencia artificial adversaria de más rápido crecimiento, se prevé que las pérdidas relacionadas con los deepfakes aumenten de 12.300 millones de dólares en 2023 a 40.000 millones de dólares en 2027, con una tasa de crecimiento anual compuesta asombrosa del 32 %. Deloitte prevé un aumento de los deepfakes en los próximos años, y los bancos y los servicios financieros serán los principales objetivos.

Resemble AI, una empresa líder en clonación de voz, ha anunciado el lanzamiento de su modelo de detección de deepfakes de próxima generación, Detect-2B. Este nuevo modelo ha demostrado una precisión de aproximadamente el 94% en la detección de audio generado por IA, lo que representa un importante avance en la tecnología de detección de deepfakes.

El grupo Qi An Xin publica el 'Informe de seguridad de la inteligencia artificial 2024'. El fraude por deepfakes basado en IA aumentó un 3000% en 2023. Los correos electrónicos de phishing basados en IA aumentaron un 1000%. Grupos APT con respaldo estatal utilizaron IA para llevar a cabo más de diez incidentes de ciberataque. El uso malicioso de la tecnología de inteligencia artificial aumentará rápidamente.

Más de 500 expertos en IA firmaron una carta abierta pidiendo a los gobiernos que promulguen leyes para regular los deepfakes. La carta abierta pide la penalización de la creación y distribución de material de abuso sexual infantil generado con deepfakes. Entre los firmantes se encuentran académicos de diversos campos de todo el mundo, que piden una acción completa para detener la propagación de deepfakes. Los expertos instan a los gobiernos a actuar para abordar la creciente amenaza de los deepfakes.

En septiembre de 2023, las visitas a aplicaciones y sitios web que utilizan inteligencia artificial para crear deepfakes aumentaron drásticamente, llegando a 24 millones. La publicidad en redes sociales impulsa estos servicios, con un aumento de más del 2400% en los enlaces de anuncios en redes sociales, lo que genera preocupación por la creación de deepfakes pornográficos no consentidos. A medida que la tecnología de IA avanza, el software de deepfakes se vuelve más fácil de usar, convirtiendo a personas comunes en objetivos y planteando problemas de privacidad y legales. Ante esta tendencia, algunas plataformas ya han comenzado a tomar medidas, como TikTok y Meta Platforms bloqueando...

Microsoft ha desarrollado una herramienta de IA capaz de generar nuevos avatares y voces, o replicar la apariencia y el habla de un usuario. Esta herramienta, llamada Azure AI Speech, ha sido entrenada con imágenes humanas y puede crear avatares realistas mediante IA. Los usuarios pueden subir videos para replicar la voz y la apariencia de una persona específica. Microsoft ha destacado las limitaciones y medidas de protección de la herramienta para prevenir su mal uso. Sin embargo, los críticos temen que pueda utilizarse para crear deepfakes.

👾 Reality Defender, una startup especializada en la detección de deepfakes, ha recaudado 15 millones de dólares en una ronda liderada por DCVC. 🛡️ Reality Defender ofrece una variedad de herramientas para ayudar a empresas e instituciones gubernamentales a identificar y combatir los medios sintéticos. 🌐 Además de la financiación, la compañía ha lanzado una función de IA explicable y una herramienta de detección de deepfakes en tiempo real.