Los actores malintencionados están abusando de las herramientas musicales generativas de IA para crear canciones homofóbicas, racistas y propagandísticas, y publicando guías que instruyen a otros sobre cómo hacerlo.
De acuerdo a Valla activa, un servicio para gestionar operaciones de confianza y seguridad en plataformas en línea, ha habido un aumento en las conversaciones dentro de las comunidades “relacionadas con el discurso de odio” desde marzo sobre formas de hacer un mal uso de las herramientas de creación musical de inteligencia artificial para escribir canciones ofensivas dirigidas a grupos minoritarios. Las canciones generadas por IA que se comparten en estos foros y foros de discusión tienen como objetivo incitar al odio hacia cohortes étnicas, de género, raciales y religiosas, dicen los investigadores de ActiveFence en un informe, mientras celebran actos de martirio, autolesiones y terrorismo.
Odioso y dañino Las canciones no son un fenómeno nuevo. Pero el temor es que, con la llegada de herramientas gratuitas y fáciles de usar para generar música, sean creadas a gran escala por personas que antes no tenían los medios ni los conocimientos necesarios (al igual que imágenes, voz y vídeos). y los generadores de texto tienen apresurado la difusión de información errónea, desinformación y discursos de odio.
“Estas son tendencias que se intensifican a medida que más usuarios aprenden a generar estas canciones y compartirlas con otros”, dijo un portavoz de ActiveFence a TechCrunch. “Los actores de amenazas están identificando rápidamente vulnerabilidades específicas para abusar de estas plataformas de diferentes maneras y generar contenido malicioso”.
Creando canciones de “odio”
Las herramientas musicales de IA generativa como Udio y Suno permiten a los usuarios agregar letras personalizadas a las canciones generadas. Las salvaguardias en las plataformas filtran los insultos y peyorativos comunes, pero los usuarios han encontrado soluciones, según ActiveFence.
En un ejemplo citado en el informe, los usuarios de foros de supremacistas blancos compartieron la ortografía fonética de las minorías y términos ofensivos, como “jooz” en lugar de “judíos” y “say tan” en lugar de “Satanás”, que utilizaron para evitar los filtros de contenido. . Algunos usuarios sugirieron alterar los espacios y la ortografía al referirse a actos de violencia, como reemplazar “mi violación” por “mire ape”.
TechCrunch probó varias de estas soluciones en Udio y Suno, dos de las herramientas más populares para crear y compartir música generada por IA. Suno los dejó pasar a todos, mientras que Udio bloqueó algunos, pero no todos, los homófonos ofensivos.
Un portavoz de Udio, contactado por correo electrónico, le dijo a TechCrunch que la compañía prohíbe el uso de su plataforma para incitar al odio. Suno no respondió a nuestra solicitud de comentarios.
En las comunidades que sondeó, ActiveFence encontró enlaces a canciones generadas por IA que repetían como loros teorías de conspiración sobre el pueblo judío y abogaban por su asesinato en masa; canciones que contienen lemas asociados con los grupos terroristas ISIS y Al-Qaeda; y canciones que glorifican la violencia sexual contra las mujeres.
Impacto de la canción
ActiveFence argumenta que las canciones, a diferencia de, por ejemplo, el texto, tienen un peso emocional que las convierte en una fuerza especialmente potente para los grupos de odio y guerra política. La firma señala Rock Against Communism, la serie de conciertos de rock del poder blanco en el Reino Unido a finales de los 70 y principios de los 80 que generaron subgéneros de “antisemita y racista”.odioso” música.
“La IA hace que el contenido dañino sea más atractivo: piense en alguien que predica una narrativa dañina sobre una determinada población y luego imagine a alguien creando una canción que rima que hace que sea fácil para todos cantar y recordar”, dijo el portavoz de ActiveFence. “Reforzan la solidaridad del grupo, adoctrinan a los miembros de grupos periféricos y también se utilizan para escandalizar y ofender a los usuarios de Internet no afiliados”.
ActiveFence hace un llamado a las plataformas de generación de música para que implementen herramientas de prevención y realicen evaluaciones de seguridad más exhaustivas. “El equipo rojo podría potencialmente sacar a la luz algunas de estas vulnerabilidades y se puede lograr simulando el comportamiento de los actores de amenazas”, dijo el portavoz. “En este caso, también podría ser útil una mejor moderación de la entrada y salida, ya que permitirá a las plataformas bloquear el contenido antes de que se comparta con el usuario”.
Pero las soluciones podrían resultar fugaces a medida que los usuarios descubran nuevos métodos para vencer la moderación. Algunas de las canciones de propaganda terrorista generadas por IA que ActiveFence identificó, por ejemplo, se crearon utilizando eufemismos y transliteraciones en idioma árabe, eufemismos que los generadores de música no detectaron, presumiblemente porque sus filtros no son potentes en árabe.
La música odiosa generada por IA está a punto de extenderse por todas partes si sigue los pasos de otros medios generados por IA. cableado documentado A principios de este año, cómo un clip de Adolf Hitler manipulado por IA acumuló más de 15 millones de visitas en X después de ser compartido por un influencer de conspiración de extrema derecha.
Entre otros expertos, un órgano asesor de la ONU ha expresado preocupaciones que el contenido racista, antisemita, islamófobo y xenófobo podría potenciarse mediante la IA generativa.
“Los servicios de IA generativa permiten a los usuarios que carecen de recursos o habilidades creativas y técnicas crear contenido atractivo y difundir ideas que puedan competir por la atención en el mercado global de ideas”, dijo el portavoz. “Y los actores de amenazas, habiendo descubierto el potencial creativo que ofrecen estos nuevos servicios, están trabajando para eludir la moderación y evitar ser detectados, y han tenido éxito”.