Grok compartió más de 3 millones de imágenes sexualizadas, 23.000 de ellas de menores

El generador de imágenes impulsado por la IA Grok inundó la red social X con alrededor de tres millones de imágenes sexualizadas durante los 11 días que estuvo disponible, incluidas 23.000 con representación de menores y 1,8 millones con mujeres.

El uso de la herramienta se disparó alrededor del 29 de diciembre, coincidiendo con una nueva función que permitía editar imágenes publicadas en X con un solo clic.

Fallos en las salvaguardias y respuestas de la compañía

El 2 de enero, la compañía reconoció fallos en las salvaguardias de Grok, tras la aparición de publicaciones en las que el 'chatbot' desnudaba a mujeres y niños, modificando imágenes para poner bikinis o escenas sexuales, sin el consentimiento de las víctimas. Estas prácticas son ilegales y prohibidas por las políticas de uso de xAI, responsable de Grok.

Tras recibir múltiples quejas de usuarios y autoridades de la UE, Reino Unido y España, la empresa limitó la herramienta el 9 de enero solo para miembros de pago y finalmente el 14 de enero bloqueó la generación de imágenes sexualizadas para todos los usuarios.

Alcance y volumen de las imágenes generadas

Durante los 11 días más activos, Grok produjo aproximadamente tres millones de imágenes sexualizadas, según CCDH y The New York Times, con un ritmo equivalente a 190 imágenes sexualizadas por minuto.

El análisis de The Times indica que de 4,4 millones de imágenes generadas, al menos 1,8 millones contenían contenido sexualizado de mujeres, incluyendo celebridades como Selena Gomez, Taylor Swift, Billie Eilish, Ariana Grande, la viceprimera ministra sueca Ebba Busch y la exvicepresidenta estadounidense Kamala Harris.

Según el informe del CCDH, el 65 % de las imágenes contenían contenido sexualizado de hombres, mujeres o niños, y alrededor de 23.000 representaban a menores, incluyendo niñas en bikini y niños actores. Además, 9.900 imágenes eran representaciones en formato de dibujo animado. A pesar del bloqueo, a 15 de enero, el 29 % de las imágenes sexualizadas de niños seguían accesibles.

Reacciones y consecuencias

El director del CCDH, Imran Ahmed, destacó que estas prácticas “contribuyen a un abuso a gran escala contra mujeres y niñas” y subrayó la gravedad de su distribución masiva en X. “Han existido herramientas de desnudez, pero nunca con la facilidad de uso ni la integración en una gran plataforma que Elon Musk logró con Grok”, afirmó. Para elaborar el informe, el CCDH utilizó una muestra aleatoria de 20.000 imágenes de un total de 4,6 millones generadas, empleando IA para identificar el contenido sexualizado.