Grok compartió más de 3 millones de imágenes sexualizadas, 23.000 de menores, con la opción de generar imágenes en X

El generador de imágenes impulsado por el asistente de inteligencia artificial (IA) Grok inundó la red social X con alrededor de tres millones de imágenes sexualizadas durante los 11 días que estuvo disponible, incluidas 23.000 que representaban a niños y cerca de 1,8 millones en las que aparecían mujeres.

La herramienta de generación de imágenes de Grok experimentó un aumento en su uso por parte de los usuarios alrededor del 29 de diciembre, coincidiendo con una nueva opción disponible en X, que permitía utilizar a Grok para editar imágenes publicadas en la red social, con solo un clic.

El 2 de enero, la propia compañía reconoció identificar fallos en las salvaguardias de Grok, tras la aparición de múltiples publicaciones en X en las que el 'chatbot' accedía a la petición de algunos usuarios de desnudar a mujeres y niños, modificando sus imágenes para ponerles bikinis o que aparecieran en posiciones sexuales.

Estas imágenes modificadas con IA se podían generar a través del 'chatbot o como respuesta a publicaciones de otros usuarios sin el consentimiento de las víctimas, a pesar de que son prácticas ilegales que están prohibidas en las propias políticas de uso aceptable de xAI, la empresa responsable de Grok.

Así, tras recopilar múltiples quejas por parte de los usuarios y de autoridades de la Unión Europea, Reino Unido y España, entre otros, la compañía limitó el generador de imágenes de Grok el 9 de enero, permitiéndolo solo para miembros de pago. Finalmente, el 14 de enero se bloqueó la generación de imágenes sexualizadas a través de Grok para todos los usuarios.

Durante los aproximadamente 11 días que estuvo más activa la herramienta, la red social X se inundó de alrededor de tres millones de imágenes sexualizadas, como lo ha recogido el Centro para la Lucha contra el Odio Digital (CCDH por sus siglas en inglés) y The New York Times, que han elaborado estimaciones del volumen de imágenes sexualizadas producidas por Grok y publicadas en X durante este periodo, del 29 de diciembre al 8 de enero.

Concretamente, el análisis elaborado por de The Times recoge que Grok publicó más de 4,4 millones de imágenes y estima que al menos el 41 por ciento de las publicaciones, es decir, el equivalente a 1,8 millones, contenían imágenes sexualizadas de mujeres.

Así, se incluían casos en los que se modificaban imágenes de mujeres famosas como Selena Gomez, Taylor Swift, Billie Eilish, Ariana Grande o la viceprimera ministra sueca Ebba Busch y la exvicepresidenta estadounidense Kamala Harris.

Por su parte, el informe compartido por el CCDH, que se generó mediante un modelo estadístico, detalla que el 65 por ciento de las imágenes generadas por Grok -esto es, poco más de tres millones- contenían imágenes sexualizadas de hombres, mujeres o niños. Así, la herramienta de la IA de la compañía dirigida por Elon Musk produjo una cantidad de imágenes durante 11 días equivalente a 190 imágenes sexualizadas por minuto.

De entre ellas, la IA generó alrededor de 23.000 imágenes sexualizadas de menores, incluyendo contenido de niñas en bikini o niños actores. Además, la organización comprobó que a día 15 de enero, cuando ya se habían bloqueado estas funciones, el 29 por ciento de las imágenes sexualizadas de niños todavía eran accesibles. Los datos también reflejan que Grok generó aproximadamente 9.900 imágenes sexualizadas que representaban a niños en un formato de dibujo animado.

Como ha manifestado el director ejecutivo del CCDH, Imran Ahmed, en declaraciones recogidas por el medio citado, este tipo de prácticas "contribuyen a un abuso a gran escala contra mujeres y niñas".

Asimismo, ha subrayado la gravedad de su distribución en redes sociales como X. "Han existido herramientas de desnudez, pero nunca han tenido la distribución, la facilidad de uso ni la integración en una gran plataforma que Elon Musk logró con Grok", ha sentenciado.

Se ha de tener en cuenta que, para elaborar el informe, el CCDH utilizó una muestra aleatoria de 20.000 imágenes del total más amplio de 4,6 millones producidas por la función de generación de imágenes de Grok durante el tiempo mencionado. Asimismo, emplearon una herramienta de IA para identificar la proporción de estas imágenes que representaban contenido sexualizado de personas.