¿Qué está pasando con la IA de código abierto?
En Tantita Tinta siempre hemos sido entusiastas de los avances tecnológicos, pero a veces, la innovación se desvía hacia terrenos bastante turbios. Recientemente, una investigación de la organización europea AI Forensics puso el dedo en la llaga sobre Hugging Face, una plataforma que, aunque es un pilar fundamental en el desarrollo de IA, se ha convertido en un campo de cultivo para la creación de imágenes sexuales no consentidas.
El problema de los ‘deepfakes’ a la carta
La premisa es alarmante por su simplicidad: no necesitas ser un genio de la programación ni tener una computadora de la NASA para manipular fotos. Los investigadores probaron nueve espacios de edición de imágenes dentro de la plataforma y el resultado fue preocupante: siete de ellos transformaron fotos de mujeres vestidas en contenido explícito con solo un comando de texto sencillo.
¿Qué tan común es esto? El dato es escalofriante: de más de 1,000 solicitudes rastreadas en espacios experimentales, el 73% tenían fines sexuales. De esas, el 83% buscaban desnudar o sexualizar a la persona en la foto, y casi la totalidad de las víctimas (95%) eran mujeres. Incluso, se detectó que un 6.7% de estas peticiones estaban dirigidas a menores de edad.
¿Por qué sucede si hay políticas de seguridad?
Aunque Hugging Face cuenta con reglas que prohíben el material de abuso sexual y los deepfakes sin consentimiento, la realidad operativa es otra. La plataforma funciona como un repositorio abierto donde, muchas veces, la seguridad queda en manos de cada desarrollador independiente. Si el creador del modelo no implementa filtros, la plataforma permite que cualquier usuario escriba un prompt como: “La misma pose, el mismo rostro, pero sin ropa”, y la IA simplemente obedece.
- El perfil de las víctimas: Contrario a lo que se piensa, el mayor daño no es contra las celebridades, sino contra gente común.
- El costo del acoso: Esta tecnología se utiliza para chantajear, humillar y ejercer violencia digital que deja cicatrices reales.
- Más que desnudos: El abuso escala hasta la creación de imágenes vejatorias, incluyendo la modificación de vestimenta religiosa (como el hiyab) o actos sexuales gráficos.
¿Qué estamos haciendo al respecto?
Para nosotros en Tantita Tinta, es evidente que el ritmo de la tecnología está superando por mucho la velocidad de las regulaciones. Mientras la Unión Europea y el Reino Unido buscan prohibir aplicaciones que generen estos contenidos, las grandes empresas tecnológicas siguen inyectando millones en modelos que, al ser de código abierto, se escapan de cualquier control centralizado.
Es urgente que plataformas como Hugging Face asuman una postura más proactiva. Si bien la empresa ha eliminado algunas páginas tras ser cuestionada, el problema persiste. No se trata solo de moderar contenido cuando ya es tarde, sino de implementar filtros de seguridad que detecten la intención maliciosa antes de que la imagen sea generada.
La reflexión final es para ti: la IA es una herramienta poderosa, pero el uso que le damos como sociedad está lejos de ser ético. La próxima vez que veas una imagen en redes, recuerda que lo que ves no siempre es lo que pasó, y que detrás de cada ‘deepfake’ hay una persona cuya vida puede ser arruinada en un par de segundos con un par de clics.
Fuente: WIRED en Español
