Cómo Microsoft elimina a los piratas informáticos de IA que crean imágenes dañinas de celebridades y otras personas
Era una lenta tarde de viernes de julio cuando un problema en apariencia aislado apareció en el radar de Phillip Misner, jefe del equipo de Detección y Respuesta a Incidentes de IA de Microsoft. Alguien había robado el código de acceso único de un cliente para un generador de imágenes de IA y eludía las medidas de seguridad para crear imágenes sexualizadas de celebridades.
Misner y sus compañeros de trabajo revocaron el código, pero pronto vieron aparecer más credenciales de clientes robadas, o claves API, en un foro de mensajes anónimos conocido por difundir material de odio. Convirtieron el problema en una respuesta de seguridad en toda la empresa en lo que ahora se ha convertido en el primer caso legal de Microsoft para evitar que las personas creen contenido dañino de IA.
«Nos tomamos muy en serio el uso indebido de la IA y reconocemos el daño de las imágenes abusivas para las víctimas», dice Misner.
Los documentos judiciales detallan cómo Microsoft desmantela una red global que en teoría ha creado miles de imágenes de IA abusivas de celebridades, mujeres y personas de color. Muchas de las imágenes eran explícitas a nivel sexual, misóginas, violentas o de odio.
La compañía dice que la red, denominada Storm-2139, incluye a seis personas que crearon herramientas para ingresar a Azure OpenAI Service y las plataformas de IA de otras compañías en un «esquema de piratería como servicio». Cuatro de esas personas, ubicadas en Irán, Inglaterra, Hong Kong y Vietnam, son nombradas como demandadas en la demanda civil de Microsoft presentada en el Tribunal de Distrito de Estados Unidos para el Distrito Este de Virginia. La demanda alega que otras 10 personas usaron las herramientas para eludir las salvaguardas de IA y crear imágenes en violación de los términos de uso de Microsoft.
«Este caso envía un mensaje claro de que no toleramos el abuso de nuestra tecnología de IA», dice Richard Boscovich, consejero general adjunto de la Unidad de Delitos Digitales (DCU) de la compañía. «Desmantelamos su operación y notificamos que, si alguien abusa de nuestras herramientas, lo perseguiremos».
Mantener a las personas seguras en línea
La demanda es parte del trabajo de larga data de la compañía para fomentar la seguridad digital, desde responder a las amenazas cibernéticas e interrumpir a los delincuentes hasta construir sistemas de IA seguros y protegidos. Los esfuerzos incluyen trabajar con legisladores, defensores y víctimas para proteger a las personas de imágenes explícitas compartidas sin su consentimiento, sin importar si las imágenes son reales o si están hechas o modificadas con IA.
«Este tipo de abuso de imágenes se dirige de manera desproporcionada a mujeres y niñas, y la era de la IA ha cambiado de manera fundamental la escala a la que puede suceder», dice Courtney Gregoire, vicepresidenta y directora de seguridad digital de Microsoft. «Un elemento central de nuestro enfoque en seguridad digital es escuchar a aquellos que se han visto afectados de manera negativa por la tecnología y adoptar un enfoque de múltiples capas para mitigar el daño».
Poco después de que DCU presentara su queja inicial en diciembre, incautó un sitio web, bloqueó la actividad y continuó con la construcción de su caso. La demanda provocó que los miembros de la red se enfrentaran entre sí, compartieran los correos electrónicos de los abogados del caso y enviaran pistas anónimas para culpar a los demás. Eso ayudó a los investigadores a nombrar a los acusados en los tribunales en una estrategia pública para disuadir a otros abusadores de IA. Una queja enmendada en febrero llevó a más charlas en la red y evidencia para la investigación en curso del equipo. «La presión se calentó en este grupo, y comenzaron a dar información sobre los demás», dice Maurice Mason, investigador principal de DCU.
Miles de prompts maliciosos de IA
Los investigadores dicen que los acusados construyeron y promovieron un conjunto de software para acceder de manera ilícita a modelos generadores de imágenes y un servicio de proxy inverso que ocultaba la actividad y guardaba imágenes en una computadora en Virginia. Las credenciales robadas usadas para autenticar el acceso pertenecían a clientes de Azure que las habían dejado expuestas en una plataforma pública.
Las personas que usaban las herramientas hicieron todo lo posible para eludir los filtros de seguridad de contenido de Microsoft. Iteraron en prompts bloqueados, compartieron técnicas de omisión e ingresaron miles de prompts maliciosos diseñados para manipular modelos de IA para que ignoraran las salvaguardas para obtener lo que querían, dicen los investigadores.
Cuando los filtros de contenido rechazaron las solicitudes de imágenes de celebridades, una salvaguarda contra los deepfakes, los usuarios sustituyeron las descripciones físicas de las celebridades en algunos casos. Cuando los filtros bloquearon las indicaciones de contenido dañino, los usuarios reemplazaron letras y palabras con notaciones técnicas como subíndices para engañar al modelo de IA. Microsoft ha abordado esos métodos de elusión y ha mejorado sus salvaguardas de IA en respuesta al incidente.
«Una de las conclusiones que encontramos al analizar los prompts y las imágenes, es que está muy claro que su intención era eludir las barreras de seguridad y producir imágenes que estaban prohibidas», dice Michael McDonald, analista senior de datos de DCU.
Interrumpir y disuadir el abuso
La compañía también ayudó a los clientes afectados a mejorar su seguridad, como parte de una inversión continua en salvaguardas y seguridad contra los riesgos cambiantes de la IA y el contenido dañino. Una salvaguarda, los metadatos de procedencia llamados Credenciales de Contenido, ayudaron a los investigadores a establecer el origen de muchas de las imágenes descubiertas. Microsoft adjunta los metadatos a las imágenes creadas con su IA para proporcionar transparencia a la información y combatir los deepfakes. La compañía también es líder desde hace mucho tiempo del grupo de la industria que creó Content Credentials.
«El mal uso de la IA tiene impactos reales y duraderos», dice Sarah Bird, directora de productos de IA responsable de Microsoft. «Innovamos de manera continua para construir barreras de seguridad sólidas e implementar medidas de seguridad para garantizar que nuestras tecnologías de IA sean seguras y confiables.»
Microsoft alega que los acusados violaron la Ley de Fraude y Abuso Informático, la Ley de Derechos de Autor del Milenio Digital y otras leyes de EE. UU. Los investigadores han comenzado a remitir a otras personas en los EE. UU. y otros países a las agencias de aplicación de la ley para que presenten cargos penales. El equipo ha compartido información sobre las imágenes y el caso legal con víctimas conocidas.
«Continuaremos con el monitoreo de esta red e identificaremos a los acusados adicionales según sea necesario para detener el abuso», dice Boscovich.
Para Microsoft, la lucha contra el abuso sexual basado en imágenes comenzó mucho antes del auge de la IA generativa, cuando comenzó a eliminar las imágenes íntimas no consentidas de sus plataformas y los resultados de búsqueda de Bing en 2015. Desde entonces, ha publicado un informe de 42 páginas para ayudar a los responsables políticos a proteger a las personas de los contenidos abusivos generados por la IA y ha donado su tecnología PhotoDNA para ayudar a las víctimas a eliminar imágenes en línea manteniendo su privacidad.
La plataforma GitHub de la compañía también prohíbe los proyectos que están diseñados para la creación de imágenes explícitas no consensuadas o fomentan la creación de imágenes explícitas no consensuadas y toma medidas cuando el contenido viola sus políticas.
Tales imágenes, reales o sintéticas, son devastadoras para las víctimas, sin importar si son adolescentes o mujeres prominentes, dice Gregoire.
«Afecta su salud, bienestar, vida social y oportunidades económicas», dice. «Muchas veces, sus vidas se consumen en tratar de reclamar su identidad y sacar una imagen de la circulación».
Gregoire dice que el problema requiere un cambio sistémico y social, que incluya nuevas salvaguardas técnicas, leyes y políticas más protectoras y ayudar a los jóvenes a comprender el daño del acoso sexual por imagen. Ella dice que Microsoft se dedica a trabajar con socios para crear un ecosistema en línea más seguro para todos.
«Al final del día, recordamos al ser humano en el centro de la tecnología», dice. «Adoptamos un enfoque centrado en el ser humano para mitigar el daño y garantizar que podamos utilizar la IA para el bien».
Esta historia fue publicada el 8 de mayo de 2025. Vídeo principal e imágenes de Michał Bednarski / Makeshift