Por: Equipo Microsoft Threat Intelligence.
Durante el último año, la velocidad, la escala y la sofisticación de los ataques han aumentado junto con el rápido desarrollo y adopción de la IA. Los defensores apenas han comenzado a reconocer y aplicar el poder de la IA generativa para cambiar el equilibrio de la ciberseguridad a su favor y mantenerse por delante de los adversarios. Al mismo tiempo, también es importante que entendamos cómo la IA puede ser potencialmente mal utilizada en manos de los actores de amenazas. En colaboración con OpenAI, hoy publicamos una investigación sobre las amenazas emergentes en la era de la IA, centrándonos en la actividad identificada asociada con actores de amenazas conocidos, incluidas las inyecciones de prompt, el intento de uso indebido de grandes modelos de lenguaje (LLM, por sus siglas en inglés) y el fraude. Nuestro análisis del uso actual de la tecnología LLM por parte de los actores de amenazas reveló comportamientos consistentes con los atacantes que utilizan la IA como otra herramienta de productividad en el panorama ofensivo. Pueden leer el blog de OpenAI sobre la investigación aquí. Microsoft y OpenAI aún no han observado técnicas de ataque o abuso habilitadas por IA en particular novedosas o únicas como resultado del uso de la IA por parte de los actores de amenazas. Sin embargo, Microsoft y nuestros socios continúan estudiando este panorama de cerca.
El objetivo de la asociación de Microsoft con OpenAI, incluida la publicación de esta investigación, es garantizar el uso seguro y responsable de las tecnologías de IA como ChatGPT, para mantener los más altos estándares de aplicación ética para proteger a la comunidad de un posible uso indebido. Como parte de este compromiso, hemos tomado medidas para interrumpir los activos y las cuentas asociadas con los actores de amenazas, mejorar la protección de la tecnología OpenAI LLM y los usuarios contra ataques o abusos, y dar forma a las barandillas y los mecanismos de seguridad en torno a nuestros modelos. Además, también estamos comprometidos a fondo con el uso de la IA generativa para interrumpir a los actores de amenazas y aprovechar el poder de las nuevas herramientas, incluido Microsoft Copilot for Security, para elevar a los defensores en todas partes.
Un enfoque basado en principios para detectar y bloquear a los actores de amenazas
El progreso de la tecnología crea una demanda de fuertes medidas de seguridad y ciberseguridad. Por ejemplo, la Orden Ejecutiva de la Casa Blanca sobre IA exige rigurosas pruebas de seguridad y supervisión gubernamental para los sistemas de IA que tienen un gran impacto en la seguridad nacional y económica o en la salud y la seguridad públicas. Nuestras acciones para mejorar las salvaguardas de nuestros modelos de IA y asociarnos con nuestro ecosistema en la creación, implementación y uso seguros de estos modelos se alinean con la solicitud de la Orden Ejecutiva de estándares integrales de seguridad y protección de IA.
En línea con el liderazgo de Microsoft en IA y ciberseguridad, hoy anunciamos los principios que dan forma a la política y las acciones de Microsoft para mitigar los riesgos asociados con el uso de nuestras herramientas y API de IA por parte de las amenazas persistentes avanzadas (APT, por sus siglas en inglés) de los estados-nación, los manipuladores persistentes avanzados (APM, siglas en inglés) y los sindicatos de ciberdelincuentes que rastreamos.
Estos principios incluyen:
- Identificación y acción contra el uso por parte de actores de amenazas malintencionados: Tras la detección del uso de cualquier interfaz de programación de aplicaciones (API, siglas en inglés) de IA de Microsoft, servicios o sistemas por parte de un actor de amenazas malintencionado identificado, incluidos APT o APM de estados-nación, o los sindicatos de ciberdelincuencia que rastreamos, Microsoft tomará las medidas adecuadas para interrumpir sus actividades, como deshabilitar las cuentas usadas, la terminación de servicios o la limitación del acceso a los recursos.
- Notificación a otros proveedores de servicios de IA: cuando detectamos el uso por parte de un actor de amenazas de la IA, las API, los servicios o los sistemas de IA de otro proveedor de servicios, Microsoft notificará de inmediato al proveedor de servicios y compartirá los datos relevantes. Esto permite al proveedor de servicios verificar de forma independiente nuestros hallazgos y tomar medidas de acuerdo con sus propias políticas.
- Colaboración con otras partes interesadas: Microsoft colaborará con otras partes interesadas para intercambiar información de manera periódica sobre el uso de la IA por parte de los actores de amenazas detectados. Esta colaboración tiene como objetivo promover respuestas colectivas, coherentes y eficaces a los riesgos de todo el ecosistema.
- Transparencia: Como parte de nuestros esfuerzos continuos para promover el uso responsable de la IA, Microsoft informará al público y a las partes interesadas sobre las acciones tomadas en virtud de estos principios de actores de amenazas, incluida la naturaleza y el alcance del uso de la IA por parte de los actores de amenazas detectada dentro de nuestros sistemas y las medidas tomadas contra ellos, según corresponda.
Microsoft mantiene su compromiso con la innovación responsable en IA, para dar prioridad la seguridad e integridad de nuestras tecnologías con respeto por los derechos humanos y las normas éticas. Estos principios anunciados hoy se basan en las prácticas de IA responsable de Microsoft, nuestros compromisos voluntarios para promover la innovación de IA responsable y el Código de conducta de Azure OpenAI. Seguimos estos principios como parte de nuestros compromisos más amplios de fortalecer el derecho y las normas internacionales y de promover los objetivos de la Declaración de Bletchley respaldada por 29 países.
Las defensas complementarias de Microsoft y OpenAI protegen las plataformas de IA
Debido a que la asociación de Microsoft y OpenAI se extiende a la seguridad, las empresas pueden tomar medidas cuando surgen actores de amenazas conocidos y emergentes. Microsoft Threat Intelligence realiza un seguimiento de más de 300 actores de amenazas únicos, incluidos 160 actores de estados-nación, 50 grupos de ransomware y muchos otros. Estos adversarios emplean varias identidades digitales y atacan infraestructuras. Los expertos y los sistemas automatizados de Microsoft analizan y correlacionan de manera continua estos atributos, para descubrir los esfuerzos de los atacantes para evadir la detección o ampliar sus capacidades al aprovechar las nuevas tecnologías. De acuerdo con la prevención de las acciones de los actores de amenazas en todas nuestras tecnologías y el trabajo en estrecha colaboración con los socios, Microsoft continúa el estudio del uso de la IA y los LLM por parte de los actores de amenazas, se asocia con OpenAI para supervisar la actividad de los ataques y aplica lo que aprendemos para mejorar de manera continua las defensas. Este blog proporciona una descripción general de las actividades observadas recopiladas de la infraestructura de actores de amenazas conocidos identificada por Microsoft Threat Intelligence, luego compartida con OpenAI para identificar posibles usos malintencionados o abusos de su plataforma y proteger a nuestros clientes mutuos de futuras amenazas o daños.
Reconociendo el rápido crecimiento de la IA y el uso emergente de LLM en las operaciones cibernéticas, continuamos el trabajo con MITRE para integrar estas tácticas, técnicas y procedimientos (TTP, por sus siglas en inglés) con temas de LLM en el marco MITRE ATT&CK® o en la base de conocimientos MITRE ATLAS™ (Panorama de amenazas adversarias para sistemas de inteligencia artificial). Esta expansión estratégica refleja el compromiso no solo de rastrear y neutralizar las amenazas, sino también de ser pioneros en el desarrollo de contramedidas en el panorama cambiante de las operaciones cibernéticas impulsadas por IA. En el apéndice se resume una lista completa de los TTP con temática de LLM, que incluyen los que identificamos durante nuestras investigaciones.
Resumen de los hallazgos e inteligencia de amenazas de Microsoft y OpenAI
El ecosistema de amenazas en los últimos años ha revelado un tema constante de actores de amenazas que siguen las tendencias de la tecnología en paralelo con sus contrapartes defensoras. Los actores de amenazas, al igual que los defensores, están recurriendo a la IA, incluidos los LLM, para mejorar su productividad y aprovechar las plataformas accesibles que podrían avanzar en sus objetivos y técnicas de ataque. Los grupos de ciberdelincuencia, los actores de amenazas de los estados-nación y otros adversarios están explorando y probando diferentes tecnologías de IA a medida que surgen, en un intento de comprender el valor potencial de sus operaciones y los controles de seguridad que pueden necesitar eludir. En el lado de los defensores, es vital reforzar estos mismos controles de seguridad frente a los ataques e implementar una supervisión igualmente sofisticada que anticipe y bloquee la actividad maliciosa.
Si bien los motivos y la complejidad de los diferentes actores de amenazas varían, tienen tareas comunes que realizar en el curso de la orientación y los ataques. Estos incluyen el reconocimiento, como aprender sobre las industrias, ubicaciones y relaciones de las posibles víctimas; ayuda con la codificación, incluida la mejora de cosas como scripts de software y desarrollo de malware; y asistencia para el aprendizaje y el uso de las lenguas nativas. El soporte lingüístico es una característica natural de los LLM y es atractivo para los actores de amenazas con un enfoque continuo en la ingeniería social y otras técnicas que se basan en comunicaciones falsas y engañosas adaptadas a los trabajos, redes profesionales y otras relaciones de sus objetivos.
Es importante destacar que nuestra investigación con OpenAI no ha identificado ataques significativos que empleen los LLM que monitoreamos de cerca. Al mismo tiempo, creemos que es importante publicar esta investigación para exponer los movimientos incrementales en etapa inicial que observamos que intentan los actores de amenazas conocidos, y compartir información sobre cómo los estamos bloqueando y contrarrestando con la comunidad de defensores.
Si bien los atacantes seguirán interesados en las capacidades y controles de seguridad actuales de las tecnologías de IA y sondeo, es importante mantener estos riesgos en contexto. Como siempre, las prácticas de higiene, como la autenticación multifactor (MFA, por sus siglas en inglés) y las defensas Zero Trust, son esenciales porque los atacantes pueden utilizar herramientas basadas en IA para mejorar sus ciberataques existentes que se basan en la ingeniería social y en la búsqueda de dispositivos y cuentas no seguros.
Los actores de amenazas que se describen a continuación son una muestra de la actividad observada que creemos que representa mejor los TTP que la industria necesitará rastrear mejor utilizando el marco MITRE ATT&CK® o las actualizaciones de la base de conocimientos de MITRE ATLAS™.
Forest Blizzard
Forest Blizzard (STRONTIUM) es un actor de inteligencia militar ruso vinculado a la Unidad 26165 del GRU, que ha atacado a víctimas de interés táctico y estratégico para el gobierno ruso. Sus actividades abarcan una variedad de sectores, incluidos la defensa, el transporte y la logística, el gobierno, la energía, las organizaciones no gubernamentales (ONG) y la tecnología de la información. Forest Blizzard ha sido extremadamente activo en la persecución de organizaciones relacionadas con la guerra de Rusia en Ucrania durante la duración del conflicto, y Microsoft evalúa que las operaciones de Forest Blizzard desempeñan un papel de apoyo significativo para la política exterior y los objetivos militares de Rusia tanto en Ucrania como en la comunidad internacional en general. Forest Blizzard se superpone con el actor de amenazas rastreado por otros investigadores como APT28 y Fancy Bear.
El uso de LLM por parte de Forest Blizzard ha implicado la investigación de diversas tecnologías de satélites y radares que pueden pertenecer a las operaciones militares convencionales en Ucrania, así como la investigación genérica destinada a respaldar sus operaciones cibernéticas. Con base en estas observaciones, mapeamos y clasificamos estos TTP utilizando las siguientes descripciones:
- Reconocimiento informado por LLM: Interactuar con los LLM para comprender los protocolos de comunicación por satélite, las tecnologías de imágenes de radar y los parámetros técnicos específicos. Estas preguntas sugieren un intento de adquirir un conocimiento profundo de las capacidades de los satélites.
- Técnicas de secuencias de comandos mejoradas por LLM: Buscar ayuda en tareas básicas de secuencias de comandos, incluida la manipulación de archivos, la selección de datos, las expresiones regulares y el multiprocesamiento, para automatizar u optimizar potencialmente las operaciones técnicas.
De forma similar a las interacciones LLM de Salmon Typhoon, Microsoft observó la participación de Forest Blizzard que era representativa de un adversario que exploraba los casos de uso de una nueva tecnología. Al igual que con otros adversarios, todas las cuentas y activos asociados con Forest Blizzard han sido desactivados.
Emerald Sleet
Emerald Sleet (THALLIUM) es un actor de amenazas norcoreano que se ha mantenido muy activo a lo largo de 2023. Sus operaciones recientes se basaron en correos electrónicos de spear-phishing para comprometer y recopilar inteligencia de personas prominentes con experiencia en Corea del Norte. Microsoft observó que Emerald Sleet se hacía pasar por instituciones académicas y ONG de renombre para atraer a las víctimas a responder con ideas y comentarios de expertos sobre las políticas exteriores relacionadas con Corea del Norte. Emerald Sleet se superpone con actores de amenazas rastreados por otros investigadores como Kimsuky y Velvet Chollima.
El uso de LLM por parte de Emerald Sleet ha sido en apoyo de esta actividad e implicó la investigación de grupos de expertos y expertos en Corea del Norte, así como la generación de contenido que probablemente se utilizará en campañas de spear-phishing. Emerald Sleet también interactuó con los LLM para comprender las vulnerabilidades conocidas públicamente, solucionar problemas técnicos y obtener ayuda con el uso de diversas tecnologías web. Con base en estas observaciones, mapeamos y clasificamos estos TTP utilizando las siguientes descripciones:
- Investigación de vulnerabilidades asistida por LLM: interacción con LLM para comprender mejor las vulnerabilidades notificadas públicamente, como la vulnerabilidad CVE-2022-30190 de la herramienta de diagnóstico de soporte técnico de Microsoft (MSDT, por sus siglas en inglés) (conocida como «Follina»).
- Técnicas de scripting mejoradas por LLM: Uso de LLM para tareas básicas de scripting, como la identificación mediante programación de determinados eventos de usuario en un sistema y la búsqueda de ayuda para la resolución de problemas y la comprensión de diversas tecnologías web.
- Ingeniería social respaldada por LLM: Uso de LLM para ayudar con la redacción y generación de contenido que probablemente se utilizaría en campañas de spear-phishing contra personas con experiencia regional.
- Reconocimiento informado por LLM: Interactuar con los LLM para identificar grupos de expertos, organizaciones gubernamentales o expertos en Corea del Norte que se centren en cuestiones de defensa o en el programa de armas nucleares de Corea del Norte.
Se han desactivado todas las cuentas y activos asociados a Emerald Sleet.
Crimson Sandstorm
Crimson Sandstorm (CURIUM) es un actor de amenazas iraní que se considera que está conectado con el Cuerpo de la Guardia Revolucionaria Islámica (IRGC, por sus siglas en inglés). Activo desde al menos 2017, Crimson Sandstorm se ha dirigido a múltiples sectores, incluidos la defensa, el transporte marítimo, el transporte, la atención médica y la tecnología. Estas operaciones se han basado con frecuencia en ataques de abrevadero e ingeniería social para entregar malware .NET personalizado. Investigaciones anteriores también identificaron malware personalizado Crimson Sandstorm utilizando canales de comando y control (C2) basados en correo electrónico. Crimson Sandstorm se superpone con el actor de amenazas rastreado por otros investigadores como Carey, Imperial Kitten y Yellow Liderc.
El uso de LLM por parte de Crimson Sandstorm ha reflejado los comportamientos más amplios que la comunidad de seguridad ha observado de este actor de amenazas. Las interacciones han implicado solicitudes de soporte técnico en torno a la ingeniería social, asistencia en la solución de errores, desarrollo de .NET y formas en que un atacante podría evadir la detección cuando se encuentra en una máquina comprometida. Con base en estas observaciones, mapeamos y clasificamos estos TTP utilizando las siguientes descripciones:
- Ingeniería social respaldada por LLM: Interactuar con LLM para generar varios correos electrónicos de phishing, incluido uno que simula provenir de una agencia de desarrollo internacional y otro que intenta atraer a feministas prominentes a un sitio web creado por un atacante sobre feminismo.
- Técnicas de scripting mejoradas por LLM: uso de LLM para generar fragmentos de código que parecen destinados a respaldar el desarrollo web y de aplicaciones, las interacciones con servidores remotos, el raspado web, la ejecución de tareas cuando los usuarios inician sesión y el envío de información desde un sistema por correo electrónico.
- Evasión de detección de anomalías mejorada por LLM: intentar usar LLM para obtener ayuda en el desarrollo de código para evadir la detección, para aprender a deshabilitar el antivirus a través del Registro o las directivas de Windows, y para eliminar archivos en un directorio después de que se haya cerrado una aplicación.
Se han desactivado todas las cuentas y activos asociados a Crimson Sandstorm.
Charcoal Typhoon
Charcoal Typhoon (CHROMIUM) es un actor de amenazas afiliado al estado chino con un amplio alcance operativo. Son conocidos por apuntar a sectores que incluyen el gobierno, la educación superior, la infraestructura de comunicaciones, el petróleo y el gas, y la tecnología de la información. Sus actividades se han centrado principalmente en entidades dentro de Taiwán, Tailandia, Mongolia, Malasia, Francia y Nepal, con intereses observados que se extienden a instituciones e individuos de todo el mundo que se oponen a las políticas de China. Charcoal Typhoon se superpone con el actor de amenazas rastreado por otros investigadores como Aquatic Panda, ControlX, RedHotel y BRONZE UNIVERSITY.
En operaciones recientes, se ha observado que Charcoal Typhoon interactúa con los LLM de maneras que sugieren una exploración limitada de cómo los LLM pueden aumentar sus operaciones técnicas. Esto ha consistido en el uso de LLM para respaldar el desarrollo de herramientas, la creación de scripts, la comprensión de varias herramientas de ciberseguridad básicas y para generar contenido que podría usarse para objetivos de ingeniería social. Con base en estas observaciones, mapeamos y clasificamos estos TTP utilizando las siguientes descripciones:
- Reconocimiento informado por LLM: Involucrar a los LLM para investigar y comprender tecnologías, plataformas y vulnerabilidades específicas, lo que indica las etapas preliminares de recopilación de información.
- Técnicas de scripting mejoradas por LLM: Utilización de LLM para generar y refinar scripts, potencialmente para agilizar y automatizar tareas y operaciones cibernéticas complejas.
- Ingeniería social respaldada por LLM: Aprovechar los LLM para ayudar con las traducciones y la comunicación, probablemente para establecer conexiones o manipular objetivos.
- Técnicas de comando operacional refinadas por LLM: Utilización de LLM para comandos avanzados, acceso más profundo al sistema y control representativo del comportamiento posterior al compromiso.
Todas las cuentas y activos asociados a Charcoal Typhoon han sido desactivados, lo que reafirma nuestro compromiso de protegernos contra el uso indebido de las tecnologías de IA.
Salmon Typhoon
Salmon Typhoon (SODIUM) es un sofisticado actor de amenazas afiliado al estado chino con un historial de ataques a contratistas de defensa, agencias gubernamentales y entidades de EE. UU. dentro del sector de la tecnología criptográfica. Este actor de amenazas ha demostrado sus capacidades a través de la implementación de malware, como Win32/Wkysol, para mantener el acceso remoto a los sistemas comprometidos. Con más de una década de operaciones marcadas por períodos intermitentes de inactividad y resurgimiento, Salmon Typhoon ha mostrado recientemente una actividad renovada. Salmon Typhoon se superpone con el actor de amenazas rastreado por otros investigadores como APT4 y Maverick Panda.
En particular, las interacciones de Salmon Typhoon con los LLM a lo largo de 2023 parecen exploratorias y sugieren que este actor de amenazas está evaluando la eficacia de los LLM en la obtención de información sobre temas potencialmente sensibles, personas de alto perfil, geopolítica regional, influencia de EE. UU. y asuntos internos. Este compromiso tentativo con los LLM podría reflejar tanto una ampliación de su conjunto de herramientas de recopilación de inteligencia como una fase experimental en la evaluación de las capacidades de las tecnologías emergentes.
Con base en estas observaciones, mapeamos y clasificamos estos TTP utilizando las siguientes descripciones:
- Reconocimiento informado por LLM: Involucrar a los LLM para consultas sobre una amplia gama de temas, como agencias de inteligencia globales, preocupaciones nacionales, personas notables, asuntos de ciberseguridad, temas de interés estratégico y varios actores de amenazas. Estas interacciones reflejan el uso de un motor de búsqueda para la investigación de dominio público.
- Técnicas de scripting mejoradas por LLM: Uso de LLM para identificar y resolver errores de codificación. Microsoft observó solicitudes de apoyo para desarrollar código con posibles intenciones maliciosas, y se observó que el modelo se adhería a las directrices éticas establecidas, por lo que se negaba a proporcionar dicha asistencia.
- Técnicas de comando operacional refinadas por LLM: Demostrar un interés en tipos de archivos específicos y tácticas de ocultación dentro de los sistemas operativos, lo que indica un esfuerzo por refinar la ejecución de comandos operativos.
- Traducción técnica y explicación asistida por LLM: Aprovechamiento de los LLM para la traducción de términos informáticos y documentos técnicos.
El compromiso de Salmon Typhoon con los LLM se alinea con los patrones observados por Microsoft, reflejando los comportamientos tradicionales en un nuevo ámbito tecnológico. En respuesta, todas las cuentas y activos asociados con Salmon Typhoon han sido desactivados.
Para concluir, las tecnologías de IA seguirán evolucionando y serán estudiadas por diversos actores de amenazas. Microsoft continuará rastreando a los actores de amenazas y la actividad maliciosa que hace un mal uso de los LLM, y trabajará con OpenAI y otros socios para compartir inteligencia, mejorar las protecciones para los clientes y ayudar a la comunidad de seguridad en general.
Apéndice: TTPs con temática de LLM
Utilizando los conocimientos de nuestro análisis anterior, así como otros posibles usos indebidos de la IA, compartimos la siguiente lista de TTP con temática de LLM que asignamos y clasificamos en el marco MITRE ATT&CK® o en la base de conocimientos de MITRE ATLAS™ para equipar a la comunidad con una taxonomía común para rastrear colectivamente el uso malicioso de los LLM y crear contramedidas contra:
- Reconocimiento informado por LLM: Empleo de LLM para recopilar inteligencia procesable sobre tecnologías y vulnerabilidades potenciales.
- Técnicas de secuencias de comandos mejoradas por LLM: Utilización de LLM para generar o refinar secuencias de comandos que podrían usarse en ataques cibernéticos, o para tareas básicas de secuencias de comandos, como la identificación mediante programación de ciertos eventos de usuario en un sistema y la asistencia con la resolución de problemas y la comprensión de varias tecnologías web.
- Desarrollo asistido por LLM: Utilización de LLM en el ciclo de vida de desarrollo de herramientas y programas, incluidos aquellos con intenciones maliciosas, como el malware.
- Ingeniería social respaldada por LLM: Aprovechar los LLM para ayudar con las traducciones y la comunicación, probablemente para establecer conexiones o manipular objetivos.
- Investigación de vulnerabilidades asistida por LLM: Uso de LLM para comprender e identificar posibles vulnerabilidades en software y sistemas, que podrían ser objeto de explotación.
- Elaboración de cargas útiles optimizadas para LLM: uso de LLM para ayudar a crear y refinar cargas útiles para su implementación en ciberataques.
- Evasión de detección de anomalías mejorada por LLM: aprovechar los LLM para desarrollar métodos que ayuden a que las actividades maliciosas se mezclen con el comportamiento normal o el tráfico para evadir los sistemas de detección.
- Omisión de funciones de seguridad dirigidas por LLM: uso de LLM para encontrar formas de eludir las funciones de seguridad, como la autenticación de dos factores, CAPTCHA u otros controles de acceso.
- Desarrollo de recursos asesorado por LLM: Uso de LLM en el desarrollo de herramientas, modificaciones de herramientas y planificación operativa estratégica.