Por Hayete Gallot, vicepresidenta ejecutiva de Microsoft Security
En los últimos meses han surgido preocupaciones en torno a la seguridad de la IA, a medida que se han dado a conocer públicamente un número creciente de incidentes. Estos casos han puesto de manifiesto hasta qué punto han evolucionado los modelos avanzados y cómo pueden convertirse en una amenaza significativa si no se gestionan adecuadamente. Además, en un contexto de carrera global por la innovación, este desafío no hará más que intensificarse a medida que los modelos sigan ganando capacidad y sofisticación.
Aunque gran parte de la atención se ha centrado en los actores maliciosos que podrían utilizar estos modelos avanzados para llevar a cabo ataques, se ha prestado menos atención a los agentes que operan dentro de nuestras propias organizaciones. Al fin y al cabo, hemos sido nosotros quienes hemos desplegado esos agentes en nuestras empresas y, de forma implícita, hemos depositado nuestra confianza en ellos.
Sin embargo, los modelos de frontera –frontier models-, independientemente de quién los haya desarrollado, no pueden considerarse totalmente fiables. Y no porque los modelos sean intrínsecamente maliciosos. El problema es que han sido entrenados para lograr determinados resultados, lo que a hace que busquen atajos para maximizar recompensas o cumplir objetivos. Además, no están optimizados para ajustarse a las normas, criterios de juicio o valores propios de una organización.
Los agentes son, por naturaleza, impredecibles. Se adaptan a medida que cambia el contexto, pueden actuar de formas distintas a las previstas y son capaces de cooperar e incluso coordinarse con otros agentes para alcanzar sus objetivos, sin necesidad de que hayan sido comprometidos o manipulados por un atacante externo.
Los agentes han irrumpido en las empresas a gran escala y su número crece rápidamente. Con frecuencia, cuentan con más privilegios de los necesarios, tienen acceso a datos, herramientas y sistemas, y pueden ejecutar acciones y tomar decisiones en procesos críticos. Se han convertido en un participante activo dentro de la organización.
Son los nuevos agentes internos autónomos o Agentic insiders.
La monitorización y la protección de estos agentes deben convertirse en una actividad continua. Necesitamos comprender en tiempo real qué están haciendo, qué riesgos generan sus acciones y ajustar en consecuencia su capacidad de actuación.
Para gestionar y controlar a estos agentes internos autónomos, necesitaremos Guardian Agents (agentes guardianes), un término ya consolidado en la industria, que supervisen y moderen cada acción de cada agente antes de que se produzca, las 24 horas del día, los 7 días de la semana.
Un agente combina un modelo, una capa de orquestación que coordina su trabajo, un conjunto de herramientas y recursos sobre los que puede actuar, y un entorno de ejecución en el que opera. Proteger estos agentes requiere aplicar controles de seguridad en múltiples capas: identidad, permisos, datos, dispositivos, red, nube y entorno de ejecución.
En julio anunciamos Perception, un sistema de seguridad agentiva que aprovecha nuestra nueva plataforma de ciberseguridad y equipos de agentes red, blue y green para ayudar a los equipos de Seguridad a actuar con mayor rapidez, al tiempo que protege a las organizaciones frente a ataques impulsados por IA procedentes del exterior de la empresa.
La misma plataforma de ciberseguridad también puede aplicarse directamente a la gestión, supervisión y gobernanza de los agentes internos autónomos que operan dentro de la empresa.
Perception puede utilizarse para contener y controlar a estos agentes internos autónomos, aplicando controles deterministas sobre una inteligencia no determinista:
- Sensores, señales y mecanismos de actuación: reunir las señales procedentes de los distintos sensores (identidad, datos, nube, dispositivos, red y entorno de ejecución) para identificar todos los agentes presentes en la organización y gestionarlos mediante la asignación de una identidad, un contenedor y un conjunto de políticas y permisos.
- Contexto: utilizar esas señales para evaluar de forma dinámica el nivel de riesgo asociado a las actividades que los agentes pretenden realizar.
- Orquestación, agentes y modelos: a partir de la evaluación dinámica del riesgo de cada agente, un equipo de Guardian Agents, formado por agentes green y blue, supervisa de manera continua todas sus acciones e interviene de forma selectiva y precisa cuando su nivel de riesgo aumenta, en tiempo real.
Aquí es donde la seguridad agéntica cambia las reglas del juego para los profesionales de la ciberseguridad.
Perception puede supervisar las operaciones en tiempo real, al tiempo que proporciona la trazabilidad necesaria para que los profesionales analicen lo sucedido, comprendan por qué ha surgido un riesgo y apliquen el criterio necesario para adaptar en consecuencia sus sistemas de seguridad. La seguridad agéntica aporta velocidad. Los profesionales aportan criterio. Así es como los equipos de defensa pueden empezar a operar a la misma velocidad que los sistemas frente a los que necesitan protegerse.
Hoy, los sistemas de seguridad ya pueden observar de forma fiable las acciones de los agentes. Esas señales son esenciales, ya que nos indican qué debemos contener. Sin embargo, nuestros controles de seguridad deben ser cada vez más capaces de responder no solo a la pregunta “¿qué está ocurriendo?”, sino también a “¿por qué está ocurriendo?” y “¿es coherente con la intención de la tarea?”.
Para ello será necesaria una mayor transparencia sobre el propio modelo: no solo sobre los tokens de entrada y salida, sino también sobre su razonamiento y los tokens de la cadena de pensamiento (chain of thought). Solo así podremos comprender realmente si la intención del modelo está alineada con el propósito del agente.
Esa transparencia del modelo no sustituirá a los mecanismos de contención, sino que hará que sea más inteligente y sólida. También nos permitirá mejorar el reporte de resultados y la trazabilidad.
Este debe ser el siguiente paso en la protección de los agentes internos autónomos -insider agents- que operan dentro de las organizaciones.
Con Perception, ya es posible iniciar hoy el camino hacia la protección de los agentes internos autónomos que operan en su organización. No debería existir una disyuntiva entre innovación y seguridad.
Hayete Gallot dirige en Microsoft las iniciativas destinadas a ayudar a las organizaciones a operar de forma segura en un entorno impulsado por la inteligencia artificial. Entre sus áreas de responsabilidad se incluyen la identidad, la protección frente a amenazas, el cumplimiento normativo y la seguridad de los datos a escala global.