Arte digital com fundo azul-escuro. Ao centro, círculo abstrato formado por linhas em tons de azul. Sobreposto, texto em inglês: “Contain the AI Insider”.

Nos últimos meses, surgiram preocupações com a segurança da IA à medida que um número crescente de incidentes foi divulgado publicamente. Esses incidentes mostraram o quanto os modelos se tornaram poderosos e como representam uma ameaça significativa se não forem tratados de forma adequada. E, com a corrida global pela inovação, o desafio se intensificará à medida que os modelos se tornarem ainda mais poderosos.

Embora a maior parte das preocupações esteja concentrada no uso de modelos poderosos por agentes de ameaças para realizar ataques, o foco tem sido menor nos agentes dentro de nossas próprias organizações. Como fomos nós que implantamos agentes internamente em nossas empresas, depositamos neles uma confiança implícita.

Infelizmente, modelos de fronteira, independentemente de sua origem, não são confiáveis. Isso não acontece porque os modelos sejam inerentemente mal-intencionados. Os modelos foram treinados para alcançar resultados, o que muitas vezes leva a exploração de recompensas, e não são otimizados de acordo com as normas ou o julgamento das organizações. Os agentes são imprevisíveis. Eles se adaptam à medida que o contexto muda, podem não se comportar como esperado e colaboram e entram em conluio com outros agentes para alcançar seus objetivos, sem precisar ser comprometidos.

Os agentes foram liberados nas empresas, em escala, e seu número cresce rapidamente. Com frequência, esses agentes têm privilégios excessivos, acesso a dados, ferramentas e sistemas e podem agir e tomar decisões em processos críticos. Eles se tornaram participantes ativos nas empresas.

Eles são agentes internos agênticos.

O monitoramento e a proteção desses agentes precisam se tornar contínuos. Precisamos entender, em tempo real, o que os agentes estão fazendo e quais riscos essas ações geram, além de ajustar sua capacidade de agir de acordo com isso.

Para gerenciar e controlar esses agentes internos, precisaremos de Guardian Agents — um termo já estabelecido no setor — que observem e moderem cada ação de todos os agentes, antes que ela aconteça, 24 horas por dia, sete dias por semana.

Um agente reúne um modelo, um harness que orquestra seu trabalho, um espaço de ação composto por ferramentas e recursos e um runtime no qual ele é executado. Proteger agentes exige proteção em várias camadas: identidade, permissões, dados, endpoints, rede, nuvem e runtime.

Em julho, anunciamos o Project Perception, um sistema de segurança agêntico que usa nosso novo cyber stack e equipes de agentes vermelhos, azuis e verdes para ajudar os defensores a agir com rapidez, ao mesmo tempo em que se protegem contra ataques orientados por IA vindos de fora da empresa.

O mesmo cyber stack também se aplica diretamente ao gerenciamento e à governança dos agentes internos agênticos que operam na empresa.

O Project Perception pode ser usado para conter agentes internos agênticos, implementando controles determinísticos sobre inteligência não determinística:

  • Sensores/Sinais/Atuadores: reúnem sinais dos diversos sensores (identidade, dados, nuvem, endpoint, rede, runtime) para descobrir agentes na empresa e colocá-los sob gerenciamento, atribuindo-lhes uma identidade, um contêiner e um conjunto de políticas e permissões.
  • Contexto: usa esses sinais para calcular, de forma dinâmica, o risco associado ao que os agentes estão tentando fazer.
  • Harness/agentes/modelos: com base no risco dinâmico do agente, uma equipe de Guardian Agents, com agentes verdes e azuis, supervisiona ativa e continuamente cada ação de todos os agentes e responde de forma cirúrgica, em tempo real, à medida que o perfil de risco aumenta.

É aqui que a segurança agêntica muda a equação para os profissionais de segurança.

O Project Perception pode supervisionar em tempo real, ao mesmo tempo em que fornece rastreabilidade para que os profissionais examinem o que aconteceu, entendam por que o risco surgiu e apliquem o julgamento necessário para atualizar seu sistema de segurança de acordo. A segurança agêntica oferece rapidez. Os profissionais oferecem julgamento. É assim que os defensores começam a operar na mesma velocidade dos sistemas contra os quais estão se protegendo.

Hoje, os sistemas de segurança conseguem observar de forma confiável as ações dos agentes. Esses sinais são essenciais e nos mostram o que precisamos conter. Cada vez mais, nossos controles de segurança devem ser capazes de perguntar não apenas “O que está acontecendo?”, mas também “Por que isso está acontecendo? Isso está de acordo com a intenção da tarefa?”. Isso exigirá maior transparência sobre o próprio modelo — não apenas sobre os tokens de entrada e saída, mas também sobre os tokens de raciocínio e de cadeia de pensamento. Só então poderemos realmente entender se a intenção do modelo está alinhada ao propósito do agente. A transparência do modelo não substituirá a contenção. Ela tornará a contenção mais inteligente e forte. E nos permitirá embasar melhor a responsabilização e a rastreabilidade. Esse precisa ser o próximo passo para proteger os agentes internos agênticos.

Com o Project Perception, você pode começar hoje mesmo a jornada para proteger seus agentes internos agênticos. Não deveria ser necessário escolher entre inovação e segurança.

Hayete Gallot lidera o trabalho da Microsoft para ajudar organizações a operar com segurança em um mundo orientado por IA. Seu escopo inclui identidade, proteção contra ameaças, conformidade e segurança de dados em escala global.

Português (Brasil)
Ícone de recusa de opções de privacidade Suas opções de privacidade
Privacidade dos Dados de Saúde do Consumidor Entre em contato com a Microsoft Privacidade Gerenciar cookies Ética e Compliance Nota Legal Marcas Sobre os nossos anúncios