Ir para o conteúdo
IdentitéTrust starts here
Português
EnglishEspañolPortuguês
Contato

Os agentes de IA chegam às empresas: sete erros que podem transformar a automação em um risco de segurança

Eusebio CoterilloEusebio Coterillo ·

Idioma do artigo original: en

Ilustração editorial para agentes de IA estão se movendo para a empresa: sete erros que podem transformar a automação em um risco de segurança.

A inteligência artificial está passando rapidamente de responder a perguntas para tomar medidas.

Essa distinção é enorme.

A IA generativa tradicional pode resumir um relatório, elaborar um e-mail ou analisar informações.

Os agentes de IA podem potencialmente fazer muito mais.

E, dependendo da autoridade que lhes é dada, tome decisões e tome ações com envolvimento humano limitado.

Um artigo recente do CIO, “Erros de 7 que os líderes de TI cometem ao implantar agentes de IA,” destaca uma realidade importante para os líderes empresariais: as organizações estão sob tremenda pressão para implantar agentes de IA e demonstrar valor comercial, mas mover-se muito rapidamente pode criar agentes desonestos, dívida de IA, problemas de conformidade e consequências operacionais.

A mensagem do artigo é simples.

Implantar agentes de IA com sucesso requer muito mais do que selecionar um modelo de IA e conectá-lo a sistemas corporativos.

As organizações precisam de governança, responsabilidade, dados confiáveis, acesso cuidadosamente controlado, monitoramento contínuo e uma estratégia para as pessoas cujos fluxos de trabalho serão afetados.

Há também outra questão que merece especial atenção.

Identidade.

Uma vez que o software pode agir de forma autônoma em nome de pessoas e organizações, as empresas devem determinar não apenas o que um agente de IA é capaz de fazer, mas também:

Essas perguntas colocam a identidade e a autenticação diretamente no centro da conversa de inteligência artificial.

AI Agents não são apenas mais uma aplicação

Um dos erros mais fáceis de cometer é tratar um agente de IA como um software empresarial convencional.

O software tradicional geralmente segue instruções predefinidas.

Dadas as mesmas entradas e condições, o software determinista deve produzir resultados previsíveis.

Os agentes de IA introduzem variabilidade.

Eles podem interpretar informações, selecionar ferramentas, determinar etapas intermediárias e tomar ações com base na mudança de contexto.

O CIO observa que os agentes podem ser não determinista e statefulMesmo uma série de ações permitidas individualmente podem potencialmente combinar em um resultado indesejável, incluindo transações não autorizadas ou exfiltração de dados.

Isso significa o modelo de segurança tradicional de:

Vamos examinar os sete erros identificados pelo CIO e o que eles significam para a segurança da empresa.

Erro 1: Usando agentes de IA quando a automação convencional funcionaria melhor

Nem todos os problemas de negócios precisam de AI.

Isso pode parecer óbvio, mas a excitação em torno dos agentes de IA pode incentivar as organizações a tratá-los como a solução padrão.

CIO aponta que os processos com insumos conhecidos, resultados previsíveis e requisitos de execução estabelecidos podem ser melhor atendidos por automação convencional, integrações ou sistemas preditivos. Os agentes podem introduzir custo adicional, latência e variabilidade em processos que já eram confiáveis.

Isso cria uma primeira pergunta importante:

Esse processo realmente requer julgamento?

Se a resposta for não, um agente de IA pode desnecessariamente aumentar a complexidade e o risco.

O objetivo não deve ser:

Implantar o maior número possível de agentes de IA.

Deve ser:

Use IA onde a IA cria valor comercial mensurável.

A segurança também se beneficia dessa disciplina.

Cada sistema autônomo adicional cria outra identidade, outra estrutura de permissão, outro conjunto de integrações e outra superfície de ataque em potencial que deve ser governada.

Erro 2: Dando Autoridade aos Agentes de IA Sem Responsabilidade

Esta pode ser uma das questões mais importantes que o CIO identifica.

Quem é o dono do AI Agent?

E mais importante:

Quem é responsável quando toma a decisão errada?

As organizações devem estabelecer uma governança antes do início da experimentação e determinar quando o aumento humano é obrigatório, quando os seres humanos devem permanecer no meio do processo e quando os agentes podem operar de forma autônoma.

Isso se torna ainda mais complicado com vários agentes.

Estas não são apenas questões de governança da IA.

São questões de identidade e autorização.

Os agentes da IA também precisam de identidades

Conceito editorial ilustrando que os agentes de IA estão se movendo para a empresa: sete erros que podem transformar a automação em um risco de segurança

Os seres humanos não são as únicas identidades que operam dentro das empresas modernas.

E esses agentes podem agir em nome das pessoas.

Isso significa que as organizações precisam distinguir entre vários conceitos diferentes:

Simplesmente dar credenciais de acesso a um agente não é suficiente.

A autenticação estabelece a identidade. A autorização estabelece o que essa identidade pode fazer.

A inteligência artificial faz com que ambos sejam dramaticamente mais importantes.

Erro 3: Construindo agentes em dados em que você não pode confiar

Os agentes de IA dependem muito das informações disponíveis para eles.

Se os dados subjacentes contiverem duplicatas, registros desatualizados, definições conflitantes ou informações imprecisas, um agente pode agir com confiança sobre dados ruins.

CIO faz este ponto particularmente bem: AI agentes podem amplificar os dados existentes e problemas de governança na velocidade da máquina. Dados de negócios confiáveis, contexto e governança, portanto, precisam se tornar pré-requisitos para IA agentical confiável.

Isso cria um princípio simples:

A automação não transforma dados ruins em bons dados.

Pode transformar dados ruins em decisões ruins mais rápidas.

Antes que as organizações concedam autonomia significativa aos agentes de IA, elas precisam de confiança nas informações que impulsionam essas decisões.

A proveniência de dados é importante.

A integridade dos dados é importante.

Permissões importam.

E a identidade de quem pode modificar esses dados também importa.

Erro 4: Dando aos agentes de IA muito acesso

É aqui que a IA antrópica se torna um problema significativo de segurança cibernética.

Especialistas humanos muitas vezes têm amplo acesso porque seus trabalhos exigem isso.

Isso não significa que um agente de IA que ajuda esses especialistas deve herdar as mesmas permissões.

CIO cita especialistas que recomendam pensar mais em agentes de IA contratados ou empregados não-reconhecidos As organizações devem definir exatamente quais agentes de informação podem acessar, com quais sistemas podem interagir e quais limites não podem atravessar.

Isto é clássico privilégio mínimo aplicado à IA.

Um agente de contabilidade não deve ter acesso automaticamente às informações de RH.

Um agente de recrutamento não deve ter acesso automaticamente aos sistemas financeiros.

Um agente de atendimento ao cliente não deve ter privilégios administrativos automaticamente.

E um agente que precisa de acesso de leitura não precisa necessariamente de acesso de escrita.

O princípio deve ser:

Dê ao agente a autoridade mínima necessária para executar sua tarefa atribuída.

Nada mais.

Um agente de IA nunca deve herdar autoridade humana ilimitada

Um agente de IA nunca deve herdar autoridade humana ilimitada, erro 5: testando agentes de IA como software tradicional, autenticação deve seguir a transação, erro 6: implantando agentes de IA sem uma estratégia de pessoas

Considere um executivo que tenha acesso a dezenas de aplicativos corporativos.

O executivo autoriza um agente de IA a ajudar a preparar relatórios financeiros.

O agente deve herdar automaticamente todas as permissões pertencentes a esse executivo?

Claro que não.

No entanto, as arquiteturas de agentes mal projetadas poderiam criar precisamente esse problema.

Isso se torna especialmente importante quando os agentes podem se comunicar com outros agentes.

Uma cadeia de permissões individualmente legítimas poderia potencialmente produzir um resultado que ninguém pretendia.

Erro 5: Testando agentes de IA como software tradicional

Os testes de software tradicionais muitas vezes assumem que o comportamento pode ser avaliado antes da implantação e que o software de produção continuará se comportando de acordo com essas regras testadas.

Os agentes da IA desafiam essa suposição.

O CIO observa que os ambientes de produção podem introduzir diferentes dados, contextos e sequências de chamada de ferramentas do que aqueles encontrados durante os testes de pré-implantação. O artigo recomenda, portanto, combinar testes com monitoramento contínuo e aplicação em tempo de execução.

Um especialista citado pelo CIO recomenda vários controles particularmente úteis:

E- interruptor matar capaz de suspender um agente rapidamente.

E- baseline comportamental definição de atividade normal.

E- processo de revisão pós-incidente depois de quase erros.

E a processo de feedback para melhorar os controles.

Esses conceitos devem parecer familiares aos profissionais de segurança cibernética.

Eles se assemelham aos controles que já usamos para proteger as identidades humanas.

Autenticação deve seguir a transação

Isso levanta outra questão importante.

Suponha que um agente de IA tenha permissão para comprar suprimentos de escritório de rotina.

Uma transação normal pode ser:

$300 de um fornecedor aprovado.

Mas um dia o agente tenta:

$300,000 para um destinatário previamente desconhecido.

O fato de o agente ter sido autenticado deve permitir que a transação prossiga automaticamente?

Provavelmente não.

A transação em si mudou o contexto de risco.

Uma arquitetura de segurança madura pode exigir autorização adicional.

Por exemplo:

Transação de solicitações de agente ⁇ Risco avaliado ⁇ Autorização humana necessária ⁇ Autentifica fortemente ⁇ Propinas da transação

É aqui que a autenticação se torna parte da governança do agente, em vez de apenas uma função de login do funcionário.

Erro 6: Implantando agentes de IA sem uma estratégia de pessoas

Erro de conexão visual de rede 6: Implantando agentes de IA sem uma estratégia de pessoas, Humano no Loop só é útil se você sabe em qual humano está, Erro 7: Tratando a implantação como a linha de chegada, A questão de segurança por trás de todos os sete erros

A implantação de IA não é apenas um projeto de tecnologia.

Isso muda a forma como as pessoas trabalham.

O CIO enfatiza a importância de determinar quando os agentes operam de forma independente e quando devem parar e envolver um humano. As organizações também precisam de programas de gerenciamento de mudanças que ajudem os funcionários a entender os fluxos de trabalho em evolução e aprender a gerenciar os agentes de IA de forma eficaz.

Isso leva a uma das perguntas mais importantes na IA agentical:

Quando a IA deve parar e perguntar a um ser humano?

A resposta irá variar de acordo com a organização e a indústria.

Mas a decisão deve ser tomada antes da implantaçãoNão após o primeiro incidente grave.

O ser humano no loop só é útil se você sabe qual humano está no loop

Há outra dimensão para a supervisão humana que recebe menos atenção.

Suponha que um agente de IA pare e solicite aprovação.

Alguém clica:

O pedido foi apresentado pelo sistema empresarial legítimo?

Essas perguntas movem a IA agentical diretamente para a conversa de autenticação.

Erro 7: Tratando a implantação como a linha de chegada

Implantar um agente de IA não é o fim do projeto.

É o início de sua vida operacional.

O CIO enfatiza que os agentes podem encontrar casos de borda e integrações confusas na produção que nunca apareceram durante pilotos cuidadosamente controlados. As organizações precisam, portanto, de um modelo operacional construído em torno da entrega contínua, medição, feedback e melhoria.

Isso significa que as organizações devem avaliar continuamente:

A governança do agente não pode ser um exercício de conformidade uma vez por ano.

A autonomia requer supervisão contínua.

A questão de segurança por trás dos sete erros

Embora os sete erros do CIO abordem diferentes aspectos da implantação da IA, eles convergem em torno de uma ideia comum:

E não confie automaticamente em um agente simplesmente porque ele foi previamente aprovado.

Esta é essencialmente uma filosofia de Zero Trust aplicada à IA agentical.

A confiança deve ser estabelecida de acordo com a identidade, autorização, contexto e risco.

AI Agents Crie uma nova camada de identidade

Visual explicativo específico do artigo para agentes de IA Criar uma nova camada de identidade

A Enterprise IAM já era complicada antes que os agentes de IA chegassem.

Agora imagine uma organização operando centenas ou milhares de agentes.

Isso cria uma categoria inteiramente nova de identidade de máquina.

O modelo de segurança, portanto, precisa se conectar:

Identidade Humana ⁇ Identidade do Agente ⁇ Autoridade Delegada ⁇ Transação

Se essa cadeia quebrar em qualquer lugar, a responsabilidade rompe com ela.

Por que a autenticação sem senha se torna mais importante

Os agentes de IA não eliminam a necessidade de autenticar pessoas.

Em muitos casos, eles tornam a autenticação humana ainda mais importante.

Quanto maior a autoridade concedida a um agente, mais importante se torna estabelecer a identidade do humano que:

As senhas tradicionais são inadequadas para manter esse nível de confiança.

Quando os agentes de IA podem potencialmente iniciar ações empresariais consequentes, as credenciais de administrador comprometidas tornam-se particularmente perigosas.

Autenticação sem senha Remove a senha reutilizável

A autenticação sem senha altera a equação eliminando a dependência de uma senha reutilizável.

Em vez disso, a autenticação pode combinar fatores como:

Algo que o usuário temcomo um dispositivo confiável.

e

Algo que o usuário é, como biometria verificada localmente.

Isso pode fornecer autenticação multifator forte sem exigir uma senha que pode ser pichada ou reutilizada.

Mas a abordagem do Identité vai além de simplesmente remover a senha.

Full Duplex Authentication® é particularmente relevante para a inteligência artificial

Cena editorial ilustrando Full Duplex Authentication® É Particularmente Relevante para a Inteligência Artificial

Os agentes de IA criam cadeias complexas de comunicação.

Um ser humano pode se comunicar com um agente.

O agente pode se comunicar com um aplicativo.

Esse aplicativo pode se comunicar com outro serviço.

Outro agente pode ser envolvido.

Eventualmente, uma ação de alto risco pode retornar ao ser humano para autorização.

Nesse ponto, a autenticação deve responder mais do que:

"Este é o usuário legítimo?"

Também deve ajudar a estabelecer:

"Este é o destino legítimo que pede autorização?"

Esse é o princípio por trás da patente do Identité Full Duplex Authentication®.

A autenticação tradicional autentica principalmente o usuário para o destino.

Full Duplex Authentication® estabelece Auten autenticação mútua.

O usuário estabelece legitimidade.

O destino legítimo estabelece legitimidade.

Ambos os lados participam da relação de autenticação.

Em um ambiente cheio de agentes automatizados, APIs e interações máquina-a-máquina, o princípio se torna cada vez mais importante:

A confiança não deve ser assumida simplesmente porque um pedido chegou de algo que parece legítimo.

A intenção importa quando a IA pede aprovação humana

Suponha que um agente envie a um executivo um pedido de autenticação que aprove uma transação de US $ 2 milhões.

Uma notificação genérica dizendo:

Aprovar?

não é contexto suficiente para uma decisão tão importante.

O Identité pode fornecer informações contextuais durante a autenticação e perguntar explicitamente:

"Você solicitou esta sessão de autenticação?"

Na mesma tela, Identité pode apresentar um imagem e número de verificação de três dígitos associada à interação de autenticação.

Isso ajuda a mover o usuário da aprovação reflexiva para a confirmação da intenção.

Isso se torna especialmente valioso em um ambiente agentic.

O ser humano não deve simplesmente autenticar.

Os humanos devem entender por que estão autenticando.

Biometria descentralizada reduz outro risco empresarial

Se a biometria for usada para autenticação humana forte, as organizações também devem considerar onde essa informação biométrica reside.

Identité utiliza a Arquitetura descentralizada em que a verificação biométrica ocorre no dispositivo confiável do usuário.

Os dados biométricos do usuário não precisam deixar esse dispositivo ou residir em um banco de dados biométrico centralizado Identité para correspondência.

A biometria permanece no dispositivo do usuário.

Isso reduz a necessidade de criar outro repositório centralizado de informações de identidade altamente sensíveis.

E ao contrário de uma senha, as características biométricas não podem simplesmente ser substituídas se comprometidas.

A arquitetura importa.

PasswordFree® para ambientes SaaS

Visual de viagem conectando PasswordFree® para ambientes SaaS, NoPass™ para implantações de AI corporativas, sete perguntas que os CIOs devem fazer antes de dar a um agente de IA Auth, a perspectiva Identité: os agentes de IA precisam de zero confiança também

Identité PasswordFree® é a nossa solução de autenticação sem senha SaaS.

PasswordFree® é projetado em torno de capacidades, incluindo:

Para as organizações que integram agentes de IA em fluxos de trabalho SaaS, a autenticação forte pode ajudar a estabelecer uma maior confiança nos seres humanos que autorizam ações sensíveis.

NoPass™ para implantações de AI corporativas

Para organizações que exigem maior controle de infraestrutura e integração empresarial, a Identité oferece NoPass™, nossa solução PaaS alimentada por Full Duplex Authentication® patenteado.

NoPass™ pode ser implantado no local ou na nuvem e apoia ambientes empresariais que envolvam:

Essa flexibilidade de implantação pode ser particularmente importante para bancos, organizações de saúde, agências governamentais e empresas altamente regulamentadas.

Os bancos, em particular, preferem frequentemente a implantação no local devido a preocupações com a colocação de informações confidenciais e de clientes em ambientes de nuvem.

O NoPass™ fornece às organizações a capacidade de manter um maior controle sobre a infraestrutura de autenticação ao implementar autenticação mútua e sem senha.

Sete perguntas que os CIOs devem fazer antes de conceder autoridade a um agente de IA

Com base nessas lições, os líderes empresariais devem ser capazes de responder a sete perguntas antes de mover um agente para a produção:

Se uma organização não pode responder com confiança a essas perguntas, o agente provavelmente não está pronto para a autonomia irrestrita.

A perspectiva Identité: os agentes de IA também precisam de confiança zero

Os agentes de IA podem se tornar uma das tecnologias empresariais mais transformadoras desde a computação em nuvem.

Eles podem automatizar enormes porções de trabalho de rotina, acelerar a tomada de decisões e permitir que as organizações operem em uma escala anteriormente impossível.

Mas a autonomia muda a equação de segurança.

O artigo do CIO enfatiza corretamente que a implantação bem-sucedida de agentes requer planejamento, propriedade, dados confiáveis, acesso limitado, testes contínuos, supervisão humana e gerenciamento do ciclo de vida.

Acrescentaríamos outro requisito:

A identidade forte deve estar sob a autoridade do agente.

Antes de um agente receber autoridade:

Quem o autorizou?

Antes de suas permissões mudarem:

Quem aprovou a mudança?

Antes de acessar a informações sensíveis:

Esse acesso é apropriado?

Antes de uma transação de alto risco executar:

Será que um ser humano precisa autorizar?

Quando a autorização humana é necessária:

É realmente a pessoa autorizada?

E antes que essa pessoa aprove o pedido:

O pedido vem do destino legítimo?

Com o Identité, a biometria pode ajudar a estabelecer:

"Eu sou o usuário autorizado."

O dispositivo de confiança participa no estabelecimento de:

"Este é o dispositivo autorizado."

A autenticação contextual pode perguntar:

"Eu pedi esta sessão de autenticação?"

A imagem e o número de três dígitos fornecem contexto adicional.

E endereços Full Duplex Authentication® patenteados:

"Este é o destino legítimo?"

Combine esses controles com o mínimo de privilégio, identidades de agentes, monitoramento comportamental, limiares de aprovação humana, interruptores de morte e governança contínua, e as organizações podem construir uma base muito mais forte para a IA agentical.

O objetivo não deve ser impedir que os agentes de IA atuem de forma autônoma.

O objetivo é garantir que a autonomia limites claramente definidos de identidade, autoridade e responsabilidade.

Porque a pergunta mais importante sobre um agente de IA não é:

"O que pode fazer?"

É:

"O que deveria ser permitido fazer, quem lhe deu essa autoridade, e como provamos isso?"