João Freitas é GM e VP de engenharia de IA e automação da PagerDuty
À medida que a utilização da IA continua a evoluir nas grandes organizações, os líderes procuram cada vez mais o próximo desenvolvimento que irá gerar um maior ROI. A última onda desta tendência contínua é a adoção de agentes de IA. No entanto, como acontece com qualquer nova tecnologia, as organizações devem garantir a adoção de agentes de IA de uma forma responsável que lhes permita facilitar a velocidade e a segurança.
Mais de metade das organizações já implantaram agentes de IA, até certo ponto, e mais esperam seguir o exemplo nos próximos dois anos. Mas muitos dos primeiros adoptantes estão agora a reavaliar a sua abordagem. Quatro em cada 10 líderes tecnológicos lamentam não ter estabelecido uma base de governação mais forte desde o início, o que sugere que adoptaram a IA rapidamente, mas com margem para melhorar as políticas, regras e melhores práticas concebidas para garantir o desenvolvimento e utilização responsáveis, éticos e legais da IA.
À medida que a adoção da IA acelera, as organizações devem encontrar o equilíbrio certo entre o risco de exposição e a implementação de proteções para garantir que o uso da IA seja seguro.
Onde os agentes de IA criam riscos potenciais?
Existem três áreas principais a considerar para uma adoção mais segura da IA.
A primeira é a Shadow AI, quando os funcionários usam ferramentas de IA não autorizadas sem permissão expressa, ignorando ferramentas e processos aprovados. A TI deve criar os processos necessários de experimentação e inovação para introduzir formas mais eficientes de trabalhar com IA. Embora a IA sombra exista desde que as próprias ferramentas de IA, a autonomia dos agentes de IA torna mais fácil a operação de ferramentas não sancionadas fora do alcance da TI, o que pode introduzir novos riscos de segurança.
Em segundo lugar, as organizações devem colmatar lacunas na propriedade e responsabilização da IA para se prepararem para incidentes ou processos que correm mal. A força dos agentes de IA reside na sua autonomia. No entanto, se os agentes agirem de forma inesperada, as equipes deverão ser capazes de determinar quem é responsável por resolver quaisquer problemas.
O terceiro risco surge quando há falta de explicação para as ações tomadas pelos agentes de IA. Os agentes de IA são orientados para objetivos, mas a forma como os atingem pode não ser clara. Os agentes de IA devem ter uma lógica explicável subjacente às suas ações para que os engenheiros possam rastrear e, se necessário, reverter ações que possam causar problemas nos sistemas existentes.
Embora nenhum destes riscos deva atrasar a adoção, eles ajudarão as organizações a garantir melhor a sua segurança.
As três diretrizes para a adoção responsável de agentes de IA
Depois que as organizações identificarem os riscos que os agentes de IA podem representar, elas deverão implementar diretrizes e proteções para garantir o uso seguro. Seguindo estas três etapas, as organizações podem minimizar esses riscos.
1: Tornar a supervisão humana o padrão
A agência de IA continua a evoluir em ritmo acelerado. No entanto, ainda precisamos de supervisão humana quando é dada aos agentes de IA a capacidade de agir, tomar decisões e perseguir um objetivo que possa impactar os principais sistemas. Um ser humano deve estar informado por padrão, especialmente para casos de uso e sistemas críticos para os negócios. As equipes que utilizam IA devem compreender as ações que podem ser tomadas e onde podem precisar intervir. Comece de forma conservadora e, com o tempo, aumente o nível de agência dado aos agentes de IA.
Em conjunto, as equipas de operações, engenheiros e profissionais de segurança devem compreender o papel que desempenham na supervisão dos fluxos de trabalho dos agentes de IA. Cada agente deve receber um proprietário humano específico para supervisão e responsabilização claramente definidas. As organizações também devem permitir que qualquer ser humano sinalize ou ignore o comportamento de um agente de IA quando uma ação tiver um resultado negativo.
Ao considerar tarefas para agentes de IA, as organizações devem compreender que, embora a automação tradicional seja boa para lidar com processos repetitivos e baseados em regras com entradas de dados estruturados, os agentes de IA podem lidar com tarefas muito mais complexas e adaptar-se a novas informações de uma forma mais autónoma. Isso os torna uma solução atraente para todos os tipos de tarefas. Mas à medida que os agentes de IA são implementados, as organizações devem controlar as ações que os agentes podem realizar, especialmente nas fases iniciais de um projeto. Assim, as equipas que trabalham com agentes de IA devem ter caminhos de aprovação para ações de alto impacto, para garantir que o âmbito do agente não se estende além dos casos de utilização esperados, minimizando o risco para o sistema mais amplo.
2: Asse com segurança
A introdução de novas ferramentas não deve expor um sistema a novos riscos de segurança.
As organizações devem considerar plataformas de agentes que cumpram elevados padrões de segurança e sejam validadas por certificações de nível empresarial, como SOC2, FedRAMP ou equivalente. Além disso, os agentes de IA não devem ter rédea solta nos sistemas de uma organização. No mínimo, as permissões e o escopo de segurança de um agente de IA devem estar alinhados com o escopo do proprietário, e quaisquer ferramentas adicionadas ao agente não devem permitir permissões estendidas. Limitar o acesso do agente de IA a um sistema com base em sua função também garantirá que a implantação ocorra sem problemas. Manter registros completos de cada ação realizada por um agente de IA também pode ajudar os engenheiros a entender o que aconteceu no caso de um incidente e rastrear o problema.
3: Torne os resultados explicáveis
O uso da IA em uma organização nunca deve ser uma caixa preta. O raciocínio por trás de qualquer ação deve ser ilustrado para que qualquer engenheiro que tente acessá-la possa compreender o contexto que o agente utilizou para a tomada de decisão e acessar os rastros que levaram a essas ações.
EUAs entradas e saídas para cada ação devem ser registradas e acessíveis. Isso ajudará as organizações a estabelecer uma visão geral sólida da lógica subjacente às ações de um agente de IA, proporcionando um valor significativo caso algo dê errado.
Segurança ressalta o sucesso dos agentes de IA
Os agentes de IA oferecem uma enorme oportunidade para as organizações acelerarem e melhorarem os seus processos existentes. No entanto, se não derem prioridade à segurança e a uma governação forte, poderão expor-se a novos riscos.
À medida que os agentes de IA se tornam mais comuns, as organizações devem garantir que dispõem de sistemas para medir o seu desempenho e a capacidade de agir quando criam problemas.
Leia mais do nosso escritores convidados. Ou considere enviar sua própria postagem! Veja nosso diretrizes aqui.
Fonte ==> Cyberseo
