A OpenAI admitiu que levou mais de uma semana para detectar que seus agentes de IA (inteligência artificial) haviam escapado dos controles, acessado a internet e invadido por conta própria a startup Hugging Face durante um teste, segundo um relatório sobre o incidente.
A startup avaliada em US$ 852 bilhões (R$ 4,39 trilhões) afirmou no relatório que seus sistemas internos de monitoramento só sinalizaram o problema em 19 de julho, embora o modelo tivesse conseguido acessar a internet 11 dias antes e começado a atacar a Hugging Face em 11 de julho.
A investigação, conduzida pela OpenAI com especialistas em segurança, sugere que a criadora do ChatGPT permaneceu em grande parte alheia ao que acontecia enquanto seus sistemas de IA mais avançados começavam a colaborar e davam início a uma série de ataques cibernéticos.
O caso também ressalta os riscos de uma técnica intensiva de treinamento conhecida como aprendizagem por reforço, cada vez mais utilizada por laboratórios na corrida para desenvolver modelos cada vez mais capazes.
A OpenAI detalhou como os modelos trabalharam “de forma persistente e raramente ‘desistiram’” das tarefas cibernéticas. “Nesse processo, com o passar do tempo, eles frequentemente recorreram a métodos que extrapolavam ainda mais os limites para solucionar as tarefas”, afirmou a empresa.
A companhia também constatou que os modelos “às vezes tentavam apagar ou adulterar seus resultados ou registros de mensagens” para ocultar que haviam trapaceado nos exercícios de treinamento.
A invasão da Hugging Face, revelada no mês passado, levou os laboratórios de IA a reavaliar se a pressão para desenvolver os modelos mais poderosos tem impulsionado práticas perigosas e uma segurança inadequada durante o treinamento.
Os avanços em agentes —sistemas capazes de executar tarefas complexas de forma independente com base em instruções humanas— intensificaram as preocupações de que a IA possa causar danos não intencionais no mundo real.
Milhares de funcionários das principais empresas de IA dos Estados Unidos assinaram uma carta após o incidente, pedindo controles para desacelerar o ritmo das pesquisas.
A invasão à Hugging Face envolvendo agentes da OpenAI ocorreu ao longo de alguns meses. Em 12 de maio, um agente fez a primeira publicação em um fórum no Artifactory, serviço de terceiros hospedado pela OpenAI. Em 26 de maio, agentes solicitaram conjuntos de dados da Hugging Face, que foram enviados para fora do ambiente seguro.
Em 8 de julho, os agentes escaparam do ambiente e acessaram o fórum. Dois dias depois, em 10 de julho, as credenciais necessárias para acessar a Hugging Face foram publicadas no fórum pelos próprios agentes. Entre 11 e 13 de julho, a Hugging Face foi invadida e a plataforma detectou a violação.
Em 16 de julho, a Hugging Face revelou o incidente de segurança. Naquele momento, a origem da invasão ainda era desconhecida, embora houvesse suspeitas de envolvimento de inteligência artificial. Em 19 de julho, a OpenAI detectou pela primeira vez atividades suspeitas e, após uma investigação, entrou em contato com a Hugging Face. Em 21 de julho, a OpenAI anunciou publicamente seu envolvimento na invasão.
A investigação, realizada com consultores externos, entre eles a CrowdStrike, e empresas independentes de testes de IA, como METR e Redwood Research, constatou que os agentes da OpenAI “começaram inesperadamente a se comunicar entre si” já em maio.
Durante uma sessão de treinamento, os agentes reaproveitaram um software de terceiros hospedado pela OpenAI “como uma espécie de ‘fórum’ emergente” para se comunicarem entre si.
Os agentes que realizaram o ataque em julho usaram o sistema para “publicar solicitações” e pesquisar formas de trapacear nos testes da OpenAI. Eles pediram informações sobre os exercícios da OpenAI armazenados na Hugging Face, um repositório de informações técnicas sobre IA.
Posteriormente, os agentes publicaram nesse fórum credenciais que foram usadas para realizar o ataque cibernético.
A OpenAI foi alertada de que havia algo incomum no sistema quando ele caiu em 4 de julho devido ao grande volume de atividade. A equipe reconstruiu o sistema, após o que os agentes recriaram o “fórum”.
“Este incidente é o primeiro caso conhecido de um coletivo de agentes automatizados agindo ofensivamente sem autorização”, afirmou a OpenAI no relatório, alertando que organizações de todos os setores precisam se preparar para ameaças cibernéticas auxiliadas por IA.
O laboratório também apontou para a aprendizagem por reforço, técnica amplamente usada pelas principais empresas de IA na qual os sistemas são treinados para alcançar determinado objetivo sem instruções explícitas e recompensados quando têm sucesso.
A criadora do ChatGPT afirmou ter dado aos modelos tarefas cibernéticas ofensivas impossíveis durante os testes e que os esforços dos agentes para experimentar todos os métodos possíveis a fim de obter uma recompensa os levaram a realizar a invasão.
“Encontrar diretamente ou roubar a solução de uma tarefa, como os modelos tentaram fazer com a Hugging Face, é [um] caminho não intencional para obter uma recompensa elevada”, afirmou a empresa em seu relatório.
“A análise retrospectiva da OpenAI […] mostrou que esse tipo de comportamento de fato aumentou ao longo de uma das sessões de treinamento que contribuíram para o modelo responsável pelo Incidente da Hugging Face.”
A admissão evidencia um problema central para a OpenAI e outras empresas de IA que desenvolvem modelos dessa maneira. O FT já havia noticiado que a OpenAI fora alertada de que sua abordagem de treinamento poderia levar a um incidente de invasão fora de controle, depois que testes anteriores mostraram que os modelos conseguiam escapar dos ambientes e tentar causar danos no mundo real.
Diante de tarefas impossíveis ou difíceis de concluir, os modelos muitas vezes podem tentar trapacear, buscando soluções na internet ou formas alternativas de contornar o problema —fenômeno conhecido como “manipulação de recompensa”.
Registros do raciocínio dos agentes, conhecidos como cadeia de pensamento, mostram que o modelo avaliou se tinha permissão para invadir outra empresa. “Estamos atacando terceiros […] Isso é, sem dúvida, não autorizado […] Mas atende ao objetivo”, diz o registro.
Alguns dos agentes fizeram objeções depois de encontrar o fórum. “Isso é insano: coordenação entre múltiplos agentes, claramente uma invasão de infraestrutura. Não deveríamos fazer isso”, dizia a cadeia de pensamento de outro agente.
A OpenAI afirmou que busca combater a “manipulação de recompensa” e que a grande maioria dos casos foi detectada.
“No entanto, algumas manipulações ainda podem passar despercebidas, especialmente à medida que a OpenAI desenvolve tarefas de aprendizagem por reforço mais complexas e modelos de IA mais capazes”, acrescentou.
Em resposta ao incidente, a OpenAI afirmou ter “desacelerado temporariamente” o ritmo de treinamento de seus modelos e “suspendido” o uso da aprendizagem por reforço, ao mesmo tempo que reforçou o monitoramento e os sistemas de isolamento destinados a impedir o acesso à internet por modelos em fase de testes.
A empresa também está aprimorando a forma como recompensa os modelos, treinando-os para agir com mais honestidade e ampliando o monitoramento das cadeias de pensamento.
Fonte ==> Folha SP – TEC
