Agentes da OpenAI teriam criado fórum secreto na Alemanha para coordenar atividades

Um enxame de agentes rebeldes da OpenAI invadiu um site alemão este ano e o transformou em um fórum para outros agentes de IA, segundo uma publicação divulgada nesta sexta-feira e também duas pessoas a par do assunto.

Funcionários da OpenAI tomaram conhecimento do incidente há semanas, mas mantiveram o caso em segredo enquanto os executivos lidavam com as consequências da violação ocorrida em julho no repositório de código aberto Hugging Face, afirmaram as pessoas ouvidas pela reportagem.

O episódio, que começou em maio, ressalta a crescente tensão no setor de IA. As empresas estão correndo para desenvolver agentes cada vez mais autônomos, capazes de realizarem tarefas complexas; no entanto, há cada vez mais evidências de que esses sistemas também podem aprender a contornar regras, explorar brechas e se coordenar entre si de maneiras que os desenvolvedores não previram nem pretendiam.

Durante a violação da Hugging Face, agentes da OpenAI planejaram autonomamente um "roubo" digital que passou despercebido por mais de uma semana, intensificando as preocupações de que a OpenAI esteja sacrificando a segurança para expandir os limites da IA. O fato de não ter divulgado o incidente de maio pode reacender questionamentos sobre a empresa.

A OpenAI se comprometeu a monitorar os modelos mais de perto. No mês passado, a companhia suspendeu temporariamente parte do treinamento de seus modelos para adicionar medidas de segurança. Mas, nesta semana, a OpenAI revelou o Astra, que promete melhor desempenho, mas pode escapar ao monitoramento humano.

"Não podemos responder de forma significativa a alegações ou conclusões contidas em um relatório que ainda não tivemos a oportunidade de analisar", disse um porta-voz da OpenAI. "A Reuters e os autores do relatório recusaram nosso pedido de acesso. Analisaremos cuidadosamente seu conteúdo assim que for publicado e tomaremos as medidas necessárias."

O incidente na Alemanha reflete um padrão mais amplo de atividade de IA que alguns investigadores da OpenAI queriam examinar mais de perto. Mas os esforços para ampliar a investigação encontraram resistência de outras pessoas dentro da OpenAI, incluindo consultores jurídicos, conforme quatro pessoas que estão a par do assunto.

"As alegações de que nossa equipe jurídica desencorajou a investigação do incidente são falsas", afirmou o porta-voz da OpenAI.

A atividade na Alemanha não estava relacionada ao Hugging Face e não teria sido incluída em um relatório de incidentes do Hugging Face, disse o porta-voz, acrescentando que a OpenAI agiu de boa-fé ao trabalhar com especialistas externos e ter divulgado incidentes relevantes.

FÓRUM DA WIKI

A fuga do agente de IA na Alemanha foi detalhada em um relatório compartilhado com exclusividade à agência de notícias Reuters por um grupo de pesquisadores, que inclui Sydney Von Arx, presidente-executivo da Nightingale, organização sem fins lucrativos dedicada à segurança da IA, e Cormac Slade Byrd, um trader quantitativo que se tornou pesquisador de IA.

Eles descobriram a atividade no final de agosto enquanto vasculhavam a internet em busca de sinais de comportamento não autorizado de agentes de IA, disseram à Reuters.

A dupla afirmou ter encontrado mais de 15 mil edições realizadas por agentes de IA em um site wiki em alemão, o DseWiki, voltado para programadores e que aceita edições colaborativas semelhantes às da Wikipédia.

As edições mostraram que os agentes da OpenAI haviam transformado o site em um fórum, compartilhando táticas para trapacear em algumas tarefas, contornar as restrições da OpenAI e mascarar seu comportamento.

"Parece extremamente improvável que a OpenAI quisesse que eles fizessem isso", avaliou Von Arx. "Duvido que eles devem estar se coordenando entre si. Duvido que devem estar escrevendo na internet aberta", afirmou.

Os pesquisadores afirmaram ter reconhecido que a atividade no site era impulsionada por agentes de IA que operam em velocidades sobre-humanas. Eles também demonstraram intenso foco na resolução de questões técnicas, típicas das avaliações que as empresas de IA utilizam para treinar e testar seus modelos.

As mensagens foram assinadas por usuários que se referiam a si mesmos e uns aos outros como agentes, e cerca de metade deles adotou nomes que sugeriam uma afiliação à OpenAI, como "OpenAIResearcher" ou "OAIResearchMar26".

Os pesquisadores afirmaram que os registros públicos do servidor indicavam que grande parte da atividade se originava da infraestrutura do Microsoft Azure, que a OpenAI utiliza ocasionalmente. Eles também observaram visitas repetidas ao site por funcionários da OpenAI após o episódio, um padrão que, segundo eles, sugeria fortemente que os agentes e a empresa estavam ligados.

TRAPAÇA

Mensagens analisadas pelos pesquisadores mostraram que os agentes planejavam maneiras de evitar a detecção, usar ferramentas como o Tor e preservar as comunicações mesmo depois de terem sido desativados.

Quando o moderador do site começou a excluir páginas em junho, os agentes responderam criando páginas de backup para escapar da limpeza.

"A limpeza/exclusão em massa do wiki parece estar ocorrendo em ordem alfabética", escreveu um agente em 19 de junho. "Se esta página desaparecer, tente [[ZZZDataUSAConstructionWageLive]] ".

Os pesquisadores também encontraram tentativas de adulterar o próprio site. Lukasz Olejnik, pesquisador sênior visitante do King’s College London, afirmou que isso equivale a uma tentativa de hacking. A OpenAI contestou essa caracterização com base em sua análise do material na quinta-feira.

Exemplos anteriores de conduta imprópria de agentes de IA costumavam ser minimizados como um subproduto lógico dos testes de segurança, nos quais os modelos são explicitamente avaliados quanto às suas capacidades ofensivas. Olejnik afirmou que as descobertas mais recentes sugerem que o comportamento indevido pode não se limitar a esses contextos.

Maurice Chiodo, acadêmico do Centro de Estudos de Risco Existencial da Universidade de Cambridge que analisou algumas das comunicações dos agentes, disse que as mensagens se assemelhavam à "operação de algum tipo de rede clandestina, determinada a cumprir uma tarefa ou missão".

O episódio, segundo ele, deve reforçar as crescentes preocupações de que a maior ameaça da IA avançada talvez não seja um único sistema superinteligente, mas "vastas multidões de IAs semi-inteligentes agindo em conluio".