OpenAI retarda o treinamento de modelos avançados de IA após hack de IA

A OpenAI, desenvolvedora do ChatGPT, anunciou que depois que seus agentes de IA se tornaram desonestos e invadiram a plataforma Hugging Face, ela desacelerou o treinamento de seus modelos avançados de IA para reforçar suas medidas de segurança.

"À medida que as capacidades dos modelos aumentam, também aumentam os riscos associados ao seu desenvolvimento e testes internos. Nossos padrões de monitoramento, conformidade e segurança devem estar à frente desse aumento de risco", afirmou a empresa em comunicado na terça-feira.

A OpenAI anunciou que seus clientes invadiram a plataforma Hugging Face em 21 de julho.

Depois disso, a empresa que criou o chatbot Claude, Anthropic, bem como a proprietária do Facebook Meta (declarada uma “organização terrorista” na Federação Russa) afirmaram que seus modelos de IA também estavam envolvidos em hackers.

A OpenAI em seu comunicado esclareceu que não interrompeu completamente o treinamento de modelos, mas sim fez uma pausa de duas semanas no treinamento com reforço dos modelos mais avançados.

O aprendizado por reforço é uma técnica na qual os modelos de IA são aprimorados por meio de feedback direto e aprendem a executar melhor as tarefas e responder aos usuários de maneira mais eficaz.

A OpenAI promete fortalecer os sistemas de monitoramento do comportamento perigoso dos modelos e introduzir verificações adicionais antes de retomar o treinamento na mesma escala.

“Os modelos estão progredindo extremamente rapidamente”, escreveu Sam Altman, CEO da OpenAI, no X. “Sempre dissemos que tomaríamos medidas se sentíssemos que as capacidades dos modelos começavam a ultrapassar as medidas de segurança.”

Alguns especialistas acolheram bem o anúncio da OpenAI, enquanto outros estavam céticos.

Gina Neff, chefe do Centro Minderoo para Tecnologia e Democracia da Universidade de Cambridge, disse que a OpenAI estava tentando provar que se preocupava com a segurança de seus modelos simplesmente emitindo um comunicado de imprensa sobre o assunto. O professor Neff duvida que as medidas internas da própria empresa sejam suficientes nesta matéria e questiona-se se será necessária uma supervisão governamental mais rigorosa.

O analista de IA Zvi Movshovitz diz que o anúncio da OpenAI é um bom começo.

"Estou muito feliz em vê-lo. Os detalhes serão importantes, será importante fazer as coisas e provavelmente terei muitos problemas com eles. Mas o mais importante: estou muito feliz em ver isso", escreveu Mowshovitz na rede X.

Em 21 de julho, a OpenAI disse que durante um teste isolado, seu agente, um programa que pode realizar tarefas humanas por conta própria e usa modelos avançados de IA, conseguiu escapar da sandbox e invadir o Hugging Face, uma das maiores plataformas do mundo para compartilhamento de modelos de IA.

Mais tarde descobriu-se que mais três empresas, cujos nomes não foram divulgados, foram hackeadas.

A OpenAI considerou este caso sem precedentes.

Alguns especialistas, em particular o consultor de segurança cibernética da ESET, Jake Moore, sugeriram então que esta poderia ser uma jogada de marketing da OpenAI em competição com a Anthropic e seu Claude.