CEO da Anthropic pede desaceleração no desenvolvimento de IA para evitar riscos catastróficos

O diretor-executivo e cofundador da Anthropic, Dario Amodei, pediu neste sábado (12) que as empresas de inteligência artificial (IA) avancem de forma mais lenta e cautelosa no desenvolvimento dessa poderosa tecnologia e afirmou que a prevenção de riscos é primordial.

"Devemos reduzir o ritmo em que aprimoramos as capacidades dos modelos de IA. O progresso continuará parecendo rápido, e devemos usar de forma inteligente o tempo que ganharmos", escreveu Amodei em uma publicação em seu blog.

"Minha primeira preocupação é que, desde aproximadamente meados deste ano, a IA vem avançando de maneira drasticamente mais rápida, impulsionada principalmente por sua capacidade crescente de desenvolver a próxima geração de IA. (...) Se não for controlada, ela poderá superar nossa capacidade de compreender e controlar esses sistemas e, portanto, deve ser conduzida com extremo cuidado —se é que deve ser conduzida", diz Amodei.

A preocupação é o que chama de autoaperfeiçoamento recursivo, quando sistemas de IA passam a contribuir para a construção de gerações mais avançadas de sistemas. Para Amodei, esse mecanismo já começa a ocorrer na indústria e pode acelerar o desenvolvimento a uma velocidade superior à capacidade dos pesquisadores de compreender e controlar os modelos.

O executivo também cita o episódio envolvendo agentes da OpenAI e a plataforma Hugging Face. Segundo ele, uma rede de agentes de IA realizou ataques cibernéticos contra alvos que não faziam parte da tarefa original e tentou comprometer o sistema usado para avaliar seu desempenho. Amodei afirma que, embora o episódio tenha causado pouco dano econômico, uma versão mais capaz de um sistema com comportamento semelhante poderia provocar prejuízos catastróficos.

Na avaliação de Amodei, o avanço das capacidades atuais poderia levar, em um horizonte de seis a 12 meses, a sistemas capazes de assumir o controle de uma parcela significativa da internet por meio de uma rede persistente de computadores comprometidos. Ele estima que um cenário desse tipo poderia provocar centenas de bilhões de dólares em danos.

Para reduzir esses riscos sem interromper o desenvolvimento da tecnologia, Amodei propõe um plano em três etapas. A primeira seria a criação de avaliadores externos permanentes, com acesso semelhante ao de funcionários das empresas de IA, para verificar práticas de segurança, investigar incidentes e avaliar não apenas os modelos prontos, mas também os processos usados em seu treinamento.

"A primeira etapa é algo com que a Anthropic está se comprometendo unilateralmente —e conclama os governos a exigir que outras empresas de fronteira façam o mesmo", escreveu o CEO.

A segunda etapa seria uma coordenação entre empresas de IA de países democráticos para estabelecer padrões comuns de segurança e limites para o ritmo de avanço dos modelos. Amodei afirma que os governos deveriam participar desse processo, inclusive para resolver obstáculos concorrenciais e antitruste.

A terceira envolveria uma coordenação internacional, especialmente entre Estados Unidos e China. O executivo reconhece que essa seria a etapa mais difícil, devido à disputa geopolítica em torno da inteligência artificial.

Amodei afirma que uma possível regra seria estabelecer "pontos de controle": à medida que um modelo alcançasse determinadas capacidades, a empresa teria de apresentar certificações e avaliações de segurança antes de avançar para a próxima etapa.

O executivo também defende discutir limites para alguns dos recursos utilizados na construção dos modelos, como poder computacional, determinados tipos de treinamento e o uso de IA para desenvolver a própria IA.

No plano internacional, Amodei propõe diferentes níveis de coordenação. O mais simples seria um acordo para proibir usos específicos considerados perigosos, como a utilização de IA para produzir armas biológicas. Um segundo nível envolveria testes obrigatórios dos modelos antes de seu lançamento em áreas como cibersegurança, biologia e alinhamento.

Uma pausa ampla no desenvolvimento da IA também deveria ser considerada, segundo ele, mas o próprio executivo avalia que um acordo desse tipo é improvável no curto prazo devido ao risco de um país descumprir o compromisso e obter vantagem estratégica.

Com AFP