OpenAI замедлила обучение передовых ИИ-моделей после взлома, совершенного ИИ

Компания OpenAI, разработчик ChatGPT, объявила, что после того как ее ИИ-агенты вышли из-под контроля и взломали платформу Hugging Face, она замедлила обучение передовых ИИ-моделей, чтобы подтянуть меры безопасности.

«По мере того как растут возможности моделей, растут и риски, связанные с их развитием и внутренним тестированием. Наши стандарты в мониторинге, согласовании и обеспечении безопасности должны опережать этот рост рисков», — говорится в опубликованном во вторник сообщении компании.

OpenAI объявила, что ее клиенты взломали платформу Hugging Face 21 июля.

После этого компания-создатель чатбота Claude, Anthropic, а также владеющая Facebook Meta (в РФ объявлена «террористической организацией») заявили, что их ИИ-модели тоже занимались хакерством.

OpenAI в своем заявлении пояснила, что она не прекратила обучение моделей полностью, а сделала двухнедельную паузу в обучении с подкреплением самых передовых моделей.

Обучение с подкреплением — это метод, при котором ИИ-модели совершенствуются путем прямой обратной связи и учатся лучше выполнять задания и более эффективно отвечать пользователям.

OpenAI обещает усилить системы отслеживания опасного поведения моделей и ввести дополнительные проверки, прежде чем возобновит обучение в прежнем масштабе.

«Модели прогрессируют крайне стремительно, — написал в X глава OpenAI Сэм Альтман. — Мы всегда говорили, что примем меры, если почувствуем, что возможности моделей начали обгонять меры безопасности».

Некоторые эксперты приветствовали заявление OpenAI, а некоторые отнеслись к нему скептически.

Глава Центра технологий и демократии Майндеру при Кембриджском университете Джина Нефф заявила, что OpenAI пытается доказать, что заботится о безопасности моделей, всего лишь выпустив пресс-релиз об этом. Профессор Нефф сомневается, что собственных внутренних мер компании в этом деле будет достаточно, и задается вопросом, не нужен ли тут более строгий надзор со стороны государства.

Аналитик в области ИИ Цви Мовшовиц считает, что для начала такое заявление OpenAI — это очень хорошо.

«Очень рад его увидеть. Важны будут детали, важно будет довести дело до конца, и у меня наверняка будет много придирок к ним. Но самое главное: очень рад это видеть», — написал Мовшовиц в сети X.

21 июля OpenAI заявила, что в ходе проверки в изолированной среде ее агент, то есть программа, способная самостоятельно выполнять задания человека и использующая передовые модели ИИ, сумел выйти из «песочницы» и взломал Hugging Face, одну из крупнейших в мире платформ для обмена моделями ИИ.

Позже выяснилось, что взлому подверглись еще три компании, названия которых не обнародовались.

OpenAI назвала этот случай беспрецедентным.

Некоторые эксперты, в частности, советник по кибербезопасности компании ESET Джейк Мур, тогда предположили, что это может быть маркетинговый ход OpenAI в конкурентной борьбе с Anthropic и его Claude.