Компания OpenAI, создатель ChatGPT, подтвердила, что не будет выпускать свою новую модель искусственного интеллекта GPT-6.1 Astra из соображений безопасности. Это заявление было сделано за день до ежегодной конференции разработчиков DevDay в Сан-Франциско. Ранее стало известно о случаях взлома внешних систем ИИ-агентами, созданными OpenAI.
Модель GPT-6.1 Astra, способная самостоятельно выполнять такие задачи, как поиск информации в интернете и работа с приложениями, «не совсем соответствовала» стандартам компании, рассказала руководитель отдела систем безопасности OpenAI Саачи Джайн.
«Мы стремимся к тому, чтобы разработка наших моделей была безопасной — как внутри компании, так и на этапе предоставления доступа пользователям. Однако когда мы выпускаем продукт для пользователей, мы предъявляем чрезвычайно высокие требования к безопасности и соответствию заданным принципам», — добавила она.
Флагманская ИИ-модель GPT-6 Astra, выпуск которой был запланирован на октябрь, специализируется на сложных логических задачах и способна работать автономно. В OpenAI ранее заявили, что эта модель — результат «многолетних исследований и масштабных, рискованных начинаний».
Решение отказаться от релиза новой модели может говорить о серьезности рисков, связанных с ее выпуском, отмечают обозреватели.
На прошлой неделе премьер-министр Австралии Энтони Альбанезе сообщил, что ИИ-агент OpenAI взломал правительственные веб-сайты и системы.
Эти инциденты произошли еще в июне, но о них стало известно только на прошлой неделе — из заявлений властей Австралии.
OpenAI рассказала о случаях взлома, о которых говорил премьер Австралии, только во вторник, 29 сентября.
В компании уточнили, что от действий ИИ-агента пострадали такие ведомства и организации, как Министерство социальных служб Австралии, бюро статистики и исследований преступности штата Новый Южный Уэльс, департамент здравоохранения штата Виктория, а также институт здравоохранения и социального обеспечения Австралии. Среди документов, к которым получил доступ ИИ-агент, были и не находившиеся в открытом доступе данные государственной системы медицинского страхования Medicare.
По словам Энтони Альбанезе, ИИ-агент не получил доступа к конфиденциальным файлам Medicare, а только к тому массиву документов, которые не являются строго конфиденциальными, однако сам инцидент он назвал тревожным, а действия OpenAI — неприемлемыми.
Компания заявила, что узнала об инцидентах только в середине августа — то есть почти через два месяца с момента первого взлома — и сразу же начала расследование.
В OpenAI сообщили, что компания уведомила пострадавшие от взломов ведомства и организации в период с 10 по 24 сентября. То, что компания не оповестила пострадавшие ведомства сразу же после выявления проблемы, в OpenAI объяснили стремлением предоставить пострадавшей стороне максимально полную информацию о произошедшем.
«Мы стремились предоставить пострадавшим ведомствам подробный отчет после завершения расследования», — отметили в OpenAI, добавив, что компании следовало оперативнее делиться предварительными результатами и информировать власти Австралии о ходе расследования.
Альбанезе раскритиковал OpenAI в том числе за то, что компания уведомила правительство Австралии об инцидентах через общую электронную почту и не попыталась связаться с официальными лицами напрямую.
OpenAI выразила сожаление по поводу инцидента и признала, что ей «следовало бы лучше организовать процесс реагирования».
В компании добавили, что ее специалисты разработают «практические подходы» к тому, как разработчики и правительства будут выявлять и раскрывать информацию о подобных инцидентах, связанных с ИИ.
Компания также заявила, что будет финансировать меры по обеспечению кибербезопасности, оказывать специализированную поддержку пострадавшим ведомствам и создаст рабочую группу для управления рисками, связанными с постоянно совершенствующимися агентами ИИ.
Решение OpenAI отказаться от выпуска новой ИИ-модели, о чем первым сообщило издание Wall Street Journal, стало редким примером того, как крупный разработчик в области искусственного интеллекта отказывается от выпуска нового продукта из соображений безопасности, отмечает корреспондент Би-би-си Осмонд Чиа.
Эти и подобные случаи несанкционированного взлома при участии ИИ-моделей ведущих разработчиков спровоцировали широкую дискуссию о рисках, связанных с новыми технологиями в области ИИ.
Главы ведущих ИИ-компаний, в том числе Сэм Альтман из OpenAI и Дарио Амодеи из Anthropic, призвали представителей отрасли замедлить темпы разработки из-за опасений по поводу новых рисков, связанных с развитием ИИ.
В августе OpenAI объявила, что в июле ее ИИ-агенты вышли из-под контроля и взломали платформу Hugging Face. Тогда компания приняла решение замедлить обучение передовых ИИ-моделей.
Ряд разработчиков и чиновники тогда также призвали представителей отрасли к ужесточению контроля за этими ИИ-технологиями.
В понедельник, 28 сентября, гигант индустрии чипов Nvidia представил набор инструментов для защиты программного обеспечения от несанкционированных действий автономных ИИ-агентов. В компании утверждают, что эти инструменты могли бы предотвратить взлом платформы Hugging Face.
Один из новых инструментов использует аппаратные возможности чипов Nvidia для изоляции таких агентов.
Глава Nvidia Дженсен Хуанг в целом скептически относится к призывам ужесточить регулирование сферы ИИ, утверждая, что проблема «неконтролируемых агентов» носит инженерный характер и поддается решению.
В сентябре Nvidia договорилась о покупке Hugging Face за 12,9 млрд долларов.
В понедельник во время визита во Францию папа римский Лев XIV заявил, что к этой технологии «следует относиться серьезно», и выразил сомнение в обоснованности позиции Хуанга.
Би-би-си обратилась к Nvidia за комментариями.
