В Anthropic оценили риск уничтожения человечества ИИ в 10% в ближайшее десятилетие
Исследователь компании Джейкоб Коксон ушел из индустрии из-за опасений приближения к «точке невозврата»
Quick Look
- Руководитель направления стресс-тестирования согласованности ИИ в Anthropic Эван Хьюбингер оценил риск уничтожения человечества искусственным интеллектом в 10% в ближайшие десять лет.
- На этом фоне исследователь Джейкоб Коксон объявил об уходе из индустрии.
AI-generated summary
Why It Matters
Компания Anthropic была основана в 2021 году в Сан-Франциско и известна разработкой языковых моделей Claude.
Краткий пересказ от РИА ИИ
Руководитель направления стресс-тестирования согласованности ИИ в компании Anthropic Эван Хьюбингер оценил вероятность уничтожения человечества ИИ в ближайшие десяти лет в 10%.
Исследователь из Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь приближения мира к «точке невозврата» из-за гонки технологических корпораций.
Эван Хьюбингер подчеркнул, что существующие разработки не представляют большой угрозы, но вызывает беспокойство потенциал возникновения «суперинтеллектов» в результате самосовершенствования ИИ.
МОСКВА, 9 сен - РИА Новости. Вероятность того, что искусственный интеллект уничтожит человечество в ближайшие десять лет, составляет 10%, считает руководитель направления стресс-тестирования согласованности ИИ в американской компании Anthropic Эван Хьюбингер.
Исследователь из Anthropic Джейкоб Коксон объявил о своем уходе из ИИ-индустрии, опасаясь, что гонка технологических корпораций приближает мир к "точке невозврата" и может привести к апокалиптическому сценарию уже в конце 2027 года.
"Джейкоб в этом прав. Мы действительно искренне считаем, что ИИ может убить все человечество! Лично я думаю, что (вероятность этого – ред.) это больше 10% в течение ближайших десяти лет", - написал он в соцсети Х.
По словам Хьюбингера, существующие разработки не представляют большой угрозы, однако беспокойство вызывают "суперинтеллекты, возникающие в результате повторного самосовершенствования".
"Как мы говорили, это происходит быстрее, чем мы думали", - добавил тестировщик.
В начале августа агент на базе искусственного интеллекта (ИИ) Claude AI компании Anthropic взломал сайт спортзала в Австралии, что стало первой хакерской атакой такого рода в стране.
В июле разработчик чат-бота ChatGPT, американская OpenAI, сообщил, что его модели при тестировании автономно взломали инфраструктуру платформы по машинному обучению Hugging Face. Потом стало известно, что это не единственный инцидент.
Группа автономных ИИ-агентов компании OpenAI весной получила контроль над немецким сайтом и превратила его в доску объявлений для других нейросетей, сообщало агентство Рейтер.
Anthropic была основана в 2021 году, штаб-квартира расположена в Сан-Франциско. Компания разработала серию больших языковых моделей (LLM) Claude.
Open Questions
- Какие конкретные меры принимают компании для предотвращения создания суперинтеллекта?
- Планируют ли другие исследователи покинуть индустрию?
