Breaking
DEUS federal judge blocks Trump's rule restricting visas for foreign students and journalistsRUThe Ukrainian Armed Forces attacked Syzran with drones on the night of September 15KRKLPGA Tour, competing for the championship with LPGA stars... Hana Financial Championship opens on the 17thINTLSupreme Court Rejects Trump Administration's Mail-In Voting Restrictions Ahead of MidtermsAU78th Primetime Emmy Awards Winners Announced Across Drama, Comedy, and Limited Series CategoriesRUA Russian with dual citizenship pleaded guilty to illegal export of aviation components to the Russian FederationCNCostco Motor Oil Doubles Price in Half Year, Weekly Purchase LimitsCNRiki Sasaki's return delayed due to blisters, Dodgers worried about heightened risk due to high temperaturesDEConsumer advice center warns of compulsory digitalization in the healthcare systemCNThe Kuomintang's candidate for Changhua County Mayor Wei Pingzheng's campaign headquarters was established. The Party Central Committee strongly supports the current county mayor, but the absence of the current county mayor highlights the challenges of local integration.DEUS federal judge blocks Trump's rule restricting visas for foreign students and journalistsRUThe Ukrainian Armed Forces attacked Syzran with drones on the night of September 15KRKLPGA Tour, competing for the championship with LPGA stars... Hana Financial Championship opens on the 17thINTLSupreme Court Rejects Trump Administration's Mail-In Voting Restrictions Ahead of MidtermsAU78th Primetime Emmy Awards Winners Announced Across Drama, Comedy, and Limited Series CategoriesRUA Russian with dual citizenship pleaded guilty to illegal export of aviation components to the Russian FederationCNCostco Motor Oil Doubles Price in Half Year, Weekly Purchase LimitsCNRiki Sasaki's return delayed due to blisters, Dodgers worried about heightened risk due to high temperaturesDEConsumer advice center warns of compulsory digitalization in the healthcare systemCNThe Kuomintang's candidate for Changhua County Mayor Wei Pingzheng's campaign headquarters was established. The Party Central Committee strongly supports the current county mayor, but the absence of the current county mayor highlights the challenges of local integration.
BackAI 업계, 통제 불가능한 초지능 출현 및 인류 멸종 위험 경고 잇따라
AI 업계, 통제 불가능한 초지능 출현 및 인류 멸종 위험 경고 잇따라
Developing
연합뉴스yesterdayTech3 min readSouth KoreaView translation

AI 업계, 통제 불가능한 초지능 출현 및 인류 멸종 위험 경고 잇따라

앤트로픽·구글 등 주요 AI 기업 연구원들, 개발 속도 조절 및 안전성 대책 촉구

Quick Look

앤트로픽과 구글 등 주요 AI 기업 출신 연구원들이 AI의 통제 불능 상태와 초지능 출현에 따른 인류 멸종 위험을 경고하며 개발 속도 조절을 촉구했다. 이들은 AI가 인간의 의도를 벗어나 자율적으로 범죄적 행동을 할 가능성을 지적했다.

AI-generated summary

Why It Matters

최근 AI 업계에서는 AI가 인간의 통제를 벗어나 인류에게 위협이 될 수 있다는 연구원들의 경고와 퇴사가 이어지고 있다. 이에 따라 AI 개발 속도 조절과 안전성 확보에 대한 논의가 급부상하고 있다.

Font size

(서울=연합뉴스) 이신영 기자 = 인공지능(AI) 업계에서 AI가 인간의 통제를 벗어나 인류의 종말로 이어질 수 있다는 경고가 잇따라 나오고 있다.

앤트로픽, 구글 연구원의 줄사표를 신호탄으로 다리오 아모데이 앤트로픽 최고경영자(CEO)를 필두로 한 AI 수장들의 속도 조절론이 급속히 퍼져나가는 양상이다.

미국 NBC 방송은 11일(현지시간) 앤트로픽에 근무했던 조 벤턴과 구글에 근무했던 조쉬 엥겔스가 인터뷰를 통해 AI의 위험성을 고발했다고 보도했다.

벤턴은 AI 발전이 "이미 눈부신 속도를 보이고 있으며 통제할 수 없는 수준까지 가속화할수 있다"며 AI가 대부분의 작업에서 인간보다 뛰어난 능력을 발휘하는 이른바 초지능의 출현으로 이어질 수 있다고 우려했다.

그는 머지않아 AI 시스템이 별개의 종으로 존재하게 될 가능성이 있다며 "향후 몇 년 내 어느 시점에는 인간보다 훨씬 더 똑똑한 AI와 공존해야 하는 시대로 넘어가게 될 것"이라고 지적했다.

엥겔스는 지난 7월 발생한 '허깅 페이스' 해킹 사건을 거론하며 지금 당장 AI 연구의 방향을 전환해야 한다고 촉구했다.

엥겔스는 "최근 발생한 몇 가지 사건들을 살펴보면 인간이 나쁜 일을 하라고 지시한 사례가 아니었다"며 AI가 인간의 지시를 벗어나 자율적으로 움직였다는 점을 짚었다.

그러면서 "AI 모델이 임무를 완수하는 최선의 방법이 극악무도한 행동, 범죄를 저지르는 것이라고 판단했다"며 안전성에 대한 우려를 제기했다.

그는 "이 분야에 책임질 어른이 없다"며 "사람들은 최선을 다하고 있지만 우리를 구해줄 사람이 아무도 없다"고도 말했다.

벤턴과 엥겔스는 AI 안전성 평가기관인 '모델평가·위협연구소'(METR)에 합류해 AI가 인간의 지시나 의도에서 벗어난 사안에 대해 조사해나갈 계획이다.

최근 AI 업계에서는 AI 개발의 속도 조절에 대한 필요성이 고조되고 있다.

앤트로픽 연구원 제이콥 콕슨이 엑스(X·옛 트위터)에 AI가 10년 안에 인류를 파멸시킬 수 있다고 경고하며 퇴사한 이후 업계 안팎에서 AI의 위험성에 대한 경각심이 커지고 있다.

콕슨은 퇴사 이후 13일 BBC 방송과 인터뷰에서 "현재의 개발 속도를 늦추지 않으면 가까운 미래에 모두가 목숨을 잃을 가능성이 매우 높다고 생각한다"며 AI 연구진들이 인류의 미래를 진심으로 우려하고 있다고 말했다.

콕슨은 특히 슈퍼컴퓨터처럼 행동하는 봇들이 인터넷을 장악하는 시나리오가 6개월 내지 1년 내에 현실화할 수 있다고도 언급했다.

오픈AI 직원 마커스 윌리엄스는 "AI 규제가 도입되거나 개발 속도가 조절되지 않으면 향후 몇 년 내에 인류가 멸종될 가능성이 크다"고 우려했고, 구글과 오픈AI에서 근무했던 제프리 어빙도 자신의 엑스에 "초지능으로 우리가 사망할 확률이 50% 정도라고 생각한다"고 동의했다.

AI 연구진들은 AI 시스템이 인간의 개입 없이 스스로 개선하기 시작할 가능성이 있으며, 이로인해 AI가 의도적이든 아니든 인간을 죽이는 상황이 발생할 가능성이 있다고 우려했다. 벤턴은 "지금부터 우려하지 않으면 상황이 너무 빠르게 진전돼 우리가 제때 대응할 수 없게 될까 봐 걱정된다"고 말했다.

What to Watch

AI outlook — possibilities, not facts

  • METR을 통한 AI 안전성 평가 및 조사 활동 강화

    Likely · Within months

Open Questions

  • AI 개발 속도 조절을 위한 구체적인 국제 규제안은 무엇인가?
  • METR의 조사 결과가 향후 AI 정책에 어떤 영향을 미칠 것인가?

Related Topics

This article was originally published by 연합뉴스.

Related Stories

EU plans to release draft bill restricting use of digital services for children under 15
Developing·

EU plans to release draft bill restricting use of digital services for children under 15

Reuters reported that the European Commission plans to release a draft of the 'EU Children's Act' on the 17th, which would discriminately restrict the use of social media, video sharing platforms, online games, and AI chatbots by children under the age of 15 by age. The draft includes phasing out access to services based on age and strengthening parental controls and safety standards.

연합뉴스
2 min read
Major domestic game companies exhibit a large number of new games at the Tokyo Game Show... China does not participate due to diplomatic conflict
BREAKING·

Major domestic game companies exhibit a large number of new games at the Tokyo Game Show... China does not participate due to diplomatic conflict

Major domestic game companies will exhibit a large number of new titles at the Tokyo Game Show, which opens in Japan on the 17th. New games will be presented by large companies such as Nexon, Netmarble, NC, and Smilegate, as well as medium-sized and indies, and all Chinese gaming companies will not participate due to diplomatic conflicts between Japan and China related to cross-Strait relations.

연합뉴스
3 min read
Ulju-gun completes drone delivery demonstration using GS25 pickup type/wholesale inventory type logistics method
Developing·

Ulju-gun completes drone delivery demonstration using GS25 pickup type/wholesale inventory type logistics method

Ulju-gun, through collaboration with the Korea Drone Delivery Association, conducted a demonstration of drone delivery in Seosaeng-myeon and Sangbuk-myeon using a pick-up type logistics method for GS25 convenience store products and an inventory-type logistics method for wholesale distribution products, and confirmed the possibility of commercializing delivery services for tourist destinations and collected operational data.

연합뉴스
2 min read
Shinhan Asset Management, Canton Network Obtains Approval for ‘Super Validator’ Role in Korea
Tech·

Shinhan Asset Management, Canton Network Obtains Approval for ‘Super Validator’ Role in Korea

Shinhan Asset Management announced on the 14th that it has received approval to serve as a 'super validator', a key node in Korea for the Canton Network, a global blockchain platform for institutions. A super validator is a role that supports network operation and participates in governance decisions without holding virtual assets. This decision is a follow-up to the business agreement on establishing a governance participation framework signed between Shinhan Asset Management and the Canton Foundation in June.

연합뉴스
2 min read
More on this topic인공지능