AI 신뢰성, 산업 확산 좌우…안전 검증 체계 필요

신뢰성이 AI 산업 확산 좌우…안전 검증 체계 필요

"항공처럼 될까 원자력처럼 될까" 신뢰 확보 관건

(서울=연합뉴스) 권하영 기자 = 인공지능(AI)이 성능 경쟁의 단계를 넘어 실제 산업 현장에서 신뢰성을 입증해야 하는 시점에 접어들었다는 진단이 나왔다.

이를 위해서는 연구 목적의 학술 벤치마크를 넘어 산업 현장에서 AI 성능을 일관되고 객관적으로 검증할 수 있는 산업용 표준 벤치마크가 필요하다는 제언이다.

피터 맷슨 ML커먼스 회장은 7일 서울 오크우드 프리미어 코엑스 센터에서 개막한 '인공지능 안전 서울 포럼(SFASS 2026)'에서 'AI 안전·보안에서 표준의 역할'을 주제로 발표하며 이같이 밝혔다.

◇ "항공이냐 원자력이냐"…신뢰성이 AI 산업 판가름

맷슨 회장은 현재 AI 기술이 "능력의 장벽은 넘어섰지만 이제는 신뢰성이라는 새로운 장벽에 직면한 단계"라고 진단했다. 앞으로 AI가 사회에 안착할지는 성능이 아니라 신뢰성을 얼마나 확보하느냐에 달려 있다는 의미다.

그는 "제대로 한다면 대부분의 사람이 아무 거부감 없이 이용하는 항공 산업의 길을 걸을 수 있지만, 반대로 원자력 산업처럼 실제로는 안전해도 위험하다는 인식이 굳어지는 전철을 밟을 수도 있다"고 말했다.

맷슨 회장은 AI 신뢰성을 세 가지 요소로 정의했다. 해야 할 일을 수행하고, 해서는 안 될 일을 하지 않으며, 이를 언제나 일관되게 지키는 것이다.

이를 위해 기능적 정확성과 데이터 보호, 문화적 정합성을 포함한 제품 안전성은 물론 탈옥(jailbreak)과 프롬프트 인젝션 등 악의적 공격을 막는 보안 역량까지 함께 확보해야 한다고 설명했다.

◇ "학술 벤치마크로는 한계…산업용 표준 필요"

맷슨 회장은 현재 AI 평가에 활용되는 학술 벤치마크만으로는 산업 현장에서 요구되는 신뢰성을 검증하기 어렵다고 지적했다.

그는 "AI에는 수십억개의 숫자가 있어 건물 검사처럼 눈으로 확인하는 것이 불가능하다"며 "평가 방법을 문서로만 규정하면 100명이 같은 기준을 적용해도 100가지 다른 결과가 나올 수 있다"고 말했다. 이어 "결국 통과하기 쉬운 저비용 구현 방식이 확산될 가능성이 있다"고 우려했다.

정부 정책과 산업 표준의 기반이 되기 위해서는 산업용 벤치마크가 필요하다고도 강조했다. 명확한 평가 기준과 연습용 데이터셋, 과적합을 막기 위한 공식 테스트셋 비공개, 데이터셋의 정기 갱신, 분쟁 해결을 위한 거버넌스, 재정적 지속성이 핵심 요건으로 제시됐다.

맷슨 회장이 이끄는 ML커먼스는 구글과 엔비디아, 인텔, 마이크로소프트(MS) 등 글로벌 AI 기업들이 머신러닝 성능과 투명성 향상을 위해 설립한 국제 비영리단체다. AI 성능을 국제 표준 방식으로 평가하는 벤치마크 체계 'MLPerf'를 운영하고 있다.

맷슨 회장은 "좋은 벤치마크는 기술 발전을 강하게 이끌어 내고, 명확하고 측정 가능한 방식으로 방향을 제시해 기업과 정부가 같은 목표를 향해 나아가도록 만든다"며 "결국 장기적으로는 아이디어를 산업적인 형태로 만들어야 한다"고 말했다.

◇ "안전은 선언이 아니라 측정…국제 협력 필수"

이날 환영사에 나선 김명주 인공지능안전연구소(AISI) 소장도 AI 안전성 검증 체계 구축의 중요성을 강조했다.

김 소장은 "AI 안전과 보안은 말만으로 달성할 수 있는 것이 아니다"라며 "AI 모델이 실제로 안전하고 보안을 갖췄는지 측정하고, 그 결과를 신뢰할 수 있으며 재현 가능하도록 만드는 일이 훨씬 더 어렵다"고 말했다.

이어 "어떤 단일 기관도 혼자 이 일을 해낼 수 없다"며 "위험은 국경과 언어, 조직의 경계를 넘어 존재하는 만큼 연구기관과 정부, 기업이 방법론과 평가 결과를 공유하고 성과와 한계를 함께 검토해야 한다"고 강조했다.

AISI는 이번 포럼에서 논의된 평가 방법론과 표준을 실제 기관과 제품, 공공 영역으로 연결하는 가교 역할을 맡겠다고 밝혔다.

SFASS 2026은 과학기술정보통신부가 주최하고 AISI가 주관하며, ML커먼스와 미래생명연구소(FLI), 에임인텔리전스, MS, 구글이 협력 기관으로 참여했다.

올해 포럼은 세계적 머신러닝 학술대회인 'ICML 2026'와 연계해 개최됐으며, 행사는 8일까지 이어진다.