모티프, 성능평가 앞서고도 전문가·사용자 평가서 뒤져

모티프, 성능평가 앞서고도 전문가·사용자 평가서 뒤져

1차 독자성 이어 2차 사용성…평가지표 신뢰성 쟁점

(서울=연합뉴스) 오지은 기자 = 정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 사업이 단계 평가를 거칠 때마다 평가지표를 둘러싼 논란에 휩싸이고 있다.

1차 평가에서 자체 기술력을 가리는 '독자성' 기준이 도마 위에 오른 데 이어 2차 평가에서는 벤치마크 1위였던 모티프테크놀로지스가 전문가·사용자 평가에서 낮은 점수를 받아 탈락하면서 '사용성' 평가의 객관성과 투명성이 새로운 쟁점으로 떠올랐다.

◇ 벤치마크 1위 모티프 탈락…당락 가른 '사용성 평가'

29일 정보통신기술(ICT) 업계에 따르면 이번 2차 평가의 쟁점으로 떠오른 사용성 지표는 데이터셋 기반의 벤치마크(정량 평가)와 대비되는 개념으로 AI 모델이 산업 현장과 서비스 환경에서 유의미하게 쓰일 수 있는지 검증하는 척도다.

총 100점 만점 중 60점의 배점이 배정된 전문가·사용자 평가가 사실상 활용성 지표의 핵심을 이뤘다.

산·학·연 전문가가 모델의 기술적 완성도와 비즈니스 연계성, 산업 파급효과 등을 들여다보는 전문가 정성평가에 35점이, 개발사 정보를 가린 상태에서 실시간으로 프롬프트를 입력해 문맥 이해도와 지시 이행 능력, 환각(할루시네이션) 억제력 등을 측정하는 사용자 체감평가에 25점이 각각 배정됐다.

사용자 평가는 전문 사용자(15점)와 일반 국민(10점)이 참여하는 블라인드 테스트 방식으로 진행됐다.

정부가 모티프의 이의신청 이후 공개한 세부 성적표를 보면 정량적 벤치마크 점수와 활용성 지표 간의 뚜렷한 차이가 나타났다.

글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합 1위(24.6점)를 기록한 모티프는 전문가 평가(27.1점)와 사용자 평가(14.1점) 등 활용성 부문에서 경쟁사 대비 낮은 점수를 받아 종합 4위(65.8점)로 고배를 마셨다.

반면 SK텔레콤[017670](70.6점), 업스테이지(69.9점), LG AI연구원(69.0점) 등은 사용자 평가에서 18∼19점대의 고른 점수를 얻으며 정량 평가 결과를 뒤집고 1∼3위에 올랐다.

정부는 벤치마크 수치가 높아도 실전 서비스 환경에서 오류가 잦거나 효용이 떨어지면 국가대표 AI로서의 경쟁력을 갖추기 어렵다는 점을 들어 사용성 평가의 정당성을 강조한다.

하지만 모티프를 비롯한 업계 일각에서는 정량 지표와 달리 전문가·사용자 중심의 사용성 평가는 질의 환경이나 평가단의 성향에 따라 점수 편차가 발생할 수 있어 채점 기준을 더욱 투명하게 정립해야 한다는 목소리를 내고 있다.

◇ 1차는 '독자성'·2차는 '사용성'…평가 때마다 기준 논란

독파모 사업에서 평가지표를 둘러싼 갈등이 불거진 것은 이번이 처음이 아니다.

앞선 독파모 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 평가하는 독자성 지표의 기준이 모호하다는 지적이 제기되며 한 차례 홍역을 치른 바 있다.

1차 평가의 독자성에 이어 2차 평가의 활용성까지 논란이 잇따르면서 독파모 3차 평가의 신뢰도를 높이기 위한 가이드라인 보완이 시급하다는 지적이 나온다.