스포츠 영상 하이라이트 추출 AI 평가 기술 개발

(울산=연합뉴스) 김용태 기자 = 스포츠 경기 영상에서 하이라이트를 뽑아내는 인공지능(AI) 모델의 성능을 평가할 수 있는 기술이 나왔다.

13일 울산과학기술원(UNIST)은 인공지능대학원 김태환 교수팀이 스포츠 영상 하이라이트 추출 AI 모델을 평가하는 대규모 벤치마크인 'SVHighlights'(Sport Video Highlights)를 개발했다고 밝혔다.

벤치마크란 어느 AI가 정답을 더 잘 맞히는지 비교하는 일종의 공통 시험지로, AI가 풀어야 할 문제뿐만 아니라 성능을 판단할 정답도 가지고 있어야 한다.

기존 벤치마크에 담긴 영상은 대부분 2∼4분 내외다. 정답을 만들려면 사람이 영상을 처음부터 끝까지 보면서 어느 구간이 하이라이트인지 일일이 표시해야 해 영상이 길수록 작업의 비용과 시간이 급격히 늘어나는 한계가 있었다.

반면 연구팀이 만든 벤치마크는 축구, 야구, 농구, 배구, 미식축구, 아이스하키, 럭비, 레이싱 등 8개 종목 320편의 영상으로 구성돼 있으며, 누적 640시간이 넘는 방대한 규모다.

영상 한 편의 평균 길이가 2시간으로 기존 데이터세트보다 30∼60배나 길다.

이 같은 방대한 벤치마크를 구축하는 데 사람의 역할은 경기 시작과 끝 지점을 영상당 한 번 표시하고, 자동으로 짝지어진 화면을 격자 이미지로 훑어보는 정도에 그쳤다. 이 확인 과정에서 오류 비율은 0.18%에 불과했다.

연구팀은 인터넷 등에 이미 공개된 스포츠 공식 하이라이트 영상을 활용한 덕분에 길고 방대한 규모의 데이터세트를 비용 효율적으로 만들어낼 수 있었다. 전문 편집자가 고른 하이라이트 장면 자체가 믿을 만한 정답 역할을 하기 때문이다.

문제는 하이라이트 영상이 원본의 '몇 분 몇 초'에서 나왔는지에 대한 타임스탬프 정보가 없다는 점이었는데, 연구팀은 이를 자동으로 찾아내는 매칭 알고리즘을 만들어냈다.

원본 영상과 하이라이트 영상의 프레임을 픽셀 단위로 비교해 가장 유사한 장면을 짝짓는 알고리즘이다.

또 알고리즘을 설계할 때 화면의 유사성뿐만 아니라 앞에서 찾은 장면과의 시간 순서까지 함께 따지도록 했다. 실제 경기 발생 시점 대신 시각적으로 동일한 리플레이 장면을 하이라이트로 잘못 매칭하는 오류를 방지하기 위해서다.

연구팀은 기존의 장면 분할 모델과 음성 인식 모델, 비전 언어 모델, 대규모 언어 모델을 조합해 긴 영상에서도 하이라이트를 효과적으로 추출할 수 있는 'TF-SELECTOR'라는 AI 모델도 함께 개발했다.

이를 SVHighlights 벤치마크로 테스트했을 때 대부분의 지표에서 기존 모델들보다 우수한 성능을 보였다고 연구팀은 설명했다.

김태환 교수는 "방송사가 이미 만들어 둔 하이라이트를 활용해 사람이 수 시간 들여야 했던 정답 작업을 대체했다"며 "같은 방식으로 데이터를 계속 늘려갈 수 있어 장시간 영상 분석 모델을 객관적으로 평가하고, 성능이 더 나은 모델을 개발하는 데 도움이 될 것"이라고 말했다.

과학기술정보통신부와 정보통신기획평가원의 지원을 받은 이번 연구 결과는 지난달 9일 제주에서 열린 데이터마이닝 분야 국제 학회인 'ACM KDD'에서 발표됐다.