화면 바뀌어도 같은 사람 추적…UNIST, 3차원 인체 복원 AI 개발

영화나 스포츠 중계에서 촬영 각도와 화면이 바뀌어도 여러 사람 움직임을 일관되게 추적해 3차원으로 복원하는 인공지능(AI) 기술이 개발됐다.

울산과학기술원(UNIST)은 인공지능대학원 백승렬 교수팀이 3차원 인체 복원 AI 기술 '멀티썸즈'(Multi-THuMBS)를 개발했다고 15일 밝혔다.

3차원 인체 복원은 영상 속 사람의 체형과 자세, 위치를 분석해 입체적 인체 모형과 움직임을 만드는 기술이다.

기존 AI 기술로는 여러 각도에서 촬영한 장면을 이어 붙인 영상에서 인물을 일관되게 복원하는 데 어려움이 있었다.

정면으로 보이던 사람이 옆모습으로 나타나면 다른 사람으로 인식하거나, 화면 속 위치 변화를 실제 이동으로 잘못 해석하는 것이다.

연구팀은 화면 전환 직전과 직후 배경과 카메라 위치를 하나의 3차원 공간에 복원한 뒤, 각 장면 인체 모형을 이 공간에 맞춰 배치하는 방식을 적용했다.

이를 기준으로 인물 간 거리와 옷차림, 자세 등을 비교해 같은 사람을 연결하고 움직임을 매끄럽게 다듬었다.

여러 대의 카메라로 사람 동작을 촬영한 시험용 영상에 장면 전환 편집을 적용한 결과, 멀티썸즈의 관절 위치 오차는 비교 대상 기술 중 가장 낮았다.

차순위 기술과 비교하면 오차가 약 31% 줄었고, 같은 사람을 다른 사람으로 인식하는 오류는 약 62%, 카메라 위치 추정 오차는 절반가량 감소했다.

실제 영화와 시트콤 영상에서도 장면 전환 전후 관절 위치가 맞아떨어지는 비율이 90.7%로, 비교 기술의 62.7%보다 높았다.

백 교수는 "영화·방송·스포츠 중계 같은 편집 영상에서도 여러 사람 움직임을 3D로 이어서 복원할 수 있다"며 "스포츠 분석과 가상·증강현실 콘텐츠, 디지털 휴먼 제작 등에 활용될 것으로 기대한다"고 말했다.

이번 연구에는 영국 버밍엄대학교와 CJ주식회사 연구진 등이 참여했고, 과학기술정보통신부 한국연구재단, 정보통신기획평가원, CJ주식회사 지원을 받았다.

연구 결과는 지난 9월 스웨덴 말뫼에서 열린 유럽컴퓨터비전학회에서 발표됐다.