성착취물 탐지에 AI 도입하니…처리량 10배·초성 표현도 잡아내

아동·청소년 온라인 성착취물 탐지에 인공지능(AI)을 도입한 결과, 초성으로 표현한 은어까지 식별하고 담당자 1인당 하루 처리량도 약 10배로 늘어난 것으로 나타났다.

한국여성인권진흥원 중앙디지털성범죄피해자지원센터는 10일 성평등가족부 출입 기자단에 올해 4월 도입한 인공지능(AI) 기반 아동·청소년 온라인 성착취물 탐지·신고 시스템을 시연하고, 운영성과를 공개했다.

AI 시스템은 중앙디지털성범죄피해자지원센터 종사자가 사회관계망서비스(SNS)에 올라오는 수많은 게시물을 대상으로 키워드를 하나씩 검색해 성착취물을 가려내는 전통적인 방식으로는 그 확산 속도를 따라가기 어렵다는 한계를 극복하기 위해 마련됐다.

중앙디지털성범죄피해자지원센터가 구축해온 성착취물 키워드와 탐지·신고 매뉴얼, 축적해온 사진과 게시글 4만여건을 학습한 결과 높은 확률로 성착취물을 가려낼 수 있게 됐다.

예를 들어 작년 12월 16일 오전 9시 수집된 한 게시글에는 조건만남을 초성으로만 쓴 'ㅈㄱㅁㄴ'과 같은 표현이 있었고, AI 시스템은 이 게시글이 100% 성착취물이라고 판단했다.

AI 시스템은 성착취물 여부 외에도 아동·청소년을 삼고 있는지, 새로 올라온 게시물인지 여러 차례 신고된 게시물인지 등을 분석했다.

이렇게 초벌 판단을 마친 게시물은 디지털성범죄피해자지원센터 종사자에게로 보내지고, 종사자는 AI 분석 내용을 재검토해 신고 여부를 결정하게 된다.

AI 시스템 도입으로 종사자 업무 효율은 크게 상승했다. 올해 4월부터 9월까지 6개월 동안 중앙디지털성범죄피해자지원센터가 삭제를 지원한 아동·청소년 성착취물은 총 9만6천210건으로 작년 한 해 성과(4만5천438건)와 비교하면 112% 늘었다.

종사자 1명당 하루 평균 처리량도 약 20.8건에서 202.1건으로 872% 증가했다.

AI 시스템은 또 수집한 사진을 가림 처리해 성착취물에 반복적으로 노출되는 종사자의 심리적 부담을 완화하기도 했다.

중앙디지털성범죄피해자지원센터로부터 지원을 받은 디지털성범죄 피해자는 2022년 7천979명에서 2023년 8천983명, 2024년 1만305명, 작년 1만637명으로 꾸준히 증가했다.

올해도 9월 기준 9천712명이 지원을 받고 있으며, 이 추세대로면 올해 말 피해자 수가 1만3천명에 달할 것으로 예상된다.

중앙디지털성범죄피해자지원센터는 이처럼 커지는 디지털성범죄 위험에 대응하기 위해 AI 시스템을 더 고도화할 계획이다.

구체적으로는 내년까지 탐지·신고 대상 플랫폼을 74곳에서 139곳으로 늘리고, 성착취물에 사용되는 단어뿐 아니라 맥락과 흐름을 읽어내 신종·우회 표현도 잡아낼 수 있도록 모델을 개선할 방침이다.

아울러 지역디지털성범죄피해자지원센터에 AI 시스템을 보급하고 피해 청소년에게 필요한 지원정보를 실시간으로 제공할 수 있는 AI 챗봇을 도입한다.

다만 중앙디지털성범죄피해자지원센터 삭제요청에 응하지 않는 비율이 2022년 24.4%에서 작년 28.5%로 높아진 만큼, 디지털성범죄 대응에 있어 업계 협력도 중요해지고 있다.

김미순 중앙디지털성범죄피해자지원센터장은 "SNS를 활발하게 사용하는 10대와 20대를 중심으로 디지털성범죄 피해가 증가하고 있다"면서 "이를 예방하려면 플랫폼과 채팅앱이 가져야 하는 기준이 강화될 필요가 있다"고 말했다.