LG유플러스, 옵트에이아이와 GPU·전력 사용 줄이는 AI 토큰 최적화 기술 개발 협력

GPU·전력 사용 줄이고 AI 서비스 처리 효율 제고

(서울=연합뉴스) 박형빈 기자 = LG유플러스[032640]가 AI 모델 최적화 전문기업 옵트에이아이와 AI 운영에 필요한 GPU와 전력 사용량을 줄이고 처리 효율을 높이는 토큰 최적화 기술 개발에 나선다고 2일 밝혔다.

LG유플러스는 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 맡고, 옵트에이아이는 AI 모델의 연산량과 크기를 줄이는 경량화 기술을 연구·개발한다.

앞서 양사는 '엑사원'(EXAONE) 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰의 AI 전용 반도체인 NPU에서 구동할 수 있도록 했다. 기존 CPU 방식과 비슷한 성능을 유지하면서 전력 소모량은 78%, 모델 크기는 82% 줄였다.

양사는 이런 온디바이스 AI에 이어 서버 GPU 환경으로 공동 연구 범위를 확대한다. 특히 AI 모델이 답변을 생성하는 과정에서 연산 방식을 최적화해 같은 GPU에서 처리할 수 있는 토큰량을 기존보다 최대 4배 늘리는 기술을 확보한 상태다.

양사는 지난 1일 AI 운영 효율화 기술의 연구 동향과 산업 적용 사례를 공유하는 세미나를 공동 개최하고 관련 기술의 적용 방안을 논의하기도 했다.