LGU+, AI 토큰 비용 90% 절감 '최적화 레시피' 내년 사업화

(서울=연합인포맥스) 한종화 기자 = LG유플러스[032640]가 'AI 토큰 최적화 레시피'를 무기로 내년 기업간거래(B2B) 인공지능(AI) 시장에 본격 진출한다고 선언했다.

토큰 사용 비용을 90% 이상 낮추는 최적화 기술을 앞세워 B2B 시장을 선점하겠다는 전략이다.

LG유플러스 지난 12일 열린 'AI 토큰 최적화 스터디'에서 사내 AI 전환(AX) 경험과 AI 고객센터(AICC) 등으로 축적한 노하우를 바탕으로 토큰 최적화 시장에 진출하겠다고 밝혔다.

토큰의 단위 당 비용은 계속 하락하고 있지만, AI가 일상적으로 활용되기 시작하면서 기업의 부담은 오히려 늘고 있는 것이 현실이다.

특히 AI 에이전트는 인간이 던진 하나의 질문에 답변하기 위해 내부적으로 수십 번의 정보 처리를 거치기 때문에 토큰 비용이 사람의 14배에 달하는 것으로 알려져 있다.

LG유플러스는 토큰 비용을 줄이기 위해 답변의 난이도에 따라 다른 AI 모델을 선택(라우팅)하고, 각각의 영역에서 뛰어난 성능을 지닌 AI 모델을 채용하는 오케스트레이션(Orchestration) 기술을 발전시켰다.

AI 에이전트가 과도하게 많은 정보를 검토하지 않고 최단 경로로 답변을 도출하게 하는 하네스(Harness) 기술도 최적화의 한 방법이다.

하드웨어 측면에서의 칩 믹스(Chip-Mix)를 통해 토큰 사용을 최적화할 수 있다.

LG유플러스는 엔비디아와 AMD의 그래픽처리장치(GPU), 그리고 국산 AI 반도체 기업인 퓨리오사AI의 신경망처리장치(NPU)를 함께 사용하는 방식을 연구 중이다.

권기덕 LG유플러스 AX엔지니어링 랩장은 "연산이 많은 처리는 엔비디아 GPU, 메모리를 많이 사용하는 것은 AMD GPU, 간단하게 답변할 수 있는 것은 NPU 위에 올려 전산비를 극대화하는 방법을 검토하고 있다"고 설명했다.

이혜진 LG유플러스 기술전략담당은 "최적화는 개발자들을 위한 방법론이 아니라 기업이 적자를 피하고 서비스를 가장 효율적으로 할 수 있는 기본 기제"라며 "최적화를 얼마나 잘하는지에 따라 기업의 마진과 투자수익률(ROI)이 바뀐다"고 강조했다.

◇ 코딩 에이전트 비용 90% 이상 절감·처리 효율 4배↑

LG유플러스의 기술적 완성도는 구체적인 숫자로 증명됐다.

LG유플러스는 토큰 소모가 가장 심한 코딩 영역에서 통상적으로 쓰는 모델 대비 LG유플러스 자체 AI 모델의 비용을 약 90% 절감한 효과를 확인했다. 또 AI 모델의 연산 처리 방식을 혁신해 동일 인프라 대비 처리 효율을 약 4배까지 끌어올렸다.

또 모델 라우팅을 통해 일반적인 질문 처리 비용을 25% 이상, 코딩 에이전트 비용을 30% 이상 절감했다.

LG유플러스는 AI 모델 자체를 가볍게 만드는 방식으로도 최적화 성과를 냈다.

LG유플러스는 AI 통화 에이전트 익시오의 온디바이스(on-device)AI 모델 크기를 기존 2.4~3GB에서 약 3분의 1 수준인 800MB 수준으로 줄이면서도 비교 대상 빅테크 클라우드AI 모델 대비 95% 이상의 성능을 확보했다.

또 작은 모델이 답변을 빠르게 생성하고 큰 모델이 이를 검증하는 기술을 고도화해 토큰 생성 속도를 2배 이상 높였다. 이 같은 연구 성과는 세계 최고 권위의 AI 학술대회인 '뉴립스(NeurIPS)'에서 채택되기도 했다.

이상엽 LG유플러스 최고기술책임자(CTO)는 "LG유플러스의 토큰 최적화는 이론적 효율화를 넘어 이미 수많은 실전 서비스에서 검증을 끝낸 즉시 전력감 기술"이라며 "글로벌 수준의 모델 경량화·추론 기술과 AI 업무 수행 궤적을 반영한 운영 레시피를 결합해 내년부터 기업 고객들이 가장 합리적인 비용으로 최고의 AI 성과를 낼 수 있도록 시장을 주도해 나가겠다"고 밝혔다.

jhhan@yna.co.kr