LGU+, 토큰 최적화 승부수… “AI 운영비 90% 절감”

곽소영 기자
수정 2026-11-15 23:39
입력 2026-11-15 23:39
기업이 직접 외부 AI 모델을 이용하면 토큰 사용량에 따라 비용을 내는데, AI 에이전트가 코딩 등 복잡한 업무를 수행할수록 비용 부담도 커진다. 이상엽 LG유플러스 최고기술책임자(CTO)는 “AI 에이전트가 불필요한 작업을 반복하면 전체 비용은 눈덩이처럼 불어난다”며 “AI 시장의 패권은 고객이 원하는 결과를 얼마나 경제적으로 완수하느냐에 달렸다”고 설명했다.
LG유플러스는 AI가 하나의 업무를 끝내는 데 드는 전체 비용인 작업 비용(태스크 코스트)를 줄이는 데 집중했다. 대표적인 기술이 질문의 난이도에 따라 적절한 AI 모델을 자동으로 골라주는 ‘모델 라우팅’이다. 간단한 질문에는 저렴한 모델을, 복잡한 코딩에는 성능 높은 모델을 투입하는 방식이다.
내부 테스트 결과 모델 라우팅을 거치자 일반 질문 처리 비용은 25% 이상, 코딩 에이전트 비용은 30% 이상 절감됐다고 설명했다. 자체 AI 모델을 활용한 코딩 에이전트에서는 기존 모델보다 운영 비용을 90% 이상 줄였다. AI 연산용 반도체를 효율적으로 조합하는 ‘칩 믹스’ 전략도 추진한다. 엔비디아와 AMD의 그래픽처리장치(GPU), 퓨리오사AI의 신경망처리장치(NPU) 등을 조합해 특정 기업 의존도를 줄이고 인프라 비용을 낮출 방침이다.
곽소영 기자
2026-11-16 B3면
Copyright ⓒ 서울신문 All rights reserved. 무단 전재-재배포, AI 학습 및 활용 금지

![THE NEXT : AI 운명 알고리즘 지금, 당신의 운명을 확인하세요 [운세 확인하기]](https://imgmo.seoul.co.kr/img/n24/banner/ban_ai_fortune_v2.png)
