오케스트로 “GPU는 확보했는데 AI는 왜 느릴까”… 추론 최적화 전략 공개

기사 소리로 듣기

다시듣기

글씨 크기 조절
글자크기 설정

닫기

글자크기 설정 시 다른 기사의 본문도 동일하게 적용 됩니다.
- 가
- 가
- 가
- 가
- 가
공유하기
공유

닫기
https://m.seoul.co.kr/news/economy/2026/10/26/20261026500282
URL 복사
댓글
0

수정 2026-10-26 17:22

입력 2026-10-26 17:21

세줄 요약

GPU 확보보다 운영 효율이 중요해진 AI 추론 과제 제시
콘체르토 AI로 Prefill·Decode 분리, 경합 완화와 성능 향상
넷앱 연계로 로딩 시간 단축, 서비스 투입 속도 개선

- GPU 활용 효율 높이는 AI 추론 최적화 전략… 서비스 성능 개선 방안 제시
- ‘콘체르토 AI’ 분산 추론 기술로 동일 GPU 환경서 처리량 62.8% 향상
- 넷앱 스토리지 연계로 AI 모델 가중치 로딩 시간 71초에서 8초로 단축

인공지능(AI) 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재·김영광)가 그래픽처리장치(GPU) 활용도를 높이고 AI 서비스 성능을 개선하기 위한 추론 인프라 최적화 전략을 공개한다. 오케스트로는 오는 10월 27일 오후 2시 ‘AI 서비스 성능 개선, GPU부터 더 사야 할까?’를 주제로 온라인 웨비나를 개최한다고 26일 밝혔다.

최근 생성형 AI가 산업 전반으로 확산되면서 모델 학습뿐만 아니라 추론(Inference)과 실제 서비스 운영의 중요성이 커지고 있다. 기업들이 GPU 확보에 투자를 늘리고 있지만, 실제 AI 서비스 운영 과정에서는 낮은 GPU 활용률과 응답 지연, 비용 부담 등의 과제가 여전히 남아 있다.

특히 에이전틱 AI(Agentic AI)가 확산되면서 하나의 작업을 수행하기 위해 AI 모델을 여러 차례 호출하는 사례가 늘고 있다. 이 과정에서 입력 처리와 답변 생성이 동일한 GPU 자원을 사용하면 작업 간 경합이 발생해 응답이 지연될 수 있다. 이를 해결하기 위해서는 추론 과정의 병목 현상을 줄이고 GPU 자원을 효율적으로 운영하는 기술이 요구된다.

이번 웨비나에서는 AI 추론 인프라의 주요 당면 과제를 살펴보고, 오케스트로의 ‘콘체르토 AI(CONCERTO A.I.)’를 활용한 분산 추론 및 GPU 자원 최적화 방안과 실제 성능 검증 결과를 소개할 예정이다.

‘콘체르토 AI’는 대규모 언어모델(LLM)의 입력 처리(Prefill)와 답변 생성(Decode) 단계를 분리해 GPU 자원 간 경합을 줄이고 추론 성능을 최적화하는 AI 추론 운영 플랫폼이다. 복잡한 추론 인프라의 구축과 배포를 자동화하고, 성능 모니터링 기능을 통합 제공해 AI 서비스의 운영 효율을 높인다.

성능 검증 결과, 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서도 고부하 환경에서 처리량을 62.8% 높이고, 토큰 생성 지연을 52.1% 줄인 것으로 나타났다.

이와 함께 넷앱(NetApp)의 스토리지 기술을 연계한 AI 인프라 최적화 성과도 공개한다. GPU 다이렉트 스토리지(GPUDirect Storage, GDS) 기반 KV 캐시 오프로딩으로 GPU 메모리 부담을 줄이고 동시 사용자 처리 효율을 높인 사례를 소개한다. 모델 로딩 최적화를 통해 AI 모델 가중치 로딩 시간을 기존 71초에서 8초로 줄였으며, 기동 과정 최적화로 신규 서버의 서비스 투입 시간도 187초에서 80초로 단축했다.

오케스트로는 콘체르토 AI를 통해 기업의 AI 서비스 개발부터 운영까지 지원하고, 인프라 운영 효율을 높여갈 계획이다. 추론 최적화를 기반으로 AI 개발 환경과 모델 운영·관리, 통합 모니터링까지 기능을 확장하고, 엔비디아 GPU와 국산 NPU 등 다양한 하드웨어를 지원해 기업의 독립적인 AI 인프라 운영도 뒷받침할 방침이다.

오케스트로 그룹은 소버린 AI 인프라 분야에서도 협력을 확대하고 있다. 계열사인 오케스트로 클라우드는 퓨리오사AI, 업스테이지 등 4개 사와 업무협약(MOU)을 체결하고, 국산 NPU 기반 ‘소버린 AI 풀스택 어플라이언스’ 공동 개발을 추진하고 있다.

웨비나는 10월 27일 오후 2시부터 올쇼TV를 통해 온라인으로 진행된다. 참가비는 무료이며, 사전 등록 후 참여할 수 있다.

김범재 오케스트로 대표는 “AI 시대에는 GPU를 얼마나 많이 확보하느냐보다 보유한 자원의 성능을 최대한 끌어내는 운영 역량이 중요해지고 있다”며 “이번 웨비나에서는 콘체르토 AI의 기술력과 성능 검증 결과를 공유하고, 기업들이 GPU 투자 효과를 높이고 AI 서비스를 안정적으로 운영할 수 있도록 실질적인 해법을 제시하겠다”고 말했다.

양승현 리포터

[ 내안의 AI 본성 분석 :

UNMASK ]

기사 읽는 습관에 숨겨진 당신의 MBTI는?

기사 반응 MBTI 확인

기사를 다 읽으셨나요? AI 퀴즈로 핵심 점검!

콘체르토 AI의 핵심 기술은 무엇인가?