‘독파모 논란’ 中 큐웬 인코더 대체한 네이버…자체 개발로 韓 언어·맥락 이해

네이버, 독자 비전 인코더 개발
독파모 참여 과정서 논란 됐던
中 비전 인코더에서 자체 개발로 대체
韓 맥락 이해해 글로벌 모델과 차별화

네이버 로고

네이버가 ‘독자 AI 파운데이션 모델’(독파모) 개발 프로젝트 당시 논란이 됐던 중국 비전 인코더 ‘큐웬’모델을 자체 개발한 비전 인코더로 대체했다. 중국 오픈소스 인코더 사용으로 제기됐던 독자성 논란을 해소하면서 한국 문화에 맞춘 인공지능(AI) 주권을 확보하려는 것으로 풀이된다.

17일 정보통신(IT)업계에 따르면 네이버클라우드는 지난달 초 독자적인 비전 인코더 개발을 완료하고 향후 개발하는 멀티모달 모델 전반에 이를 적용하기 위한 내재화 작업에 착수했다. 비전 인코더는 이미지·영상 정보를 AI가 이해할 수 있는 형태로 변환하는 모듈로, 텍스트·이미지·음성·영상 정보를 종합적으로 다루는 멀티모달 모델의 ‘시신경’ 역할을 하는 기술이다.

네이버클라우드가 이번에 개발한 비전 인코더는 기존의 자체 인코더 기술인 ‘뷰클립’보다 성능을 개선해 현재 오픈소스 생태계에서 최상위권 수준의 성능을 내는 것으로 알려졌다.

앞서 네이버클라우드는 올해 초 정부가 주도한 독파모 프로젝트에서 멀티모달 모델 ‘하이퍼클로바X 시드 32B 싱크’에 중국 알리바바가 개발한 ‘큐웬 2.5’ 모델의 비전 인코더와 가중치를 차용했다가 논란이 제기됐다. 큐웬의 비전 인코더는 오픈소스에서 최상위권 모델의 인코더로 평가되지만, 학습 초기 단계부터 국내 자체 기술로 구축하는 ‘프롬 스크래치’ 원칙과 독파모의 취지에 어긋난다는 비판이 나오면서다.

이번에 개발된 비전 인코더는 AI를 학습 단계부터 한국어로 훈련시켜 별도 번역 과정 없이 이미지와 한국어를 직접 연결하는 구조를 갖췄다. 예를 들어 기존의 글로벌 인코더들이 우리나라 ‘하르방’ 이미지를 단순히 ‘석상’이라는 단어로 인식했다면 네이버 모델은 이미지를 보는 즉시 ‘하르방’이라는 한글 단어를 떠올리는 식이다.

다만 이미 오픈소스로 배포된 ‘하이퍼클로바X 시드 32B 싱크’의 인코더 교체 여부는 미정인 것으로 전해졌다.

곽소영 기자