선거판 흔드는 딥페이크 4661건… ‘AI 전문가’로 무관용 단속

선관위, 딥페이크와의 전쟁 선포

선거 90일 전부터 AI 영상도 금지
위법 단속 특별대응팀 440명 운영
“딥보이스 로고송·벽보 허용 안 돼”

6·3 지방선거를 앞두고 중앙선거관리위원회가 ‘딥페이크와의 전쟁’에 나섰다. 생성형 인공지능(AI)을 활용한 허위 내용의 딥페이크 영상이 소셜미디어(SNS)를 통해 확산할 경우 유권자의 판단을 저해할 뿐 아니라 선거판을 흔들 수도 있다고 보고 강도 높은 단속에 나선 것이다.

21일 선관위에 따르면 딥페이크 영상 등을 이용한 선거운동과 관련해선 총 4661건(지난 10일 기준)이 적발됐다. 이 중 가상의 아나운서가 등장하는 뉴스 보도 형태의 허위 사실이 포함된 딥페이크 영상을 제작한 뒤 ‘가상정보’라는 사실을 표기하지 않고 소셜미디어(SNS)에 올린 건에 대해선 경찰에 고발했다. 또 8건은 경고 등 조치를 했고, 4652건에 대해선 삭제를 요청했다.

지난 21대 대선 때는 딥페이크 영상 등을 이용한 선거운동을 하다가 적발된 건수가 1만 513건으로 2024년 22대 총선 당시 적발 건수(389건) 대비 약 27배 늘었다.

딥페이크 영상 등은 인공지능 기술 등을 이용해 만든 실제와 구분하기 어려운 가상의 음향·이미지·영상 등을 말한다. 공직선거법에 따르면 딥페이크 영상 등은 선거 90일 전부터 엄격하게 금지된다. 그 이전에도 해당 게시물이AI로 만든 콘텐츠라는 점을 명확하게 표시해야 한다. 다만 ‘가상정보’라고 표시를 하더라도 허위 사실이 표함돼 있다면 처벌 대상이 될 수 있다.

선관위는 딥페이크 영상 등을 이용한 위법한 선거운동을 방지하기 위해 440여명 규모의 특별대응팀을 운영하고 있다. 온라인 위법 게시물을 상시 모니터링하고 경미한 위반 혐의가 있는 게시물은 삭제 요청, 중대선거범죄는 무관용 원칙을 적용하고 있다.

AI 기술 발전으로 딥페이크 기법도 교묘해지면서 선관위도 3단계 감별 체계로 대응하고 있다. 우선 1단계로 모니터링(시청각 탐지)를 한 뒤 AI를 이용한 의심 콘텐츠에 대해선 복수의 프로그램을 활용해 감별(2단계)하고, 최종적으로 ‘AI 콘텐츠 감별’ 자문위원을 통한 인적 감별(3단계) 절차를 거친다. 특히 AI로 생성한 콘텐츠에 대해선 한국전자기술연구원과 국립과학수사연구원의 감별 프로그램을 활용하고 있다.

선관위는 “후보들이 선거운동을 위해 로고송을 ‘딥보이스’(AI를 활용한 목소리 합성 기술)로 제작하거나 선거벽보·선거공보 등 인쇄물을 AI로 제작하는 것도 실제와 구분하기 어려운 경우 허용되지 않는다”고 했다.

서울신문·중앙선관위 공동기획

이준호 기자