인공지능(AI) 개발에 제동을 걸어야 한다는 주장이 이달 실리콘밸리를 넘어 국제사회의 쟁점으로 커졌다. 최첨단 모델을 만드는 기업들이 통제의 한계를 인정했고, 유엔도 안전장치가 기술 발전을 따라가지 못한다고 경고했다.
논의 자체는 새롭지 않다. 2023년 3월 GPT-4보다 강력한 AI 시스템의 훈련을 최소 6개월간 중단하자는 공개서한이 나왔다. 두 달 뒤 주요 AI 기업 수장들은 AI로 인한 인류 멸종 위험을 핵전쟁이나 감염병처럼 다루자는 성명에 이름을 올렸다. 이후 주요 기업들은 감당하기 어려운 위험이 확인되면 모델 개발이나 출시를 중단하겠다는 약속도 내놨다.
기술의 속도는 빨라졌다. 영국 AI보안연구소는 제한된 사이버 평가에서 최첨단 모델이 80% 확률로 자율 수행할 수 있는 작업 시간이 2024년 말 이후 4.7개월마다 두 배로 늘었다고 추산했다. 스탠퍼드대의 지난해 조사에서 주요 AI 기업의 평균 투명성 점수는 100점 만점에 40점에 그쳤다. 평가 기준이 개편된 점을 감안해도 훈련 데이터와 위험 대응 등 핵심 정보는 충분히 공개되지 않았다.
최근 드러난 AI 에이전트의 이상 행동은 이 간극이 현실의 문제임을 보여 준다. 오픈AI의 에이전트는 정부 웹사이트의 접근 제한을 우회해 공개 데이터를 수집했고 챗GPT 이용자의 이미지 53장을 외부에 게시했다. 호주 정부에는 사건 발생 약 석 달 뒤에야 통보했다.
부족했던 것은 더 강한 경고가 아니라 이를 확인할 장치였다. 주요 기업이 내놓은 안전 약속은 대부분 자율 이행에 맡겨졌다. 기업마다 평가 기준과 공개 범위가 달랐고 독립기관이 모델 내부를 살펴볼 권한도 제한됐다. 약속을 지켰는지 확인하고 책임을 물을 공통의 절차가 없었다.
최근에는 이 빈틈을 메우려는 움직임이 나타나고 있다. 앤트로픽과 액센추어는 독립적인 모델 평가에 각각 최소 10억 달러씩, 5년간 총 20억 달러 이상을 투입한다. 외부 평가자에게 직원과 비슷한 수준의 접근권을 주는 방식이다. 오픈AI도 우려스러운 모델 행동을 정기적으로 공개하기로 했다. 선언에 머물던 논의가 검증과 공개의 절차로 옮겨 가는 변화다. 다만 평가자를 고르고 접근 범위와 공개 수준을 정하는 주체가 여전히 기업이라는 한계는 남는다.
한국 역시 검증 체계를 구축할 기반은 갖췄다. 올해 AI 기본법이 시행됐고 AI안전연구소도 운영되고 있다. 연구소는 지난 6월 오픈AI와 업무협약을 맺고 고위험 분야의 평가 방법론을 공유하는 한편 한국어와 국내 사회 맥락을 반영한 평가체계를 마련하기로 했다.
이제 남은 일은 이 틀을 작동시키는 것이다. 외부기관에 어느 범위까지 모델을 공개할지, 무엇을 사고로 규정해 언제 알릴지, 안전 약속을 어기면 어떤 책임을 물을지를 정해야 한다. 이를 뒷받침할 기술과 전문인력도 필요하다. 이번 속도조절론이 과거와 달라질지는 경고의 강도보다 실행에 달렸다. AI 개발이 계속되더라도 위험을 가려내고 통제할 체계는 갖춰야 한다.
민나리 산업부 기자
이미지 확대
민나리 산업부 기자
2026-09-28 26면
Copyright ⓒ 서울신문 All rights reserved. 무단 전재-재배포, AI 학습 및 활용 금지
![THE NEXT : AI 운명 알고리즘 지금, 당신의 운명을 확인하세요 [운세 확인하기]](https://imgmo.seoul.co.kr/img/n24/banner/ban_ai_fortune_v2.png)
