“말로 시키면 데이터가 모인다”... AI 에이전트 시대, 스크래핑도 ‘바이브 코딩’

구글에서 서울신문 먼저 보기

세줄 요약

• AI 에이전트 확산, 데이터 최신성 중요성 부각
• 바이브 코딩 확산, 비개발자 제작 진입장벽 하락
• 자연어 스크래퍼, 데이터 수집 자동화 주목

AI 에이전트가 기업의 데이터를 읽고 분석해 업무에 활용되는 흐름이 확산되면서, 업계에서는 모델 성능 못지않게 데이터의 최신성과 활용 가능성이 중요해지고 있다는 분석이 나온다.

최근 개발 현장에서는 코드를 세세하게 작성하지 않고 자연어 지시를 바탕으로 결과물을 만드는 이른바 ‘바이브 코딩(Vibe Coding)’ 흐름이 주목받고 있다. 기획자가 짧은 시간 안에 프로토타입을 구현하고, 비개발 직군이 업무에 필요한 페이지나 자동화 도구를 직접 만드는 사례가 늘면서, 소프트웨어 제작의 진입장벽이 낮아지고 있다는 평가도 나온다.

이 같은 변화는 소프트웨어 제작을 넘어 데이터 수집 영역으로도 이어지고 있다. AI 에이전트가 실시간에 가까운 판단과 자동화를 수행하려면 지속적으로 새로운 웹 데이터가 공급돼야 하는데, 최신 데이터 접근이 원활하지 않으면 결과의 정확도와 활용성이 떨어질 수 있다는 지적이 나온다. 업계 일각에서는 AI 에이전트 도입 과정에서 모델 자체보다 데이터를 확보·정리·갱신하는 방식이 더 큰 운영 과제가 될 수 있다는 시각도 제기된다.

이 같은 흐름은 소프트웨어 제작을 넘어 데이터 수집 영역으로도 옮겨가는 모습이다. AI 에이전트가 실시간 의사결정을 내리려면 끊임없이 새로운 웹 데이터가 공급돼야 하는데, 최신 데이터에 대한 접근이 제한되면 에이전트가 오작동할 위험이 커질 수 있다는 우려가 나온다. 업계 일각에서는 AI 에이전트 도입의 병목이 모델 자체보다 ‘데이터를 다루는 방식’에 있을 수 있다는 시각도 제기된다. 참조하는 데이터가 며칠 전 상태에 머물러 있다면, 에이전트가 내놓는 답변의 신뢰도 역시 낮아질 수 있다는 지적이다. 문제는 이 데이터를 수집하는 스크래퍼를 만들고 유지하는 일 자체가 상당한 개발 리소스를 요구한다는 점이다. 웹사이트 구조가 조금만 바뀌어도 스크래퍼가 멈추기 일쑤여서, 전담 개발 인력이 없는 기업이라면 데이터 확보 단계에서부터 병목을 겪는 경우가 많다.

검색 환경의 변화도 이런 흐름을 부채질한다. 이용자가 검색창에 단어를 입력하던 방식에서, AI에게 맥락을 설명하고 답을 구하는 방식으로 무게 중심이 옮겨가면서, 콘텐츠와 데이터의 가치도 특정 키워드를 얼마나 반복했는지보다 주제와 맥락에 얼마나 밀접하게 연결돼 있는지로 판가름 나는 추세다. 결국 얼마나 ‘관련성 높은’ 데이터를 실시간으로 확보하느냐가 AI 서비스의 품질을 가르는 변수가 되고 있는 셈이다.

결국 관건은 코딩 지식 없이도 이런 데이터 파이프라인을 얼마나 빠르게 구축할 수 있느냐다. 실제로 세계 1위 웹 데이터 플랫폼 브라이트데이터(Bright Data)는 스크래퍼 스튜디오(Scraper Studio)를 통해 원하는 웹사이트와 필요한 데이터를 자연어로 설명하면 AI가 곧바로 실행 가능한 스크레이퍼를 만들어주는 방식을 택했다. 전 세계 2만개 이상의 조직에 웹 데이터 인프라를 제공해 온 브라이트데이터가 이 서비스를 한국 시장에서 주력으로 내세우는 이유이기도 하다.



데이터를 다루는 기술의 눈높이가 개발자에서 비개발자로 넘어가는 흐름 속에서, 자연어 한 줄로 웹 데이터를 확보하는 방식이 기업의 AI 전략을 어떻게 바꿔놓을지 주목된다. 결국 데이터를 먼저, 그리고 정확하게 읽는 쪽이 AI 경쟁에서 앞서 나갈 가능성이 크다. 데이터 수집의 진입장벽이 낮아질수록, 그 격차는 기술력보다 실행 속도에서 갈릴 것이라는 전망도 나온다.

양승현 리포터