인터넷 인프라 기업 클라우드플레어(Cloudflare)가 AI 기업 봇(일명 크롤러)의 무단 콘텐츠 수집을 차단하는 새로운 기술을 도입해, 전 세계 수백만 개 웹사이트가 AI 기업의 콘텐츠 무료 수집 행위에 대응할 수 있는 길이 열렸다.

클라우드플레어는 전체 인터넷의 약 20%를 호스팅하는 업체로, 자사 네트워크에 연결된 웹사이트에 AI 크롤러 차단 기능을 적용하기 시작했다고 1일(현지시간) 자사 블로그를 통해 밝혔다. 이미 약 100만 개 웹사이트에 관련 기술이 적용됐으며, 향후 신규 고객과 기존 테스트 참여 사이트에 기본값으로 자동 적용된다.

해당 내용에 대해서는 BBC, 테크크런치, 로이터통신 등 다수 외신이 보도했다.

이 기술은 제3의 AI 기업이 뉴스, 이미지, 텍스트 등 웹사이트 내 콘텐츠를 무단 수집한 뒤 자체 AI 시스템 훈련에 사용하는 것을 막기 위한 것이다. AI 크롤러들은 구글 등 검색엔진의 로봇과 달리, 콘텐츠를 수집만 하고 원문 사이트로의 유입을 유도하지 않아 창작자의 수익 기회를 침해한다는 지적을 받아 왔다.

콘데 나스트(Condé Nast)의 로저 린치(Roger Lynch) CEO는 BBC에서 이번 조치를 "디지털 생태계의 공정한 가치 교환을 위한 게임체인저"라고 평가했다. 그는 "이는 창작자를 보호하고, 양질의 저널리즘을 지지하며, AI 기업에 책임을 묻는 중요한 진전"이라고 밝혔다.

최근 들어 AI 기술 기업들이 언론사, 작가, 음악가 등 창작자의 동의 없이 데이터를 수집해 상업적으로 활용하면서, 업계에서는 불만이 커지고 있다. 영국에서는 엘튼 존 경을 포함한 예술계 인사들이 정부와의 충돌을 빚었고, BBC는 미국 AI 스타트업 퍼플렉시티(Perplexity)에 법적 조치를 예고하며 손해배상까지 요구한 바 있다.

출판사의 경우, 일반적으로 구글 딥마인드 등 검색 엔진 크롤러의 자사 사이트 접근을 허용해 출판계 붕괴 등 위기설까지 제기되고 있다. 

클라우드플레어는 AI 크롤러가 텍스트, 기사, 이미지 등의 콘텐츠를 수집하여 사용자들을 대상으로 답변을 생성하지만, 방문자를 원본 소스로 보내지 않아 콘텐츠 제작자의 수익을 침해한다고 주장했다. 

매튜 프린스 최고경영자(CEO)는 BBC에서 "인터넷이 AI 시대에 살아남으려면, 우리는 출판사에게 그들이 마땅히 누려야 할 통제권을 주고, 모든 사람에게 효과적인 새로운 경제 모델을 구축해야 한다"고 말했다.

클라우드플레어는 앞으로 웹사이트 운영자들이 AI 기업에 콘텐츠 이용료를 청구할 수 있도록 '페이 퍼 크롤(Pay Per Crawl, 크롤링당 지불)' 시스템도 개발 중이다. 크롤링당 지불은 창작자의 수익을 보호할 수 있는 시스템으로 도메인 소유자에게 수익 창출 전략을 완전히 제어할 수 있는 권한을 부여한다. AI 크롤러의 무분별한 활동에 대한 기술적·경제적 대응을 병행하겠다는 취지다.

클라우드플레어에 따르면 AI 크롤러의 활동은 하루 500억 회 이상 요청을 발생시키며 기하급수적으로 증가하고 있다. 일부 봇은 이미 존재하는 로봇 차단 프로토콜도 무시하고 있다는 우려가 나오고 있다.

이와 관련해 AI 학습 데이터의 윤리성과 저작권을 감시하는 '페어리 트레인드(Fairly Trained)'의 설립자 에드 뉴턴-렉스는 "이번 조치는 환영할 만하지만, 기술적 차단만으로는 한계가 있다"고 지적했다. 그는 "이는 집 안에서만 작동하는 방탄복과 같다"며, "궁극적으로는 법적 규제가 필요하다"고 강조했다.

영국에서는 콘텐츠 보호를 둘러싼 창작자와 정부, AI 기업 간의 갈등이 입법 전선으로 확산되고 있다. 미국에서도 콘텐츠 권리자들이 AI 기업을 상대로 집단소송에 나서는 등 법적 공방이 이어지는 가운데, 클라우드플레어의 이번 조치는 기술을 통한 '디지털 권리 보호'의 새로운 모델로 주목받고 있다.