인공지능(AI) 기반 챗봇 서비스가 아동과 청소년의 안전을 위협하고 있다는 전문가 경고가 잇따르고 있다.

미국 CBS 방송은 7일(현지시간) 시사 프로그램 '60 Minutes'를 통해 실제 인물을 모방하는 AI 챗봇 서비스 '캐릭터 AI(Character AI)'를 둘러싼 위험성을 집중 조명했다.

캐릭터 AI는 이용자가 AI가 생성한 가상 인물과 대화를 나눌 수 있는 애플리케이션과 웹사이트다. 일부 챗봇은 실존 인물을 모방해 외형과 음성, 말투까지 흉내 낸다. 문제는 이 과정에서 아동에게 유해한 콘텐츠가 빈번하게 노출되고 있다는 점이다.

비영리단체 '페어런츠 투게더(Parents Together)'는 가족 안전 문제 제기를 위해 6주간 아동인 척 캐릭터 AI를 사용한 실험을 진행했다. 그 결과 연구진은 "평균 5분마다 한 번꼴로 유해 콘텐츠를 접했다"고 밝혔다. 

셸비 녹스 페어런츠 투게더 관계자는 폭력, 자해, 타인에 대한 위해, 약물과 음주를 권유하는 대화가 반복적으로 등장했으며, 특히 성적 착취와 ‘그루밍(온라인 유인)’ 관련 사례가 약 300건에 달했다고 설명했다.

실존 인물을 무단으로 모방하는 기능도 심각한 문제로 지적됐다. '60 Minutes'의 샤린 알폰시 기자는 자신의 얼굴과 음성을 그대로 본뜬 챗봇을 직접 확인했다. 해당 챗봇은 실제 알폰시 기자와 전혀 다른 성격으로 설정돼 있었고, 실제로는 개를 매우 좋아하는 알폰시 기자를 두고 "개를 싫어한다"는 발언을 하기도 했다.

알폰시 기자는 "내 얼굴을 보고, 내 목소리를 듣는데, 내가 결코 하지 않을 말을 하는 장면을 접하는 것은 매우 기이한 경험이었다'고 말했다.

연구진은 이러한 사례를 통해 타인의 음성과 외형을 모방한 챗봇이 허위 발언을 실제 인물의 발언처럼 오인하게 만들 수 있다고 지적했다.

전문가들은 아동의 뇌 발달 특성상 AI 챗봇에 더욱 취약하다고 경고한다. 미국 노스캐롤라이나대 ‘기술·뇌 발달 윈스턴 센터’ 공동소장을 맡고 있는 미치 프린스타인 박사는 “AI 챗봇은 성인들조차 완전히 이해하지 못하는 ‘새롭고도 위협적인 세계’의 일부”라며 “현재 아동의 약 75%가 이미 이런 서비스를 이용하는 것으로 추정된다”고 말했다.

프린스타인 박사는 충동 조절을 담당하는 전전두엽이 25세 전후에야 완전히 발달하는 점을 들어, 아동과 청소년이 보상 자극에 유난히 민감하다고 설명했다. 챗봇과의 상호작용은 도파민 분비를 유도하며, 강한 몰입과 의존을 유발할 수 있다는 것이다. 그는 "10세부터 25세까지가 가장 취약한 시기"라며 "이 시기 아이들은 가능한 많은 사회적 반응을 원하지만 스스로 멈추는 능력은 부족하다"고 말했다.

특히 문제는 다수의 챗봇이 이용자의 말에 무조건 동조하는 '아부형(sycophantic)' 구조로 설계돼 있다는 점이다. 프린스타인 박사는 이러한 구조가 아이들에게 반드시 필요한 반대 의견, 교정, 갈등 경험을 차단해 건강한 사회성 발달을 저해할 수 있다고 지적했다. 일부 챗봇은 스스로를 상담사나 치료사처럼 설정해 실제 의학적 근거가 없는 조언을 제공하는 경우도 있는 것으로 나타났다.

그는 "많은 부모들이 아이를 잃거나 심각한 심리적 상처를 입은 사례를 호소하고 있다"며 "기업이 아동 참여도를 높여 데이터를 수집하는 데 집착하지 않고, 아동의 복지를 최우선 가치로 삼는다면 충분히 예방할 수 있는 문제"라고 강조했다.

실제로, 2024년 2월 미국 플로리다에서는 당시 14세였던 소년 시월 세처 3세(Sewell Setzer III)가 캐릭터 AI를 집착적으로 사용한 뒤 극단적 선택을 하는 비극이 발생했다. 그의 어머니 메건 가르시아(Megan Garcia)는 캐릭터 AI와 제작사 캐릭터 테크놀로지스(Character Technologies, Inc.), 공동 창업자, 그리고 협력 업체(당시 기술 제휴가 거론되던 구글)를 상대로 2024년 가을 연방법원에 소송을 제기했다. 소송은 과실, 고의적인 정신적 고통 유발, 제품 책임, 부당 사망 등을 근거로 삼았다.

AP 통신에 따르면 미국 연방법원은 2025년 5월 챗봇의 발언을 '표현의 자유(First Amendment)'로 보호해야 한다는 피고 측 주장을 받아들이지 않고, 소송을 계속 진행하도록 허용했다. 이는 AI 챗봇 플랫폼의 책임 범위를 가늠하는 중요한 판례가 될 가능성이 있다.

2025년 9월에는 비영리 단체 '소셜미디어 피해자 법률센터(Social Media Victims Law Center, SMVLC)'가 콜로라도주에서 캐릭터 AI 사용 이후 숨진 13세 소녀 줄리아나 페랄타(Juliana Peralta)의 유가족을 대신해 연방 소송을 제기했다. 이 소송 역시 챗봇이 미성년자에게 유해한 콘텐츠를 제공하고 심리적 압박과 자살 유도 가능성을 방치했다는 취지다.

업계의 자율 규제 역시 시험대에 올랐다. 최근 논란이 된 플랫폼들은 안전 장치 강화를 약속했지만, 사후 대응에 그친다는 비판이 적지 않다. 실제로 캐릭터 AI는 2025년 10월 18세 미만 이용자의 챗봇 대화 서비스를 중단하겠다고 발표했으나, 이 조치만으로는 안전 문제의 근본적 해결에는 부족하다는 지적이 나온다.

영국 일간 가디언에 따르면 일부 소송에서는 캐릭터 AI가 치료사·상담사처럼 행동하도록 설계된 점도 문제로 지적됐다. 자살 유도, 정신적 의존, 정서적 조작 등이 실제 피해로 이어졌다는 주장이다. 이는 AI를 단순한 소프트웨어가 아닌 '심리적 영향력을 가진 제품'으로 봐야 한다는 논쟁으로 이어지고 있다.

시민단체와 학계는 "이제는 기업의 선의에 기대는 방식만으로는 한계가 분명하다"며 "아동 보호는 산업 진흥과 동등한 정책 목표로 격상돼야 한다"고 입을 모은다.

논란이 확산되자 캐릭터 AI는 지난 10월 새로운 안전 대책을 발표했다. 위기 상황에 처한 이용자를 관련 지원 기관으로 연결하고, 18세 미만 이용자의 챗봇 간 지속 대화를 제한하는 조치가 핵심이다. 캐릭터 AI는 '60 Minutes'에 보낸 입장문에서 "우리는 항상 모든 이용자의 안전을 최우선으로 삼아왔다"고 밝혔다.

AI 챗봇을 둘러싼 아동 안전 논란은 단순한 기술 문제를 넘어, 디지털 시대에서 '미성년자의 권리와 보호 범위'를 어디까지 확장할 것인가라는 근본적인 질문을 던지고 있다. 규제 공백을 메우는 입법과 집행 속도가 향후 AI 산업의 사회적 신뢰를 좌우할 분수령이 될 전망이다.