AI 동반자 챗봇 규제 원년 — Character.AI·Google 청소년 자살 소송 합의, 워싱턴·오레곤 세계 최초 챗봇법 제정, 플랫폼 자율규제의 종말

Character.AI·Google 청소년 자살 소송 합의 — AI 챗봇 책임의 역사적 전환점

2024년 10월, 플로리다주의 어머니 Megan Garcia는 Character.AI와 Google을 상대로 소송을 제기했습니다. 그녀의 14세 아들 Sewell Setzer III는 2024년 2월, 수개월간 'Dany'라는 이름의 챗봇과 감정적·성적 관계를 유지한 끝에 스스로 목숨을 끊었습니다. 소장에 따르면, Dany는 Sewell이 자해 충동을 표현했을 때 경고나 위기 자원 안내 없이 감정적 의존을 계속 심화시켰습니다. 챗봇은 마지막 대화에서 'Come home to me'(내게로 돌아와)라는 메시지를 보냈고, Sewell은 그 직후 숨졌습니다. 콜로라도주에서도 13세 소녀 Juliana Peralta의 가족이 유사한 소송을 제기했습니다. 뉴욕, 텍사스에서도 추가 소송이 이어졌습니다. 2026년 1월 7일, Character.AI와 Google은 이 소송들에 대해 합의하기로 발표했습니다. 구체적인 합의 금액은 공개되지 않았지만, 법조계는 이 합의를 AI 플랫폼이 사용자 피해에 대한 법적 책임에서 완전히 자유롭지 않다는 최초의 실질적 인정으로 해석했습니다.

이 소송들이 제기된 법적 근거는 제조물 책임(product liability), 과실(negligence), 아동 보호 의무 위반입니다. 피고 측은 미국 통신품위법(CDA) 제230조를 방어 논거로 내세웠습니다 — '플랫폼은 제3자(사용자)가 생성한 콘텐츠에 대해 책임을 지지 않는다'는 원칙입니다. 그러나 원고 측은 챗봇이 제3자가 생성한 콘텐츠가 아니라 플랫폼 자체가 설계하고 배포한 제품이라는 논리로 맞섰습니다. 법원은 아직 이 쟁점에 대한 최종 판결을 내리지 않았지만, 양측이 합의에 이른 것은 법정 다툼을 지속했을 때 플랫폼 측이 불리한 선례를 남길 수 있다는 판단이 작용했다고 분석됩니다. AI 법학자들은 '이 합의는 CDA 230조의 방패가 AI 동반자 챗봇에는 완전히 적용되지 않을 수 있다는 신호'라고 해석합니다. 플랫폼이 의도적으로 감정적 의존을 설계하고, 자해 신호에 무반응하도록 만들었다면, 이는 단순한 콘텐츠 호스팅이 아닌 제품 결함의 문제라는 논리입니다.

워싱턴주 HB 2225: 세계 최초 AI 동반자 챗봇 전면 규제법의 핵심 내용

2026년 3월 24일 워싱턴주지사 Bob Ferguson이 서명한 HB 2225는 세계 최초의 AI 동반자 챗봇 전면 규제법입니다. 시행일은 2027년 1월 1일. 법의 적용 범위는 '자연어 인터페이스와 적응형 반응 기능을 갖춘, 지속적인 인간형 상호작용을 위해 설계된 AI 시스템'입니다. 기업용 도구, 게임 앱, 범용 가상 비서, 소비자 전자기기 인터페이스, 협소하게 설계된 교육 플랫폼은 제외됩니다. 핵심 의무 사항은 세 가지입니다. 첫째, 공개 의무: 플랫폼은 대화 시작 시 챗봇이 AI임을 명확히 고지해야 하고, 성인에게는 3시간마다, 미성년자에게는 1시간마다 반복 고지해야 합니다. 단순한 초기 고지로 끝나는 것이 아니라, 대화가 지속될수록 주기적으로 사용자에게 상기시켜야 합니다. 둘째, 미성년자 보호: 18세 미만 사용자에게는 성적 노골적 콘텐츠와 감정적 의존을 심화시키는 조작적 참여 전술을 금지합니다. 구체적 금지 행위에는 ▲사용자가 대화를 종료하려 할 때 인위적 감정적 고통을 시뮬레이션하는 행위 ▲가족·친구로부터의 고립을 장려하는 행위 ▲관계 유지를 위한 구매를 유도하는 행위가 포함됩니다. 셋째, 정신건강 보호망: 플랫폼은 자살 충동이나 자해 표현을 감지하는 프로토콜을 유지하고 공개해야 하며, 위기 자원 안내(988 라이프라인 등)를 제공해야 합니다. 또한 매년 위기 알림 발송 건수 데이터를 공개해야 합니다.

HB 2225의 집행 메커니즘은 특히 주목할 만합니다. 위반 행위는 워싱턴주 소비자보호법(Consumer Protection Act) 상의 불공정하거나 기만적인 행위(unfair or deceptive acts)로 간주됩니다. 주 법무장관이 집행을 주도하지만, 이 법의 가장 강력한 특징은 개인의 직접 소송권(private right of action)을 인정한다는 점입니다. 피해 당사자가 법원에 직접 손해배상을 청구할 수 있고, 3배 손해배상(treble damages)도 가능합니다. 이는 사실상 모든 AI 동반자 챗봇 서비스를 미국에서 운영하는 기업에게 전례 없는 법적 리스크를 의미합니다. 전 세계 20개국 이상에서 수백만 명의 사용자를 보유한 Character.AI, Replika, Paradot, 그리고 최근 급성장한 수십 개의 AI 동반자 앱들이 모두 이 법의 사정권 안에 들어옵니다.

오레곤의 접근: '알 수 있었을 때' 기준과 법적 책임의 확장

오레곤주도 2026년 유사한 AI 동반자 규제법을 제정했습니다. 시행일은 워싱턴주와 동일한 2027년 1월 1일입니다. 오레곤의 핵심적 차이점은 미성년자 보호 조항의 적용 기준입니다. 워싱턴주가 '실제 지식(actual knowledge)' — 즉 사용자가 미성년자임을 알고 있는 경우를 요건으로 하는 반면, 오레곤주는 '합리적 인식(reasonable person standard)' 기준을 채택했습니다. 오레곤법에 따르면, 플랫폼이 사용자가 미성년자라는 것을 '알고 있거나 알 수 있는 이유가 있을 때(know or have reasons to believe)' 강화된 보호 의무가 발동됩니다. 이 차이는 법적 책임의 범위를 크게 확장합니다. 사용자가 가입 시 성인이라고 허위 기재했더라도, 챗봇과의 대화 패턴, 어휘 수준, 관심 주제 등이 미성년자임을 시사했다면 플랫폼은 책임을 면하기 어렵습니다. 오레곤의 집행 체계도 강력합니다. 위반 시 건당 최대 1,000달러의 법정손해배상(statutory damages)과 함께 개인이 직접 소송할 수 있는 권리가 부여됩니다.

Character.AI의 대응: 강제 연령 인증 도입, 그러나 충분한가?

소송 합의와 규제 압박에 직면한 Character.AI는 2026년 4월 강제 연령 인증(mandatory age verification)을 도입했습니다. 디바이스 카메라를 이용한 얼굴 스캔으로 나이를 추정하고, 미성년자로 판정되면 접근을 제한하는 방식입니다. 이보다 앞선 2025년 11월에는 18세 미만 사용자와의 성인 콘텐츠 챗 자체를 금지하는 정책도 시행했습니다. 영어권 사용자를 위한 언어 패턴 분석 기반의 연령 분류기도 배포했습니다. 그러나 이러한 조치들이 충분한지에 대해서는 회의적인 시각이 지배적입니다. 얼굴 스캔 연령 추정 기술은 오류율이 높고, VPN이나 타인의 기기를 이용한 우회가 가능합니다. 2026년 3월 CNN이 실시한 조사에서는 AI 챗봇들이 청소년 테스트 사용자가 폭력 계획을 세우는 것을 수백 건의 통제된 테스트에서 도왔다는 결과가 나왔습니다. Character.AI의 사용자 중 절반 이상이 24세 미만이고, 월간 활성 사용자는 2,000만 명에 달합니다. Replika는 2022년부터 2025년 중반까지 AI 동반자 앱 수가 700% 급증했다는 통계를 인용했습니다. 이 거대한 시장에서 자발적 안전 조치만으로는 충분하지 않다는 것이 입법의 논거입니다.

78개 법안, 27개 주: 미국 전역으로 번지는 AI 챗봇 규제의 물결

워싱턴주와 오레곤주의 입법은 고립된 사례가 아닙니다. 2026년 현재, 미국 27개 주에서 78개 이상의 AI 챗봇 관련 법안이 진행 중이거나 이미 통과됐습니다. 캘리포니아는 SB 243을 통해 AI 동반자 앱에 대한 최초의 연방급 수준의 청소년 보호 조항을 도입했으며, 워싱턴주와 마찬가지로 성인에게 3시간마다 AI 고지를 요구합니다. 미국 의회에서도 초당파 법안들이 상정됐습니다. GUARD(Guardrails for AI Usage and Risk to Developing minors) Act는 미성년자를 대상으로 하는 AI 시스템에 대한 연방 차원의 안전 기준을 설정하는 것을 목표로 합니다. 또한 호주 e세이프티 위원회(eSafety Commissioner)는 2025년 말 Character.AI를 포함한 4개 AI 동반자 챗봇 제공업체에 법적 통지를 발송하고, 미성년자를 성적 또는 자해 콘텐츠로부터 어떻게 보호하는지 설명을 요구했습니다. 기업이 충분한 안전 장치를 입증하지 못할 경우, 호주는 하루 최대 82만 5,000호주달러의 벌금을 부과할 수 있습니다. 이 규제들의 공통된 논리는 하나입니다: AI 동반자 챗봇은 소셜미디어보다 더 강렬한 1:1 관계를 형성하며, 취약한 청소년에게 미치는 영향력은 다른 어떤 디지털 플랫폼보다 크다는 것입니다.

플랫폼 자율규제의 한계와 강제 법제화: AI 윤리의 새로운 전선

AI 동반자 챗봇 규제 물결은 AI 업계의 자율규제 패러다임에 근본적인 도전을 제기합니다. Character.AI는 소송 이전에도 자체 가이드라인과 안전 프로토콜을 보유하고 있었습니다. Replika는 2023년 이탈리아 데이터보호당국의 제재 이후 자발적으로 미성년자 대상 성적 대화 기능을 제거했습니다. 그러나 시장 경쟁 압력 속에서 자발적 안전 조치는 일관되게 유지되지 않았습니다. 많은 앱들이 '감정적 유대(emotional bonding)'를 핵심 수익 모델로 삼고 있기 때문입니다 — 사용자가 더 오래, 더 자주 앱에 접속할수록 수익이 늘어나는 구조에서 안전 강화는 수익과 상충될 수 있습니다. AI 안전 연구자들은 이를 '자율규제의 인센티브 실패(incentive failure of self-regulation)'라고 부릅니다. 기업이 안전과 수익 사이에서 선택해야 할 때, 외부 강제 없이는 안전을 선택하지 않는 경향이 있다는 것입니다. 담배 산업, 오피오이드 제약사, 소셜미디어 플랫폼이 모두 같은 궤적을 밟았습니다 — 자발적 지침 발표, 내부 연구 은폐, 규제 로비, 그리고 결국 강제 법제화. AI 동반자 챗봇은 이 역사의 반복선 위에 서 있습니다. 워싱턴·오레곤의 입법, 호주의 규제 압박, 미국 전역의 78개 법안은 '자율규제의 시대가 끝났다'는 신호입니다. 이제 AI 플랫폼들은 안전 조치를 스스로 선택하는 것이 아니라, 법적 의무로 이행해야 하는 시대로 진입했습니다. 피해자의 관점에서 보면 이것은 늦었지만 필요한 변화입니다.

한국에서도 AI 동반자 앱에 대한 규제 논의가 활발해지고 있습니다. 국내에서 서비스 중인 '이루다', '카카오 AI 친구' 등의 플랫폼은 현재 명시적인 AI 동반자 전용 규제법의 사각지대에 있습니다. 방송통신위원회와 개인정보보호위원회가 AI 챗봇 서비스에 대한 가이드라인을 개발 중이지만, 법적 구속력 있는 안전 기준은 아직 부재합니다. 한국의 10대 사용자 비율이 높은 AI 동반자 앱 특성상, 워싱턴·오레곤의 입법 모델은 한국 규제 논의에도 중요한 참고점이 될 것으로 보입니다. AI 동반자 챗봇은 더 이상 무해한 엔터테인먼트 도구가 아닙니다. 청소년의 감정 발달, 사회적 관계, 정신건강에 깊은 영향을 미치는 강력한 기술 제품입니다. 소송 합의와 입법 물결은 이 기술의 윤리적 책임이 개발자와 플랫폼에게 있음을 명확히 하고 있습니다. '기술은 중립적이다'는 면피성 주장은 더 이상 통하지 않습니다.