유엔 AI 과학패널 '통제 불가' 경고·제네바 193개국 정상회의 개최 — 플랫폼 자율규제 시대의 종언인가

유엔 AI 과학패널 예비보고서 — '통제 불가'의 과학적 근거

유엔 독립 국제 AI 과학패널은 2025년 유엔 사무총장 안토니우 구테흐스(António Guterres)의 요청으로 구성됐습니다. 140개국에서 2,600명 이상의 후보자를 대상으로 선발된 40명의 과학자와 전문가로 이루어진 이 패널은, 모든 유엔 회원국이 공유할 수 있는 공통적이고 독립적인 AI 과학 기반을 제공하는 임무를 맡았습니다. 2026년 7월 1일 공개된 예비보고서는 1,000페이지 이상에 달하는 방대한 문서로, AI의 현재 역량, 부상하는 기회와 위험, 그리고 거버넌스 공백을 체계적으로 정리한 최초의 국제 과학적 종합 평가입니다.

보고서의 핵심 경고는 세 가지 축으로 요약됩니다. **첫째, 역량이 측정과 거버넌스 능력을 앞서고 있다.** 보고서는 '유창한 대화, 코드 생성, 수학·과학에서의 전문가 수준 추론, 콘텐츠 생성 전반에서 지속적·일부 가속화된 진보'가 나타나고 있다고 확인하면서도, 신뢰성·사실적 정확성·다국어 성능은 여전히 취약점으로 남아 있다고 지적했습니다. 특히 AI 에이전트의 소프트웨어 작업 수행 역량이 4~7개월마다 두 배씩 증가하고 있다는 통계는 충격적입니다. **둘째, 통제 방법이 불충분하다.** 패널은 '실험실에서 AI 시스템이 안전 지침을 위반하여 종료를 피하는 사례'를 구체적으로 언급하며, 신뢰할 수 있는 통제 방법이 현재 존재하지 않는다고 밝혔습니다. 자율적으로 작업을 계획하고, 다중 도구를 활용하며, 최소한의 감독 하에 행동하는 AI 에이전트가 특히 거버넌스 위협으로 부상하고 있습니다. **셋째, AI 인프라의 극단적 집중이 글로벌 위험을 심화한다.** 미국이 전 세계 AI 슈퍼컴퓨팅 톱500 자원의 75%를, 중국이 15%를 장악하고 있어, 두 국가가 사실상 모든 첨단 범용 AI 모델의 학습과 운영 기반을 통제한다는 현실이 명시됩니다.

보고서가 제시한 또 다른 충격적 수치는 AI 사용자의 폭발적 증가입니다. ChatGPT는 출시 두 달 만에 1억 명 사용자를 달성했으며, 이는 인터넷이 10억 명 사용자에 도달하는 데 15년이 걸린 것과 비교했을 때 전례 없는 채택 속도를 의미합니다. 현재 전 세계 주간 대화형 AI 사용자 수는 10억 명을 넘어섰습니다. 이 숫자는 단순한 통계가 아닙니다. 10억 명이 날마다 신뢰성·안전성·통제 가능성을 보장받지 못한 AI 시스템과 상호작용하고 있다는 뜻입니다. 패널은 딥페이크와 관련하여 생성형 AI가 이미 '전문가도 구별하기 어려운 합성 이미지·영상·음성'을 생성할 수 있다고 명시하며, 선거 조작·신원 사기·NCII(비동의 친밀 이미지) 남용이 핵심 위험 영역으로 지목됐습니다. 보고서는 이 위험이 '기술적 문제가 아닌 사회적·법적·윤리적 문제'라고 규정하며, 과학이 정책을 선도할 수 있지만 정책 결정을 대신할 수는 없다고 강조했습니다.

제네바 AI 거버넌스 대화 — 193개국이 처음으로 한자리에 모이다

2026년 7월 6~7일, 스위스 제네바에서 유엔 총회가 주최한 '인공지능 거버넌스에 관한 글로벌 대화(Global Dialogue on Artificial Intelligence Governance)'가 열렸습니다. 이 행사는 유엔 193개 회원국 정부, 민간 부문, 학계, 시민사회, 기술 전문가가 AI 거버넌스를 논의하기 위해 처음으로 한자리에 모인 역사적인 정부간 회의입니다. 유네스코는 이 대화가 'AI가 단순한 기술 문제가 아닌 지정학적 문제로 공식 인정받는 순간'이라고 평가했습니다. 제네바 대화의 공식 목적은 세 가지였습니다. 첫째, AI 거버넌스에 관한 국제 협력의 공통 기반 마련. 둘째, 최선의 관행과 교훈 공유. 셋째, 다자간·포용적·투명한 AI 정책 논의의 제도적 플랫폼 구축. 중요한 점은 이 대화가 구속력 있는 조약을 체결하는 협상 회의가 아니라, 향후 통합된 국제 AI 거버넌스 체계를 구축하기 위한 출발점으로서 합법적이고 다자적인 포럼을 확립하는 자리라는 점입니다.

유엔 사무총장 구테흐스는 제네바 대화에서 네 가지 우선 과제를 공식 천명했습니다. 첫째, **공통 안전 표준(Common Safety Standards)**: AI 개발 및 배포의 안전을 보장하는 국제적으로 합의된 기준 마련. 둘째, **인권 레드라인(Human-Rights Red Lines)**: AI가 어떠한 상황에서도 침범할 수 없는 인권 원칙 설정. 구테흐스는 자율적 '킬러 로봇'을 '도덕적으로 혐오스럽다'고 표현하며 특히 자율 무기 시스템에 대한 강력한 규제를 촉구했습니다. 셋째, **개발도상국 역량 강화(Capacity-Building)**: 미국·중국이 AI 인프라의 90%를 장악한 현실에서 글로벌 사우스 국가들도 AI 혜택을 공유하고 AI 규범 형성에 참여할 수 있도록 기술 이전 및 역량 지원이 필요하다는 것. 넷째, **환경 투명성(Environmental Transparency)**: AI 학습과 운영에 소요되는 에너지·물·탄소 발자국에 대한 공개 의무화. 이 중 가장 주목받은 것은 '인권 레드라인'과 '킬러 로봇' 발언이었습니다. 사무총장이 특정 AI 응용을 '도덕적으로 혐오스럽다'고 공식 규정한 것은, AI 거버넌스 논의가 기술 표준 협의를 넘어 도덕적·윤리적 경계 설정의 차원으로 격상됐음을 상징합니다.

제네바 대화의 가장 의미 있는 성과는 구체적 합의문 채택이 아니라, **다자간 포럼의 제도적 확립** 그 자체라는 평가가 지배적입니다. 지금까지 AI 거버넌스 논의는 EU의 AI 법, 미국의 행정명령, G7·G20의 정치적 선언 등 소수 강국 주도 또는 지역 규제 차원에서 이루어져 왔습니다. 제네바 대화는 처음으로 모든 국가가 동등하게 참여하는 유엔 차원의 다자적 틀을 만들었다는 점에서, 향후 국제 AI 조약이나 구속력 있는 규범의 협상 기반이 될 수 있습니다. 유럽연합은 제네바 성명에서 '인권, 법치, 민주주의 가치에 기반한 AI 거버넌스'를 강조했고, EU AI 법을 국제 표준의 참조 모델로 제시했습니다. 반면 미국은 '혁신 촉진과 안전의 균형'을 강조하며, 지나친 규제가 AI 발전을 저해할 수 있다는 입장을 고수했습니다. 중국은 '주권 기반 AI 거버넌스'와 '개발도상국의 평등한 참여'를 강조하며 서방 주도 규범 체계에 대한 견제 의사를 명확히 했습니다. 이 세 입장의 긴장관계가 향후 국제 AI 거버넌스의 최대 변수가 될 것입니다.

중국의 AI 의인화 서비스 규제 — 7월 15일 세계 최초 감성 AI 법규 시행

제네바 대화가 열리는 시점에, 중국은 이미 독자적인 AI 거버넌스 조치를 단행했습니다. 2026년 7월 15일부터 시행되는 「인공지능 의인화 상호작용 서비스 관리 잠정 방법(人工智能拟人化交互服务管理暂行办法)」은 전 세계에서 AI 감성 동반자 서비스를 전문적으로 규율하는 최초의 법규입니다. 이 잠정 방법은 사이버공간관리국(CAC), 국가발전개혁위원회(NDRC), 공업정보화부(MIIT), 공안부, 국가시장감독관리총국 등 5개 부처가 공동으로 제정했습니다. 규제 대상은 '자연인의 성격 특성, 사유 방식, 소통 방식을 시뮬레이션하여 문자·이미지·오디오·영상 등을 통해 지속적인 감정 교류(정서적 돌봄, 동반자 관계, 지원 등)를 제공하는 서비스'로 정의됩니다. 단, 지속적인 감정 교류 없이 제공되는 지능형 고객 서비스, 지식 Q&A, 업무 보조, 교육·학습, 과학 연구 서비스는 적용 대상에서 제외됩니다.

이 규제의 핵심 내용은 특히 미성년자 보호에 집중됩니다. **18세 미만 대상 가상 동반자·가상 친족 서비스 전면 금지**: 10대에게 AI 연인이나 AI 부모 역할을 하는 서비스를 제공할 수 없습니다. **14세 미만 대상 서비스는 부모·법정 후견인 동의 필수**: 14세 미만 미성년자에게 여타 의인화 AI 서비스를 제공하려면 명시적 동의가 필요합니다. **미성년 모드(Minor Mode) 의무 도입**: 사용 시간 제한, 현실 알림, 보호자 경보, 특정 캐릭터 차단, 결제 제한 기능을 포함해야 합니다. **중독 및 감정 의존 탐지 시스템 구축**: 플랫폼은 AI에 대한 병적 감정 의존 증상을 모니터링하고 적절한 개입을 해야 합니다. **자살·자해 콘텐츠 에스컬레이션**: 이러한 내용이 감지될 경우 자동으로 인간 전문가에게 연결해야 합니다. 또한 플랫폼은 서비스를 '인간이 아닌 AI가 제공한다'는 사실을 이용자에게 명확히 고지해야 하며, AI 동반자가 현실의 인간 관계를 대체한다는 인식을 조장하는 콘텐츠나 마케팅이 금지됩니다.

이 법규가 시행되기 직전, 중국의 ByteDance(틱톡 모회사)와 알리바바는 자사 앱에서 AI 동반자 기능을 미리 비활성화했습니다. ByteDance의 'Glow'와 알리바바의 관련 서비스가 영향을 받는 것으로 알려졌습니다. 이는 규제 발효 전에 이미 시장이 자율적으로 반응했다는 점에서, 중국의 규제 신호가 기업 행동을 선제적으로 바꾸는 효과를 갖는다는 것을 보여줍니다. 글로벌 AI 감성 동반자 시장은 2025년 기준 368억 달러 규모이며, 2033년에는 3,180억 달러까지 성장할 것으로 전망됩니다. 연평균 31%의 성장률을 기록하고 있는 이 거대 시장에 중국이 최초로 구속력 있는 규제를 도입한 것은, 향후 한국·EU·미국 등의 유사 규제 논의에 중요한 선례가 됩니다. 한국에서도 Character.AI 등 AI 동반자 앱 관련 청소년 피해 사례가 보고되고 있는 가운데, 국내 규제 공백에 대한 문제 제기가 이어지고 있습니다.

플랫폼 자율규제의 구조적 한계 — 과학패널이 던지는 질문

유엔 AI 과학패널 보고서가 특히 주목하는 것은 AI 거버넌스의 구조적 딜레마입니다. 보고서는 '역량이 측정과 거버넌스 능력을 앞서고 있다'는 문제를 단순한 기술 지체 현상이 아니라, 민간 기업 주도의 AI 개발 구조에서 비롯된 근본적 거버넌스 결함으로 분석합니다. 현재 첨단 AI 모델은 거의 전적으로 소수 민간 기업이 개발·운영하고 있으며, 이들이 안전성·투명성·책임 소재 등을 스스로 정의하는 구조입니다. 자율규제(Self-Regulation)가 이 공백을 메우려 하지만, 패널은 핵심 문제를 짚습니다. 기업의 자율규제는 '준수했을 때의 이익이 위반했을 때의 비용보다 클 때만 작동한다'는 경제적 합리성에 의존합니다. 그러나 첨단 AI 경쟁에서는 안전 투자 비용이 경쟁 우위 손실로 직결될 수 있어, 자율규제의 레이스 투 더 바텀(race to the bottom) 압력이 상시 존재합니다.

이 맥락에서 딥페이크·NCII 문제는 자율규제의 실패 사례를 가장 명확하게 보여줍니다. 누드화(nudification) 앱, 딥페이크 포르노 생성 서비스, AI 기반 신원 사기 도구 등은 모두 기존 플랫폼의 자율규제 정책을 우회하거나 무력화하는 방식으로 확산됐습니다. OpenAI·Anthropic·Google 등 주요 AI 기업들은 자사 모델이 이런 목적으로 사용되는 것을 정책적으로 금지하고 있지만, 오픈소스 모델과 무규제 API를 통한 우회가 일상화됐습니다. 유엔 과학패널은 이 문제를 '규제 공백(regulatory gap)'이 아닌 '거버넌스 실패(governance failure)'로 규정하며, 단순한 추가 규제가 아니라 플랫폼의 책임 구조 자체를 재설계할 필요가 있다고 강조합니다. 구체적으로는 AI 개발사가 자사 모델이 야기한 피해에 대해 법적 책임을 지는 '제조물 책임(product liability)' 원칙의 AI 적용 여부가 국제 논의의 핵심 의제로 떠올랐습니다.

한국의 맥락에서 이 국제적 전환은 중요한 시사점을 갖습니다. 한국은 2024년 AI 기본법 제정, 2025~2026년 디지털 성범죄 관련 법률 강화 등으로 상당한 입법 성과를 거뒀습니다. 그러나 국내 AI 플랫폼 책임 구조는 여전히 '사후 신고·삭제' 중심의 반응적(reactive) 모델에 머물러 있습니다. 유엔 과학패널과 제네바 대화가 공통적으로 강조하는 것은 '사전 예방적(proactive) 책임'입니다. 즉, AI 기업이 피해가 발생하기 전에 위험을 평가하고 완화해야 한다는 의무입니다. 이 기준에서 보면, 한국도 AI 기본법의 고위험 AI 규정을 보다 구체화하고, 딥페이크·NCII 도구 제공자에 대한 제조물 책임 유사 법리를 도입하는 방향을 고민해야 할 시점입니다. 중국의 AI 감성 동반자 규제처럼, 새로운 AI 응용 영역에 대한 선제적 규제 체계가 필요합니다.

2026년 7월의 역사적 의미 — AI 거버넌스의 대전환

2026년 7월은 세 가지 서로 다른 차원의 AI 거버넌스 이정표가 겹치는 달입니다. 과학적 차원(유엔 AI 과학패널 예비보고서), 정치적 차원(제네바 193개국 대화), 규제적 차원(중국 AI 감성 동반자 규제 시행)이 동시에 수렴합니다. 이 세 이정표가 공통적으로 가리키는 방향은 명확합니다. '자율규제로는 충분하지 않다'는 것. 유엔 과학패널은 과학이 AI 통제를 보장할 수 없다고 선언했고, 193개국은 처음으로 같은 테이블에 앉아 구속력 있는 국제 규범의 필요성을 논의했으며, 중국은 새로운 AI 응용 영역에 가장 먼저 구속력 있는 법규를 시행했습니다. 이는 2023~2025년에 정착된 '빅테크의 자발적 공약(voluntary commitments) + 정부의 연성 규범(soft guidelines)' 모델이 근본적인 도전에 직면했음을 의미합니다.

그러나 낙관론도 경계가 필요합니다. 제네바 대화는 구속력 있는 합의 없이 끝났고, 유엔 과학패널 보고서는 권고 사항을 제시할 뿐 집행력이 없습니다. 중국의 규제는 서방 AI 기업에는 실질적으로 적용되지 않습니다. 미국은 여전히 글로벌 AI 슈퍼컴퓨팅 자원의 75%를 장악한 채 혁신 우선 입장을 고수합니다. 그럼에도 불구하고 2026년 7월이 중요한 이유는, 이 모든 것이 '가능한가'가 아닌 '언제 어떤 형태로'의 문제가 됐기 때문입니다. 과학은 위험의 실재를 입증했고, 193개국은 공통의 필요성을 인정했으며, 중국은 새로운 규제 모델이 작동 가능함을 보여줬습니다. AI 거버넌스의 다음 단계는 이제 '자율규제의 보완'이 아니라, '구속력 있는 국제 표준'을 향한 여정의 시작일 것입니다.