캘리포니아 SB 942 AI 투명성법 시행·미드저니 미준수 — PolicyShiftGuard 연구가 보여주는 플랫폼 자율규제의 한계

캘리포니아 SB 942 — 미국 최초 AI 워터마크 강제법의 탄생

캘리포니아 AI 투명성법(SB 942)은 2024년 캘리포니아 주지사 개빈 뉴섬이 서명한 뒤 AB 853에 의해 시행일이 2026년 8월 2일로 조정됐습니다. 이는 EU AI법 제50조 투명성 의무 발효일과 의도적으로 일치시킨 것으로, 글로벌 AI 규제의 첫 번째 '동시 시행' 사례로 평가받습니다. 법의 적용 대상은 캘리포니아 내 월 이용자 100만 명 이상인 생성형 AI 서비스를 운영하는 사업자입니다. 이 기준은 실질적으로 OpenAI(ChatGPT), Google(Gemini), Meta AI, Midjourney, xAI(Grok), ElevenLabs, Suno 등 주요 AI 플랫폼 전체를 포함합니다. 의무 내용은 세 가지입니다. 첫째, 무료 AI 탐지 도구(Free AI Detection Tool)입니다. 해당 사업자의 AI로 생성·변형된 콘텐츠를 이용자가 판별할 수 있도록 URL 제출 및 API 접근을 지원하는 공개 도구를 반드시 제공해야 합니다. 개인정보 수집은 금지됩니다. 둘째, 잠재적 출처 공개(Latent Disclosure)입니다. AI가 생성하거나 상당 부분 변형한 이미지·영상·음성 파일에, 생성 AI 시스템 이름·버전·생성 날짜·고유 식별자를 포함한 기계 판독 가능 메타데이터를 삽입해야 합니다. 이 메타데이터는 '업계에서 널리 인정된 표준', 즉 실질적으로 C2PA(콘텐츠 출처 및 진정성 연합) 규격을 따라야 합니다. 셋째, 가시적 표시 옵션(Manifest Disclosure)입니다. 이용자가 요청할 경우, 콘텐츠가 AI에 의해 생성·변형됐음을 표시하는 가시적 표식을 부착할 수 있는 기능을 제공해야 합니다. 이 표식은 '기술적으로 제거하기 매우 어려운' 형태로 설계돼야 합니다. 위반 시 제재는 강력합니다. 캘리포니아 법무장관, 시 검사, 카운티 검사가 민사 소송을 제기할 수 있으며, 위반 1건당 하루 5,000달러가 부과됩니다. 30일 미준수 시 최대 15만 달러 노출, 1년이면 182만 5,000달러에 달합니다. 사적 소송권은 없으나 승소 시 변호사 비용도 회수할 수 있습니다.

Midjourney의 역설 — CAI 회원이지만 워터마크 없음

SB 942 시행 첫날 가장 주목받는 미준수 사례는 AI 이미지 생성 플랫폼 Midjourney입니다. Midjourney는 2023년부터 콘텐츠 진정성 이니셔티브(Content Authenticity Initiative, CAI)의 멤버입니다. CAI는 Adobe가 주도하는 조직으로, C2PA 표준의 업계 채택을 촉진하는 역할을 합니다. 그러나 CAI 멤버십은 구현을 보증하지 않습니다. 2026년 8월 2일 현재, Midjourney는 생성 이미지에 C2PA 자격증명이나 픽셀 워터마크를 탑재하지 않고 있습니다. 규제 분석가들은 이를 '회원이지만 구현은 없는 가장 고프로파일한 사례'로 지목합니다. 비교적으로 Adobe(Firefly), Google(Imagen/Gemini 이미지), OpenAI(DALL-E)는 자사 생성 이미지에 C2PA 자격증명을 탑재하거나 SynthID와 같은 자체 워터마킹 시스템을 운용하고 있습니다. Midjourney의 미준수는 AI 플랫폼 자율규제의 고전적 딜레마를 드러냅니다. CAI 참여는 법적 의무가 아닌 '자발적 헌신'이었고, Midjourney는 구현에 3년을 투자하지 않았습니다. 이제 법적 의무가 생긴 순간, 구현 격차가 가시화됐습니다. 2026년 8월 2일 시행과 관련해 주목해야 할 또 다른 점은 법의 '단계적 확대' 구조입니다. 현재(2026년 8월)는 생성형 AI 서비스 운영자 의무만 발효됐지만, 2027년 1월 1일부터는 대형 온라인 플랫폼(소셜 네트워크·검색엔진)이 C2PA 워터마크가 삽입된 콘텐츠를 감지·공개해야 하고, 2028년 1월 1일부터는 캘리포니아에서 판매되는 카메라·캡처 장치 제조사도 촬영 시점에 잠재적 출처 임베딩을 제공해야 합니다. SB 942는 오늘의 생성 AI 의무에서 시작해 내일의 플랫폼·하드웨어 생태계 전체를 포괄하는 콘텐츠 진정성 인프라의 법적 기반이 되려는 것입니다. 한편, SB 1000도 주목해야 합니다. 현재 캘리포니아 의회 플로어에 계류 중인 이 법안은 월 이용자 100만 명 기준을 폐지해 소규모 AI 서비스에도 의무를 확대하려 합니다. 통과될 경우 SB 942의 적용 범위는 대폭 넓어집니다.

PolicyShiftGuard — 정책이 바뀔 때마다 무너지는 AI 안전 가드레일

SB 942와 EU AI법 제50조가 동시 시행되던 2026년 7월, 복단대학·동제대학·시카고대학 공동 연구팀은 플랫폼 자율규제의 또 다른 구조적 취약점을 드러낸 논문 'PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails'를 발표했습니다. 이 연구가 다루는 문제는 단순합니다. AI 이미지 콘텐츠 정책이 변경될 때, 기존 안전 가드레일은 새로운 정책에 제대로 적응하는가? 연구팀이 구축한 PolicyShiftBench는 265장의 이미지, 28가지 정책 변형, 2,000개 평가 인스턴스로 구성됩니다. 특히 주목할 점은, 이 265장 중 262장이 어떤 정책 하에서는 '허용', 다른 정책 하에서는 '차단' 레이블을 모두 받는다는 것입니다. 즉, 이미지의 안전성은 고정된 속성이 아니라 정책에 따라 결정되는 문제입니다. 그러나 기존 AI 이미지 가드레일들은 이를 인식하지 못합니다. 대부분은 단일 고정 분류 체계 하에 훈련돼, 훈련 당시의 정책이 정의한 '안전'/'위험'의 경계를 학습합니다. 정책이 바뀌어도 내부 학습 경계는 바뀌지 않습니다. 결과는 참담합니다. 실험에서 현존하는 대부분의 VLM(비전-언어 모델) 및 전문 이미지 가드레일들은, 정책이 변경되면 F1 점수는 표면상 적당해 보이더라도 PSS(정책 이탈 점수, Policy Shift Score)가 극도로 낮게 나타났습니다. 이는 '시각적으로 위험한 콘텐츠는 탐지하지만, 같은 이미지가 다른 정책 하에 있을 때 판단을 일관성 있게 수정하지 못한다'는 의미입니다. 다시 말해, 정책이 바뀌면 기존 가드레일은 새 정책이 무엇인지와 무관하게 이전 판단을 그대로 유지해버리는 경향이 있습니다. 이를 연구팀은 '정책 이탈(policy shift failure)'이라고 명명합니다.

연구팀이 제안한 해법이 PolicyShiftGuard입니다. 7B 파라미터 모델 기준으로 평균 F1 76.9, PSS 72.1을 달성해 기존 가드레일 대비 크게 향상됐습니다. 추론 지연 시간도 273.3ms에서 163.9ms로 단축돼 실제 배포 환경에서의 성능 이점도 확인됐습니다. PolicyShiftGuard의 핵심 설계 원칙은 '안전성 판단을 현재 활성화된 정책에 명시적으로 바인딩하는 것'입니다. 이미지의 시각적 특성을 '본질적 위험도'로 인코딩하는 대신, 현재 정책이 정의하는 경계에 맞춰 판단을 동적으로 조정합니다. 이 연구의 플랫폼 자율규제 시사점은 심각합니다. SB 942 준수를 위해 플랫폼이 허용/차단 정책을 업데이트하는 순간, 기존 가드레일의 안전 필터는 새로운 정책 경계에 맞게 재훈련되지 않는 한 사실상 무력화됩니다. 이는 법 준수 행위 자체가 순간적으로 안전 취약점을 생성할 수 있음을 의미합니다. EU AI법 제50조도 마찬가지입니다. 2026년 8월 2일을 기점으로 플랫폼들이 딥페이크 레이블링 정책을 업데이트했을 때, 해당 정책 변경이 기존 이미지 안전 가드레일에 의도치 않은 취약점을 초래할 수 있습니다. 자율규제의 역설이 여기서 다시 한번 나타납니다. 정책을 빠르게 업데이트하는 것이 '준수'처럼 보이지만, 정책과 가드레일 사이의 정렬(alignment)을 유지하지 않으면 오히려 안전 격차를 만들 수 있습니다. 진정한 플랫폼 책임은 정책 발표만이 아니라 정책-가드레일 정렬의 지속적 검증을 포함해야 한다는 것이 이 연구의 핵심 메시지입니다.

두 사안의 교차점 — 자율규제에서 '기술 준수 검증'으로

SB 942의 Midjourney 미준수 사례와 PolicyShiftGuard 연구는 표면상 별개의 문제처럼 보이지만, 실은 같은 구조적 실패를 가리킵니다. 바로 'AI 플랫폼 자율규제는 선언에서 끝나는 경향이 있다'는 것입니다. Midjourney는 CAI 멤버십이라는 자발적 선언을 했지만 기술 구현은 하지 않았습니다. 대부분의 AI 안전 가드레일은 '안전 정책을 준수한다'고 선언하지만, 정책이 변경될 때 실제로 작동하는지 검증하지 않습니다. 두 문제의 해법도 같은 방향을 가리킵니다. 첫째, 자율 선언을 넘어 기술적으로 검증 가능한 준수(technical compliance verification)가 필요합니다. SB 942는 이 방향에서 중요한 진전입니다. C2PA 워터마크는 디지털 서명 체계로 제3자가 진정성을 독립적으로 검증할 수 있습니다. 클로즈드 박스에 '안전합니다'고 표시하는 것이 아니라, 외부에서 확인 가능한 증거를 요구하는 것입니다. 둘째, 정책 변경 시마다 가드레일의 정렬을 의무적으로 재검증해야 합니다. PolicyShiftGuard 연구는 이를 자동화할 수 있는 기술적 도구를 제시했습니다. 규제 당국이 플랫폼에 '정책 업데이트 시 PolicyShiftBench 등 표준 벤치마크로 가드레일 성능을 재검증할 의무'를 부과한다면, 정책-가드레일 정렬 격차를 구조적으로 줄일 수 있습니다. 셋째, 단계적 확대 구조가 중요합니다. SB 942가 2027년에 대형 온라인 플랫폼, 2028년에 하드웨어 제조사까지 포함하는 것처럼, AI 안전 검증 의무도 단계적으로 공급망 전체로 확대돼야 합니다. AI 생성 콘텐츠의 워터마크만으로는 충분하지 않습니다. 워터마크를 삭제하거나 우회하는 시도에 대한 탐지, 플랫폼의 재유통 검증까지 포함해야 합니다. 2026년 8월 2일은 하나의 상징적 날짜입니다. 미국과 유럽이 동시에 AI 콘텐츠 투명성을 법적 의무로 전환한 첫날입니다. 그러나 SB 942의 법적 의무가 실질적인 콘텐츠 진정성 인프라로 이어지려면, Midjourney 같은 고프로파일 미준수 사례에 대한 실질적 집행과 PolicyShiftGuard 연구가 제시한 기술 표준화가 동시에 진행돼야 합니다.

한국에 대한 시사점 — AI 생성 콘텐츠 출처 의무화와 가드레일 검증 체계

캘리포니아 SB 942와 PolicyShiftGuard 연구는 한국 AI 거버넌스에 세 가지 직접적인 과제를 제기합니다. 첫째, **AI 생성 콘텐츠 출처 의무화의 입법 검토**입니다. 한국은 이미 2024년 AI 기본법(2026년 1월 시행)을 통해 고위험 AI에 대한 위험 관리 의무를 규정하고 있습니다. 그러나 SB 942 수준의 생성형 AI 콘텐츠 워터마크 및 탐지 도구 의무화는 아직 입법화되지 않았습니다. EU AI법 제50조와 캘리포니아 SB 942가 동시 발효됨으로써, 글로벌 AI 콘텐츠 진정성 인프라의 표준이 C2PA로 수렴하고 있습니다. 한국이 독자적 표준을 추구하기보다 C2PA 글로벌 생태계에 조기 편입하는 방향의 입법이 시급합니다. 특히 딥페이크 성범죄 피해 관련 콘텐츠의 출처 추적 가능성 확보 측면에서 C2PA 기반 의무화는 수사 역량 강화에도 직접 기여할 수 있습니다. 둘째, **AI 안전 가드레일 정책 변경 시 재검증 의무화**입니다. PolicyShiftGuard 연구의 교훈을 받아들여, 국내 AI 안전 가이드라인에 '콘텐츠 정책 변경 시 안전 가드레일의 성능 재검증 의무' 조항을 추가해야 합니다. 과기부·방통위는 국내 AI 사업자에 대해 '정책 변경 후 일정 기간 내 표준 벤치마크 기반 가드레일 재검증 보고서 제출'을 의무화하는 가이드라인을 마련할 수 있습니다. 셋째, **CAI·C2PA 국내 채택 촉진**입니다. 현재 네이버, 카카오, SK텔레콤 등 국내 주요 AI 사업자의 C2PA 도입 현황은 공개적으로 확인되지 않습니다. Midjourney 사례에서 보듯, CAI 멤버십과 실제 구현은 별개입니다. 정부가 공공 조달 AI 서비스에 대해 C2PA 준수를 요건으로 명시하고, 민간 사업자에게도 도입 권고 및 인센티브를 제공한다면, 국내 AI 생태계의 콘텐츠 진정성 수준을 단기간에 높일 수 있습니다. SB 942 위반 시 하루 5,000달러 제재라는 강력한 법적 무게는, 자율규제 '선언'이 더 이상 글로벌 플랫폼 사업자들에게 통용될 수 없다는 신호입니다. 한국의 AI 규제 당국도 이 신호를 주목해야 할 때입니다.