탐지에서 원천 차단으로 — ICML 2026 선제적 딥페이크 방어 벤치마크·ACM 서베이·재학습 우회 공격 완전 분석

선제적 방어란 무엇인가 — 교란·워터마킹·데이터 중독 3가지 접근

2026년 ACM Computing Surveys에 게재된 '선제적 딥페이크 방어 서베이: 교란과 워터마킹'은 이 분야의 전체 지형도를 체계적으로 정리한 최초의 포괄적 연구입니다. 서베이는 사후 탐지와 구별되는 선제적 방어의 핵심 개념을 이렇게 정의합니다. '사후 탐지가 합성 콘텐츠를 생성 후에 식별하는 데 초점을 맞추는 반면, 선제적 방어 메커니즘은 악성 합성 콘텐츠의 생성 자체를 원천에서 방지하는 것을 목표로 한다.' 이 패러다임 전환은 기술적으로 중요한 의미를 갖습니다. 사후 탐지는 생성 기술이 탐지 기술보다 빠르게 발전하면 영구적으로 불리해지는 구조적 딜레마를 안고 있습니다. 반면 선제적 방어는 딥페이크가 만들어지기 전 단계에 개입하므로 이론적으로 이 딜레마를 우회할 수 있습니다.

선제적 방어의 세 가지 주요 접근법은 각각 다른 원리로 작동합니다. 첫째, **적대적 교란(adversarial disruption)**은 원본 이미지나 동영상에 사람 눈으로는 거의 인식할 수 없는(imperceptible) 수준의 미세 노이즈 패턴을 삽입하는 방식입니다. 이 노이즈는 딥페이크 생성 모델의 인코더나 디코더를 혼란시키도록 수학적으로 설계됩니다. 딥페이크 공격자가 이 보호된 이미지를 얼굴 교체나 속성 변형에 사용하면, 출력 결과물이 시각적으로 심하게 왜곡되거나 실용성을 잃게 됩니다. ScienceDirect에 게재된 '탐지를 넘어서: 딥페이크 얼굴 생성의 선제적 교란 및 방어 전략 서베이(2026년 7월)'는 이 분야의 접근법을 적대적 교란, 데이터 중독, 잠재 공간 조작의 세 유형으로 분류했습니다.

둘째, **워터마킹(watermarking)**은 원본 이미지·음성·동영상에 사람이 인지하기 어려운 디지털 서명을 삽입하는 방식입니다. 교란 방어와 달리, 워터마킹은 딥페이크 생성 자체를 막는 것이 목적이 아닙니다. 대신 콘텐츠의 출처를 증명하고, 딥페이크 합성 과정에서 워터마크 신호가 어떻게 변형됐는지 분석해 사후 추적과 법적 귀책을 가능하게 합니다. C2PA(콘텐츠 출처 및 진위 연합)의 표준 기반 접근이 대표적입니다. 셋째, **데이터 중독(data poisoning)**은 딥페이크 생성 모델이 학습 또는 재학습에 사용할 데이터를 공격 전에 오염시키는 방식입니다. 오염된 데이터로 훈련된 딥페이크 모델은 정상적인 합성 결과물을 생성하지 못하게 됩니다. 이 접근은 교란 방어의 핵심 약점인 '재학습 우회 취약성'을 보완하기 위해 설계됐습니다.

ICML 2026 벤치마크가 드러낸 선제적 방어의 결정적 맹점

선제적 방어 연구가 빠르게 성장하는 한편, 이 분야에는 근본적인 문제가 있었습니다. 연구자들이 각자의 기준으로 방어 기술을 평가하다 보니 공정한 비교가 불가능했습니다. 어떤 방어 기법이 실제로 가장 효과적인지 알 수가 없었습니다. 이 공백을 메운 것이 바로 ICML 2026에서 발표된 '딥페이크 생성 대응 선제적 방어 벤치마크(Proactive Defense Benchmark against Deepfake Generation)'입니다. 한국과학기술원(KAIST) 연구팀(Joonhyuk Baek, Wonjune Seo, Jae-yun Kim, Saerom Park, Hoki Kim)이 작성한 이 논문은 통합 평가 프로토콜의 부재가 공정한 비교를 불가능하게 하고 결정적 취약점을 숨겨왔다고 지적하며, 최초의 표준화된 벤치마크를 제시했습니다.

벤치마크의 설계는 포괄적입니다. 연구팀은 7개의 대표적인 선제적 방어 기법을 8개의 딥페이크 생성기(얼굴 교체 4개, 속성 조작 4개)에 걸쳐 3개의 고해상도 데이터셋(CelebA-HQ, FFHQ, VGGFace2-HQ)에서 평가했습니다. 평가 지표는 픽셀 수준 충실도(MSE), 지각적 충실도(LPIPS), 신원 교란 비율(CIDR), 시각 품질(BRISQUE), 평균 순위(AvgRank), 강건성(ROB), 전이 효과(TE)의 7개 차원으로 구성됐습니다. 이 다차원 평가의 결과는 충격적이었습니다. 연구팀이 발견한 가장 중요한 사실은 '충실도 지표와 신원 교란 지표는 서로 독립적인 성능 축을 포착한다'는 것입니다. 즉 어떤 방어 기법이 한 지표에서 좋은 성적을 보인다고 해서 다른 지표에서도 좋은 것이 아닙니다. 이전 연구들이 단일 지표로만 평가했던 것은 오해의 소지가 있는 결론으로 이어졌습니다.

벤치마크의 두 번째 핵심 발견은 더 심각합니다. '화이트박스 시나리오(white-box scenario)에서의 최고 성능은 과적합(overfitting)을 의미한다'는 것입니다. 화이트박스 시나리오란 방어자가 공격자가 사용할 딥페이크 생성 모델을 완전히 알고 있는 상황을 말합니다. 이 조건에서 성능이 극단적으로 높은 방어 기법들은, 해당 특정 생성기에만 최적화됐을 가능성이 높습니다. 공격자가 다른 생성기를 사용하면 방어 효과가 급감합니다. 연구팀은 이를 '전이 실패(transferability failure)'라고 명명했습니다. 실제 세계에서 공격자는 방어자가 모르는 생성기를 사용할 수 있습니다. 따라서 화이트박스 시나리오에서의 뛰어난 성능만으로 방어 기법의 실효성을 평가하는 것은 위험합니다. 연구팀은 또한 딥페이크 생성기 자체가 유발하는 신원 편향을 보정하는 '교정된 평가(calibrated evaluation)' 방법론을 도입해, 기존 방어 기법들의 성능이 실제보다 과대평가됐음을 수치로 보였습니다.

재학습 우회 공격과 2단계 방어 프레임워크 — 2026년 8월 신규 연구

ICML 2026 벤치마크가 전이 실패를 지적했다면, 2026년 8월 공개된 arXiv 논문(2508.07795)은 더 근본적인 위협을 파고듭니다. '능동적 방어 지속성 강화: 딥페이크에 대한 교란과 중독을 결합한 2단계 방어 프레임워크'(Zheng et al., 2026)는 기존 교란 기반 방어의 치명적 약점을 정면으로 분석합니다. 핵심 문제는 이렇습니다. 공격자가 보호된 이미지 샘플을 수집해 그것으로 딥페이크 모델을 재학습(retraining)하면, 교란 방어는 무력화됩니다. 딥페이크 모델이 보호 노이즈 패턴을 '학습'하고 무시하도록 적응(adapt)하기 때문입니다. 즉 처음에는 효과가 있던 교란 방어가, 공격자가 방어된 이미지 몇 백 장을 재학습 데이터로 사용하면 점차 효력을 잃습니다.

이 논문이 제안하는 해결책은 교란과 데이터 중독을 결합한 '2단계 방어 프레임워크(TSDF, Two-Stage Defense Framework)'입니다. 핵심 메커니즘은 '강도 분리(intensity separation)'입니다. TSDF는 하나의 보호된 이미지를 두 가지 기능을 동시에 수행하도록 설계합니다. 첫째, 즉각적인 딥페이크 출력물을 왜곡하는 기능(교란), 둘째, 해당 이미지로 딥페이크 모델을 재학습할 경우 모델 자체를 오염시켜 이후 합성 능력을 저하시키는 기능(중독)입니다. 실험 결과는 주목할 만합니다. 기존 교란 방어는 공격자의 재학습 시도 후 방어 효과가 급격히 떨어졌지만, TSDF는 재학습 공격 이후에도 유의미한 방어 효과를 유지했습니다. 이 연구는 단일 방어 전략만으로는 충분하지 않으며, 교란과 중독을 결합한 복합 전략이 필요하다는 것을 수치로 증명했습니다.

한편 ACM 2026 정보 은닉 및 멀티미디어 보안 워크숍에서 발표된 논문 '확산 기반 업샘플링을 이용한 선제적 방어 무력화(Neutralizing Proactive Defense using Diffusion-based Upsampling)'는 반대 방향의 연구를 제시합니다. 이 논문은 공격자의 관점에서, 확산 모델(diffusion model) 기반 업샘플링 기법으로 보호 노이즈를 제거해 교란 방어를 무력화하는 방법을 보였습니다. 이는 창과 방패의 경쟁이 선제적 방어 분야에서도 계속되고 있음을 상징합니다. 방어 기술의 발전이 필연적으로 더 정교한 우회 기술의 발전을 촉진한다는 현실입니다. 다만 이 연구도 TSDF가 단순 확산 업샘플링 공격에 더 강건함을 간접적으로 시사합니다. 데이터 중독 요소가 추가됐기 때문에 업샘플링으로 교란 신호만 제거해도 중독 효과까지 같이 제거되지 않기 때문입니다.

GIFGuard와 다중 얼굴 추적 — 확장되는 선제적 방어의 적용 범위

선제적 방어 연구는 정적 이미지에서 벗어나 새로운 영역으로 확장되고 있습니다. ACM MM 2026에 채택된 'GIFGuard: 시공간 워터마킹을 통한 안면 GIF 딥페이크 대응 선제적 포렌식'은 애니메이션 GIF에 특화된 최초의 워터마킹 시스템입니다. 기존 딥페이크 방어 연구의 대부분이 정적 이미지를 대상으로 했다는 점에서, GIFGuard는 의미 있는 확장을 제시합니다. GIF는 SNS, 메신저, 인터넷 커뮤니티에서 광범위하게 유통되며, 짧은 클립 형태이기 때문에 딥페이크 합성에 자주 악용됩니다. GIFGuard의 핵심은 '시공간 적응형 잔차 인코더(STARE, Spatiotemporal Adaptive Residual Encoder)'입니다. 3D 합성곱을 사용해 프레임 간 시간적 패턴을 포착하면서도 안면 변형에 강건한 워터마크를 삽입합니다. 추출 단계에서는 '심층 무결성 복원 디코더(DIRD, Deep Integrity Restoration Decoder)'가 시공간 주의 메커니즘으로 심각한 조작 후에도 워터마크 신호를 복원합니다.

또 다른 주목할 연구는 '과연, 어떤, 누구의: 다중 얼굴 시나리오에서 딥페이크 선제적 포렌식의 3중 과제 해결'(Zhang et al., 2026)입니다. 이 연구는 현실에서 더 흔하게 접하는 상황, 즉 여러 사람이 등장하는 이미지나 동영상에서의 딥페이크 방어를 다룹니다. 이미지 한 장에 여러 사람이 있을 때 딥페이크 방어는 세 가지 질문에 동시에 답해야 합니다. 첫째, 딥페이크가 있는가(과연)? 둘째, 어떤 얼굴이 조작됐는가(어떤)? 셋째, 누구의 신원이 침해됐는가(누구의)? 연구팀이 개발한 '심층 귀속 가능 워터마킹 프레임워크(DAWF)'는 공간 분리(spatial isolation) 기법으로 이미지 내 여러 얼굴에 독립적인 추적 신호를 삽입하며, 선택적 지역 지도 손실로 디코더가 조작된 안면 영역에만 집중하도록 합니다. AUC 0.91, F1 스코어 0.87, 비트 오류율(BER) 0.54%의 성능을 달성했습니다.

선제적 방어의 현실적 한계와 한국 피해자 보호에 주는 시사점

선제적 방어 기술이 아무리 발전해도, 그것이 실제 피해 예방으로 이어지려면 반드시 해결해야 할 구조적 한계가 있습니다. 가장 근본적인 문제는 '선제성(pre-emptive)'이라는 이름에 내포돼 있습니다. 보호 노이즈나 워터마크는 피해자가 자신의 사진을 누군가에게 공유하기 전에 미리 삽입해 두어야 합니다. 그러나 SNS에 이미 업로드된 수백만 장의 사진, 기존에 유출된 개인 사진, 공개 프로필 이미지에는 소급 적용이 불가능합니다. 둘째, 전문 기술이 필요한 도구를 일반 사용자가 사용하기 어렵습니다. 현재 대부분의 선제적 방어 기술은 연구 코드 형태로만 존재하며, 스마트폰 앱 형태로 실제 사용 가능한 제품이 거의 없습니다. 셋째, 앞서 살펴봤듯이 공격자가 방어된 이미지로 모델을 재학습하면 방어 효과가 감소합니다.

이러한 한계에도 불구하고, 한국의 딥페이크 성범죄 피해 예방 맥락에서 선제적 방어 기술이 주는 시사점은 구체적입니다. 첫째, 플랫폼 차원의 통합입니다. 카카오, 네이버 밴드, 인스타그램의 국내 서비스가 사용자가 업로드하는 사진에 자동으로 보호 워터마크를 삽입하는 기능을 제공할 수 있습니다. 사용자가 직접 도구를 쓸 필요 없이, 플랫폼 수준에서 선제적 방어를 적용하는 방식입니다. 이미 메타는 AI가 생성한 이미지에 C2PA 워터마크를 자동 삽입하고 있습니다. 이 기술을 사용자 사진에 역방향으로 적용하는 것이 기술적으로 가능합니다. 둘째, 국립과학수사연구원과 경찰청의 포렌식 도구 관점입니다. 딥페이크 생성물에서 원본 이미지에 삽입된 워터마크가 어떻게 변형됐는지 분석하면, 어떤 딥페이크 생성 도구를 사용했는지 역추적이 가능합니다. 이는 현행 AI 포렌식 수사에서 제작 지문 추출 방식을 보완하는 새로운 증거 확보 경로가 될 수 있습니다.

마지막으로, ICML 2026에서 발표된 또 다른 포지션 페이퍼는 기술 개발의 방향 자체에 의문을 제기합니다. 미시건대·조지아텍 연구팀(Li Qiwei et al.)의 'AI/ML 딥페이크 연구는 AI 생성 비동의 음란물(AIG-NCII)과 어긋나 있다'는 논문은, 고인용 딥페이크 기술 논문 39편을 분석한 결과 87%가 비동의 친밀 이미지라는 피해 범주를 아예 다루지 않았다고 밝혔습니다. 상업적 생성형 AI 남용의 절반 이상이 AIG-NCII 형태임에도, 연구 커뮤니티가 이 문제를 외면하고 있다는 비판입니다. 나아가 이 논문은 딥페이크 탐지나 워터마킹 같은 '진위성 보호' 기술이 오히려 피해자에게 해롭게 작용할 수 있음을 지적합니다. 딥페이크라는 것이 입증되면 '원본에 동의가 있었는가'라는 질문이 제기돼 피해자를 탓하는 구조로 이어질 수 있기 때문입니다. 연구자들은 기술 중심적 접근 대신 피해자와의 공동 설계, 존엄 보호 우선의 방어 프레임워크를 제안합니다. 선제적 방어 기술의 발전 자체는 의미 있지만, 그것이 실제 피해자 보호와 직결되려면 기술 설계의 시작점에서 피해자의 관점이 반영돼야 한다는 경고입니다.