← 블로그무료 검색
딥페이크 탐지/방어 기술비전 파운데이션 모델정부 평가 프로그램

ECCV 2026 BCNet · DHS RIVR 확장 — 비전 파운데이션 모델 딥페이크 탐지 일반화의 위기와 해법

2026-09-22·11분 읽기
AI 딥페이크 신원 주입 공격 감시 — ECCV 2026 BCNet의 비전 파운데이션 모델 시맨틱 의존성 극복 연구와 DHS RIVR의 딥페이크 탐지 프로그램 확장을 다루는 이미지

딥페이크 탐지 연구의 최신 전선에서 두 가지 중요한 움직임이 9월에 동시에 등장했습니다. 하나는 학술 무대입니다. 9월 12일 유럽 컴퓨터 비전 학술대회(ECCV 2026)에서 발표된 BCNet은 CLIP으로 대표되는 비전 파운데이션 모델(VFM)이 딥페이크 탐지에서 드러내는 '시맨틱 과의존 문제'를 정면 해결했습니다. BCNet은 주의 메커니즘 기반 시맨틱 소거(ASE)와 정규화 그레이디언트 섭동 강화(NPE) 두 모듈을 통해 소셜 미디어 실제 환경 데이터셋(WildRF)에서 96.7% 일반화 정확도를, AIGI-Bench에서 경쟁 모델 대비 8.7%p 성능 향상을 달성했습니다. 다른 하나는 정책 무대입니다. 미국 국토안보부(DHS)가 기존 원격 신원 확인 기술 평가 프로그램인 RIVR(Remote Identity Validation Rally)을 AI 생성 신원증명서 및 실시간 화상통화 딥페이크 탐지 영역으로 확장한다고 같은 달 공식 발표했습니다. 2025년 RIVR 결과에서 기준을 충족한 기업이 7개 중 단 1개에 불과했을 만큼 현실은 엄혹했고, DHS는 더 높은 위협 수준에 맞춰 평가 범위를 넓혔습니다. 연구실과 현장 사이의 탐지 성능 격차는 45~50%에 달한다는 NTIRE 2026 챌린지의 경고와 함께, 딥페이크 탐지 일반화의 위기와 그 해법을 살펴봅니다.

비전 파운데이션 모델의 딜레마 — CLIP의 시맨틱 의존성과 도메인 외 탐지 실패

딥페이크 탐지 연구의 지형이 2024년을 기점으로 극적으로 바뀌었습니다. 그 이전 세대의 탐지 모델들은 특정 GAN 아키텍처나 제한된 조작 방식에 맞게 학습된 좁은 전문가형 분류기였습니다. 학습 데이터에서 본 패턴은 잘 잡아내지만, 새로운 생성 기술이 등장하면 탐지 성능이 급락하는 문제가 반복됐습니다. 이 문제의 해결책으로 주목받은 것이 CLIP, DINOv2 같은 대규모 비전-언어 파운데이션 모델입니다. 방대한 인터넷 데이터로 사전 학습된 이 모델들은 높은 시각적 의미(semantic) 이해 능력을 갖추고 있습니다. 연구자들은 이 파운데이션 모델의 강력한 표현력을 딥페이크 탐지에 활용하면 일반화 문제를 해결할 수 있을 것이라 기대했습니다. 초기 결과는 고무적이었습니다. VFM 기반 탐지 모델들은 학습 데이터와 같은 도메인, 즉 학습 시 본 얼굴 유형과 조작 방식이 포함된 테스트 셋에서 뛰어난 성능을 보였습니다.

그러나 도메인을 벗어나면 이야기가 달라졌습니다. NTIRE 2026 로버스트 딥페이크 탐지 챌린지에 참가한 337개 팀, 57개 최종 제출물을 분석한 결과에 따르면, VFM 기반 탐지 모델들은 학술 평가 환경에서 운영 배포 환경으로 전환될 때 45~50%의 성능 하락을 경험합니다. 이 충격적인 수치의 원인이 바로 '시맨틱 의존성'입니다. CLIP 같은 VFM은 방대한 데이터로 학습하면서 이미지의 시맨틱 내용(얼굴의 나이, 성별, 인종, 표정, 배경 등)에 대한 강력한 표현을 내부화했습니다. 딥페이크 탐지에 적용할 때, 이 모델은 진짜/가짜를 구분하는 핵심 단서(조작 아티팩트) 대신 시맨틱 내용에 지나치게 의존하는 경향을 보입니다. 예컨대 CLIP 기반 탐지 모델이 아시아 여성 얼굴 딥페이크를 탐지하는 데 특화되면, 서양 남성 얼굴이나 노인 얼굴 딥페이크는 시맨틱 분포가 달라 탐지 정확도가 떨어질 수 있습니다. 탐지 모델이 딥페이크의 '본질적 위조 흔적'이 아니라 '어떤 유형의 얼굴인가'를 학습한 셈입니다. 2026년 5월 발표된 파운데이션 모델 선형 프로빙 연구는 이를 더욱 명확히 했습니다. RoPE-ViT, DINOv3, NVIDIA C-RADIOv4-H 같은 최신 VFM들도 전체 얼굴 합성 딥페이크는 잘 잡아내지만, 국소적 얼굴 편집(눈, 입, 코 부분 조작) 딥페이크에서는 근본적 한계를 드러냈습니다.

BCNet — 시맨틱 소거와 그레이디언트 섭동으로 파운데이션 모델 의존성을 해방하다

ECCV 2026에서 9월 12일 발표된 BCNet(Basis Correction Network)은 이 시맨틱 의존성 문제에 대한 직접적인 해결책을 제시합니다. 베이징 교통대학교(BJTU) 연구팀(양 지안, 야오 시보, 타오 렌쉬아이, 탄 촹촹, 자오 야오)이 개발한 BCNet은 두 개의 핵심 모듈로 구성됩니다. 첫 번째는 주의 유도 시맨틱 소거(ASE, Attention-Guided Semantic Erasure) 모듈입니다. 원리는 이렇습니다. VFM은 이미지를 처리할 때 내부적으로 어떤 영역에 주의를 기울이는지가 어텐션 맵(attention map)으로 가시화됩니다. ASE는 이 어텐션 맵을 역으로 활용합니다. 모델이 시맨틱 정보 파악에 집중하는 영역, 즉 눈의 색깔, 피부 톤, 배경 특성 같은 의미론적 특징이 집중된 구간을 식별하고, 그 영역의 표현을 적응적으로 소거(masking)합니다. 시맨틱 정보를 차단함으로써 모델이 위조 아티팩트라는 '진짜 단서'에 집중하도록 강제하는 것입니다. 핵심은 이 소거가 '적응적(adaptive)'이라는 점입니다. 입력 이미지마다 어텐션 패턴이 다르므로 소거 영역도 이미지별로 달라집니다. 단순한 고정 마스크가 아니라 입력에 반응하는 동적 소거입니다.

두 번째 모듈인 정규화 그레이디언트 섭동 강화(NPE, Normalized-Gradient Perturbation Enhancement)는 첫 번째 모듈과 상보적으로 작동합니다. ASE가 시맨틱 특성을 억제한다면, NPE는 위조 특성을 증폭합니다. 딥페이크 이미지의 그레이디언트(gradient)는 위조 여부에 따라 집중도와 방향성이 달라집니다. 진짜 이미지에서는 그레이디언트가 자연스럽게 분산되는 반면, 딥페이크 이미지에서는 조작 경계, 주파수 이상, 압축 아티팩트 구간에 집중되는 패턴이 있습니다. NPE는 이 위조 샘플의 그레이디언트 값을 정규화해 집중된 수치로 만든 뒤, 원본 입력에 작은 섭동으로 추가합니다. 이 과정을 통해 모델이 위조 징표를 더 명확하게 학습할 수 있는 '강화된 훈련 신호'를 제공합니다. 이 두 모듈의 조합이 만들어낸 성과는 인상적입니다. 실제 소셜 미디어에서 수집한 WildRF 데이터셋에서 96.7% 일반화 정확도를 달성했습니다. WildRF는 학술 벤치마크와 달리 소셜 미디어를 통해 압축·변환·재공유된 실제 환경 딥페이크를 포함하기 때문에, 이 수치는 실전 배포 가능성을 보여주는 강력한 지표입니다. AI 생성 이미지 벤치마크인 AIGI-Bench에서는 경쟁 모델들보다 8.7%p 높은 성능을 기록했고, 51개 AI 생성 데이터셋에 걸친 교차 도메인 평가에서도 강건한 일반화 성능을 보였습니다. BCNet의 코드는 깃허브(github.com/rstao-bjtu/BCNet)에 오픈소스로 공개되어 연구 커뮤니티가 즉시 활용할 수 있습니다.

DHS RIVR 딥페이크 확장 — 2025년 충격적 결과가 촉발한 정부 대응

학술계의 BCNet이 탐지 일반화 문제의 기술적 해법을 제시했다면, 정책계에서는 DHS의 RIVR 프로그램 확장이 정부 차원의 대응을 보여줍니다. 미국 국토안보부 과학기술국(S&T)이 운영하는 RIVR(Remote Identity Validation Rally, 원격 신원 검증 랠리)은 원격 신원 확인 시스템의 성능을 실제 조건에서 평가하는 정부 주도 기술 평가 프로그램입니다. 이민, 금융, 정부 서비스 등 신원 확인이 필요한 영역에 사용되는 상용 시스템들을 동일한 기준으로 평가하고, 결과를 공개해 시장 투명성을 높이는 것이 목적입니다. DHS는 9월 초 공식 발표를 통해 2026 RIVR 평가부터 전혀 새로운 두 범주를 추가합니다. 첫 번째는 AI 생성 신원증명서 탐지(AI-generated identity document detection)입니다. 생성형 AI로 만든 가짜 여권, 운전면허증, 신분증을 진짜와 구별하는 능력을 평가합니다. 두 번째는 실시간 화상통화 딥페이크 탐지(real-time video call biometric deepfake detection)입니다. 화상회의 플랫폼을 통해 전달되는 얼굴 딥페이크를 신원 확인 과정에서 탐지하는 능력을 테스트합니다.

이 확장의 배경에는 2025년 RIVR 결과가 공개한 충격적인 현실이 있습니다. 문서 검증 부문에서 7개 참가 시스템 중 단 하나, Microblink(DVS 6)만이 DHS의 세 가지 성능 기준을 모두 충족했습니다. 그나마 이 최우수 시스템도 사기 문서의 0.88%를 통과시켰습니다. 나머지 시스템들은 최악의 조건에서 5.68%에서 최대 76.68%의 사기 문서를 수용했습니다. 가장 충격적인 것은 진짜 문서를 97.3% 거부하면서도 가짜 문서는 10.28% 통과시킨 시스템이었습니다. 생체인증 프레젠테이션 공격 탐지(PAD) 부문에서는 Paravision의 패시브 시스템(PAD-P9)만이 기준 내에 남았고, 일부 패시브 시스템은 공격의 80~100%를 합법적 프레젠테이션으로 잘못 분류했습니다. 새 딥페이크 탐지 범주 추가와 함께 DHS는 2026년 10월부터 신청을 받고, 11월에 딥페이크 공격 사례를 수집하며, 12월에 제출을 마감할 예정입니다. 또한 이 확장은 NIST 특별 간행물 800-63A-4(2025년 7월 최종본)와 정렬됩니다. 해당 문서는 디지털 주입 공격(digital injection attacks)과 딥페이크를 포함한 위조 미디어 탐지에 대한 명시적 요건을 신원 보증 수준(IAL) 2 및 3의 원격 신원 확인 프로세스에 추가했습니다.

탐지 한계의 또 다른 차원 — '우리가 예측한 위협이 오지 않았다'

탐지 기술의 한계는 성능 수치만의 문제가 아닙니다. 2026년 딥페이크 연구 커뮤니티를 관통하는 자성적 물음이 있습니다. '우리는 옳은 위협을 탐지하도록 만들었는가?' arXiv에 공개된 주목할 논문 '우리가 놓친 딥페이크들(The Deepfakes We Missed)'은 거의 10년에 걸친 머신러닝 딥페이크 탐지 연구가 공인 인물의 페이스스왑·토킹헤드 조작이라는 위협을 중심으로 조직됐지만, 이 위협은 예측대로 도래하지 않았다고 지적합니다. 실제로 도달한 위협들은 상당히 다른 성격이었습니다. 첫째는 또래 생성 비동의 친밀 이미지(NCII)입니다. 피해자와 가까운 관계의 가해자가 'AI 누드 생성기' 같은 소비자용 도구로 만드는 딥페이크입니다. 이는 공인 페이스스왑이 아닌 일반인 얼굴 대상이고, 제작 도구도 GAN이 아닌 디퓨전 모델 기반 앱입니다. 둘째는 보이스 클론 사기 전화입니다. 가족이나 회사 임원의 목소리를 몇 초의 샘플로 복제해 긴급 송금을 요구하는 사기로, 이는 비디오보다 오디오 위협입니다. 셋째는 정서적 조작 사기입니다. 실제 전달된 위협들은 탐지 연구가 집중한 '정교한 페이스스왑 딥페이크'보다 훨씬 원시적이지만 실효적인 형태를 띠는 경우가 많습니다.

이 '위협의 불일치' 문제는 딥페이크 탐지 기술 개발의 방향성에 근본적 질문을 던집니다. 고성능 VFM 기반 탐지 모델은 정교한 페이스스왑 탐지에는 탁월할 수 있지만, 실제 피해를 만드는 소비자용 디퓨전 모델 기반 NCII 생성 앱의 결과물 탐지에는 취약할 수 있습니다. 연구자들은 크로스-도메인 스트레스 테스트를 단순 벤치마크 평균보다 우선시해야 하며, 탐지가 정말 어려운 경계선 케이스—특히 소셜 미디어를 통해 여러 차례 재압축된 저해상도 딥페이크—에 더 많은 자원을 투입해야 한다고 권고합니다. BCNet의 WildRF 활용이 이 방향의 좋은 사례입니다. 학술 벤치마크가 아닌 소셜 미디어 실제 환경 데이터로 평가했기 때문에, 그 96.7%의 수치는 다른 수치들보다 실질적 의미를 갖습니다. DHS RIVR의 평가 철학도 이와 맥을 같이 합니다. 실제 사기 공격 시나리오를 시뮬레이션하고 최악의 조건(demographically similar impostors, 즉 외모가 유사한 사칭자)에서도 성능을 측정함으로써, 학술 벤치마크가 놓치는 실전 격차를 드러냅니다.

한국의 시사점 — 금융보안과 딥페이크 성범죄 증거 탐지에 적용하기

이 연구들이 한국 사회에 주는 시사점은 세 가지 맥락에서 살펴볼 수 있습니다. 첫째는 금융 보안입니다. 한국은 보이스피싱의 주요 피해국이지만, AI 생성 문서 위조와 화상통화 딥페이크를 조합한 '차세대 신원 도용 사기'에 대한 준비는 미흡합니다. DHS RIVR이 보여준 대로, 상용 신원 확인 시스템의 현실 성능은 기대보다 훨씬 낮습니다. 금융감독원과 금융결제원은 국내 비대면 신원 확인 시스템들의 딥페이크 저항성을 DHS RIVR에 준하는 공개 평가 체계로 점검할 필요가 있습니다. AI 생성 신분증과 실시간 화상 딥페이크를 동시에 동원하는 복합 공격은 이미 해외에서 실제 피해를 낳고 있으며, 한국 금융기관의 비대면 계좌 개설·고액 이체 심사 프로세스에 동일한 위협이 언제든지 집중될 수 있습니다. 둘째는 딥페이크 성범죄 수사입니다. BCNet의 오픈소스 공개는 수사기관에게 기회입니다. 국립과학수사연구원과 경찰청 사이버수사대가 BCNet을 포함한 최신 탐지 모델들을 한국어·한국인 얼굴 데이터에 파인튜닝해 법과학적 분석 도구로 통합한다면, 딥페이크 성범죄 피해자의 증거 입증 역량이 크게 강화될 수 있습니다.

셋째는 정책·제도적 시사점입니다. '우리가 놓친 딥페이크들' 논문이 지적하듯, 탐지 기술의 방향이 실제 위협과 어긋날 수 있습니다. 한국의 딥페이크 성범죄 대응에서 학술적 탐지 성능 벤치마크보다 실제 피해 맥락—스마트폰 카메라 사진으로 만든 NCII, 채팅 앱을 경유한 저품질 딥페이크, 또래 관계에서 발생하는 사용자 생성 콘텐츠—에 특화된 탐지 역량이 더 중요할 수 있습니다. 방송통신위원회, 과학기술정보통신부, 여성가족부가 공동으로 '한국형 딥페이크 피해 탐지 챌린지'를 설계하고, 실제 피해 사례에서 수집된 데이터로 탐지 모델을 평가하는 체계를 마련하는 것이 필요합니다. 또한 BCNet 같은 오픈소스 탐지 모델을 피해자 자조 도구로 접근 가능하게 하는 공공 인프라도 검토해야 합니다. 딥페이크 탐지 기술이 아무리 발전해도, 그 혜택이 피해자와 수사기관에게 실질적으로 닿지 않는다면 기술의 사회적 가치는 반감됩니다. BCNet의 오픈소스 정신과 DHS RIVR의 공개 평가 철학은 모두 이 접근성과 투명성의 문제를 다루는 모델이 될 수 있습니다.

참고 자료 / References