딥페이크 탐지 연구 10년의 역설 — 벡터인스티튜트 '우리는 틀린 위협을 막아왔다' 보고서 분석

벤치마크의 덫 — FaceForensics++가 만든 연구 관성

벡터인스티튜트 연구팀은 2017년부터 2025년까지 발표된 389편의 딥페이크 탐지 논문을 분석했습니다. 결과는 명확했습니다. 276편(71%)이 '유형1(T1)', 즉 공인·유명인의 얼굴을 다른 사람의 몸에 합성하는 페이스스왑 동영상 탐지에 집중됐습니다. 비동의 친밀이미지(NCII), 실시간 보이스클론, 또래 집단 유포형 콘텐츠를 다루는 논문은 전체의 5편 미만이었습니다. 이 불균형의 핵심 원인은 '벤치마크 상속(benchmark inheritance)'입니다. FaceForensics++와 Celeb-DF 같은 주요 벤치마크는 2017~2019년의 위협 모델을 그대로 담고 있으며, 이 벤치마크에서 높은 점수를 받는 논문이 학술지에 게재되고 인용되는 선순환 구조가 연구자들에게 왜곡된 인센티브를 제공했습니다.

또 다른 구조적 요인은 '데이터셋 윤리 비대칭(dataset ethics asymmetry)'입니다. NCII나 보이스클론 사기 데이터는 피해자 프라이버시 보호를 위해 공개 공유가 불가능합니다. 연구자들은 공개적으로 수집·공유할 수 있는 데이터로 논문을 쓸 수밖에 없고, 그 결과 피해가 가장 심각한 영역은 연구 불가 영역으로 방치됩니다. 마지막으로 '미디어 현저성(media salience)' 문제도 있습니다. 정치인 딥페이크는 사건 하나에 집중적인 언론 보도가 쏟아지기 때문에 연구자들의 관심을 끌지만, 학교에서 학생 수천 명의 사진이 누드로 변조되어 텔레그램으로 유포되는 사건은 상대적으로 주목받지 못합니다. 이 세 요인이 복합적으로 작용해 연구자들을 실제 피해 현장에서 멀어지게 만들었다는 것이 논문의 핵심 진단입니다.

나타나지 않은 위협, 나타난 위협 — 2022-2026년 실제 피해 해부

벡터인스티튜트 논문이 분석한 2022~2026년 주요 딥페이크 사건을 유형별로 정리하면 패턴이 분명해집니다. '유형1(T1)', 즉 딥페이크 탐지 연구의 71%가 방어하도록 설계된 정치인·공인 페이스스왑 동영상은 실제 주목할 만한 피해를 거의 야기하지 않았습니다. 2024년 전 세계 주요 선거에서 딥페이크 동영상이 선거 결과를 뒤흔든 사례는 기록되지 않았으며, 등장한 정치인 딥페이크 사건들은 ML 탐지 시스템이 아닌 언론인과 일반 사용자들이 발견했습니다. 반면 실제 피해는 세 가지 '연구 미개척 유형'에서 집중적으로 발생했습니다.

첫 번째는 NCII(비동의 친밀이미지)입니다. 인터넷 감시 재단(IWF)은 2024~2025년 단 1년 만에 AI 생성 아동 성착취물이 260배 급증했다고 보고했습니다. 한국에서는 2024년 한 해 500개 이상의 학교에서 학생 수천 명이 피해자가 되는 또래 유포형 딥페이크 사건이 터졌습니다. 두 번째는 보이스클론 사기입니다. 미국 FBI는 합성 미디어를 활용한 사기로 수십억 달러의 손실이 발생했다고 보고했으며, 홍콩 아럽(Arup) 사건에서는 단 한 번의 딥페이크 화상회의로 2,500만 달러가 이체됐습니다. 3초의 음성 샘플만으로 목소리를 복제할 수 있는 현재 기술 수준에서 보이스클론 사기는 전화망을 통해 무한 확장 가능합니다. 세 번째는 또래 유포형 콘텐츠입니다. 암호화된 메시지 채널을 통해 유포되는 딥페이크는 기존의 서버 측 탐지 도구가 내용을 볼 수 없어 방어 자체가 불가능합니다.

탐지기는 왜 실제 현장에서 실패하는가 — '배포 성능 하락'의 구조

기술적 차원의 실패 원인도 분석됩니다. 현재 딥페이크 탐지 모델은 특정 학습 데이터에서는 높은 정확도를 달성하지만, 실제 환경에 배포하면 성능이 급격히 하락합니다. 대표적 사례가 '교차 데이터셋 일반화' 문제입니다. 2026년 체계적 검토에 따르면 FaceForensics++에서 96.30%의 정확도를 달성한 모델이 Celeb-DF로 테스트하면 84.97%로 하락했습니다. 11.33퍼센트포인트의 차이는 실전 배치에서 심각한 탐지 실패를 의미합니다. 이 성능 하락은 세 가지 기술적 가정이 무너지면서 발생합니다. 첫째, 초기 딥페이크 탐지 모델은 영상에 눈에 보이는 아티팩트(얼굴 경계의 흐림, 자연스럽지 않은 눈 깜빡임 등)가 남는다고 가정했습니다. 그러나 현세대 확산(diffusion) 모델은 전체 프레임을 처음부터 생성하기 때문에 이런 블렌딩 아티팩트가 발생하지 않습니다.

둘째, 탐지 신호가 실제 배포 경로에서 살아남지 못합니다. 소셜미디어 플랫폼을 통해 유통되는 영상은 반드시 압축 코덱을 거치는데, 이 과정에서 탐지 모델이 의존하는 고주파 아티팩트가 지워집니다. 연구실에서 원본 해상도 영상으로 훈련된 탐지 모델이 압축된 실제 영상에서는 작동하지 않는 이유입니다. 셋째, 현세대 영상 생성 AI는 시간적 일관성(temporal coherence)을 효과적으로 처리하며, 고해상도 합성이 눈 깜빡임 패턴 같은 생물학적 신호까지 재현하기 시작했습니다. 이 세 가지 기술적 장벽의 붕괴는 '벤치마크 점수는 높지만 실제 세계 탐지 성능은 조용히 떨어지는' 역설을 구조적으로 만들어냅니다. Help Net Security의 보도에 따르면, 이 격차는 개별 모델의 성능 문제가 아니라 '탐지 분야 전체가 무엇을 탐지해야 하는지를 재정의해야 하는 구조적 문제'라는 것이 연구팀의 결론입니다.

세 가지 새로운 연구 의제 — '방어해야 할 위협'을 다시 정의하다

벡터인스티튜트 연구팀은 기존 연구의 공백을 채울 세 가지 연구 의제를 제안합니다. 첫 번째는 '실시간 보이스클론 탐지(real-time voice-clone detection)'입니다. 목표는 전화 채널에서 1초 이내에 합성 음성 확률 추정값을 생성하는 것입니다. 현재 가장 앞선 시스템인 Pindrop Pulse는 99%의 정확도를 보고하지만, 이는 전화망 특유의 압축과 노이즈 환경을 완전히 반영하지 않습니다. 연구팀은 전화망 환경에서 작동하는 서브초(sub-second) 실시간 탐지 시스템의 개발이 시급하다고 강조합니다. 두 번째는 '온디바이스 NCII 탐지(on-device NCII detection)'입니다. NCII 피해자는 종종 단 몇 장의 참조 이미지만 보유하고 있으며, 자신의 이미지가 어떻게 합성됐는지 알 수 없습니다. 프라이버시를 보존하면서 소수의 참조 이미지(few-shot)만으로 피해를 검증할 수 있는 온디바이스 AI 시스템 개발이 필요합니다.

세 번째는 '메시지 레이어 방어(messaging-layer defenses)'입니다. 암호화 메시지 채널에서 유포되는 딥페이크는 서버가 콘텐츠를 볼 수 없기 때문에 기존 탐지 방식으로는 원천적으로 차단이 불가능합니다. 연구팀은 두 가지 접근법을 제안합니다. 하나는 각 기기에서 콘텐츠를 서버로 보내지 않고 로컬에서 탐지하는 초경량 온디바이스 탐지기를 개발하는 것, 다른 하나는 콘텐츠 자체를 분석하는 대신 메시지 유포 패턴(속도, 전파 그래프, 비정상적 공유 행위)을 분석하는 분산 신호 기반 접근법입니다. 이 세 가지 의제는 기존 연구의 방향을 근본적으로 전환하는 것을 의미합니다. '공개적으로 공유 가능한 데이터로 연구할 수 있는 문제'가 아닌 '실제로 피해가 발생하는 문제'를 중심에 두는 연구 패러다임으로의 전환입니다.

플랫폼의 대응 — 유튜브 얼굴 유사성 탐지 전면 확대와 마이크로소프트 MNW 벤치마크

벡터인스티튜트 보고서가 발표된 바로 다음 날인 2026년 5월 18일, 유튜브는 '얼굴 유사성 탐지(Likeness Detection)' 기능을 18세 이상의 모든 성인 크리에이터에게 전면 확대한다고 발표했습니다. 이 기능은 이전까지 파트너 프로그램 회원, 언론인, 정치인 등 일부 계층에만 제한적으로 제공됐습니다. 이제 18세 이상의 크리에이터라면 누구나 유튜브 스튜디오에서 'Likeness' 탭에 접속해 자신의 얼굴이 AI로 생성된 영상에 무단 사용됐는지 탐지하고 삭제를 요청할 수 있습니다. 등록 과정에서 QR코드 스캔, 정부 발급 신분증 제출, 셀피 동영상 인증을 거쳐야 합니다. 현재 이 기능은 얼굴 유사성 탐지에만 적용되며 AI 생성 목소리 복제는 포함되지 않습니다. 바로 이 지점이 벡터인스티튜트 연구가 지적하는 '아직 방어되지 않은 유형2', 즉 보이스클론 위협의 공백과 일치합니다.

학술 연구 차원에서는 마이크로소프트와 노스웨스턴대학교 공동 연구팀이 2026년 4월 MNW(Microsoft-Northwestern-Witness) 딥페이크 탐지 벤치마크를 발표했습니다. IEEE Spectrum은 이 벤치마크가 기존 탐지 데이터셋보다 더 많은 출처로부터 데이터를 수집하고 정기적으로 업데이트된다는 점에서 기존 벤치마크의 정적 한계를 극복하려는 시도라고 보도했습니다. 특히 새로운 생성 모델이 등장할 때마다 벤치마크를 갱신해 탐지 모델이 최신 딥페이크 아티팩트를 추적할 수 있도록 설계됐습니다. 이는 벡터인스티튜트가 지적하는 '벤치마크 상속' 문제를 해결하려는 실질적 시도입니다. 그러나 MNW 역시 현재까지는 주로 페이스스왑 유형에 초점을 맞추고 있어, 보이스클론과 NCII 영역에서의 벤치마크 공백은 여전히 채워지지 않았습니다.

실패로부터 배우는 방어 — 절차적 안전장치의 중요성

벡터인스티튜트 논문이 인용한 실제 사기 사건 세 건은 모두 ML 탐지 시스템이 아닌 인간의 판단이나 절차적 안전장치가 피해를 막은 사례입니다. 2019년 유럽 에너지 기업 CEO 음성 복제 사건(22만 유로 이체)은 수상한 후속 전화 통화에서 CEO가 의심을 품으면서 발각됐습니다. 2024년 아럽 사건(2,500만 달러)은 재무 조정 과정에서 발견됐습니다. 이탈리아 자동차 그룹 법인 대상 페라리 CEO 사칭 사건은 통화 중 개인적 질문 하나가 가짜임을 노출시켰습니다. 이 세 사례의 공통점은 '딥페이크를 탐지하는 AI 시스템'이 아닌 '이상 징후를 식별하는 절차적 프로토콜'이 방어선 역할을 했다는 것입니다. 연구팀은 이로부터 효과적인 단기 방어 전략으로 세 가지를 제안합니다. ① 콜백 인증(callback verification): 의심스러운 요청이 들어오면 반드시 알려진 번호로 직접 전화를 걸어 확인, ② 대역 외 확인(out-of-band confirmation): 다른 채널(이메일, 텍스트)로 동일한 요청을 확인, ③ 챌린지 질문: 딥페이크가 즉시 답변하기 어려운 개인적·맥락적 정보를 요구하는 것입니다.

이 방어 전략들은 AI 기술에 의존하지 않기 때문에 현재 당장 적용할 수 있다는 장점이 있습니다. 보이스클론 탐지 기술이 완성되기까지 기다릴 필요 없이, 조직이 내부 프로토콜을 강화하고 임직원을 교육하는 것만으로도 상당한 방어 효과를 얻을 수 있습니다. 이는 딥페이크 방어가 '기술적 문제'에서 '조직 문화적 문제'로 전환되고 있음을 시사합니다. 벡터인스티튜트 연구가 전달하는 메시지는 결국 이것입니다. 탐지 기술의 개발을 계속하되, 어디서 실제 피해가 발생하는지를 정확히 직시하고 연구 자원을 재배분해야 합니다. 10년 후 다시 돌아봤을 때 '우리가 또 틀린 위협을 막아왔다'는 말이 나오지 않으려면, 지금 이 순간의 연구 방향 전환이 필요합니다.

출처 및 참고 자료

1. Shaina Raza, Vector Institute for AI (2026.05). The Deepfakes We Missed: We Built Detectors for a Threat That Didn't Arrive. arXiv:2605.12075. https://arxiv.org/html/2605.12075v1 2. Help Net Security (2026.05.15). Deepfake detection is losing ground to generative models. https://www.helpnetsecurity.com/2026/05/15/research-deepfake-detection-limitations/ 3. Engadget (2026.05.18). YouTube's AI deepfake detection tool is now available to all creators 18 and older. https://www.engadget.com/2174282/youtube-likeness-detection-ai-deepfakes-expansion/ 4. IEEE Spectrum (2026.04). MNW Deepfake Detector Tracks Evolving AI Artifacts. https://spectrum.ieee.org/deepfake-detector-microsoft-generative-ai 5. Help Net Security / Deepfake Detection in 2026: The Arms Race Between AI-Generated and AI-Detected Content. https://6g-ai.com/news/deepfake-detection-2026-arms-race 6. Business Standard (2026.05.18). YouTube expands AI deepfake detection tool to more creators. https://www.business-standard.com/technology/tech-news/youtube-expands-ai-deepfake-detection-tool-to-more-creators-what-is-it-126051800529_1.html