6·3 지방선거 최초 투입 — 행안부·국과수 AI 딥페이크 탐지 모델 92% 정확도의 비밀

왜 지금인가 — 딥페이크 삭제 요청 27배 폭증이 만든 위기

한국 선거와 딥페이크의 충돌은 이미 2024년 총선부터 가시화됐습니다. 당시 선거관리위원회와 경찰에 접수된 딥페이크 관련 삭제 요청 또는 신고는 388건이었습니다. 1년 뒤, 2025년 대통령 선거에서 이 숫자는 1만 510건으로 치솟았습니다. 27배. 단 1년 만에 일어난 일입니다. 전문가들은 이 폭발적 증가를 두 가지 요인으로 분석합니다. 첫 번째는 딥페이크 생성 도구의 민주화입니다. 2024년까지만 해도 사실적인 정치인 딥페이크를 만들려면 상당한 컴퓨팅 자원과 기술이 필요했습니다. 2025년부터는 스마트폰 앱 하나로 수분 안에 그럴듯한 영상이 생성됩니다. 두 번째는 정치적 동기입니다. 딥페이크는 이제 반대 후보를 음해하거나, 허위 정책 발표를 유포하거나, 특정 후보의 '인정' 발언을 날조하는 데 활용됩니다. 중앙선거관리위원회가 2026년 3월 공표한 바에 따르면, 선거 90일 전부터 투표일까지 딥페이크 선거 콘텐츠를 제작·유포하면 최대 7년 징역 또는 1000만~5000만 원의 벌금에 처해집니다. 법적 규제는 마련됐지만, 빠르게 진화하는 딥페이크를 탐지할 기술 없이 법은 무력합니다. 바로 이 지점에서 행안부·국과수 AI 탐지 모델의 개발이 시작됐습니다.

경진대회에서 국가 인프라로 — 268팀·1,077명이 만든 앙상블 모델

행안부와 국과수가 선택한 개발 방식은 단일 연구팀의 폐쇄 개발이 아닌 '오픈 경진대회'였습니다. 2025년 12월 개최된 '딥페이크 대응 AI 탐지 모델 경진대회'에는 전국에서 268개 팀, 1,077명의 AI 전문가·연구자·개발자가 참여했습니다. 참가자들에게는 한국인 데이터 100만 점, 아시아계 인종 데이터 13만 점을 포함한 총 5,400명의 인물 데이터 520만 점이 포함된 표준 데이터셋이 제공됐습니다. 이 데이터셋의 구성 자체가 혁신적입니다. 기존에 공개된 글로벌 딥페이크 탐지 데이터셋은 대부분 서양인 중심이라 한국인 얼굴 구조에서 발생하는 특유의 딥페이크 왜곡을 제대로 탐지하지 못하는 한계가 있었습니다. 국과수는 이를 보완하기 위해 한국인 안면 데이터를 대거 포함한 맞춤형 데이터셋을 구축했습니다. 경진대회 결과, 5개 우수 모델이 최종 선정됐습니다. 국과수는 이 5개 모델을 단순히 나란히 적용하는 것이 아니라, 각 모델의 예측 결과를 집계해 최종 판단을 내리는 '앙상블(ensemble)' 방식으로 통합했습니다. 앙상블 방식은 단일 모델에 비해 개별 모델의 오류를 상호 보완할 수 있어, 실제로 한 모델이 탐지에 실패하는 딥페이크를 다른 모델이 잡아내는 효과를 냅니다. 실제 경찰 수사 15건에 시범 적용한 결과, 탐지 정확도는 기존 단일 모델의 76%에서 92%로 향상됐습니다.

92%를 만든 기술 — 전역분석·국소분석·음성 분석 삼중 레이어

앙상블 모델의 92% 정확도를 실현한 핵심은 세 가지 분석 레이어의 결합입니다. 첫 번째는 '전역 분석(Global Analysis)'입니다. 딥페이크 영상의 가장 흔한 약점 중 하나는 영상 전체의 '일관성 부재'입니다. 예를 들어, 실제 인물 영상에 다른 얼굴을 합성하면 배경의 조명 방향과 합성된 얼굴에 비치는 빛의 방향이 미묘하게 어긋나거나, 머리카락이 움직이는 자연스러운 물리적 흐름이 끊어지거나, 배경과 피부 색온도가 불일치하는 현상이 생깁니다. 전역 분석은 이러한 '큰 그림'의 불일치를 감지합니다. 두 번째는 '국소 분석(Local Analysis)'입니다. 최신 딥페이크 생성 도구들은 전역적 일관성을 어느 정도 유지할 수 있게 됐지만, 얼굴의 특정 미세 부위 — 눈가의 반사광, 입술 가장자리의 윤곽 전환, 피부의 모공 질감, 속눈썹의 끝처리 — 에서는 여전히 인공적인 흔적을 남깁니다. 국소 분석은 얼굴 영역을 세분화해 이러한 '현미경 수준의 위조 흔적'을 찾아냅니다. 세 번째는 '음성 분석(Audio Analysis)'입니다. 최근 딥페이크 선거 콘텐츠의 상당수는 영상 조작이 아닌 음성 조작(Voice Cloning)을 사용합니다. 실제 정치인의 발언 영상에 AI로 합성한 다른 내용의 음성을 입히는 방식입니다. 이 경우 영상 자체는 진짜이기 때문에 영상 분석만으로는 탐지가 불가능합니다. 국과수 모델은 영상에서 음성 트랙을 별도로 추출해, 음성 클로닝·보이스 딥페이크 특유의 미세한 스펙트럼 패턴과 포먼트(formant) 이상을 감지하는 독립적 음성 분석을 수행합니다.

이 삼중 레이어 탐지 시스템은 총 231만 건의 영상·음성 파일을 학습 데이터로 활용했습니다. 단순한 페이스스왑 딥페이크부터 최신 생성형 AI 도구(GAN, Diffusion Model)로 제작된 고품질 합성 영상까지 포괄하는 데이터셋으로 학습한 만큼, 탐지 범위가 광범위합니다. 실제 경찰 수사에서 이미 15건에 적용해 효과를 검증했으며, 선거 기간 중에는 중앙선거관리위원회가 의심 콘텐츠를 접수해 국과수에 분석을 의뢰하고, 국과수가 신속하게 결과를 선거관리위원회와 수사기관에 통보하는 '패스트트랙(fast-track)' 대응 체계로 운영됩니다. 탐지 결과가 나오는 시간은 공개되지 않았으나, 선거 콘텐츠 확산이 워낙 빠른 점을 고려해 수분 내 1차 판정이 가능하도록 설계됐다고 행안부 관계자는 밝혔습니다.

선거를 넘어 — 성범죄·금융사기·명예훼손 확대 로드맵

행안부와 국과수는 이 AI 딥페이크 탐지 모델을 선거용 일회성 도구로 개발하지 않았습니다. 6·3 지방선거는 이 국가 딥페이크 탐지 인프라의 '첫 번째 실전 배치'이며, 이후 적용 범위는 세 가지 방향으로 확대될 계획입니다. 첫 번째는 디지털 성범죄 탐지입니다. 한국은 현재 디지털 성범죄 피해자가 직접 또는 디지털 성범죄 피해자 지원 센터를 통해 플랫폼에 삭제를 요청하는 구조입니다. AI 탐지 모델이 연동되면, 피해자가 신고한 영상이 딥페이크인지 아닌지를 국과수가 신속하게 감정해 수사·삭제 절차에 가속을 붙일 수 있습니다. 두 번째는 금융 사기 탐지입니다. 경찰청은 3년간 91억 원을 딥페이크 탐지 AI 기술 개발에 투자하고 있습니다. 투자 범위에는 '보이스 피싱' 탐지가 포함됩니다. 실제로 최근 딥페이크 금융 사기는 은행 직원, 정부 기관 담당자, 가족으로 위장한 AI 음성으로 피해자를 속이는 방식이 주류입니다. 세 번째는 명예훼손 디지털 포렌식입니다. 기업 CEO, 공인, 유명인을 대상으로 한 딥페이크 영상이 명예훼손 소송에서 증거로 제출되는 경우가 늘고 있습니다. 국과수의 딥페이크 탐지 감정이 법원에서 공신력 있는 증거로 채택될 수 있도록 하는 표준화 작업도 병행됩니다. 경찰청과 과학기술정보통신부(과기정통부)는 2025년부터 각각 91억 원, 20억 원의 딥페이크 탐지 R&D 예산을 편성해, 이 기술의 정확도를 95% 이상으로 끌어올리는 목표를 진행 중입니다.

CHI 2026 연구 — 인간은 딥페이크를 어떻게 탐지하는가

AI 탐지 모델의 발전과 함께, 2026년 CHI(Computer-Human Interaction) 학술대회에서는 '인간의 딥페이크 탐지 전략'을 분석한 중요 연구가 발표됐습니다. 스페인 바르셀로나에서 4월 개최된 CHI 2026에서 발표된 「Seeing, Hearing, and Knowing Together: Multimodal Strategies in Deepfake Videos Detection」 연구는 일반인이 딥페이크 영상을 탐지할 때 시각(Visual), 청각(Audio), 지식 기반(Knowledge-based)의 세 가지 전략을 사용하며, 이를 복합적으로 활용할 때 탐지 정확도와 자신감 보정(calibration)이 향상된다는 것을 실증했습니다. 이 연구가 AI 탐지 시스템 개발에 주는 시사점은 명확합니다. AI 탐지 모델이 인간의 탐지 전략과 유사하게 멀티모달(영상+음성+컨텍스트) 방식으로 설계될 때 성능이 최적화된다는 것입니다. 국과수 모델의 삼중 레이어(전역+국소+음성) 구조가 이 방향성과 정확히 일치합니다. AI와 인간 탐지 전략의 수렴은 딥페이크 방어의 새로운 패러다임 — '인간-AI 협력 탐지(Human-AI Collaborative Detection)' — 의 가능성을 열고 있습니다. AI가 데이터 기반 패턴 탐지를, 인간이 문화적·맥락적 판단을 담당하는 협력 모델이 단독 AI 또는 단독 인간보다 훨씬 강력한 탐지 체계가 될 수 있습니다.

글로벌 맥락 — 157억 달러 시장과 한국의 위상

한국의 국가 딥페이크 탐지 인프라 구축은 글로벌 추세의 선두에 있습니다. 딜로이트 분석에 따르면, 글로벌 딥페이크 탐지 시장은 2023년 55억 달러(약 8조 원)에서 2026년 157억 달러(약 23조 원)로 연간 42% 성장이 예상됩니다. 이 시장 성장의 핵심 동인은 선거·금융·콘텐츠 세 분야의 규제 요구입니다. 미국, 유럽연합(EU), 영국, 호주가 각각 딥페이크 선거 콘텐츠 규제를 강화하는 가운데, 한국은 국가가 직접 탐지 인프라를 개발해 선거관리위원회와 수사기관에 제공하는 '공공 딥페이크 탐지 인프라' 모델을 선도하고 있습니다. 이 모델은 민간 기업이 탐지 서비스를 제공하는 미국·유럽 방식과 달리, 국가가 탐지 권위(authority)를 직접 보유한다는 특징이 있습니다. 장점은 신속한 수사 연계와 법적 증거력이지만, 동시에 국가 탐지 인프라가 정치적 목적으로 남용될 위험성에 대한 시민사회의 감시가 필요하다는 점도 간과해선 안 됩니다. 오늘 6·3 지방선거는 이 균형의 첫 시험대입니다.