AT-ADD·RADAR 2026: 음악·노래·음성 망라한 전방위 오디오 딥페이크 탐지 기술 최전선

AT-ADD 챌린지란 — 음성을 넘어 음악·노래·소리까지 탐지하는 최초의 전유형 벤치마크

오디오 딥페이크 탐지 연구는 오랫동안 '음성(speech)' 중심이었습니다. ASVspoof 시리즈로 대표되는 주요 벤치마크들은 모두 텍스트 음성 변환(TTS)이나 보이스 변환(VC)으로 생성된 사람의 말소리를 탐지하는 데 집중했습니다. 그러나 2025~2026년에 걸쳐 생성형 AI는 음악·노래·환경음 영역으로 급속히 확장됐습니다. Suno·Udio 같은 AI 음악 생성 도구는 사람이 작곡한 것과 구별하기 어려운 음악을 대량 생산하고 있으며, AI 보컬 클로닝은 유명 가수의 목소리를 무단으로 복제한 딥페이크 노래를 양산합니다. 소셜 미디어 콘텐츠 위조, AI 작곡 저작권 분쟁, 가수 사칭 사기까지 — 오디오 딥페이크의 피해 영역이 음성 사기를 훨씬 넘어서고 있습니다. AT-ADD(All-Type Audio Deepfake Detection) 챌린지는 이 공백을 채우기 위해 설계됐습니다. ACM Multimedia 2026 그랜드 챌린지로 개최된 AT-ADD는 음성(speech)·소리(sound)·노래(singing)·음악(music) 4개 유형의 딥페이크를 한 번에 탐지하는 시스템을 평가하는 세계 최초의 전유형 오디오 딥페이크 탐지 벤치마크입니다.

AT-ADD 챌린지는 두 개의 트랙으로 구성됩니다. Track 1은 '강인한 음성 딥페이크 탐지(Robust Speech Deepfake Detection)'로, 실제 환경에서 미지의 최신 음성 생성 방법과 다양한 왜곡 조건에서 음성 딥페이크를 탐지하는 시스템을 평가합니다. Track 2는 '전유형 오디오 딥페이크 탐지(All-Type Audio Deepfake Detection)'로, 음성·소리·노래·음악 4개 유형을 모두 아우르는 유형 불가지(type-agnostic) 일반화 성능을 평가합니다. 두 트랙은 모두 Macro-F1 점수를 주요 평가 지표로 사용합니다. 평가 세트는 비공개 레이블 처리되어 과적합 방지 조치가 취해졌습니다. 챌린지의 핵심 동기는 세 가지입니다. 첫째, 기존 음성 딥페이크 탐지 모델은 미지의 TTS 생성기에 대한 일반화 성능이 낮습니다. 둘째, 오디오 유형 간 도메인 차이가 커서 단일 모델로 음성·음악·노래를 모두 탐지하기 어렵습니다. 셋째, 실제 배포 환경에서 오디오는 압축·잡음·잔향 등 다양한 변환을 거쳐 전달됩니다. AT-ADD 벤치마크 논문(arxiv 2608.23437)은 이를 위해 대규모 다유형 오디오 데이터셋을 구축하고, 각 유형별 최신 생성 도구로 위조 샘플을 생성해 균형 잡힌 평가 환경을 제공합니다.

AT-ADD 챌린지 결과 분석 — W2V-BERT 2.0 앙상블(Track 1)과 BEATs 분리-전문가 전략(Track 2)

Track 1(강인한 음성 딥페이크 탐지)에서 1위를 차지한 팀의 핵심 전략은 W2V-BERT 2.0 모델의 앙상블이었습니다. W2V-BERT 2.0은 Meta AI의 MMS(Massively Multilingual Speech) 프로젝트 기반의 대규모 자기지도 학습(Self-Supervised Learning, SSL) 음성 모델로, 1,400개 이상의 언어로 학습된 음향 표현을 갖습니다. 이 모델을 딥페이크 탐지를 위해 파인튜닝하고 여러 체크포인트를 앙상블한 결과, 최종 평가 세트에서 90.71% Macro-F1을 달성했습니다. 성능의 핵심은 대규모 사전학습이 제공하는 풍부한 음향 표현입니다. 딥페이크 탐지 모델이 반드시 포착해야 하는 것은 TTS·VC 모델이 생성한 음성에 남는 미묘한 아티팩트 — 포르만트 전환의 비자연스러움, 비음 성분의 과도한 규칙성, 프로소디의 평탄함 등입니다. 수백만 시간의 다국어 음성으로 학습된 W2V-BERT 2.0은 이런 비정상 패턴을 포착하기에 충분히 풍부한 표현 공간을 갖추고 있습니다. 다양한 데이터 증강(배경 잡음·리샘플링·속도 변환), 다중 작물(multi-crop) 추론, 그리고 여러 체크포인트 앙상블이 결합되어 최고 성능을 이끌어냈습니다. 하지만 Track 1에서도 여전한 과제가 남았습니다. 미지의 생성기(unseen generators)에 대한 일반화와 실제 왜곡 조건 — 특히 MP3 압축 후 재업로드, SNS 플랫폼 트랜스코딩 — 에서의 강인성은 여전히 도전적인 문제로 남아 있습니다.

Track 2(전유형 오디오 딥페이크 탐지)의 최고 성능 접근법은 더욱 흥미롭습니다. 1위 팀은 BEATs(BERT-style Pre-Training with Acoustic Tokenizers)를 활용한 '분리-전문가(Divide-and-Conquer)' 전략으로 96.10% Macro-F1을 달성했습니다. 전략의 핵심은 2단계 파이프라인입니다. 1단계에서는 동결된(frozen) BEATs 모델이 입력 오디오를 음성·소리·노래·음악 4개 유형 중 하나로 분류합니다. BEATs는 Microsoft Research Asia에서 개발한 오디오 사전학습 모델로, 범용 오디오 이해 태스크에서 뛰어난 성능을 보입니다. 2단계에서는 1단계에서 판별된 유형에 맞는 전문가 모델이 딥페이크 여부를 최종 판단합니다. 각 전문가 모델은 해당 오디오 유형의 딥페이크 패턴에 특화되어 학습됐습니다. 이 접근법이 효과적인 이유는 도메인 차이(domain gap) 문제를 직접 해결하기 때문입니다. 음성·음악·노래·소리의 딥페이크 아티팩트는 근본적으로 다릅니다. 음성 딥페이크는 프로소디와 포르만트 패턴에서 단서를 드러내고, 음악 딥페이크는 하모닉 구조와 타악기 발현(transient)에서 비자연성을 보입니다. 노래 딥페이크는 비브라토와 호흡 패턴의 인위성에서 탐지됩니다. 하나의 모델이 이 모든 도메인을 동등하게 학습하기는 구조적으로 어렵습니다. '분리-전문가' 전략은 이 문제를 엘레강트하게 우회합니다.

RADAR Challenge 2026 — 미디어 변환·다국어 조건에서의 오디오 딥페이크 탐지 한계

AT-ADD가 오디오 유형의 다양성을 다루는 챌린지였다면, APSIPA RADAR(Robust Audio Deepfake Recognition) Challenge 2026은 현실 세계의 미디어 변환 환경에서의 강인성을 측정했습니다. RADAR 챌린지는 실제 오디오 배포 파이프라인 — 소셜 미디어 업로드, 메신저 전송, 방송 편집 등 — 에서 발생하는 압축(MP3, AAC, Opus), 리샘플링, 배경 잡음 추가, 잔향(reverberation) 등의 변환이 오디오 딥페이크 탐지 성능에 미치는 영향을 체계적으로 평가합니다. 챌린지는 2단계로 구성됩니다. 1단계(개발 단계)에서는 레이블이 공개된 영어 데이터로 분석과 논문 작성이 가능합니다. 2단계(다국어 평가 단계)에서는 영어·싱가포르 영어·중국어(대륙)·대만어·일본어·베트남어 등 6개 언어를 포함한 10만 발화 이상의 데이터셋이 블라인드 평가에 사용됩니다. 2026년 대회에는 33개 팀이 참가했습니다. 주요 발견은 다음과 같습니다. 개발 단계에서 우수한 성능을 보인 시스템들이 블라인드 다국어 평가에서 성능이 현저히 저하됐습니다. 이는 모델들이 특정 언어나 TTS 엔진의 패턴에 과적합됐기 때문입니다. 미디어 변환 — 특히 고압축 코덱과 잡음 추가 — 은 모델의 탐지 단서(아티팩트)를 효과적으로 소거해 성능을 크게 저하시켰습니다.

RADAR 챌린지 2026의 발견은 오디오 딥페이크 탐지 기술의 현실적 한계를 적나라하게 드러냅니다. 연구 환경에서의 높은 성능이 실제 배포 환경의 강인성을 보장하지 않는다는 사실은 이미 여러 연구에서 지적됐지만, RADAR는 이를 다국어·미디어 변환 차원에서 처음으로 체계적으로 측정했습니다. 한국어 테스트 환경에서의 결과가 별도로 공개되지는 않았지만, 비영어권 언어 전반에서의 성능 저하 패턴은 한국어 딥페이크 탐지에도 직접적인 시사를 줍니다. 대부분의 오픈소스 딥페이크 탐지 모델은 영어 TTS 데이터셋 중심으로 학습됐습니다. 한국어 TTS(예: 카카오·네이버의 최신 음성 합성)로 생성된 딥페이크 음성은 이 모델들이 학습하지 않은 아티팩트 분포를 갖습니다. 한국어 딥페이크 탐지를 위해서는 한국어 특화 학습 데이터, 카카오·네이버·LG AI 등 국내 TTS 엔진의 합성 샘플 포함, 그리고 국내 메신저(카카오톡) 오디오 압축 특성을 반영한 평가 프로토콜이 필요합니다. 한국인터넷진흥원(KISA)과 국립과학수사연구원이 이런 한국어 특화 딥페이크 탐지 벤치마크 구축에 나설 필요가 있습니다.

RF-Prompt와 지속적 학습 — '진화하는 딥페이크'에 대응하는 연속 탐지 패러다임

AT-ADD와 RADAR 챌린지가 현재 오디오 딥페이크 탐지의 한계를 측정했다면, 2026년 9월 arXiv에 등재된 RF-Prompt(arxiv 2609.37586) 연구는 더 근본적인 질문에 답합니다. '딥페이크 생성 기술이 계속 진화하는데, 탐지 모델을 어떻게 지속적으로 업데이트할 수 있는가?' 오디오 딥페이크 탐지의 가장 큰 구조적 취약점은 '정적 모델' 패러다임입니다. 한 번 학습된 탐지 모델은 그 학습 시점까지 등장한 TTS 방식의 아티팩트만 포착할 수 있습니다. 그런데 오디오 딥페이크 생성 도구는 매달 새로운 버전이 출시되고, 각 버전은 이전 버전과 다른 아티팩트 패턴을 갖습니다. 새로운 생성 방식을 학습하기 위해 모델을 처음부터 재훈련하면 이전에 탐지할 수 있던 방식에 대한 성능이 급격히 저하됩니다. 이를 '파국적 망각(catastrophic forgetting)'이라 합니다. RF-Prompt는 이 문제를 '지속적 학습(continual learning)'과 '프롬프트 튜닝(prompt tuning)'의 조합으로 해결합니다. 기존에 학습된 사전훈련 음성 모델의 가중치는 고정(freeze)하고, 새로운 딥페이크 유형에 특화된 소규모 프롬프트 파라미터만 학습합니다. 이 프롬프트가 모델의 주의(attention)를 새로운 유형의 아티팩트 특성으로 유도합니다. 덕분에 이전 딥페이크 탐지 능력을 보존하면서 새로운 딥페이크도 탐지할 수 있습니다.

RF-Prompt의 접근법은 실용적 측면에서도 중요한 의미를 갖습니다. 완전한 모델 재훈련에는 대규모 GPU 클러스터와 수일~수주의 학습 시간이 필요합니다. 반면 프롬프트 파라미터만 업데이트하는 RF-Prompt 방식은 훨씬 경량화된 업데이트 사이클을 가능하게 합니다. 새로운 딥페이크 생성 도구가 등장하면, 해당 도구의 샘플 수천 개로 소수의 프롬프트 파라미터를 학습해 기존 탐지 모델에 '패치'처럼 추가하는 것이 가능합니다. 이는 금융 보안·콘텐츠 모더레이션·법의학 분야에서 실제 운영 중인 딥페이크 탐지 시스템의 유지보수 비용과 대응 속도를 획기적으로 개선할 수 있는 접근법입니다. 세 연구(AT-ADD, RADAR, RF-Prompt)를 종합하면 2026년 오디오 딥페이크 탐지 기술의 현주소를 이렇게 정리할 수 있습니다. 최고 성능 시스템은 90~96% Macro-F1에 도달했지만, 미지의 생성기·미디어 변환·비영어권 언어라는 세 조건이 겹치면 성능이 크게 하락합니다. 오디오 유형 다양성(음악·노래)과 생성 기술의 빠른 진화라는 두 가지 새로운 도전에 대응하기 위한 구조적 혁신 — 분리-전문가 전략과 지속적 학습 — 이 등장했으나, 아직 실제 배포 환경에서의 검증이 부족합니다. 한국어를 포함한 비영어권 언어 특화 벤치마크와 학습 데이터 구축은 긴급한 과제로 남아 있습니다.

오디오 딥페이크 탐지의 실용적 과제 — 한국 환경에서의 적용 방향

2026년 세 챌린지의 결과를 종합하면, 오디오 딥페이크 탐지 기술은 아직 '범용 배포' 단계에 이르지 못했습니다. 특정 조건(단일 언어·깨끗한 오디오·알려진 생성기)에서는 90% 이상의 성능을 보이지만, 미지의 생성기·다국어·미디어 변환이 결합된 현실 환경에서는 성능이 크게 떨어집니다. 한국 사회에서 이 기술의 실용화 방향을 세 가지로 제언합니다. 첫째, 금융 분야 콜센터 적용입니다. 보이스피싱 대응을 위해 통신사와 금융기관 콜센터에 오디오 딥페이크 탐지를 도입할 때, 단순히 오픈소스 모델을 적용하는 것은 충분하지 않습니다. 한국어 TTS 엔진(카카오·네이버·LG AI)의 최신 샘플로 파인튜닝된 모델, 그리고 KT·SK텔레콤·LGU+의 VoIP 압축 특성이 반영된 학습 데이터가 필요합니다. 금융보안원이 국내 환경 특화 평가 프레임워크와 최소 성능 기준(예: 오탐율 1% 이하, 허위 부정율 5% 이하)을 수립해야 합니다. 둘째, 디지털 성범죄 수사 활용입니다. 딥페이크 성범죄 수사 맥락에서 오디오 딥페이크 증거 감정은 법적 증거 능력 요건을 충족해야 합니다. AT-ADD와 RADAR의 발견이 시사하듯, 단일 모델의 탐지 결과만으로는 법정 증거로 삼기 어렵습니다. 국립과학수사연구원이 오디오 딥페이크 감정 절차에서 복수 모델 앙상블 방법론과 모델 불확실성 추정(uncertainty estimation)을 표준화하는 가이드라인을 마련해야 합니다. 셋째, 콘텐츠 플랫폼 적용입니다. AI 생성 음악·노래의 급증 속에서, 카카오·네이버 뮤직·유튜브 코리아 등 플랫폼이 AT-ADD에서 검증된 BEATs 기반 전유형 탐지 접근법을 도입해 AI 생성 오디오 콘텐츠를 레이블링하고 저작권 침해 여부를 보조 판단하는 인프라를 구축할 필요가 있습니다.