← 블로그무료 검색
딥페이크 탐지/방어 기술광학 신경 컴퓨팅딥페이크 연구 논문

빛으로 딥페이크를 잡는다 — UCLA 광학 신경 프로세서, 15채널 동시 97.79% 정확도 (eLight 2026)

2026-10-13·11분 읽기
레이저 광이 렌즈를 통과하는 광학 시스템 — UCLA 연구팀이 개발한 딥페이크 탐지용 광학-신경 하이브리드 프로세서를 형상화한 이미지

2026년 9월, UCLA 전기컴퓨터공학과 Aydogan Ozcan 교수 연구팀이 광학 저널 eLight에 충격적인 논문을 게재했습니다. 디지털 연산이 아닌 레이저 광파의 물리적 전파를 이용해 딥페이크 영상을 탐지하는 '광학-신경 하이브리드 프로세서'입니다. 이 시스템은 15개 영상 스트림을 동시에 처리하면서 Celeb-DF 벤치마크에서 97.79%의 평균 정확도를 기록했습니다. 딥페이크를 놓치는 허위 부정률은 불과 0.14%에 그쳤습니다. 더욱 주목할 점은 기존 디지털 딥페이크 탐지기보다 에너지를 약 10배 절감하며, 핵심 파라미터가 광학 하드웨어에 물리적으로 내장돼 있어 적대적 공격에 높은 저항성을 보인다는 것입니다. 구글 VEO-3로 생성된 최신 영상에도 최소한의 파인튜닝만으로 94.80%의 정확도를 달성했습니다. 생성 AI 기술과 딥페이크 탐지 기술 사이의 군비 경쟁이 심화되는 2026년, 빛으로 딥페이크를 잡는다는 발상은 탐지 기술의 새로운 패러다임을 제시합니다.

광학-신경 하이브리드 아키텍처 — 빛의 물리적 전파로 딥페이크를 판별하는 원리

기존 딥페이크 탐지 시스템은 모든 연산을 GPU나 CPU 같은 디지털 하드웨어에서 수행합니다. 영상 프레임을 불러오고, 특징을 추출하고, 분류기를 통해 진짜·가짜를 판별하는 전 과정이 디지털 비트 연산으로 이루어집니다. UCLA 연구팀이 제안한 광학-신경 하이브리드 프로세서는 이 패러다임을 근본적으로 뒤집습니다. 핵심 아이디어는 신경망 연산의 일부를 광학적으로 수행한다는 것입니다. 시스템의 작동 방식은 세 단계로 이루어집니다. 첫 번째로, 경량 디지털 인코더가 각 영상 프레임의 얼굴 영역을 샘플링해 공간적(spatial), 스펙트럼(spectral), 시간적(temporal) 특징을 추출해 압축된 특징 벡터를 만듭니다. 두 번째로, 이 특징 벡터를 프로그래머블 공간 광 변조기(Spatial Light Modulator, SLM) 위에 위상(phase) 패턴으로 인코딩합니다. 동시에 분석할 여러 영상의 패턴을 SLM 위에 나란히 배열합니다. 세 번째로, 레이저 광이 SLM의 위상 패턴을 통과하며 자유 공간에서 전파됩니다. 이 물리적 광파 전파 과정이 바로 신경망의 행렬 곱셈 연산에 해당합니다. 전파된 광이 감지기 쌍(paired detectors)에 도달하면, 각 감지기 쌍이 받는 광도 차이가 해당 영상의 진짜/가짜 판별 점수로 변환됩니다.

이 설계가 갖는 구조적 장점은 세 가지입니다. 첫째는 병렬성입니다. 단일 레이저 빔이 SLM 위에 배열된 여러 패턴을 동시에 조사(照射)하기 때문에, 15개 또는 18개 영상을 사실상 동시에 처리할 수 있습니다. 디지털 시스템이 영상을 순차적으로 처리해야 하는 것과 근본적으로 다릅니다. 둘째는 에너지 효율입니다. 광 전파는 능동적 전자 스위칭 없이 수동적으로 이루어집니다. 연구팀은 동급 성능의 선도적 디지털 탐지기 대비 에너지 소비를 약 10배 절감할 수 있다고 보고했습니다. 딥페이크 스크리닝을 대규모로 수행해야 하는 플랫폼 기업들에게는 운영 비용 절감으로 직결되는 이점입니다. 셋째는 견고성입니다. 시스템의 핵심 가중치(탐지 파라미터)가 회절 광학 소자(diffractive optical element)에 물리적으로 각인됩니다. 소프트웨어 기반 모델의 가중치처럼 메모리에서 읽고 수정할 수 있는 것이 아니라, 광학 소자의 물리적 구조 자체입니다. 적대자가 모델 파라미터를 역공학(reverse engineer)하거나 화이트박스 공격을 수행하려면 광학 소자 자체를 물리적으로 복제해야 합니다. 이는 실질적으로 불가능에 가깝습니다.

성능 검증 — Celeb-DF 97.79%, VEO-3 94.80%, 적대적 공격 저항성

연구팀은 딥페이크 탐지 연구에서 가장 널리 사용되는 벤치마크 데이터셋 중 하나인 Celeb-DF를 사용해 시스템을 평가했습니다. 학습 세트에 포함되지 않은 진짜 영상 105개, 딥페이크 영상 105개로 구성된 홀드아웃(hold-out) 테스트 셋에서 다음의 결과를 달성했습니다. 15채널 동시 처리 기준 평균 정확도 97.79%, 민감도(sensitivity, 딥페이크를 딥페이크로 올바르게 탐지하는 비율) 99.86%, 특이도(specificity, 진짜를 진짜로 올바르게 식별하는 비율) 95.72%입니다. 민감도 99.86%는 1,000개의 딥페이크 영상 중 단 1~2개만 놓친다는 의미입니다. 딥페이크를 놓치는 허위 부정(false negative)이 가장 치명적인 실사용 환경에서, 이 수치는 매우 중요한 의미를 갖습니다. 채널 수를 18개로 확장해도 평균 정확도는 96.13%를 유지했습니다. 처리 채널이 증가해 광학 경로가 더 조밀해질수록 채널 간 간섭(crosstalk)이 발생할 수 있지만, 96%를 넘는 정확도를 유지한 것은 광학 설계의 견고성을 보여줍니다.

연구팀은 시스템의 일반화 능력도 별도로 검증했습니다. 특히 주목할 만한 것은 구글의 최신 영상 생성 AI 모델 VEO-3로 생성된 딥페이크 영상에 대한 테스트입니다. VEO-3는 2026년 출시된 최신 생성 AI 모델로, 학습 데이터에 포함되지 않았습니다. 연구팀이 소량의 VEO-3 생성 영상으로 모델을 파인튜닝(fine-tuning)한 결과, 94.80%의 정확도를 달성했습니다. 이는 광학-신경 프로세서가 학습 시 보지 못했던 새로운 생성 방식의 딥페이크에도 적응력이 있음을 보여줍니다. 또한 Optica OPN 보고에 따르면, 회절 광학 소자(diffractive optical elements)를 추가 적용했을 때 더 도전적인 딥페이크 데이터셋에서 정확도가 89.0%에서 95.8%로 향상되는 결과도 확인됐습니다. 적대적 공격 저항성은 별도의 블랙박스 공격 시뮬레이션을 통해 검증됐습니다. 연구팀은 표준 디지털 탐지 모델에 대해 효과적인 적대적 예제(adversarial examples)를 생성하고 이를 광학-신경 프로세서에 적용했을 때 탐지 성능이 유의미하게 저하되지 않음을 확인했습니다. 광학 하드웨어에 파라미터가 물리적으로 내장돼 있기 때문에 소프트웨어 수준에서의 역공학이 불가능하다는 이론적 예측이 실험적으로도 뒷받침된 것입니다.

딥페이크 탐지 기술 지형의 변화 — 광학 컴퓨팅의 가능성과 현실적 과제

UCLA 연구팀의 광학-신경 프로세서는 딥페이크 탐지 기술의 두 가지 주요 흐름과 맥락을 같이 합니다. 첫째 흐름은 탐지 대상의 확장입니다. 2026년 딥페이크 생성 기술은 GAN(생성적 적대 신경망) 중심에서 확산 모델(diffusion model) 중심으로 이동했습니다. Stable Diffusion, Midjourney, VEO-3 같은 최신 모델들은 이전 세대 탐지 시스템이 학습하지 않은 새로운 시각적 아티팩트 패턴을 갖습니다. 이에 따라 탐지 연구 역시 특정 생성 모델에 의존하는 탐지 신호(generation-specific artifacts)보다 생성 모델 독립적인 탐지 원리를 확보하는 방향으로 진화하고 있습니다. UCLA 시스템이 VEO-3 영상을 소량 파인튜닝만으로 94.80% 정확도로 탐지한 것은 이 방향성과 일치합니다. 둘째 흐름은 탐지 속도와 규모의 문제입니다. 2026년 기준 글로벌 소셜미디어 플랫폼에 업로드되는 영상의 수는 분당 수백만 개에 달합니다. 딥페이크 스크리닝을 업로드 시점에 실시간으로 수행하려면, 단순히 정확한 탐지기만이 아니라 초고속·저에너지 처리가 가능한 탐지기가 필요합니다. 15채널 병렬 처리와 에너지 10배 절감이라는 UCLA 시스템의 특성은 이 요구에 정면으로 응답합니다.

물론 현실적 과제도 있습니다. 연구팀은 논문에서 몇 가지 제한점을 솔직하게 기술했습니다. 현재 시스템은 실험실 광학 벤치(optical bench) 수준에서 구현됩니다. 상용화를 위해서는 시스템을 소형화하고 견고한 패키징이 가능한 집적 광학(integrated photonics) 설계로 전환해야 합니다. 또한 SLM의 위상 변조 속도가 최종적인 처리 속도를 제한하는 병목이 될 수 있습니다. 현재 SLM 기술의 갱신률(refresh rate)은 초당 수백 Hz 수준으로, 동적 영상 처리에는 충분하지만 초당 수만 프레임을 처리해야 하는 대규모 플랫폼 적용에는 추가적인 기술 개선이 필요합니다. 한국의 딥페이크 탐지 기술 생태계에도 시사하는 바가 있습니다. 한국과학수사연구원(NFS) 및 KISA 산하 딥페이크 대응 기관들은 현재 소프트웨어 기반 탐지 도구에 주로 의존합니다. 광학 기반 하드웨어 가속 탐지 기술은 소프트웨어 취약점에 의존하는 적대적 공격에 근본적으로 강한 '하드웨어 루트 오브 트러스트(hardware root of trust)'를 제공할 수 있습니다. 국내 반도체·광학 기업들과의 협력을 통한 기술 수용과 한국어·한국인 얼굴 데이터셋 기반의 파인튜닝이 이루어진다면, 한국 사회의 딥페이크 위협에 대한 탐지 인프라를 한 단계 높일 수 있을 것입니다.

광학 AI의 딥페이크 탐지 — 연구를 넘어 실용화로 가는 길

Aydogan Ozcan 교수 연구팀은 광학 신경망(optical neural network) 분야에서 오랜 연구 경력을 쌓아왔습니다. 이번 eLight 게재 논문은 광학 AI를 보안 및 딥페이크 탐지 분야에 적용한 최초의 본격적 성과 중 하나입니다. 연구팀은 UCLA 전기컴퓨터공학과, 생체공학과, 캘리포니아 나노시스템 연구소(CNSI)의 학제 간 협력으로 이루어졌으며, 공동 제1저자 Parnian Ghapandar Kashani, 공동 저자 Shiqi Chen 박사가 핵심 기여자입니다. eLight는 광학 분야 최상위 저널 중 하나로, 이 연구가 광학 분야에서도 딥페이크 탐지를 중요한 응용 과제로 인정받았음을 의미합니다. 2026년 딥페이크 탐지 기술의 전반적 지형을 보면, 소프트웨어 알고리즘 개선 경쟁만이 아닌 하드웨어 아키텍처 수준의 혁신이 활발히 진행 중입니다. ETH 취리히가 칩 레벨 암호화 딥페이크 탐지를 제안했고(2026년 초), 프라운호퍼 SIT가 실시간 화상통화 탐지 특화 아키텍처를 발표했으며, 이제 UCLA가 광학 컴퓨팅을 딥페이크 탐지에 도입했습니다. 이처럼 탐지 기술이 알고리즘 층위를 넘어 하드웨어 층위로 방어선을 확장하는 것은, 생성 AI가 아무리 정교해져도 물리적 층위에서 탐지 불변 특성을 보존하려는 전략입니다.

실용화까지의 로드맵을 생각해보면 세 단계가 필요합니다. 1단계는 집적 광학 소형화입니다. 현재의 광학 벤치 시스템을 칩 크기의 집적 광학 모듈로 줄이는 것이 핵심입니다. 2026년 현재 실리콘 포토닉스(silicon photonics) 기술은 급속히 성숙 중입니다. 인텔, TSMC, 삼성전자 등이 실리콘 포토닉스 생산 공정을 확보하고 있어, 개념 증명에서 양산 가능한 광학 AI 칩으로의 전환이 현실적인 5년 내 과제가 됐습니다. 2단계는 다양한 딥페이크 데이터셋 기반의 강건화(robustification)입니다. Celeb-DF는 얼굴 교체(face-swap) 중심 데이터셋입니다. 전체 얼굴 합성(full-face synthesis), 얼굴 재연출(face reenactment), 음성-얼굴 동기화 딥페이크 등 다양한 유형에 대한 평가와 파인튜닝이 필요합니다. 3단계는 플랫폼 통합과 표준화입니다. 탐지 기술이 아무리 우수해도 소셜미디어 플랫폼의 콘텐츠 중재 파이프라인, 법집행 기관의 포렌식 도구체인, 금융기관의 신원 인증 시스템에 통합되지 않으면 실제 영향력을 발휘하기 어렵습니다. UCLA의 광학-신경 프로세서는 딥페이크 탐지 기술이 소프트웨어의 한계를 넘어 물리적 세계로 방어선을 확장하고 있음을 보여주는 강력한 신호탄입니다.

참고 자료 / References