진짜처럼 보이지만 인공지능(AI) 도구로 만든 사진, 영상, 음성을 뜻하는 ‘딥페이크(deepfake)’가 확산하면서 온라인 콘텐츠에 대한 신뢰가 추락하고 있다. AI가 만든 콘텐츠가 많아지고 한층 정교해지면서, 온라인상의 이미지·영상·음성이 잘못된 정보를 퍼뜨리거나 사기 행위에 악용될 수 있다. 소셜미디어(SNS)에서 이런 합성 콘텐츠가 넘쳐나면서, 사용자가 온라인 콘텐츠를 신뢰하지 못하고 데이터 악용을 우려하는 경우가 늘고 있다.
딜로이트의 2024년 조사에 따르면, 소비자 절반은 온라인 정보의 정확성과 신뢰성에 대해 1년 전보다 회의적인 시각이 더 심화했다고 답했다. 생성 AI(Generative AI)에 익숙하거나 사용 중이라고 답한 이들 가운데 68%는 합성 콘텐츠가 속임수나 사기에 악용될 수 있다고 우려했으며, 59%는 사람과 AI가 만든 콘텐츠를 구별하기 어렵다고 응답했다. 또한 생성 AI에 익숙한 응답자 84%는 AI가 만든 콘텐츠에는 항상 명확한 라벨링(labeling)이 필요하다고 봤다.
라벨링은 미디어나 소셜미디어가 합성 콘텐츠를 사용자에게 구분해 표시하는 방법의 하나다. 그러나 기존 미디어를 조작하거나 새로운 콘텐츠를 만드는 첨단 AI 모델이 딥페이크 기술에 활용되면서, 가짜를 탐지하고 신뢰를 회복하기 위한 보다 복잡한 대응책이 요구되고 있다.
딜로이트는 테크, 미디어, 소셜미디어 분야 대기업이 주도하는 딥페이크 탐지 관련 글로벌 시장 규모가 2023년 55억달러(약 7조4800억원)에서 2026년 157억달러(약 21조3500억원)로, 연평균 42% 증가할 것으로 전망했다. 딜로이트는 딥페이크 탐지 시장이 사이버 보안 시장과 유사한 발전 경로를 따를 것으로 보고 있다. 미디어와 테크 기업은 콘텐츠 인증 솔루션과 컨소시엄에 투자하면서, 점점 더 정교해지는 가짜 콘텐츠에 대응하려는 노력을 이어갈 것이다. 이에 따라 소비자, 창작자, 광고주가 콘텐츠 신뢰성을 유지하기 위해 부담해야 하는 비용도 늘어날 수 있다. 가짜 콘텐츠에 대한 대응은 크게 두 가지로 나뉜다. 하나는 콘텐츠 진위를 탐지하는 것이고, 다른 하나는 콘텐츠 출처를 확인할 수 있는 시스템을 구축하는 것이다.
가짜 콘텐츠 탐지, 어떻게 하나
테크 기업은 딥러닝과 컴퓨터 비전 기술 등을 활용해 합성 미디어를 분석하고, 조작 여부를 판단한다. 딥페이크 특유의 패턴이나 비정상적인 요소를 머신러닝 모델로 탐지하고, 영상이나 음성에서 사람과 다른 입술 움직임, 목소리 톤의 차이 등 미묘한 불일치를 찾아낸다. 신뢰할 수 있는 출처나 이미 알려진 가짜 콘텐츠의 특성을 기반으로 ‘화이트리스트’와 ‘블랙리스트’를 구분하는 방법도 있다. 자연스러운 혈류, 표정, 어조 등 인간 고유의 특징을 식별하는 툴도 활용된다.
현재 딥페이크 탐지 기술의 정확도는 90%를 넘는다. 그러나 오픈소스 생성 AI 모델로 만든 합성 콘텐츠는 이러한 탐지 툴로도 식별이 어려울 수 있다. AI 콘텐츠 생성 기술이 탐지 기술을 능가할 수 있고, AI가 프롬프트에 따라 콘텐츠에 미묘한 수정을 가하면 가짜 콘텐츠를 교묘히 숨길 수 있기 때문이다.
소셜미디어 플랫폼도 AI 툴을 활용해 의심스러운 이미지나 영상을 감지하고, AI가 1차 판별한 후 사람의 최종 검토를 통해 딥페이크 여부를 판단한다. 하지만 이 과정은 시간과 비용이 많이 들어, 머신러닝을 활용해 프로세스를 효율화하려는 시도가 이뤄지고 있다.
이는 과거 사이버 보안 시장의 발전과 유사한 흐름이다. 데이터와 네트워크를 보호하기 위해 계층적 접근법을 도입했던 보안 기업처럼, 미디어와 소셜미디어 기업도 콘텐츠 진위를 가리기 위해 다양한 툴과 출처 확인 시스템을 활용할 가능성이 크다.
출처 및 신뢰 시스템 구축해야
일부 기업은 콘텐츠 출처와 모든 수정 내역을 포함한 암호화 메타 데이터, 즉 ‘디지털 워터마크’를 미디어 파일에 삽입하는 방법을 도입하고 있다. 이 메타 데이터는 콘텐츠 소유권과 무결성, 출처를 확인할 수 있는 정보를 담고 있다.
소셜 플랫폼은 언론, 기기 제조사, 테크 기업 등과 컨소시엄을 구성해 콘텐츠 진위 확인을 위한 표준을 마련 중이다. 예를 들어 딜로이트를 비롯한 다양한 기업이 참여한 ‘C2PA 연합’은 AI가 생성한 이미지에 ‘메타 데이터’ 표준을 적용하고 있다. C2PA 메타 데이터는 콘텐츠 생성의 시작부터 편집까지 전 과정을 상세 로그로 기록하며, 이를 통해 사용자는 콘텐츠의 출처와 진위를 판별할 수 있다.
일부 플랫폼은 창작자에게 ‘검증 옵션’을 제공하고 있다. 검증서를 제출하면 창작자에게 수수료를 지급하는 방식이며, 이를 통해 창작자가 수익을 올리는 동시에 콘텐츠 신뢰성도 높일 수 있다.
각종 온라인 채널에서 AI 콘텐츠가 확산하는 만큼, 계정 운영자가 사람인지 AI인지를 파악하는 것도 신뢰 악화를 막는 데 도움이 된다. 다만 이에 따른 비용 부담을 창작자와 광고주, 사용자에게 계속 전가할 수 있는지는 고민해야 할 부분이다.
딥페이크 대응 규제 시급
일부 국가는 콘텐츠 진위 관련 법제화를 시작했으나, 보다 포괄적이고 글로벌한 규제가 시급하다. 딥페이크의 위험성을 널리 알리고, 대중이 가짜와 진짜를 구분할 수 있도록 정보를 제공할 필요가 있다.
미국에서는 연방 상원 상업·과학·운송위원회가 AI 생성 콘텐츠에 디지털 워터마크 부착을 의무화하는 법안을 검토 중이다. 캘리포니아주는 콘텐츠 라벨링을 의무화하는 ‘AB 3211’ 법안을 상정했다. 이에 따라 기기 제조사는 사진에 출처 메타 데이터를 삽입하도록 장치를 업데이트해야 하고, 플랫폼은 콘텐츠 출처 정보를 공개해야 한다. 법안이 통과되면 2026년 시행 예정이다. 그 외 주 정부 역시 사전 동의 없이 제작된 딥페이크 콘텐츠의 유포를 불법으로 규정하는 법률을 마련하고 있다. 미국 연방거래위원회(FTC)는 개인을 모방한 딥페이크 제작 및 유포를 금지하는 새로운 규제를 준비 중이다.
유럽연합(EU)은 AI법(AI Act) 개정안을 통해 AI 생성 콘텐츠 및 딥페이크에 라벨링을 의무화했다. EU 집행위원회는 AI 발전과 활용을 지원하면서도 AI가 창작 또는 조작한 콘텐츠를 구별할 수 있도록 ‘AI 사무국(AI Office)’을 설립하고 라벨링 기술을 장려하고 있다.
딥페이크 기술의 급격한 발전에 대응하려면 유연하고 신속한 규제 프레임워크가 필수적이다. 기업은 생성 AI로 인해 소셜 엔지니어링 공격이 더욱 정교해지고, 기존 탐지 체계를 무력화할 수 있다는 점을 인식해야 한다. 특히 영상과 음성 기반 프로세스에는 추가적인 검증 절차가 필요하다. 최종 사용자 또한 신뢰할 수 있는 출처를 확인하고 다중 인증을 통해 위험을 줄이는 습관을 갖는 것이 중요하다. 이에 따라 기업은 진화하는 딥페이크 기술에 발맞춰 사용자 대상 교육을 지속적으로 수행해야 한다.
테크 및 미디어 기업이 이러한 전략을 충실히 이행한다면, 딥페이크로 인한 위협을 차단하고 디지털 콘텐츠의 신뢰를 유지하는 데 중요한 리더 역할을 할 수 있을 것이다. 2025년은 디지털 불확실성이 확대되는 가운데, 기업이 신뢰할 수 있는 콘텐츠 환경을 구축하고 신뢰 기반 플랫폼으로 자리 잡을 중요한 기점이 될 것이다.