웹사이트 ‘This Person Does Not Exist’에서 인공지능(AI)을 통해 임의적으로 생성된 인물 사진. 사진 황민규 기자
웹사이트 ‘This Person Does Not Exist’에서 인공지능(AI)을 통해 임의적으로 생성된 인물 사진. 사진 황민규 기자

‘이 사람은 존재하지 않습니다(This Person Does Not Exist)’.

올 들어 해외 소셜네트워크서비스(SNS)에서 큰 주목을 받았던 웹사이트의 이름이다. 이 사이트에 접속하면 무작위로 생성된 고화질의 인물 사진을 무한대로 보여준다. 이 인물들에 대한 초상권은 없다. 실제로 존재하는 사람이 아니기 때문이다. 새로고침 버튼을 누를 때마다 1~2초 만에 생성되는 이 인물들은 인공지능(AI)이 임의로 디자인한 가상이다.

공유차량 업체 우버의 필립 왕이라는 소프트웨어 엔지니어가 만든 이 사이트는 지난해 전 세계를 뜨겁게 달군 차세대 딥러닝 기술인 생성적 적대 신경망(GAN·Generative Adversarial Networks)을 바탕으로 한다. 이 기술은 지난해 버락 오바마 전 미국 대통령, 도널드 트럼프 대통령이 등장하는 가짜 뉴스를 비롯해 유명인의 합성 포르노 등 논란을 일으킨 딥페이크(Deep Fake)를 구현해낸 알고리즘이다.

딥페이크와 GAN은 2012년 본격적으로 가속도가 붙기 시작한 딥러닝 기술의 진화를 보여주는 결과물이다. 연구·개발이 본격화된 지 불과 7년 만에 세계는 이전에 단 한 번도 본 적 없는 새로운 기술에 직면하게 된 것이다. 지금과 같은 속도라면 딥러닝 기술을 바탕으로 앞으로 상상도 하기 힘든 종류의 일이 벌어질 수 있다는 우려가 나오는 것도 이 때문이다.

특히 딥페이크와 같은 AI 기반 합성 기술이 고도화할수록 디지털 콘텐츠의 진위를 가리는 문제 자체가 불가능에 가까워질 수도 있다. 게다가 딥페이크가 실제 여론 조작이나 가짜뉴스 공격에 활용되기 시작하면 개인과 조직은 물론 사회 전체에 커다란 위협이 될 가능성이 크다.

오바마 전 대통령이 트럼프 대통령에 대해 막말을 쏟아내는 가짜 영상이 지난해 유튜브에서 엄청난 논란을 일으켰다. 발언의 내용 때문만은 아니었다. AI 기술인 딥페이크를 바탕으로 만들어진 이 영상이 실제 오바마의 얼굴, 음성을 거의 동일한 수준으로 구현하면서 과거 어설픈 합성과는 차원이 다른 완성도를 구현했기 때문이었다.

딥페이크는 딥러닝(Deep Learning)과 페이크(Fake)의 합성어다. 딥러닝 기술을 바탕으로 합성하려는 인물의 얼굴을 대상이 되는 동영상에 프레임 단위로 붙이는 원리다.

특정인의 표정이 다양하게 담긴 15초 분량의 원본 영상과 웹캠, 목소리 데이터가 있으면 AI 학습을 거쳐 완벽하게 합성이 가능하다. 딥페이크에 사용되는 대부분의 프로그램이 오픈소스로 공개돼 있어 일반인들도 충분히 접근할 수 있다.

딥페이크는 2017년 SNS상에서 화제가 된 이후 AI 분야 연구자, 엔지니어들의 ‘필수 과목’이 됐다. 기술이 확산할수록 부작용도 커졌다. SNS상에서 유명 여배우, 아이돌의 얼굴을 포르노와 합성한 영상이 퍼지기도 하고, 미국의 성인 사이트인 ‘너티 아메리카(Naughty America)’는 주문자 맞춤형 서비스로 이와 같은 영상 합성을 사업화할 계획을 발표했다가 여론의 지탄을 받기도 했다.

지난해 8월에 개설된 한 딥페이크 사이트는 국내 여성 아이돌의 얼굴을 포르노에 합성하는 서비스를 제공해 논란이 되기도 했다. 당시 해당 사이트에는 매일 특정 걸그룹 멤버의 얼굴을 합성해달라는 요청글이 쇄도했다. 요청으로 만들어진 영상은 국내외 음란물 사이트로 퍼져 조회 수가 적게는 수천에서 많게는 수백만 회에 달한다.

가짜 뉴스도 문제다. 지난해 오바마 전 대통령이 트럼프 대통령을 향해 “트럼프 대통령은 아주 완전히 머저리(dipshit)”라고 말하는 영상이 유튜브에 공개돼 파장을 몰고 오기도 했다. 딥페이크에 대한 경각심을 준다는 목적으로 제작된 이 영상을 본 사람들은 깜빡 속을 수밖에 없었다.


그림 그리는 인공지능(AI)인 구글 딥드림을 활용한 그림. 고흐의 화풍을 배우게 한 뒤 그리게 하자 고흐 화풍대로 그림을 그렸다. 사진 구글 딥드림
그림 그리는 인공지능(AI)인 구글 딥드림을 활용한 그림. 고흐의 화풍을 배우게 한 뒤 그리게 하자 고흐 화풍대로 그림을 그렸다. 사진 구글 딥드림

딥러닝에 새바람 일으킨 GAN

지난해부터 정보기술(IT) 업계에서 가장 논란이 되고 있는 AI 기술의 이면을 살펴보면 공통 배경을 갖고 있다. 대다수 알고리즘이 GAN에 기반하고 있다는 것이다. 구글의 리서치사이언티스트인 이언 굿펠로(Ian Goodfellow)가 논문에서 제안한 새로운 딥러닝 기법인 GAN은 딥러닝의 수준을 한 단계 끌어올린 차세대 기술이기도 하다.

개념적으로 이미지를 만드는 ‘생성자(generator)’와 이미지가 진짜인지 가짜인지 감별하는 ‘감별자(discriminator)’를 경쟁하게 만드는 방식으로 학습한다. 생성자는 화폐 위조꾼처럼 가짜 콘텐츠를 만들어내고 감별자는 경찰처럼 진짜와 가까운지 아닌지를 판단한다. 이 과정이 계속 반복되면서 생성자는 감별자가 진짜인지 가짜인지 판단하기 힘든 콘텐츠를 만들어낸다.

GAN의 이 같은 경쟁 학습 방식은 그동안 AI 신경망의 비효율적인 학습 방식에 큰 변화를 불러왔다. 윤성로 서울대 전기정보공학부 교수는 “일반적인 AI 학습모델의 가장 큰 문제는 이미지의 질을 높이면 다양성이 저하되고, 다양성을 강화하면 개체의 질이 떨어지는 문제를 겪어왔는데 GAN은 이를 게임이론 방식으로 극복하면서 돌파구를 마련했다”고 설명했다.

일반적으로 AI가 가상의 이미지를 생성할 때 하나를 키우면 다른 하나가 악화되는 ‘트레이드오프(tradeoff)’가 발생한다. 가령 고양이의 이미지를 생성할 때 ‘다양한 종의 고양이를 생성하라’고 명령하면 고양이 같지 않은 괴물이 다수 섞이게 된다. 반대로 ‘진짜 고양이 같은 고양이를 생성하라’고 입력하면 이미지의 질은 높아지지만 천편일률적인 생김새의 고양이만 만들어낸다.

GAN 역시 초기에는 일반적인 AI처럼 비슷한 문제들이 있었지만 이 같은 장애물을 빠른 속도로 극복해나가고 있다. 지난해부터 AI 분야에서 가장 널리 사용되는 ‘사이클 GAN(CycleGAN)’은 스타일 변환을 학습하는 기술로, 이미지 속 인물의 특징이나 디테일을 실제처럼 바꾸는 데 특화돼 있다. 딥페이크 기반의 포르노 영상의 인물 얼굴을 바꾸는 데 사용된 알고리즘도 바로 이 사이클 GAN이다.

AI의 발전은 일상생활에서 AI가 그만큼 많이 쓰이게 될 것이라는 점을 의미하지만 정작 법제도는 거의 준비가 돼 있지 않다. 가령 미국, 중국 등 일부 지역에서 빠르게 도입되고 있는 자율주행자동차의 경우 사고가 날 경우 책임 소재를 가리는 문제도 불투명하다. 모든 법이 ‘사람이 차를 운전한다’는 전제로 설계돼 있기 때문이다. 면허와 보험 제도도 마찬가지다. 자율주행차 규정은 도로교통법과 자동차관리법에 명시됐다. 아직은 임시 운행을 위한 최소한의 내용만 담겼다.


딥페이크 기술을 활용해 배우 알렉 볼드윈(왼쪽)과 도널드 트럼프 미국 대통령을 합성한 영상. 사진 유튜브 캡처
딥페이크 기술을 활용해 배우 알렉 볼드윈(왼쪽)과 도널드 트럼프 미국 대통령을 합성한 영상. 사진 유튜브 캡처

달라진 세상, 얼마나 준비돼 있나

딥페이크 등의 영상 합성 기술에 대한 대비도 충분하다고 볼 순 없다. 최근 국내외에서는 디지털 콘텐츠의 합성 여부를 판단할 수 있는 기술 개발에 공을 들이고 있다. 일본 국립정보학연구소 연구진은 AI를 활용해 영상의 합성 여부를 약 99%의 확률로 구별해내는 프로그램을 만들었다. 국내에서도 과학기술정보통신부가 주관하는 ‘AI R&D 그랜드 챌린지 대회’ 등을 통해 다양한 딥페이크 감별 기술이 등장할 것으로 기대되고 있다.

하지만 전문가들은 AI의 학습 능력이 이를 제어하는 기술보다 훨씬 더 빠르게 진화하고 있다고 입을 모은다. 가령 이미지 합성보다 훨씬 더 난도가 높은 것으로 알려진 음성 합성의 경우 과거에는 수백 시간의 음성 샘플, 복잡한 학습 과정을 수반했지만, 최근에는 10여 초가량의 음성 데이터만 있어도 복제가 가능한 수준으로 발전했다.

저작권법도 문제다. AI는 이미 스스로 미술, 작곡, 문학 등 예술적 활동에도 사용되기 시작했다. 하지만 기존의 저작권법이 사람이 직접 만든 창작물에 대해서만 저작권을 인정하고 있어 새로운 차원의 논의가 필요하다. 하지만 문화체육관광부가 주도하는 ‘저작권미래전략협의체’는 지난해 5월이 돼서야 출범했고 제대로 된 논의가 이뤄지지 않아 법제화 시도는 지난해 단 1건에 불과했다.

정상조 서울대 법대 교수는 “현행법상으로는 AI 알고리즘에 의한 창작을 인정하고 있지 않지만 AI에 의한 창작물도 인간의 사상과 감정을 표현한 것과 거의 동일한 결과물을 내놓고 있다”며 “때문에 아직 판례는 없지만 현행법만으로 단순히 창작이 아니라고 보기엔 논쟁의 여지가 있다”고 설명했다.

AI 기반의 범죄에 대응하기에 정부 당국의 대응 여력이 부족하다는 지적도 나온다. 한국정보화진흥원(NIA)은 최근 보고서를 통해 “AI와 관련한 범죄 및 예방책을 세우는 과정에서 정책입안자의 기술적 이해 부족으로 규제, 입법 또는 기타 정치적 대응책을 잘못 설계할 우려가 있다”고 지적하기도 했다. AI 기술은 해가 다르게 고도화하는데 이에 대한 정부 공무원들의 이해도가 낮다는 설명이다.

정부와 대형 IT 기업의 적극적인 민관 협력을 통해 정부의 AI 통제력을 높여야 한다는 목소리도 나온다. 가령 AI 기반의 음성 변조나 명의 도용, 사칭 등을 막기 위해 정부 차원에서 대비책을 강구할 경우 실제 ‘안티 스푸핑(Anti Spoofing·보이스 피싱을 탐지해 차단하는 기술)’을 연구·개발 중인 마이크로소프트(MS), 서울대 등과 협력해 기술적 대응력을 높이는 방안도 고려해볼 수 있다.

NIA 관계자는 “AI는 확장성, 보급성 등의 속성상 범국가적 공감대와 합의를 반영한 법·규정을 마련하는 것이 필요하지만 아직까지 AI의 악용을 제지할 만한 국제적 기준이나 규범이 존재하지 않는다”며 “한 번의 악용이 세계적인 피해를 야기할 수 있으므로 강력한 법적 규제가 필요하다”고 설명했다.


Plus Point

딥러닝이 대체 뭐길래

최초의 상용 딥러닝 네트워크인 ‘퍼셉트론’을 개발한 프랭크 로젠블래트 코넬 항공 연구소 연구원. 사진 Arvin Calspan Advanced Technology Center
최초의 상용 딥러닝 네트워크인 ‘퍼셉트론’을 개발한 프랭크 로젠블래트 코넬 항공 연구소 연구원. 사진 Arvin Calspan Advanced Technology Center

딥러닝의 역사는 최초의 인공신경망 모델이 제안된 1958년으로 거슬러 올라간다. 이전에도 인공신경망에 대한 개념은 있었지만, 실효성 있는 모델이 제안된 건 코넬 항공 연구소의 프랭크 로젠블래트(Frank Rosenblatt)의 ‘퍼셉트론(Perceptron)’이 최초로 알려져 있다. 현재 사용되는 딥러닝 네트워크도 사실상 다수의 노드와 레이어로 확장했다는 것만 다르지 근본적인 구조는 비슷하다.

인간의 두뇌를 수학적 모델로 구현한다는 신경망 모델은 등장과 함께 크게 각광받았지만 얼마 가지 않아 빙하기가 찾아왔다. AI의 선구자 중 하나로 꼽히는 마빈 민스키 MIT 교수가 1969년 이 같은 신경망 모델이 ‘심층(Deep) 학습이 불가능하다’는 것을 입증하면서부터다. 이후 신경망 연구는 오랜 빙하기를 보냈다. 심지어 학계에서는 논문 제목에 ‘신경망’이라는 단어가 들어가면 모두 거절당한다는 속설이 돌 정도로 학계의 분위기는 냉랭했다. 딥러닝의 창시자로 꼽히는 제프리 힌튼 토론토대 교수가 2006년에 새로운 기술을 발표할 때 신경망 학습 대신 ‘딥러닝(심층학습)’이라는 단어를 사용한 것도 이 때문이다.

그리고 한 사건을 통해 딥러닝은 전 세계적 화두로 떠올랐다. 2012년 캐나다 토론토에서 열린 이미지 인식 경진대회인 ‘ILSVRC’에서 제프리 힌튼 교수가 이끄는 수퍼비전팀이 딥러닝 기반 알고리즘으로 기계의 이미지 인식률이 84.7%의 정확도를 나타내는 신경망 모델을 공개한 것이다. 이미지를 알아보고 판독하는 능력에서 기계가 사람보다 나을 수 있다는 점이 처음으로 입증되면서 전 세계가 충격에 휩싸였다.

딥러닝이 빙하기에 있던 AI 연구를 다시 끌어올릴 수 있는 이유는 단순히 제프리 힌튼 교수 한 명의 힘은 아니다. 우선 컴퓨팅 하드웨어의 비약적인 발전이 있었다. 힌튼 교수가 사용하는 엔비디아의 그래픽처리장치(GPU)는 딥러닝에 필요한 복잡한 행렬 연산에 소요되는 시간을 크게 단축시켰다. 또 인터넷, 스마트폰, SNS 등 기계학습에 필요한 다량의 데이터가 쏟아지면서 AI가 공부할 수 있는 ‘교재’가 풍부해졌다는 점도 적지않은 영향을 미쳤다.

Plus Point

AI가 작곡한 노래, 누구에게 저작권이 있을까

정상조 서울대 법대 교수. 사진 서울대
정상조
서울대 법대 교수. 사진 서울대

인공지능(AI)이 그림을 그리고 시, 소설, 음악까지 만드는 시대가 오고 있다. 창작 활동은 인간 고유의 것이라고 간주해온 법 체계가 흔들리고 있는 셈이다. 게다가 사람과 달리 AI는 24시간 한시도 쉬지 않고 콘텐츠를 생산할 수 있다. 창작자로서의 생산성이 인간보다 월등하다는 얘기다. 머지않아 인간의 창작활동 상당 부분을 AI가 맡게 될 것이라는 전망이 나오는 것도 이 때문이다.

정상조 서울대 법대 교수는 “AI 알고리즘에 의한 창작은 과정으로 볼 때 사람의 창작과는 다른 방식이지만, 그 결과물 자체를 놓고 보면 창작물이 아니라고 판단할 수 있는 근거는 없으며 판례도 존재하지 않는다”며 “다만 현행법상에서는 AI가 창작을 한 건 인정하지 않고, 오로지 인간이 창작한 결과에 대해서만 저작권을 부여하고 있다”고 설명했다. 정 교수는 이어 이 같은 저작권법에 변화가 생길 가능성도 시사했다. 그는 “저작권법은 근본적으로 창작을 촉진하기 위한 목적으로 저작권을 창작자에게 준 것이기 때문에 저작권을 일종의 도구적인 관점으로 본다면 특정 AI를 만든 사람이나 기업에 저작권을 부여하는 방식을 입법론 쪽으로 검토해볼 수 있다”고 말했다.

저작권법뿐 아니라 법 체계에 전반적인 변화가 불가피할 것이라는 전망도 내놨다. 그는 “AI는 밥도 먹지 않고 24시간 동안 창작 활동을 할 텐데 이는 결과적으로 창작의 양이 기하급수적으로 늘어날 수 있다는 것을 의미한다”며 “3D 프린터 등과도 연결돼 재화를 마구 찍어내는 단계에 이른다면 저작권뿐 아니라 ‘희소성’으로 움직이는 경제학적 원리에도 큰 영향을 미치게 될 것”이라고 강조했다.