장세영 딥브레인AI 대표이사 서울대 전기공학부, 전 ㈜핑거 연구소장,전 SK C&C 근무, 전 페이지온 대표이사
장세영 딥브레인AI 대표이사 서울대 전기공학부, 전 ㈜핑거 연구소장,전 SK C&C 근무, 전 페이지온 대표이사

코로나19 팬데믹(pandemic·감염병 대유행)이 겹쳤던 지난 대통령 선거 기간, 각종 온라인 플랫폼에서는 대선 후보들의 캠페인 경쟁이 이어졌다. 그중 세간의 관심이 쏠린 것은 단연 ‘인공지능(AI) 윤석열’이었다. 국민의힘은 윤석열 당시 대선 후보를 가상인간으로 만들어 유권자의 질문에 직접 답하게 했다. 미묘하게 흔들거리는 몸동작은 물론 외형과 목소리, 말투, 손동작까지 생생하게 재현해 실제로 녹화된 동영상이 아니냐는 물음을 낳게 했다. 이 기술력의 주인공은 대화형 AI 전문기업 ‘딥브레인AI’다. 2016년에 설립된 딥브레인AI는 2021년 500억원의 시리즈B 투자를 마무리하며 2000억원의 기업 가치를 인정받았다. 실제 인물을 모델링해 만든 AI 은행원, AI 앵커, AI 쇼호스트 등 서비스로 2021년 30억원 매출을 냈고 올해와 내년엔 각각 100억원, 500억원의 매출을 올릴 것으로 기대하고 있다. 딥브레인AI 가상인간의 다음 타깃은 ‘부모님’이 됐다. 부모님을 AI 인간으로 만드는 ‘리메모리(re;memory)’ 서비스를 출시한 것이다. 그간 기업간거래(B2B)에 한정됐던 가상인간 기술을 일반 소비자에게 확대한 첫 사례다. 부모님의 생전 모습을 촬영하고 목소리 등을 미리 녹음해 부모님이 돌아가셔도 ‘AI 부모님’과 재회할 수 있게 했다. 정해진 대본을 읽어내던 그간의 가상인간 서비스와 달리 대화형 AI를 적용해 일상적인 대화도 가능하도록 했다.

“어떤 분은 AI 영정이라고 부르고 어떤 분은 AI 추모관이라고 부르기도 한다. 지금까지는 고인의 유골과 사진을 납골당에 보존했다면 우리는 디지털 형태로 보존하는 것이다. 새로운 형태의 추모관을 만들었다고 생각한다.” 딥브레인AI의 장세영 대표는 “추후 부모님 이외의 가족이나 자기 자신을 대상으로 한 서비스도 출시할 계획”이라며 이렇게 말했다. 장 대표를 최근 서울 역삼동 사옥에서 만났다. 다음은 일문일답.

장세영(왼쪽) 딥브레인AI 대표가 최준기 KT AI· BigData사업본부장에게 자사 AI 휴먼을 설명하고 있다. 사진 KT
장세영(왼쪽) 딥브레인AI 대표가 최준기 KT AI· BigData사업본부장에게 자사 AI 휴먼을 설명하고 있다. 사진 KT

가상인간은 어떻게 만들어지나.
“먼저 약 두세 시간가량 모델 촬영을 한다. 여러 가지 제스처를 촬영하고, 스크립트를 녹음해 움직임과 말투를 입력하는 것이다. 영어와 중국어, 일본어도 지원한다. 그다음엔 데이터 전처리를 하고 영상과 음성을 합성한다. 고해상도 AI 모델을 구현하는 데 2~3일가량 걸린다. 마지막 단계로는 좀 더 실제같이 보일 수 있도록 제스처를 개발한다. 곧게 서있기만 하는 것이 아니라 손을 꼼지락거리거나 몸을 약간 흔드는 등의 자연스러운 움직임을 준다. 전 과정을 거치는 데 일주일에서 열흘가량 걸린다.”

리메모리 기획 의도가 궁금하다.
“2019년에 처음 가상인간을 만들기 시작할 때부터 자연스럽게 아이디어가 나왔다. 다만 기술적인 문제 때문에 그동안은 시도하지 못했다. 가상인간을 하나 만들려면 당시에는 의뢰인이 5000~1만 문장씩 읽어야 학습 데이터가 수집됐다. 그러나 그간 딥러닝 기술이 발전해 지금은 300문장만 읽어도 충분히 만들 수 있다. 읽는 데엔 1시간가량 걸린다. 이 정도면 어르신을 포함한 일반 소비자들도 충분히 소화할 수 있을 거라고 판단해 상용화를 결정했다.”

이용자들은 뭘 하면 되나.
“크게 두 가지다. 먼저 어르신의 외양과 목소리를 수집한다. 전문 스튜디오에서 촬영한다. 두 번째는 가족 인터뷰다. 가상인간이 가족과 대화가 가능해야 하다 보니 추억에 대한 데이터를 수집한다. 어디에 살았었고 어디로 여행을 갔었고 어떤 일이 있었는지 등 기억과 무얼 좋아하는지 같은 선호를 조사한다. 모델링이 완료되면 ‘리메모리룸’에 와서 원할 때 30분씩 만날 수 있다.”

인터뷰 과정에서 다량의 개인정보가 취득될 텐데 관리는 어떻게 하나.
“안부를 주고받고 추억을 나누는 정도의 대화를 구현하기 때문에 매우 민감한 정보를 다루지는 않는다. 그래도 내부에 보안 전담 인력을 두고 있다. 시스템 팀에 3명이 있고 보안 전담은 2명이 있다. 거기서 의뢰인들의 데이터가 외부로 유출되지 않게 보안 작업을 하고 있다. 서비스 종료 시 모든 정보는 안전하게 폐기된다.”

화제가 됐던 AI 인간들과 달리 대화가 가능하다. 챗봇도 직접 개발했나.
“그렇다. 딥브레인AI는 챗봇 서비스로 시작했다. 은행에 고객상담용 챗봇을 공급하는 것이 첫 사업이었다. 이후 챗봇 기술을 기반으로 한 AI 음성 서비스를 시작했고 AI 영상까지 온 것이다. 리메모리는 챗봇부터 영상에 이르는 모든 AI 기술이 집약된 서비스다.”

다른 연계 서비스는 없나.
“지금 제공하고 있는 서비스 중에는 가끔 영상 메시지를 보내주는 기능이 있다. 예를 들면 자녀의 생일날 ‘생일 축하한다’는 인사 정도다. 섬뜩한 느낌보다는 ‘나는 잘 지내고 있으니 너도 잘 지내’라는 분위기의 즐겁고 유쾌한 느낌을 전달하려 노력했다.”

고인의 소셜미디어 계정을 두고도 논란이 되지 않나. 사망한 사람이 가상인간으로 남는다는 것에 대해 거부감을 느끼는 사람도 있을 텐데.
“AI 인간 모델링은 기본적으로 본인 의사에 따라 진행하긴 하지만, 이것이 사회적으로 어떻게 받아들여지는가는 보다 철학적인 문제라고 본다. 나름의 대안으로 가족이 주기적으로 보존 여부를 스스로 판단할 수 있게 했다. 처음 3~5년 동안은 무료로 보존해주지만, 이후부터는 매년 비용이 든다. ‘AI 부모님’을 더 보존할지 말지 매년 판단할 수 있도록 했다.”

서비스를 준비하면서 가장 고민을 많이 한 것은 무엇인가.
“AI 부모님이라는 콘셉트는 잡았는데 구체적으로 어떤 기능을 할 것인지에 대한 고민이 컸다. 예를 들면 고인이 실제 했을 법한 말을 잘하도록 ‘똑똑하게’ 만드는 방향이 있을 수 있겠고, 유족이 듣고 싶어 할 법한 위로를 건네도록 ‘따뜻하게’ 만드는 방향이 있을 수 있다. 우리는 후자를 택했다. 리메모리를 추모 서비스로 규정하고, 자녀의 관점에서 서비스를 구체화했다. 가족을 떠나보낸 사람에게 어떻게 하면 위안이 될 수 있을지를 가장 신경 썼다.”

다음 사업은 무엇인가.
“리메모리 서비스는 자기 자신이나 자녀 등 다른 가족 구성원으로 확장하려 기획하고 있다. 미국, 중국 서비스 론칭도 준비 중이다. 이 밖에는 가상인간을 활용한 라이브커머스 사업을 더 키우려 한다. 한국에서는 네이버에서 라이브커머스 방송을 하고 있고 특히 중국에서 활발하게 사업을 하고 있는데 좀 더 강화할 예정이다.”

가상인간을 경계하는 시각도 있다. 범죄에 악용될 가능성도 제기되고 AI 윤리도 화두에 오르고 있다.
“딥브레인AI의 핵심 기술 중 하나가 딥페이크 탐지 기술이다. 가상인간을 만들기도 하지만, 실제 사람인지 합성인지를 구분하는 기술도 보유하고 있다. 이와 관련해 정부와 공동연구 사업도 수행하고 있다. 

AI 윤리에 대해선 인문학적인 고민을 계속해오고 있다. 현재 제공하는 서비스 중에 아이에게 엄마 목소리로 책을 읽어주는 서비스가 있는데, 아이들이 어떻게 받아들일지, 어떻게 하면 좋은 영향을 미칠 수 있을지 생각한다.”