생성 AI 시대…통계학적 앵무새와 탄소 배출 리스크

지금은 사이언스 픽션(SF) 분야의 역사적인 명작으로 모두가 인정하는 리들리 스콧 감독의 영화 ‘블레이드 러너(Blade Runner)’는 아이러니하게도 1982년 개봉 당시에는 비평과 흥행 모든 면에서 성적이 좋지 않았다. 하긴 그 유명한 영화 ‘E.T.’가 비슷한 시기에 개봉한 탓도 있었겠지만, 아마도 영화에서 다루고 있는 무겁고 난해한 주제와 러닝 타임 내내 계속되는 그 어두운 미래의 분위기는 대중이 무턱대고 좋아하기엔 무리가 있었으리라. 이 영화는 필립1 K. 딕의 소설 ‘안드로이드는 전기 양(electric sheep)의 꿈을 꾸는가?’를 원작으로 하는데, 내용은 가까운 미래에(놀랍게도 2019년이다!) 지구에 불법으로 거주하고 있는 ‘복제인간(레플리컨트)’들을 찾아내 ‘폐기(retirement)’하는 특수 경찰팀 출신 퇴역 경찰이 겪게 되는 ‘묵직한’ 에피소드에 대한 것이다. 영화에서는 이 특수 경찰팀을 ‘블레이드 러너’라고 부르며, ‘인간’과 ‘인간이 아닌 존재’ 사이에 서슬 퍼런 경계를 긋는 ‘칼날(blade)을 휘두르는 자’임을 암시하고 있다. 이 ‘블레이드 러너’들은 인간과 아주 유사하게 행동하는 안드로이드들을 식별해 내기 위해 특별한 질문을 했다. 안드로이드들은 인간처럼 경험이 다양하지 않으므로 질문에 대해 그들이 얼마나 당황스러운 감정을 표출하는지를 관찰하기 위해서였다. 그 암울한 미래에 인간이 갖는 ‘꿈’이 ‘진짜 양’을 키우는 것이었으므로, 인간이 아닌 안드로이드는 ‘가짜 양’인 ‘전기 양’을 소망하는 건 아닌지 질문했다.

챗GPT 열풍에 떠올린 영화 ‘블레이드 러너’ 

이 위대한 명작에 대한 추억을, 뜻밖에도 필자는 2022년 11월에 오픈해 전 세계를 화들짝 놀라게 한 ‘챗GPT’를 보며 떠올렸다. 필자는 챗GPT에 문득, ‘블레이드 러너’의 주인공 데커드(해리슨 포드 분)가 안드로이드인 레이첼(숀영 분)에게 했던 질문을 입력해 봤다. 물론 이미 인공지능(AI)임을 알고 있는 챗GPT에 ‘칼날’을 대어 긋고 싶은 마음보다는 3000억 개가 넘는 다양한 문장을 학습했다고 알려져 있으니, 어떻게 대답할지에 대한 치기 어린(?) 궁금증이었다. “생일에 송아지 가죽으로 만든 지갑을 선물 받는다면?”이라는 영화의 대사를 입력했더니 챗GPT는 다음과 같이 대답했다(필자는 영어 원문으로 질문을 했다). 

“(나는) AI 언어 모델로서 물리적 형체가 없기 때문에 송아지 가죽으로 만든 지갑을 선물 받을 수 없습니다.”

그러고는 묻지도 않았는데, 선물 받았을 때의 행동 요령을 알려주는 친절함까지 보여주는 것이 아닌가. 맞다, 챗GPT의 정체는 AI ‘언어 모델(language model)’이었다. 아니, 좀 더 정확히 말하면 ‘GPT-4.0’이라는 초유의 거대 언어 모델에 기반한 대화형 서비스다. 따라서 언어 모델에 대한 이해는 챗GPT를 이해하기 위한 가장 중요한 단초가 될 것이다.

자연어 처리에 대한 끝없는 도전과 트랜스포머의 등장

일반적으로 ‘언어 모델’이란 연속된 단어들로 문장을 구성할 때, 특정 위치(보통 마지막 위치)에 출현하여 ‘가장 자연스러운 문장’을 이루게 될 확률을 단어들마다 계산해주는 AI를 말한다. 그리고 그 확률 계산 시 굉장히 복잡하고 다양한 연산이 연속적으로 이루어지게 되는데, 그 각각의 연산에 사용되는 기본 정보(함수의 계수나 상수 등)를 매개변수(parameter)라고 부른다. 2020년 GPT-3가 발표되던 때부터 이 매개변수의 개수가 1000억 개를 돌파했고 ‘초거대 언어 모델(large language model)’이라는 단어가 등장하기 시작했다. 그리고 현존하는 가장 큰 모델의 매개변수는 이미 1조 개를 돌파했다. 언어 모델은 일종의 통계 모델인데, 통계 모델이 언어를 이해한다고 볼 수 있는 걸까? 

분명한 건 어떤 정의를 따르더라도 ‘인간의 이해’와는 거리가 있어 보인다. 적어도 인간은 ① 문장을 구성하는 각 단어를 특정한 조건으로 코딩하지 않으며, ② 문장의 ‘이해’와 ‘생성’을 위한 처리 과정을 구분하지도 않고, ③ 특별한 메커니즘이 없어도 긴 문장 속에서 중요한 의미를 잘 파악해 내기 때문이다. 지난 수십 년간 크게 개선되지 않던 ‘컴퓨터를 이용한 인간의 언어 처리(자연어 처리)’ 성능은 이 세 가지 기술이 절묘하게 합쳐진 ‘트랜스포머(transformer)’라는 기술을 2017년에 구글이 발표하면서 발전의 정점을 찍기 시작한다. 예전부터 자연어 처리 부문의 난제로 ‘자동화된 번역 기술’을 뜻하는 기계 번역은 중요한 연구 분야였는데, 대량의 ‘규칙’만으로는 훌륭한 품질의 자동 번역이 어려웠다. 문법을 초월한 ‘문장의 깊은 이해’ 없이는 불가능한 일이기 때문이었다. 트랜스포머는 이런 문제를 당당히 해결하는 모습을 보이며, AI 자연어 처리 부문에서 ‘황제’의 지위를 갖게 된다. 트랜스포머의 등장은 초거대 언어 모델 시대를 열었지만 이 ‘황제’ 기술인 트랜스포머는 기술적 구조 특성상 이전과는 비교할 수 없을 정도의 대규모 매개변수가 필요한 ‘거대 모델’을 필요로 했고, 이는 자연스럽게 AI 업계의 주된 흐름이 됐다.

통계학적 앵무새의 위험성

구글 AI 윤리팀 리더인 에티오피아계 미국 여성인 팀닛 게브루(Timnit Gebru) 박사가 2020년 2월, 당시 그녀의 상사였던 구글 브레인의 수장인 제프 딘(Jeff Dean)에게 보낸 이메일이 발단이 돼 해고당하는 사건이 언론을 통해 알려지며 업계에 큰 파장이 일었던 적이 있다. 당시 이메일 내용은 그녀가 작성한 초거대 언어 모델에 대한 비판적 입장의 연구에 대한 논문이었다. ‘통계학적 앵무새의 위험에 대하여: 언어 모델은 지나치게 거대해질 수 있는가’라는 제목의 논문에서 그녀는 초거대 AI 모델 연구가 가지는 네 가지 위험성을 지적했다. 

첫 번째는 막대한 학습 및 운영 비용과 탄소 배출량에 대한 것이었다. 매개변수가 2억 개 정도인 트랜스포머의 학습에 65만6347kwH규모의 전력이 소모되고 이 과정에서 62만6155파운드의 이산화탄소 환산량(CO2e)이 배출되는데, 이는 자동차 한 대가 폐기될 때까지 배출하는 탄소량의 여섯 배에 달한다고 한다. 

두 번째는 정제되지 않은 막대한 데이터가 보여줄 윤리적 위험성에 대한 것이었다. AI 학습에 사용될 데이터를 생성하기 어려운 지역 또는 소규모 국가인 경우 상대적으로 불명확한 데이터가 AI에 활용될 수 있음을 경고했다. 세 번째로는 AI에 대한 대표적 비판의 중심에 있는 ‘인식’의 문제로, 인간처럼 언어를 이해하고 있지 못하며 ‘데이터를 기반으로 앵무새처럼 흉내 내고 있다’는 주장이었다. 마지막으로 네 번째는 가짜 뉴스나 딥페이크 같은 챗GPT의 악용 가능성에 대한 것이었다. 

챗GPT는 통계 모델로 설계됐고, 거대한 학습을 통해 연구자들은 그 골격에 정보를 입혀줬다. 챗GPT는 인간 질문에 대해 스스로가 가진 가장 ‘그럴듯한 정보’로 답하고 있으며, 그 생성된 정보를 스스로가 어떻게 이해하는지에 대해서는 그 누구도 알지 못하다. 그러므로 AI는 그 자신이 어떤 전기 양을 꿈꾸는지 아마도 대답하지 못할 수도, 어쩌면 대답해 주지 않을지도 모르겠다. 분명한 건 우리는 AI와는 매우 다른 ‘양’을 꿈꾸고 있다는 것이다. 왜냐하면 우리는 AI처럼 사고하지 않기 때문이며, 그런 사고방식을 원하지도 않기 때문이다. 인류가 좇는 ‘양’의 꿈이 AI와 왜 다른지는 게브루 박사의 ‘MIT 테크놀로지 리뷰’와 인터뷰 전문에 나온 “지식을 얻어내는 과정이 전문가와 단순한 질의응답을 통해 이루어진다고 말하는 것은 우리를 무시하는 것”이라는 문구로 설명이 충분할 것 같다.