AI 챗봇이 속삭이는 그럴듯한 헛소리들… 알고리즘 독재의 역습

알고리즘은 가치중립적이지 않다. 그럼에도 우리는 지난 10여 년간 빅테크(대형 정보기술 기업)가 알고리즘을 정보 생태계의 문지기 역할을 하도록 방치했고, 그에 합당한 투명성이나 책임을 빅테크에 묻지 않았다. 그 대가는 컸다. 극단적이고 선정적인 콘텐츠가 확산했고, 교묘한 맞춤형 광고와 기업의 독점 행위가 만연해졌으며, 민주적 숙의 과정에 반하는 여론 조작까지 초래했다.

핵심 정보 인프라를 감독 없이 기업에 넘겼을 때의 위험을 우리는 이미 경험했다. 그런데도 우리는 지금 AI 챗봇을 두고 같은 실수를 반복하고 있다. 그 파장은 훨씬 치명적일 수 있다. AI 챗봇은 단순히 기존 정보를 선별해서 보여주는 데 그치지 않는다. 정보를 직접 만들고, 프레임을 씌워 재가공한다. 과거 페이스북과 구글은 어떤 뉴스 기사를 보여줄지 ‘결정’하는 역할이었다면, 챗GPT, 클로드, 제미나이 같은 도구는 그 정보를 종합해 권위 있는 답변으로 가공해 낸다.

이 차이는 매우 중요하다. 정보의 ‘큐레이터’에서 ‘편집자’로 역할이 바뀌면서 부당한 영향력이 더 교묘해지고 강력해졌다. 우리는 또다시 미래 정보 인프라에 대한 막대한 권력을 민간 기업에 넘기고 있다. 그들에 대한 독립적인 감시 체계를 요구하는 최소한의 목소리도 내지 않은 상황에서, 가장 시급한 위협은 AI 시스템이 통제를 벗어나 폭주하는 것이 아니라, 사익을 추구하는 소수 집단이 대중의 정보를 쥐락펴락하는 ‘정보의 문지기’ 자리를 빠르게 꿰차고 있다는 것이다.

현재의 챗봇은 단순한 ① 거대 언어 모델(LLM)이 아니다. 챗봇은 플랫폼 기업이나 제삼자가 자기 이해관계에 따라 정보를 조작하고 통제할 수 있는 다섯 가지 ‘알고리즘 영향력의 적층 구조(algorithmic influence stack)’ 위에 서 있다. 첫 번째 층은 훈련 데이터 큐레이션이다. 플랫폼 기업은 학습 과정에서 어떤 데이터를 넣고 뺄지 결정하며, 출처의 신뢰도나 다양한 관점의 비중, 필터링할 내용 등을 매우 불투명하게 선택한다. 이는 모델의 세계관을 형성한다. 예컨대 지난해 10월 테슬라의 머스크는 자신의 챗봇 그록에 학습 데이터를 제공하기 위해 그로키피디아(Grokipedia)를 선보였다. 기업이 통제하는 이 백과사전의 목적은 오랫동안 인터넷에서 신뢰받는 정보원 역할을 해온 위키피디아와 그 커뮤니티 기반 거버넌스 모델에 대항하는 대안을 제공하는 것이다.

두 번째 단계는 인간과 AI 피드백을 통한 강화 학습이다. 이 과정으로 예측 불가능한 텍스트 생성기에 불과했던 LLM이 쓸모 있는 비서로 탈바꿈할 수 있었다. 모델 개발의 ‘사후 학습’ 단계에서 인간 검토자는 모델의 답변을 평가해 시스템의 유용성을 높이고 예의 바르게 행동하도록 유도한다. 현재 이런 인적 평가는 AI 산업에서 주요하지만, 눈에 띄지 않는 부분이다. 그러나 이 역할은 점차 전문화된 AI ‘교사’로 대체되고 있다. 이들은 일종의 AI 행동 규약인 ‘헌법’에 기입된 원칙에 따라 핵심 모델을 정렬하는 역할을 한다.

세 번째 층은 웹 검색이다. 챗봇이 온라인 검색을 하거나 디지털 데이터베이스에 접근할 때 ② 검색 증강 생성(RAG) 시스템이 모델의 응답에 어떤 정보를 반영할지 결정한다. 이 기능은 특정 출처를 다른 출처보다 우선하는 기존 검색엔진의 역할과 같다. 또한 검색엔진과 마찬가지로, 챗봇 응답에 광고를 삽입하는 것(챗GPT가 2026년부터 도입하겠다고 발표한 바 있다)은 객관성에 대한 우려를 한층 더 키울 수 있다.

네 번째 층은 시스템 프롬프트다. 이는 챗봇이 답변을 생성하는 순간 작동하며, 플랫폼 기업이 모델을 새로 학습시키지 않고도 챗봇의 행동 방식을 즉각 바꿀 수 있게 해준다. 예를 들어, 지난해 공개된 그록의 시스템 프롬프트에는 “정치적으로 올바르지 않은 주장이라도 피하지 말라”는 지침이 포함됐다. 챗GPT, 클로드, 제미나이도 시스템 프롬프트를 사용하지만, 그 내용은 대부분 비공개다.

마지막 층은 안전 필터다. 챗봇에 질문이 입력되면 입력 필터가 해당 질문의 ‘수용 가능 여부’를 판단한다. 마찬가지로, 모델이 답변을 만든 뒤에도 출력 필터는 사용자에게 전달되기 전에 콘텐츠를 수정, 검열 또는 정제할 수 있다. 플랫폼이 폭탄 제조법 같은 위험한 질문을 차단하는 것은 정당한 이유가 되겠지만, 이 필터가 불투명하게 작동한다는 점이 문제다. 개발자가 체계적 검열 기반을 구축하더라도 우리는 알 길이 없다. 일례로 중국의 챗봇은 톈안먼 사건과 관련한 모든 언급을 ‘안전’ 필터로 검열한다.

정치적·기업적 이해관계는 챗봇이 전 세계적으로 보급되는 속도에 맞춰 이미 이 구조를 장악하고 있다. 도널드 트럼프 미국 대통령의 재취임 이후 애플은 MAGA(Make America Great Again·미국을 다시 위대하게) 지지자를 ‘급진적’ 또는 ‘극단적’으로 분류하지 않도록 AI 훈련 지침을 수정했다. 로이터에 따르면, 메타는 내부 AI 가이드라인을 수정해 챗봇이 인종차별적 발언을 하거나 미성년자에게 ‘추파’를 던지는 행위를 막던 안전장치를 약화했다. 또 지난해 5월, 그록은 남아프리카공화국에서 백인 학살이 벌어지고 있다는 근거 없는 주장을 증폭시키기 시작했다(머스크 본인이 남아공 출신 백인이기도 하다). 회사 측은 ‘무단 수정’에 의한 오류라고 해명했지만, 이런 ‘버그’는 공통적으로 머스크의 이념적 성향과 일치하는 방향으로 종종 발생한다.

챗봇을 통한 정치적 조작의 효과는 이미 증명됐다. ‘네이처’에서 발표한 연구에 따르면, 특정 후보를 지지하도록 학습된 챗봇은 선거 결과를 좌우하는 중도층과 부동층의 마음을 놀라울 정도로 쉽게 돌려놓을 수 있다고 한다. 정보를 노골적으로 통제하는 권위주의 체제와 달리, 민주주의는 다양한 정보원과 투명성 위에서 유지된다. AI 인프라에 중앙 집중적이고 책임 없는 권한을 넘기는 순간, 우리는 ‘기술 권위주의’로 표류를 자초하게 된다. 알고리즘의 각 단계는 대놓고 검열하지 않아도 특정 관점을 키우고 다른 목소리를 지우는 방향으로 얼마든지 작동할 수 있기 때문이다.

지난해 12월, 유럽연합집행위원회(EC)는 엑스(X·옛 트위터)가 ③ 디지털서비스법(DSA)의 투명성 의무를 위반했다며 1억2000만유로(약 2090억원)의 과징금을 부과했다. 예상대로 X 측은 이를 표현의 자유에 대한 탄압이라고 반발했다. 그러나 투명성이야말로 표현의 자유를 지키는 핵심이다. 투명성 없이는 누가 검열당하고 있는지, 모두가 소비하는 미디어에 어떤 영향력이 작용하고 있는지 알 수 없다.

소셜미디어(SNS)의 부상은 책임 의식이 기술 보급 속도를 따라가지 못하면 어떤 일이 벌어지는지 보여줬다. 그보다 훨씬 강력한 영향력이 있는 AI 시스템을 두고 같은 실수를 되풀이할 여유는 없다.